色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Nacos錯誤統(tǒng)計實(shí)戰(zhàn):客戶端埋點(diǎn)與可觀測性建設(shè)

Nacos錯誤統(tǒng)計實(shí)戰(zhàn):客戶端埋點(diǎn)與可觀測性建設(shè) 1. 為什么一個“錯誤統(tǒng)計”值得單獨(dú)拎出來做做微服務(wù)架構(gòu)的朋友大概都有過這種體驗(yàn)服務(wù)跑得好好的某天開始零星報錯日志里翻半天發(fā)現(xiàn)是配置中心那邊某個配置項(xiàng)沒推下來或者某個服務(wù)實(shí)例注冊上了但健康檢查一直不過。問題本身不復(fù)雜麻煩的是定位過程——你得在 Nacos 控制臺、應(yīng)用日志、注冊列表之間來回橫跳靠肉眼比對時間戳。集成 Nacos 之后這類問題從“偶發(fā)”變成了“常態(tài)化的運(yùn)維負(fù)擔(dān)”因?yàn)榕渲煤妥赃@兩個維度都會持續(xù)產(chǎn)生狀態(tài)變化而變化過程中任何一環(huán)出問題表現(xiàn)出來都是業(yè)務(wù)側(cè)的異常。這篇內(nèi)容聊的就是怎么把 Nacos 相關(guān)的錯誤做系統(tǒng)性統(tǒng)計不是簡單地打個日志了事而是建立一套可觀測的錯誤采集、歸類、上報和告警機(jī)制。核心關(guān)鍵詞是Nacos 錯誤統(tǒng)計圍繞它展開的是配置拉取失敗、注冊心跳異常、監(jiān)聽回調(diào)報錯、長輪詢超時這幾類高頻問題的捕獲與量化。適合誰看如果你正在用 Spring Cloud Alibaba 或者 Dubbo 體系服務(wù)已經(jīng)上了 Nacos 做配置中心和注冊中心并且開始被“配置沒生效”“實(shí)例列表不對”“偶發(fā)連接超時”這類問題困擾那這套東西就是給你準(zhǔn)備的。哪怕你剛接觸 Nacos只要懂基本的 Java 和 Spring 機(jī)制下面的拆解也能讓你少走不少彎路。我先說清楚這套方案要解決的核心痛點(diǎn)Nacos 客戶端內(nèi)部的異常大多被吞掉了。它為了保業(yè)務(wù)可用性很多失敗場景是靜默重試或者降級處理的日志級別可能只是 WARN 甚至 DEBUG默認(rèn)配置下你根本看不見。等到業(yè)務(wù)報錯再去翻現(xiàn)場早沒了。所以錯誤統(tǒng)計的第一原則是——在客戶端側(cè)主動埋點(diǎn)把“被吞掉的異?!睋瞥鰜砹炕w類、打標(biāo)簽再決定是上報監(jiān)控還是觸發(fā)告警。2. 整體設(shè)計思路與方案選型拆解2.1 先搞清楚 Nacos 客戶端有哪些錯誤面動手之前得先畫清楚“錯誤從哪來”。Nacos 客戶端在應(yīng)用里主要干兩件事配置管理和服務(wù)注冊發(fā)現(xiàn)。這兩條鏈路上的錯誤來源完全不同統(tǒng)計策略也得分開設(shè)計。配置這條線核心是NacosConfigService它內(nèi)部有個長輪詢機(jī)制去監(jiān)聽配置變更。錯誤點(diǎn)集中在首次拉取配置時網(wǎng)絡(luò)不通或配置不存在、長輪詢請求超時、監(jiān)聽器回調(diào)里拋異常、本地快照文件讀寫失敗。注冊這條線核心是NacosNamingService錯誤點(diǎn)集中在服務(wù)注冊請求失敗、心跳發(fā)送失敗臨時實(shí)例、實(shí)例列表訂閱回調(diào)異常、服務(wù)端返回的實(shí)例列表為空或格式異常。我見過不少團(tuán)隊(duì)一上來就想在服務(wù)端做統(tǒng)計覺得 Nacos 服務(wù)端日志全。這個思路有坑——服務(wù)端看到的是“請求進(jìn)來了沒有”但客戶端側(cè)的“請求發(fā)出去了但沒收到響應(yīng)”“響應(yīng)收到了但解析失敗”這些情況服務(wù)端根本感知不到。而且多租戶環(huán)境下服務(wù)端日志混雜按應(yīng)用維度拆分成本很高。所以我的選型結(jié)論很明確統(tǒng)計埋點(diǎn)放在客戶端側(cè)服務(wù)端只做輔助對賬。2.2 為什么選“包裝器 事件總線”而不是直接改源碼最直接的想法是 fork Nacos 客戶端源碼在關(guān)鍵位置加統(tǒng)計代碼。我試過不推薦。原因有三一是 Nacos 客戶端版本迭代快fork 之后每次升級都要重新合并維護(hù)成本高二是改源碼容易引入行為差異出問題很難判斷是 Nacos 本身的 bug 還是你改出來的三是團(tuán)隊(duì)里其他人看到你依賴一個魔改版本心里沒底。更穩(wěn)妥的做法是包裝器模式不碰 Nacos 內(nèi)部實(shí)現(xiàn)在應(yīng)用和 Nacos 客戶端之間加一層薄封裝所有對 Nacos 的調(diào)用都走這層封裝封裝層負(fù)責(zé)計時、捕獲異常、打標(biāo)簽、發(fā)事件。同時利用 Nacos 客戶端暴露的擴(kuò)展點(diǎn)——比如NacosConfigService支持傳入自定義的ConfigFilterNacosNamingService有EventListener機(jī)制——在擴(kuò)展點(diǎn)上掛統(tǒng)計邏輯。這樣升級 Nacos 版本時只要擴(kuò)展點(diǎn)接口不變統(tǒng)計代碼基本不用動。事件總線這塊我選的是應(yīng)用內(nèi)輕量方案不引入額外中間件。統(tǒng)計事件先落到內(nèi)存隊(duì)列由一個獨(dú)立線程批量消費(fèi)聚合后定期輸出到日志和監(jiān)控端點(diǎn)。為什么不直接同步上報因?yàn)殄e誤統(tǒng)計本身不能成為新的故障點(diǎn)——如果監(jiān)控系統(tǒng)掛了導(dǎo)致業(yè)務(wù)線程阻塞在統(tǒng)計上報上那就本末倒置了。異步 批量 有界隊(duì)列 丟棄策略這套組合是保業(yè)務(wù)優(yōu)先的標(biāo)準(zhǔn)做法。2.3 統(tǒng)計維度怎么定才夠用又不冗余維度設(shè)計是這套方案里最考驗(yàn)經(jīng)驗(yàn)的部分。維度太少統(tǒng)計出來是一鍋粥沒法定位維度太多存儲和查詢成本爆炸而且大部分維度組合根本不會出現(xiàn)。我最終收斂到這幾個核心維度維度取值示例設(shè)計理由錯誤類型CONFIG_FETCH / CONFIG_LISTEN / REGISTER / HEARTBEAT / SUBSCRIBE對應(yīng) Nacos 客戶端的主要功能面定位到具體鏈路錯誤碼/異常類TimeoutException / NacosException(500) / IOException區(qū)分是網(wǎng)絡(luò)層、協(xié)議層還是業(yè)務(wù)層問題數(shù)據(jù)源標(biāo)識dataId group / serviceName group精確到具體配置項(xiàng)或服務(wù)避免“全局都在報錯”的模糊結(jié)論發(fā)生階段INIT / RUNTIME / RECONNECT啟動期錯誤和運(yùn)行期錯誤處理策略完全不同重試次數(shù)0 / 1 / 2 / 3判斷是瞬時抖動還是持續(xù)性故障的關(guān)鍵指標(biāo)這里有個容易忽略的點(diǎn)錯誤發(fā)生階段這個維度價值極高。啟動期配置拉取失敗通常意味著應(yīng)用根本起不來或者帶著錯誤配置起來了屬于 P0運(yùn)行期偶發(fā)一次長輪詢超時客戶端會自動重連可能業(yè)務(wù)無感屬于 P3。如果不分階段兩類錯誤混在一起統(tǒng)計告警閾值根本沒法設(shè)。3. 核心埋點(diǎn)實(shí)現(xiàn)與關(guān)鍵細(xì)節(jié)3.1 配置鏈路在 ConfigFilter 里做文章Nacos 客戶端的ConfigFilter接口是官方留的擴(kuò)展點(diǎn)原本用于配置加解密、格式轉(zhuǎn)換這類場景。它的filter方法能拿到配置內(nèi)容、dataId、group 等上下文異常也會從這里透出。我在這層掛統(tǒng)計邏輯好處是不侵入業(yè)務(wù)代碼而且對所有走 Nacos 配置的組件都生效。具體做法是實(shí)現(xiàn)一個StatsConfigFilter在filter方法里用 try-catch 包住鏈?zhǔn)秸{(diào)用catch 到異常時記錄錯誤事件然后原樣拋出——注意統(tǒng)計層絕不能吞異常吞了會改變 Nacos 客戶端的原有行為可能導(dǎo)致配置加載邏輯走偏。記錄事件時把 dataId、group、異常類型、耗時都帶上耗時這個字段很關(guān)鍵長輪詢超時和快速失敗在耗時上差異明顯能輔助判斷問題性質(zhì)。public class StatsConfigFilter implements ConfigFilter { Override public ListString filter(ConfigRequest request, ConfigResponse response) throws IOException { long start System.currentTimeMillis(); try { ListString result response.getConfig(); StatsEventBus.publish(ConfigEvent.success(request.getDataId(), request.getGroup(), System.currentTimeMillis() - start)); return result; } catch (Exception e) { StatsEventBus.publish(ConfigEvent.failure(request.getDataId(), request.getGroup(), e.getClass().getSimpleName(), System.currentTimeMillis() - start)); throw e; } } }這里有個實(shí)操細(xì)節(jié)ConfigFilter的注冊方式在不同 Nacos 版本里略有差異早期版本靠 SPI 文件META-INF/services/com.alibaba.nacos.api.config.filter.IConfigFilter注冊較新版本支持通過NacosConfigProperties配置。我建議用 SPI 方式兼容性最好升級時不容易踩坑。另外 filter 里不要做任何可能阻塞的操作事件發(fā)布必須是純內(nèi)存入隊(duì)否則會拖慢配置加載。3.2 注冊鏈路包裝 NamingService 而非依賴回調(diào)注冊鏈路的統(tǒng)計比配置鏈路麻煩因?yàn)镹acosNamingService的很多失敗是內(nèi)部重試后靜默處理的外部拿不到異常。比如心跳發(fā)送失敗客戶端會自己重試業(yè)務(wù)代碼完全無感。這種情況下光靠EventListener不夠因?yàn)槭录辉跔顟B(tài)變化時觸發(fā)持續(xù)失敗但狀態(tài)沒變的情況統(tǒng)計不到。我的方案是雙層埋點(diǎn)外層用包裝器包住NamingService的注冊、注銷、訂閱、查詢方法捕獲同步調(diào)用拋出的異常內(nèi)層通過定時任務(wù)主動探測——每隔一段時間檢查本地緩存的實(shí)例列表和服務(wù)端返回是否一致不一致就記一條“實(shí)例列表漂移”事件。這個主動探測的思路借鑒了健康檢查的理念實(shí)測下來能撈到不少靜默失敗。public class StatsNamingServiceWrapper implements NamingService { private final NamingService delegate; Override public void registerInstance(String serviceName, String groupName, Instance instance) throws NacosException { long start System.currentTimeMillis(); try { delegate.registerInstance(serviceName, groupName, instance); StatsEventBus.publish(RegisterEvent.success(serviceName, groupName, System.currentTimeMillis() - start)); } catch (NacosException e) { StatsEventBus.publish(RegisterEvent.failure(serviceName, groupName, e.getErrCode(), e.getErrMsg(), System.currentTimeMillis() - start)); throw e; } } // 其余方法同理注意訂閱方法要額外掛 EventListener 統(tǒng)計回調(diào)異常 }包裝器要注意一點(diǎn)NamingService接口方法不少包裝時容易漏。我建議用 IDE 生成委托代碼后逐個方法過一遍確認(rèn)每個方法都有統(tǒng)計埋點(diǎn)。漏掉的方法就是統(tǒng)計盲區(qū)后期排查問題時最怕這種“以為統(tǒng)計了其實(shí)沒有”的情況。3.3 事件聚合與輸出有界隊(duì)列 滑動窗口事件采集上來之后直接一條條打日志意義不大錯誤統(tǒng)計的價值在于聚合后的趨勢和分布。我的做法是內(nèi)存里維護(hù)一個滑動窗口聚合器按“錯誤類型 數(shù)據(jù)源標(biāo)識”做 key窗口內(nèi)累計次數(shù)、記錄首次和末次發(fā)生時間、保留最近幾條異常堆棧樣本。窗口大小設(shè) 1 分鐘每分鐘輸出一次聚合結(jié)果。隊(duì)列必須是有界的我設(shè)的是 10000 條滿了之后丟棄最舊的事件并記一個“統(tǒng)計丟棄”計數(shù)。這個丟棄計數(shù)本身也要暴露出來因?yàn)樗馕吨y(tǒng)計系統(tǒng)已經(jīng)跟不上錯誤產(chǎn)生的速度了這本身就是個嚴(yán)重信號。輸出目標(biāo)我配了兩個一個是結(jié)構(gòu)化日志方便 ELK 這類系統(tǒng)采集另一個是 Micrometer 的 Counter 和 Gauge直接對接 Prometheus 體系。如果團(tuán)隊(duì)用的是別的監(jiān)控方案把輸出層抽象成接口替換即可聚合邏輯不用動。注意聚合 key 里不要帶時間戳或隨機(jī)數(shù)否則窗口內(nèi)永遠(yuǎn)聚合不到一起統(tǒng)計就退化成流水賬了。數(shù)據(jù)源標(biāo)識用 dataIdgroup 或 serviceNamegroup 拼接即可保持穩(wěn)定。4. 實(shí)操落地從零搭一套可用的統(tǒng)計鏈路4.1 環(huán)境與依賴準(zhǔn)備假設(shè)你用的是 Spring Boot 3.x Spring Cloud Alibaba 2022.x 這套組合Nacos 客戶端版本在 2.2 以上。依賴上除了常規(guī)的spring-cloud-starter-alibaba-nacos-config和spring-cloud-starter-alibaba-nacos-discovery統(tǒng)計側(cè)我額外引入micrometer-core做指標(biāo)暴露如果不需要對接 Prometheus 可以不加。配置層面Nacos 客戶端有幾個參數(shù)直接影響錯誤統(tǒng)計的準(zhǔn)確性需要顯式設(shè)置。nacos.config.long-poll.timeout默認(rèn) 30000 毫秒這個值決定了長輪詢超時的判定閾值統(tǒng)計里判斷“超時類錯誤”就靠它nacos.naming.heartbeat.interval默認(rèn) 5000 毫秒心跳統(tǒng)計的采樣頻率和它對齊比較合理。這兩個參數(shù)不要隨意調(diào)小調(diào)小會增加服務(wù)端壓力調(diào)大則錯誤發(fā)現(xiàn)變慢保持默認(rèn)或根據(jù)實(shí)際網(wǎng)絡(luò)狀況微調(diào)即可。4.2 統(tǒng)計組件的裝配順序裝配順序有講究搞錯了統(tǒng)計會失效。正確順序是先初始化事件總線保證隊(duì)列和消費(fèi)線程就緒再裝配統(tǒng)計包裝器最后才讓 Nacos 客戶端開始工作。在 Spring 環(huán)境里這意味著統(tǒng)計相關(guān)的 Bean 要加Order或者用DependsOn顯式聲明依賴確保在 Nacos 自動配置的 Bean 初始化之前完成。我踩過一個坑一開始把統(tǒng)計包裝器做成普通 Bean結(jié)果 Nacos 的自動配置先跑完了NamingService已經(jīng)被注入到業(yè)務(wù)代碼里包裝器根本沒機(jī)會介入。后來改成用BeanPostProcessor在NamingServiceBean 初始化后做替換或者更簡單——用Primary聲明包裝器 Bean 并讓它依賴原始 Bean靠 Spring 的注入優(yōu)先級解決。兩種方式都行后者更直觀前者更通用。4.3 一個完整的錯誤事件長什么樣把上面幾塊拼起來一條完整的錯誤事件在聚合輸出時大概是這樣{ window: 2024-01-15T10:30:00Z/2024-01-15T10:31:00Z, errorType: CONFIG_LISTEN, source: application.yamlDEFAULT_GROUP, phase: RUNTIME, exceptionClass: SocketTimeoutException, count: 7, firstSeen: 2024-01-15T10:30:12Z, lastSeen: 2024-01-15T10:30:58Z, retryDistribution: {0: 2, 1: 3, 2: 2}, sampleStack: java.net.SocketTimeoutException: Read timed out\n\tat ... }這個結(jié)構(gòu)里retryDistribution是我特別加的一個字段它把“重試幾次后成功/失敗”的分布記錄下來。如果大量錯誤集中在 retry 0 就失敗說明是快速失敗型問題比如配置不存在、權(quán)限不足如果集中在 retry 2 到 3 才失敗說明是網(wǎng)絡(luò)抖動或服務(wù)端壓力大。這兩種情況的處理方向完全不同前者要查配置和權(quán)限后者要查網(wǎng)絡(luò)和服務(wù)端負(fù)載。4.4 告警閾值怎么設(shè)才不吵人統(tǒng)計做出來不用來告警就是自嗨但閾值設(shè)不好就是告警風(fēng)暴。我的經(jīng)驗(yàn)是按錯誤類型分檔配置拉取失敗INIT 階段出現(xiàn) 1 次就告警因?yàn)閱悠谂渲美坏交镜扔趹?yīng)用帶病運(yùn)行運(yùn)行期配置監(jiān)聽失敗5 分鐘內(nèi)累計超過 10 次告警注冊失敗連續(xù) 3 次告警心跳失敗10 分鐘內(nèi)失敗率超過 20% 告警。這些數(shù)字不是拍腦袋是結(jié)合 Nacos 客戶端的重試機(jī)制算出來的——比如心跳默認(rèn) 5 秒一次10 分鐘 120 次20% 就是 24 次失敗這個量級已經(jīng)明顯超出正常抖動范圍了。閾值一定要可配置不同環(huán)境測試、預(yù)發(fā)、生產(chǎn)網(wǎng)絡(luò)質(zhì)量不同同一套閾值套所有環(huán)境必然誤報。我一般把閾值放在配置中心里按環(huán)境隔離調(diào)整時不用發(fā)版。5. 常見問題與排查技巧實(shí)錄5.1 統(tǒng)計到了錯誤但業(yè)務(wù)無感要不要管這是最常見的情況也是新手最容易糾結(jié)的。我的判斷標(biāo)準(zhǔn)是看錯誤是否影響最終一致性。比如配置監(jiān)聽回調(diào)拋異常但下次配置變更時回調(diào)又成功了那這次異常可能只是瞬時問題統(tǒng)計上記錄但不告警但如果同一個 dataId 的監(jiān)聽連續(xù)多次失敗說明監(jiān)聽器本身有 bug 或者配置內(nèi)容有問題必須處理。注冊心跳失敗也是同理偶發(fā)失敗客戶端會重連持續(xù)失敗才意味著實(shí)例可能被摘除。所以統(tǒng)計系統(tǒng)里我專門加了一個“連續(xù)失敗次數(shù)”的計數(shù)器它比單純的累計次數(shù)更能反映問題嚴(yán)重性。5.2 為什么統(tǒng)計到的錯誤數(shù)和 Nacos 控制臺對不上對不上是正常的原因通常有三個。一是統(tǒng)計口徑不同客戶端統(tǒng)計的是“調(diào)用失敗次數(shù)”控制臺展示的可能是“最終失敗的服務(wù)數(shù)”一個服務(wù)重試 5 次失敗客戶端記 5 次控制臺記 1 個。二是時間窗口錯位客戶端按本地時間聚合控制臺按服務(wù)端時間跨時區(qū)或時鐘不同步時會有偏差。三是靜默重試客戶端內(nèi)部重試成功的請求控制臺根本看不到失敗記錄但客戶端統(tǒng)計里如果埋點(diǎn)在重試外層就會記成失敗。搞清楚這三點(diǎn)對賬時就不會一頭霧水。我的建議是統(tǒng)計系統(tǒng)以客戶端為準(zhǔn)控制臺只做趨勢參考。5.3 高頻錯誤把隊(duì)列打滿怎么辦隊(duì)列打滿說明錯誤產(chǎn)生速度超過了消費(fèi)速度這時候光加大隊(duì)列是治標(biāo)不治本。我的處理順序是先看是不是某個 dataId 或 serviceName 在瘋狂報錯如果是單點(diǎn)問題在聚合層做限流——同一個 key 在窗口內(nèi)最多記錄 N 條樣本超出部分只計數(shù)不存堆棧如果是全局性問題比如網(wǎng)絡(luò)整體不通那統(tǒng)計系統(tǒng)本身也救不了這時候應(yīng)該觸發(fā)熔斷降級讓統(tǒng)計層進(jìn)入“只計數(shù)不采樣”模式把資源留給業(yè)務(wù)。另外消費(fèi)線程的批量大小和消費(fèi)間隔也要調(diào)默認(rèn) 100 條一批、100 毫秒間隔錯誤高峰時可以臨時調(diào)大到 500 條一批減少消費(fèi)次數(shù)。5.4 常見問題速查表現(xiàn)象可能原因排查動作統(tǒng)計里 CONFIG_FETCH 全是超時網(wǎng)絡(luò)不通或 Nacos 服務(wù)端負(fù)載高檢查客戶端到服務(wù)端連通性看服務(wù)端連接數(shù)和線程池注冊成功但訂閱列表為空訂閱回調(diào)異常被吞或服務(wù)端返回空列表打開 Nacos 客戶端 DEBUG 日志確認(rèn)訂閱請求響應(yīng)內(nèi)容心跳失敗率突然升高客戶端 GC 停頓或網(wǎng)絡(luò)抖動對照 GC 日志和網(wǎng)絡(luò)監(jiān)控時間線統(tǒng)計事件大量丟棄錯誤產(chǎn)生速度超過消費(fèi)能力檢查是否有單點(diǎn)瘋狂報錯臨時調(diào)大隊(duì)列和批量同一配置反復(fù)監(jiān)聽失敗監(jiān)聽器邏輯有 bug 或配置格式不合法本地復(fù)現(xiàn)監(jiān)聽回調(diào)檢查異常堆棧5.5 幾個只有踩過才知道的細(xì)節(jié)第一個細(xì)節(jié)Nacos 客戶端的本地快照機(jī)制。配置拉取失敗時客戶端會嘗試讀本地快照如果快照存在且可用業(yè)務(wù)可能完全正常但統(tǒng)計里會記一條失敗。這種情況不要急著告警先確認(rèn)快照是否生效——如果快照兜住了說明是服務(wù)端暫時不可用但客戶端有降級屬于可容忍范圍。我在統(tǒng)計事件里加了個fallbackToSnapshot標(biāo)記專門區(qū)分這種情況。第二個細(xì)節(jié)長輪詢的連接復(fù)用。Nacos 客戶端的長輪詢用的是 HTTP 長連接連接池配置不當(dāng)會導(dǎo)致連接耗盡表現(xiàn)出來是大量超時錯誤但根因在連接池不在 Nacos。統(tǒng)計到超時錯誤激增時順手看一眼客戶端的 HTTP 連接池指標(biāo)能省不少排查時間。第三個細(xì)節(jié)多環(huán)境多 namespace 下的統(tǒng)計隔離。如果應(yīng)用同時連了多個 namespace比如灰度場景統(tǒng)計 key 里必須帶上 namespace否則不同環(huán)境的錯誤會混在一起趨勢圖完全沒法看。這個字段加在事件結(jié)構(gòu)里成本很低但漏了后期補(bǔ)很麻煩。6. 統(tǒng)計之外把錯誤數(shù)據(jù)用起來統(tǒng)計本身不是目的目的是讓錯誤數(shù)據(jù)產(chǎn)生行動。我在實(shí)際項(xiàng)目里把這套統(tǒng)計接了兩個下游一個是值班看板按錯誤類型和數(shù)據(jù)源做 TOP N 排序值班同學(xué)一眼能看到當(dāng)前最需要關(guān)注的問題另一個是變更關(guān)聯(lián)分析每次發(fā)布或配置變更后自動對比變更前后的錯誤分布如果某類錯誤在變更后顯著上升自動在變更記錄上打標(biāo)提示。后者幫我抓到過好幾次“配置改錯導(dǎo)致監(jiān)聽失敗”的問題比人工比對效率高太多。還有個小技巧值得分享統(tǒng)計事件里保留的異常堆棧樣本不要只存第一條按異常類去重后各存一條。因?yàn)橥粋€錯誤類型下可能有多種異常類只存第一條會漏掉其他類型的信息。存儲上做個簡單的 LRU 去重即可成本很低但信息完整度高很多。這套東西搭起來大概兩三天工作量但省下來的排查時間是以周計的。尤其是服務(wù)規(guī)模上去之后靠人肉翻日志定位 Nacos 相關(guān)問題基本不現(xiàn)實(shí)有一套結(jié)構(gòu)化的錯誤統(tǒng)計打底很多問題在冒頭階段就能被看見。我個人的體會是可觀測性建設(shè)里最容易被低估的就是這種“客戶端側(cè)主動埋點(diǎn)”它不像鏈路追蹤那么顯眼但針對性強(qiáng)、落地快投入產(chǎn)出比相當(dāng)高。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲第一狼人丝袜美女另类| 少妇一区二区三区在线观看| 成人草草视频| 久久婷婷亚洲| 久久久久久久性爱| 五月婷婷hd| 久久精品毛片免费不卡| 女生看匆91网站| 麻豆人妻精品一区二区| 日本欧美一区二区三区免费| 亚洲青青草| www.久久99| 97超碰中文在线| www.高清无码诱惑一区.com | 午夜精品久久久久久久99| 亚洲精品xxx| 精品无码一区二区人妻久久蜜桃| 在线岛| 91黄射| 天天综合网在线| 强奸乱伦日韩AV| 9Ⅰ老熟女| 中文字幕人乱码中文字的预防方法 | 六月丁香五月婷婷| 成年人黄色小视频网站| 久久男人天堂| www.久久超碰| 加勒比伊人综合| 九九激情网| 久热精品在线国产| 1240青青草一区二区三区视频天爱| 你草精品在线视频| 天堂岛av| 99操视频| 婷婷天堂站| 国产日逼视频| 91啪啪| 激情视频一二三| 亚洲图片 91| 无码乱人伦中文视频| a片久久久久久久久久久久 | 一区二区三区四区免费视频| 成人小说另类在线| 国产精品美女视频诱惑| 久久精品国产亚洲AV先锋| 国产精品一区二区三区在线| 综合亚洲欧美| 成人性交免费视屏| 偷拍亚洲视频一区二区三区四区| 久久人妻一区二区三区高清| 天天在线91| 欧美在线干| 男女性扦B| 色香伊人| 日韩精品午夜操呦呦不卡影院| 久久久96精品| 91n欧美| 丁香九月婷婷| 日韩高清黄片| 在线人人人人人人精品超| 东京热男人的天堂精品| 亚洲在钱| 91热色| 亚洲黄片免费在线播放| 青青草原人妻| 超碰2017| 五月天婷婷激情| 日日A∨| 色色毛片| AV一二区| 国产亚洲99久久精品熟| 人妻日日夜夜精品| 久久综合婷婷| 中国91AV| 蜜臀网 一区| av资源在线播放天堂| 91男人综合| 精品一区二区成人动漫| 最新AV在线| 天天做天天爱天天高潮| 超碰色综合| 久悠悠av| 国产精品第一区第一页| 做爱福利视频一区二区| 人人操我人人干| 久久97资源 网| 免费福利视频中文字幕| 香蕉色网| 久久五月丁香| 国产精品人妻免费精品| 欧美 传媒 麻豆 日韩 偷拍| 欧美伊人久久综合网| 欧美国产一区二区三区麻豆传媒| 操逼1区| 亚洲天在线| 裸体美女免费看网站青草| 国产精品视屏| 成人热久久精品| 在线播放一级无码视频| 亚州欧美综合| 色综合99| 成人免费看吃奶视频网站| 色眯眯av| 黄色污污污污污污网站| 囯戸精品高潮呻吟旡码| 很狠操| 人人天天欧洲| 蜜桃视频成a人v在线| 亚洲人妻熟妇三十三区| 日本护士高潮| 一级毛片电影免费看| 殴洲老熟女| 亚洲码专区| 欧美成人一级麻豆| 天天爽入口| 天天操女人| 无码高清专| 777超碰| 天天综合网~91入口| 久久这里都是精品| 岛国色情视频在线观看| 99热销国产这里有精品| 77国产精品| 精品一区二区啪啪啪| 中字幕人妻一区二区三区| 日韩精彩视频| 爱欲AV| 久久久激情| 少妇人妻好深太紧了vr91| 欧美色亚洲色| 韩日巨乳美女免费视频在线观看| 久99久视频| 一线黄色免费性爱片| 99精品免费| 91在线秘 男同| 亚洲丝袜诱惑| 熟妇色99| 搡老女人老熟女91老熟女综合网| 夜夜嗨一区| 岛国黄| 国产成人无码高清| 日韩精品一区二区日韩| 啊操爽品善一区二区三区| 九九国产| 免费观看一区| 99精品成人免费看| 久久婷婷精品| 美女91在线观看| 精品无码一区二区三区| 欧美亚洲一区二区久久久婷精品大包诱| 搡老熟女免费视频 | 亚洲av强奸乱伦| 人妻丝袜二区| 欧美一区二区成人一卡| wwwcaobibi| 好属操| 欧美少妇性乱| 少妇精品久久久八区九区| 欧美色图片91| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 丁香五月天激情网站| 992这里有精品| 97超级欧美| 一二三区操逼国产91| 欧美性天天影院| 久久中出在线| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 国产精品制服丝袜清纯唯美| 高清一区AV无码| 天天日天天搞天天干| 亚洲无码偷拍| 青椒国产97在线熟女| 亚洲人妻在线一区| 制度丝袜99| 萌白酱自拍视频| 美中日韩无码| a久久| 天堂精品在线| 欧美狠狠弄| 夜夜爽爽夜夜精品视频| 老司机福利社视频在线观看| 欧美 传媒 麻豆 日韩 偷拍| 欧美亚洲高清不卡| 91成人亚洲色图| 97伊人| 日韩肏逼视频| 亚洲一级性爱视频免费看| 久草免费在线一区二区| 俺去也婷婷| 天美一二三在线观看Av| 狠狠干妹子| 天天影视亚洲| 欧美日本中字另类在线| 亚洲九区| 啊啊啊啊啊在线视频| 欧美亚州色的图| 欧美 亚洲 第一页| 久久黄色性爱视频| 亚洲天堂人妻一区二区| 欧美在线色| 亚洲国产一级黄色视频| 久久 国产 无码| 91操熟女| 亚洲日韩成人性爱视频| 97超碰碰碰| 天海翼久久| 不卡日本一区二区| 免费A V在线| 秋霞男人网| 久久久久久久久女黄| 国产黄色视频久久| 国产女上位好爽在线| 超碰久久精品| 美女视频尤物网在线看| 九九热精品视频在线观看| 天天综合网AV91| 91综合色噜噜| 婷婷在线播放| 久久激情四射婷婷丁香五月天| 中文乱码字字幕在线第5页| 新版天堂中文资源8在线| 97超碰天天爱天天爱| 久久精品操| 精品视频免费在线一区| 久久这里只有精品9| 欧美中出1| 精品乱码久久久久| 99久国产精品午夜性色福利| 91亚洲不卡一区| 肥佬影院91| 国产超碰人人操| 锕锕好爽 死我在线观看| 亚洲国产精品V?在线播放| 日韩久久三区| 一区二区视频在看| 日韩精品99999| 狠狠爱夜夜| 996热| 日日干日日摸| 久综合网| 狠狠爱大香蕉| 久操视频免费在线观看| 人人操人人色人人摸| 美女91网址| 无色无码| 96精品久久| 日韩无码嘿咻黑热久| 91骚熟女| 大香网伊人久久综合网eew| 天天操夜夜操狠很操| 天天综合网AV91| 亚洲国产成人精品无码专区| 男人成人黄色视频在线观看免费下载| **一级毛片国产| 校园春色亚洲色图| 狠狠操一区二区| 中文字幕一区二区在线日韩精品| 日韩精品系列| 亚卅熟女乱色| 欧美色图99| 日本福利社| 在线毛片片免费观看| 日韩啪啪啪视频| 天天躁日日躁AAA片李宗瑞| 欧美在线中M| 亚洲精品官网在线观看| 99在线啪| 中文一区二区三区影院| 久操操| 国产 三级自拍| 亚洲综合首页| 日本 情色 1区2区3区| 麻豆视频test| 色噜噜精品一区二区三| 天天伊人| 操老熟女AV| 99热亚洲天堂| 乱老女人一区二区视频| 国产精品麻豆成人av| 青青草白白色| 伊人97超碰| 把腿张开老子CAO烂你| 亚洲欧洲激情卡通另类文学四射小说网站 | 国产亚卅97| 日本性爱不卡视频| 人人超碰在线观看黄| 亚洲色图欧美视频| 亚洲欧美日韩免费电影| 黄色交缠性感爆操91国产精品免费一区二区三区| 精品一区二区三区蜜桃臀赵总 | 黄色视频60分钟| 亚州综| 久久久久96| 中文字幕十五区| 五月婷丁香| 亚洲综合一区二区| 午夜福利视频在线一区| 蜜臀久久99精品久久久久| 91高清日| 国产视频97| 少妇蹲下买菜露大唇0| 亚州 综合 色图| 欧美美女在线高潮999| 欧美性天天影视| 97爱亚洲| 欧美综合1性辶| 区一在线观看| 日操粉逼逼| 色狠狠 - 百度| 国产欧美精选自拍一区| 久久精品日韩| 久久亚洲AV无码专区国产精品| 操逼日批| 911av网站免费观看| 人人操人人摸人人看人人插| 欧美v亚洲v综合v国产v妖精| 无码不卡八戒| 日本丝袜人妻内射| 欧美专区日本专区| 久久xxxx| 91久久精品蜜臀| 老色69| 久久大线蕉一区| 亚洲欧美日韩电影网站一区 | 欧洲亚洲国产综合在线| 亚码人妻| 呻吟 欧美 日本 中出| 91狠狠狠| 91福利网在线观看| 6080YYY午夜理论片在线观看| 免费的黄片有限公司| 日韩av一级黄片| 99久久精品国产高潮| 九九综合久久| 少妇人妻精品| 大茄子熟女AV导航| 国产亚洲福利第一页丝袜| 激情抓乳插进去啪啪啪日韩 | 日本三级小说中文字幕| 麻豆精品三区视频| 国产一区在线播放| 人妻中文字幕精品无码 | 特污免视频| 蜜桃视频一区二区三区| 91黄站| 乱伦1色页| 精品国产乱码久久久久久网站入口| 成人性交午夜免费片| 97精品在线视频| 国产成人自拍视频视频| 99性爱| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 亚洲精品一二区| 色999五月色| 久久亚州高清| 97超碰9| 亚洲最新中文字幕免费| 啊啊啊好湿国产一二| 日本 情色 1区2区3区| 无遮挡男女激烈动态图| 青青操97| 欧美三级免费伊人| 久久久久国色αv免费观看| 日本韩国国产精品一区| 中文字幕五区| 亚洲色图日韩丝袜制服一区二区五月在线| 久久无码一区二区二三区性色| 影音先锋国产精品| 国产热av| 日韩 欧美 另类 人妻| 熟女中出视频| 黄片www视频免费| 超碰av人人人| 欧色网址| 日本三级黄页| 欧美日韩久久精品爱爱| 五月天婷婷小说| 欧美在线大香999| 女人喷水视频在线观看| 97在线青| 超碰成人最新最好看| 小草av不卡亚洲二区| 亚洲 小说 欧美 激情 另类| 久久免费看高潮毛片韩国| 91熟女丨老女人| 毛片电影一区二区三区| 久热这里只有精品9| 丰满的三级少妇欧美久久久| 五月天日日操夜夜操| 999岛国大片| 欧美亚洲色的图| 亚洲成人久久美女| 一二区在线观看视频| 久久久精品91八戒| 九九九九九精品十六| 国产福利在线视频网站| 91精品久久久久久77777| 欧美性巨大╳╳╳╳╳高跟鞋| 久久精品中文字幕女同| 国产AV高清AV无码| 精…码一二三区| 麻豆区99999| 操操吧亚洲乱伦视频| 99蜜桃臀亚洲成人在线观看| 成 人片 黄色大片| 黑丝制服中文字幕| 性色avv| 免费又黄又裸乳的视频| 美中韩AV综合网| 麻豆天美AV传媒第一页| 亚洲成人日韩小说| 精品九九九九九九九| 日韩操p| 国产一| 99精品在线播放| 蜜臀久久99精品久久久电影| 蜜桃久久久久久久| 激情干在线| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 爱妻综合网| 五月天婷婷色| 2017人人操,人人摸| 久久激情四射婷婷丁香五月天| 日韩激情中文字幕有码| 久久久精| 日韩天堂av电影在线观看| 综合久久久久久久综合网| 51一区二区三区| 99久久com免费视频′| av网页一区二区三区| 久草老司机| www.超碰| 人人摸.人人色| 加勒比综合a∨| 色狠狠综合| 国产强奸乱伦第1页| 欧美激情欧美精品| 97色婷婷| 国产传媒午夜理伦精品| 日韩电影中文字幕| 亚洲电影中字一区二区| 97干综合网| 1024亚洲中文字幕久在线看片你懂的| 秋霞蝌科网日本一区| 啊啊啊啊嗯嗯在线久久久| 嗯嗯,啊啊,国产精品| 国产操伦| 国产精品99999| 1024午夜激情男人的天堂| 蜜桃成人1区2区3区| 黄色欧美性爱视频| 在线观看成人性爱免费小视频| 精品对白久久不卡| 激情综合网一盗摄| 国产精品熟女AV中文字幕在线播放| 中文字幕一区电影在线观看| 电家庭影院午夜69久久夜色精品国产69乱 | 午夜福利视频在线一区| 鸥美中出| 五月天AV资源| 极品丝袜无码| 亚洲天堂区| 九色精品视频导航1| 麻豆国产视频精品观看| 亚洲欧美天堂| 国产久久久久久| 干妹子| 中文字幕伊人| 国产亚洲日本| 久热久| 伊人大香蕉在线| 亚洲AV成人在线| 每日更新AV| 艹少妇网站| 在线a亚洲视频播放在线| 欧美亚洲丝袜人妻制服中文99| 99热99re6国产在线播放| 国产25页| 欧美日韩亚洲高清不卡一区二区三区| 偷拍欧美激情| 中文字幕在在线观看网站| 成人国产精品三级A片| 黄色性爱网网| 蜜乳av首页| 99视频内射三四| 超碰国产在线| 麻豆黄色五月天| 欧美日韩夜夜| 中文字幕综合人妻| 无码九九九九| 久操免费观看| 天美传媒AV在线播放| 97在线观看免费| 国产精品乱码久久久久久| 后入福利视频| 欧美在线天堂| 中文字幕精品一区二| a男人的天堂久久一级A毛片| 草草影院最新网址| 一区二区娱乐网站| 日韩三级视频一区二区三区| 色综合潮| 一区二区三区高清| 中文字幕在线观看永久| 中文字幕狠狠玩| 六月丁香网| 69综合网| 久热精品在线| 久久的免费性爱视频| 国产理论视频在线播放| 人妻天天操天天爽视频免费| 秋霞男人网| 999熟女精品| 欧洲自拍第一页| 日韩成人高清一区二区| 国产超碰人人操| 日本不卡二三区| 久久久久久少妇| 无码人妻一区二区三区色欲aⅴ| 狠狠操官网| 97免费在线视频在线观看| 青青草久久| 翔田千里AV无码秘 三区| 久久一区二区三区入口| 亚洲中文电影| 欧美组图日韩亚洲中文字幕| 亚洲精品视频在线| 国产精品乱码久久久、久久| 人妻精品视频一区二区三区| 我要看免费韩日黄片| 9 9无尺码天堂网| 日韩熟女操逼| 丝袜美腿诱惑亚洲欧美视频在线观看| 91男人天堂网| 操逼操网| 九九九不卡| 日本国产成人亚洲精品无码| 99re在线精品78| 亚洲色系另类精品国产| 天天看片天天爽| 思思热国产高清| 欧美性,亚州色| 超碰在线人妻中文字幕| 91欧美美女日韩国产婷婷| 国产最火爆久久国产网站网站| 欧美大香蕉97| 夜嗨影院| 深喉吞精| 日本不卡卡一区| 人人干人人操人人爱| 日韩精品9999| 园内精品自拍视频在线播放| 国产一区二区三区不卡手机在线| 免费av在线播放二区| 久草看看看| 尤物视频网 刘玥| 欧美亚洲第1页| 亚洲va综合va国产va中文| 日本女人久久久| 日韩人妻网站| 肥臀熟女一区二区三区视频| 狠狠色综合网| 色在线综合| 久久伊人东京热| 在线只有精品| 韩国一级AAA| 97超碰欧美中文字幕| 麻豆国产视频精品观看| 亚洲乱码国产乱码精网站| 六九九九| 秋霞怕怕片| 久操97| 东北操逼| 超碰午夜| 大香蕉狠狠爱| 丁香五月影院| 十八禁成人网站在线观看| 久久国产精品91| 欧美色院| 校园春色五月天| 97综合久久| 精品无码久久久久久久杏吧| 久久精品一区二区三区四区五区| 亚洲色图欧美激情| 九月色婷婷| 啪啪免费| 久久精品 六十路 熟女 欧美| 久久av无码| 精品人妻一区二区免费蜜桃| 看大黄色大片原件| 极品出轨视频网站| 神马久久久久眼| 久久天天摸| 人妻美腿丝袜制服诱惑综合天堂-| 久久欧洲| 肉丝中文无码高清| 躁躁躁日日躁2020| 久久久久9| 福利操逼| 伦伦成年午夜免费视频| 国产精品探花在线| 伊人影院中文字幕| 国产成人拍国产亚洲精品| 加勒比海成人视频网| 中日亚韩免费视频| 欧美操人视频| 国产美女自拍AV| 九九探花视频在线观看| 极品美女嘿咻| 欧美精品偷拍| 人妻啊啊人妻啊| 日本网色| 97五月天| 在线观看十八禁| 另类小说五月天| 国产激情av女片自拍| 乱伦图av| 欧美黄片欧美黄片xxx| 中文字幕亚韩| 超碰91在线| 97爱免费插| 青青草伊人久久| 熟妇人妻一区二区| 91美女看B| 熟女熟妇伦久久影院毛片一区二区| 国产和美国毛片| 中文日韩欧美熟| 中文字幕视频二区| 亚洲**2021在线观看| 国产精品久久久久久久久久久久| 在线αⅴ| 国产尤物AV尤物在线观看不卡| 日韩黄色一区二区三区| 综合婷婷| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 在线中文字幕极品av| 乱伦熟女区| 尤物av网站| 久久是精品| 亚洲人天堂| 男人高清无码一区二区| 亚洲天堂男人在线| 嗯嗯啊啊好疼| 精品国产乱码久久久久久网站入口| 在线毛片片免费观看| 999亚洲国产视频| 男人的天堂啪啪啪啪啪蜜桃不卡| 久啪| 免费在线看黄片av| 丁香婷婷久久| 99国内熟女露脸视频| 在线观看中文字幕| 91精品无码人妻系列| 日欧美色| 亚洲色图图片| 午夜福利 成人 91| 国产对白刺激视频| 久久久久13| 精品96久久| www国产无码| 国产精品一区二区黄片| 黄色大片一区二区密桃丝袜| 成人青青草原伊人| 一区三区啪啪| 操91| 岛国在线一区二区三区| 久久亚州高清| 97啪啪| 精品国产乱码久久久久久影片| 在线观看精品国产免费| 精品久久久久久久久久久久| 国产精品人妻无码久久久老鸭窝 | 九九九九免费高| 成人性爱免费播放| 啊好大好舒服| 91免费看一区二区三区 | 国产精品制服丝袜清纯唯美| 超碰天天操| 亚洲图片日本AⅤ欧美在线| 天天摸夜夜摸| 亚欧毛片基地国产毛片基地| 午夜天堂网| 吉田爱美AV在线| 97在线免费| 97久久超碰国产网站| 日本韩国国产精品一区| 欧美激情超碰777| 日韩免费一级性爱视频| 97高清啪啪| 蜜乳Av成人片网站| 91精品国产综合久久久蜜臀| 91亚洲高清| 91色图片| 中字幕人妻一区二区三区| 北条麻妃99精品青青久久| 1000部熟女视频在线观看| 欧美综合色站| 亚州AV无码国产精品| 色网亚洲人| 麻豆亚洲Av成人无码一区精品| 五月丁香激情四射| 久久亚洲不卡一区二区三区| 国产理论视频在线播放| 蜜区区视频79 | 国产成人手机视频激情| 中日韩久久久免费看| 91丝袜美女国产| 国产粉嫩蜜臀av一区二区三区| 一区二区三区四区久久视1| 欧美成人午夜免费福利785| 色悠久| 国产偷人妻精品一区二区在线| 免费久久精品麻豆一区二区av| 欧美91精品国产自产| 成人七区| 好吊色综合| 日本精品人妻少妇一区二区| 亚洲欧洲精品视频发布| 蜜臀久久99精品久久久电影| 大香蕉青青9| 91美女在线精品视频| 日韩人成网站在线播放| 久久精品熟妇丰满人妻99| 青青草成人视频在线观看二区| 亚洲久热| 欧美午夜一区二区三区| 天天看天天干| 一本色道综合久久欧美日韩精品| 美女主播色欲91抠b在线播放| 99色在线| 久久久成人国产精品无码| 欧美自拍偷拍综合图片| 九九九九九精品视频| 欧美A√综合网| 欧 美 自 拍 偷 拍| 久久精品店| 91丝袜人妻| 97超碰色中文字幕| 亚熟hd视频在线| 亚洲丝袜B诱惑| 久草精品热视| 国产性爱在线视频一区二区| 国产乱子伦久久精品综合一区二区三| 午夜视频久久久| 久久久久婷婷精品av电影| 91高跟美女在线播放| 欧美日韩人人早| 91综合天天看| 日韩二区三四区五区六区在线看| 粉嫩AV输入| 9/A片 | 岛国视频一二三区| 人妻熟女一区二区三区视频| 欧州激情视频在线一区二区| 97日视频| 欧美97视频| 日韩免费福利在线观看| 亚洲无无码αⅴ每日更新| 九九九九九九九九九九九免费国产| 校园春色欧美| 女同性恋久久| 欧美少妇高潮| 3571色综合一区二区二区| 老鸭窝成人免费毛片视频| 婷婷在线播放| 久操视频在线观看| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 骚日日av| 任你爽视频| 久久伊人最新网址视频| 97这里都是精品| 男人a天堂手机在线版| 自拍偷拍 日韩无码| 欧美伦乱| 男人的天堂激情| 大香焦A片| 蜜桃久久久久久久久久久久| 综合操逼| 玖色av| 久操高青| 手机看av网站在线看| 91成人无码| 亚州欧美综合| ?亚洲伊人伊成久久人综合网| 密臀在线视频| 精品人妻一区二区三区夜夜| 女人高潮大叫一级毛片| 少妇熟女1区2区3区| 精精夜夜| 岛国成人av在线播放网址| 国产又黄又粗又猛大片| 亚洲97网站| 动漫片子网站3黄| 天天日少妇逼AV| 亚洲av综合色区无码一| 免费的黄片有限公司| 欧美激情区| 亚洲第一男人天堂| 天天摸夜夜操视频| 国产农村妇女精品一二区| 九月婷婷久久| 玖玖在线视频| 日韩中文字幕视频在线观看| 人人操人人舒服| 久操97| 农村女一级毛卡片| 亚洲视频精选| 欧美色九九| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 色综合99| 人妻天天操天天爽视频免费| 欧美日韩国产在线| 美女刺激久久国产欧美| 婷婷综合激情| 成人在线日韩| 久久思思热| 999在线电影香蕉| 精品人妻1237| 麻豆性爱视频在线播放| 东北女人| 天天影视网色欲色香| 天堂av最新电影网| 久久香蕉国产线看观看亚洲女人 | 欧美色综合影院| 五月丁香啪啪| 国产不卡片| 最新av在线| 超碰导航97| 亚洲成人激情小说视频| 国产操伦| 婷婷成人五月天| 秋霞男人网| 99精品丰满人妻无码| 无码78| 无码高清专| 欧美性天天影视| 亚洲欧美日韩国产丝袜自拍中文| 亚洲骚男同com| 日韩熟女操逼| 99热综合| 亚洲综合 欧美| 久久男人天堂| 久久老子无码午夜伦不卡| 大鸡吧尹人在线| 日韩91网| 国产精品黄色三级av| 蜜臀久久99精品久久综合| 中文字幕AV片| 91综合熟女| 久久精品久久九九精品| 天天做天天爽| 亚洲欧美内射| 亚洲啪啪视频一区二区| 超碰性爱97| 亚洲另类春色| 淫妻综合网| 人人操人人操人妻人| 十八禁成人网站在线观看| 嗯嗯啊啊操死我| 啊啊啊啊操死我| 99热最新| 99999久久精| 高清国产av无码| 91插B网站| 久久精品国产免费观看99| 污污污8888| 天天射日日干| 欧美久久草熟女| av大香蕉| 91精品老女人| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 亚洲中文电影| 日本免费一级AAA大片器| 在线99热| 精品对白久久不卡| 9999免费精彩视频| 欧美日韩中文字幕不卡| 婷婷深爱五月| 久久久久久无码人妻中文字幕| 日本超碰色精品| 亚洲综合码| 精品一区二区三区国产 | a男人的天堂久久一级A毛片 | 殴洲老熟女| 午夜理论片在线观看免费| 2019男人的天堂| 亚州精人品大香蕉| 看免费一级在线播放毛片| 97色涩| www.yw尤物| 大屁股人妻女教师撅着屁股| 国产丰满少妇久久久精品影院| 国产一区自拍欧美日韩| 亚洲天堂少妇| 欧美综合97www| 404操逼福利视频| 91啪啪| 亚洲性刺激| 五月天综合网| 日韩一区二区高清在线观看的| 欧美在线亚洲| 第二页中文字幕| 色五月婷婷中文字幕| 人人操人人干xxx| 97操97干| 蜜臀AV成人精品蜜臀| 射 色综合| 柠檬AV导航| 亚洲中文国际强奸字幕| 天天做天天爱夜夜爽毛片试看| 天天在线91| 97超碰这里只有精品| 91国产大片| 欧美不卡在线美女| 色五月婷婷五月天| 日韩人妻一区二区精品| 国产一级特黄大片处女| www熟女乱伦com| 麻豆美女丝袜人妻中文| 青青久日| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 大香蕉国产中文自拍| 久久久精品成人国产| 手机看av网站在线看| 成人5码视频| 97任你吞精| 操逼操操操91| 久久麻豆一区二区| 欧美 亚洲 综合 制服| 无码免费一区二区三区啪啪| 韩日精品四区| 台湾佬中文娱乐自偷自拍| 天堂日本亚洲欧美| 伊人97色天使| 另类视频在线| 超碰 欧美| 国产91 丝袜在线播放00-百度| 超碰人妻久久| 在线中文字幕| 国产精品一区二区三区,亚洲综合| 免费的黄片wwwwww| 国产精品一区人妻精品阁在线| 美女超碰978| 日韩中文字幕2020| 亚洲丝袜二区在线| 中文字幕av亚洲精品| 亚洲一曲日韩精品| 久久性爱城| 亚洲天堂自拍| 久久久性少妇| 免费αV在线视频| 激情综合婷婷| 亚洲吊色| 97天天日| www狠狠| 免费亚洲国产精品久久一区| 超碰78| 国内自拍 日韩激情 99| 精品国产一区二区久久| 四虎av在线| 性影在线视频| 大香蕉色网| 啊啊啊啊啊啊在线观看| 人人射人人操人人摸| 97超碰日韩| 一级黄色视频网| 日本加靬比网站发布页| 97精品一区二区三区免费| 国产高清在线观看欧美| 人人摸人人干| 国产二区三区免费视频| 天天日日夜夜| 日日玩天天干| 国产人妻天天干精品| 四虎在线播放| 日韩人妻播放| 99热日| 国产精品蜜乳AV| 亚洲少妇激情一区二区三区| 91影库| 亚洲中文字幕一区| 亚洲黄网在哪免费看| 欧美在线55555| 中国国国产一级特黄毛片| 四季av一区二区凹凸精品小说| 亚洲中文日韩欧美大香蕉视频| 日本加勒比无码专区一二三| 国产超碰人人爽人人做| 国产美女高潮视频| 欧美激情总合网| 曰韩中文人妻视频| 97欧美色资源| 99碰碰| 84YTCOM性无码| www.99热在线只有精品| 岛国免费黄色网址| 亚洲一本色码中文字幕| jizzjizz欧美| 女优大全 - 91n| 欧美97视频| 久久久婷| 伊人久久综合影院| 超碰97资源网亚洲| 超碰三级秋霞| 爱av免费| 蜜臀久久99精品久久久| 96久久久精品| 精品四五区| 在线观看黄色电话| 午夜男女爽爽爽影院视频| 清清一区二区三区四区不卡视频| 三级网色| 污污汅18禁网站在线永久免费观看 | 久久精品中文| 日韩精品.久久精品.AV女优.天美传媒| 国产一区二区三区久久久精品| 亚洲天堂男| 在线观看午夜婷婷久久久久清性观看| 激情五月天丁香| 播播亚洲小说亚洲| 日本国产亚洲一区在线观看| 精品久9| 欧美精品,四区。五区| 亚洲丝袜色图| 免费农村成人少妇人妻Aa一区二区视频 | 少妇诱惑视频| 国产精品自在自拍视频| 日本韩国国产精品一区| 伊人国产成人av网站| 色香天天| 日韩综合97p| 人妻激情视频| 精品美女少妇一区二区| 激情四射婷婷六月天| 国产免费一区| 久热99999| 干b网| 南澳成人一级片在线播放| 精品久久久一本一道| 欧美少妇高潮视频| 亚洲资源吧| 老司机福利青青草| 少妇综合| 17c在线成人免费A片观看| 亚州操逼图| 日本肏逼视频在线观看| 久久精品国产精品亚洲艾通辽熟妇 | 白天啪啪晚上啪啪视频| 国产熟女乱论| 熟女精品一区二区三区| 五月天大香蕉| 91中文精品日韩欧美在线| 欧美青青草视频| 午夜噜噜噜| 亚洲一区在线观看欧洲 | 中日韩久久久| 国产67194| 99精品网| 很黄很污的免费网站| 亚洲精品 欧美精品| 好吊色青靑草| 人人操,人人插| 激情专区综合| 国产精品农村妇女| 2020中文在线一区二区三区| 超碰在线成人| 欧美日韩少妇色情| 日日爽熟女| 中文字幕一区二区三区高清| 五月丁香六月婷| 日韩78m视频| 一区二区中文| 亚洲春色欧美激情自拍| 五月天啪啪| 91熟女视频网| 免费公开人人操| 农村妇女一级二级三级视频| 校园春色AV天堂| 亚洲综合欧美| 欧美aaaaaaa| 九九在线精品| 久久一二三四不卡| 国产丝袜美女在线一区| 午夜丁香| 亚瑟国产精品久久无码| 熟女精品一区二区三区| 无毛精品| 免费的很黄很污的全部视频| 蜜色网色哟哟| 欧美日韩资源| 超碰在线91| 蜜屁Av| 日本中文字幕在线电影| 狠狠干妹子| 久久原创中文| 国产福利一区二| 手机av天堂久久久久| 免费视频一二三区| 国人欧美精品一区二区| 玖玖无码超碰| 丁香五月天堂网| 97免费在线视频| 97玖玖人妻| 无码一区二区精品视频久久久春药 | 91在线美女| 午夜视频久久久久一区| 中文字幕女同在线| 国产 三级自拍| 欧美不卡五十路| 福利天堂| 亚洲男人天堂Av| 久久久久久亚洲Av无码精| 4虎在线视频| 操逼日韩无码| 免费看黄片现成| 日韩国产九九精品一区二区三区毛片| 717影院理论午夜伦八戒| 91色狼| 夜夜做夜夜爽精品视频| 久久久久免费少妇| 中文字幕一二区二三区人妻专区| 91碰碰| 91人妻视频在线| 成人丁香五月| 欧洲精品一级二级精品综合视频综合| 性老妇一区二区三区| 国产67194| 乱伦a片视频| 青娱乐91| 91n.欧美| 碰人碰碰人人开房人肉| 久久嫩草国产成人一区| 毛片电影一区二区三区| 国产精品露脸在线观看| 中国熟女网站| 中文字幕丝袜人妻| 懂色AV一区二区三区| 思思在线免费视频| 成人性爱视频在线看| 国产偷人伦激情在线观看| 久久一区二区蜜桃| 操逼无毒无码免费视频| 人妻在线大香蕉| 久久久久9999妇女| 日韩钢筋无码高清啾啾啾| 国产成人资源| 亚洲色图超碰在线| 亚州情色j区| 色啪网| 国模限制级电影| 麻豆2区1区天美| 人人透人人操| 亚洲激情av| 97香焦色区| 狼人综合婷婷激情四射 | 激情无码日韩| 久久精品美女一区| 国产精品青草综合久久| 99热在线播放| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 |