色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产老太乱伦一区| 91情色| 青青色综合| 亚洲全色网| 中文字幕在线观看丝袜| 青草精品视频-日本久久久久网站| 国产免费一区在线观看| 青青草好吊色| 激情文学欧美| 女人午夜视频777| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 丁香五月天啪啪| 欧美性爱一区二区三区| 69精品在线| 中文字幕日韩电影人妻| 青青草在线视频播放器| 欧美天天拍| 久久久久国产精品喷潮免费观看臀 | 美女的肌被草喷水视频| 久久九九99| 亚洲精品中文字幕一区在线视频| 国产综合在线视频网站| 亚洲欧美日韩中文播放| 免费视频在线一区二区不卡| 天天操天天7| 色情五月婷婷| 一级特级aaaa毛片免费观看| 色情五月综合婷婷| 国产一级特黄大片处女| 日本二三四区| 9999九九九久久久| 欧美亚洲性爱一区二区| 国产精品无码论坛| 亚洲宅男天堂| 九久久九精品视频| 久久久com| 久久99午夜精品一区人妻| 色欲三区| 免费精品中文字幕| 黄色av一区二区在线| 精品国产91av一区二区三区| 久久精品国产99精品亚洲蜜... | 国产成人综合网| 嫩草影院在线观看精品| 自拍偷拍 高清无码| 试看60秒 爽| 欧美综合网A| 91精品国产一区三一| www.acm成人黄色毛片| 热天堂一区二区| 91女人的网站| 91成人国产综合久久精品蜜月| 成年女人18级毛片毛片免费观看| 青青草精品| 大香蕉手机视频| 色色色色综合网| 五月天激情小说| 风流老熟女一区二区三区l| 人人摸人人叼| 色综合久久888| 狠狠色狠狠色狠狠五月| 国产精品岛国片在线观看| 日本在线一二 | 亚洲精品天天影视综合网 | 亚洲第二页| 97看操| 91美女色视频亚洲| 日本不卡二三区| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 日韩AV无码中文一区二区| 亚洲 欧美 手机在线观看| AV大香蕉| 男女香蕉一区二区| 97欧美日韩| 国产传媒午夜理伦精品| 色色五月天激情| 动漫片子网站3黄| 亚洲熟女偷拍在线观看| 欧美熟妇精品黑人巨大91| 五月天九九日国产精品一区二区三区| 99热欧美| 亚洲国产精品99久久久| av午夜影院在线播放| 九九无码视频| 久久一区无码| 大香蕉久久| 日韩av一级黄片| AA丁香综合激情| 91性高| 亚洲天堂久| 九九九九久久久久| 偷看洗澡一二三区美女| 欧美色图 人妻| 亚洲图片91| 岛国免费黄色网址| 蜜臀在线免费观看在线免费观看| 密臀在线一区尤物| 国产欧美一区激情交| 久久中文色图| 国产呦精品系列在线观看| 影音先锋日本一区二区| 1024久久高清视频| 亚洲天天更新| 熟女乱伦二区| 骚妻少妇精品性色无码四色A V| 91久久国产精品| 伊人久久在线视频观看| 精品一久久久| 天天视频综合在线观看视频| 黄呦呦在线| 26uuu国产亚洲综合| 秋霞蝌科网日本一区| 91精品电影18| 东北熟女91| 久久‘黄片视频| 99蜜桃臀久久久欧美精品网站| 超碰在线人妻中文字幕| 老司机久久| 大香蕉99999| 亚洲AV成人无码一区二区三区在线观看| wwe 天天干.com| 久久国产AⅤ| 欧美色五月| 蜜桃臀AV在线| 久久人妻视频网| 国色综合天| 亚洲.欧美.丝袜.中文.综合| 亚洲加勒比久久日本道| 五月天色五月| 夜夜嗨视频| 啊啊啊啊啊啊啊国| 一区二区三区在线美女| 99热18这里只有精品| 嫩草影院性色| 九九九九精| 国产夫妻一区二区| 熟女五十路一区二区三| 精品免费囯产一区二区三区| 久久蜜桃综合网| 黑人性欧美| 免费观看的av| 欧美v亚洲v综合v国产v妖精| 亚欧美综合网。| 日韩精品 欧美激情| 亚洲第一综合| 亚洲色图尤物视频 | 郑州宾馆老熟女露脸啪啪| 国产成人天堂| 九九伊人网| 国产无码精品久久久久久| 亚洲人妻av| 久久精品国产精品一区| 麻豆区99999| 大色综合| 国产三级中文字幕粉嫩| 色哟哟国产精品免费网址| 中国大陆国产高清AⅤ毛片| 97天天操天天干| 牛黄色久午久| 久久国产熟女影院| 99精品人人爽| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 欧美高清无码免费视频高清版| 五十路熟女工口 | 亚洲av总站| 亚洲AV无线| 69精品| 99www.bibizy香蕉资源国产一区二区三区高清 | 久久ww| 欧洲黄色网| 亚洲,欧美,综合网| 亚洲精品国产精品乱码不卡| 97超碰国产精品| 亚洲无992tv| 蜜乳av一区二区三区| 国产小u女在线观看| 精品人妻少妇| 亚洲。天堂。日本在线观看| 日韩电影天堂视频一区二区| 天天综合网一91网| 五月天色图| 约操熟妇| 美女熟妇色| 深喉吞精| 亚洲自拍小说| 97超级色碰碰| 99视频内射三四| 国产一区二区成人av在线播放| 五十路二区在线| 人人喜人人妻| 欧在线一二区| 国产精品久久久吖| 精品无码久久| 日本幼女18+| 亚洲天堂日本| 97视频在线视频| 天美精品一区二区三区四区在线观看| 开心五月婷婷| 亚洲图片欧美色图| 丰满人妻-区二区三区免费看| 曰韩香蕉97| 美日韩一二三区| 狠狠操狠狠插| 精品一区二区三区蜜桃臀赵总 | 九九视品黄色| 九九九久千久久激情蜜桃在线看 | 欧美图片色综合| 男人下部插入女人下部| 久久超碰久| 五月天婷婷基地| 青娱乐日韩无码| 免费操逼视频下载| 日韩精品一区二区三区色欲| 人、人、摸,人、人、草| 久久久免费的精品| 探花一区在线| 无码少妇精品一区二区60岁老人| 精品超碰中文在线| 99这里都是精品| 日本黄 R色 成 人网站| 九九亚洲视频| 91丝袜在线观看视频在线观看| 又黄又爽在线观看视频| 久久秀这里有精品| 97激情97激情| 豆1无夜无码| 亚洲精品国产熟女久久久| 操淫穴亚洲五月丁香| 欧美亚州色的图| 国产丸一视频| 精品人妻一区二区三区四区石在线| 激情五月天中文字幕色| 一类无码操逼视频| 眼镜人妻101.com| 两性色网| 亚州操操穴网| 国产偷人妻精品一区二区在线| 伊人aaa| 久久后入制服| 中文?日韩?免费?精品| 人妻精品免费一二三区| 日日碰狠狠添天天爽超| 久操高青| 99999国产| 日本欧美韩国国产在线| www.夜夜操| 1234区中文字幕在线观看_青青草国产在线_日韩一区二区 | 青青草精品| 久久久精品视频欧州站| 精品综合久久久久久五月天| 五月激情影院| 韩日自拍| 精品无码久久久久久久杏吧| 香蕉人人操tv| 大香蕉在线免| 91精品无码久久久久久久 | 日韩欧美蜜桃精品久久中文字幕久久| 日韩精品人妻| 蜜臀操逼黄色视频操的好爽| 日本裸体久久色噜噜| 啊啊啊操死我了| 老熟女乱伦片| 激情文学网伊人| 插入粉嫩少妇视频| 国产精品嫩草影院午夜两性 | 夜夜做夜夜爽精品视频| 操人人| 精品一区二区啪啪啪| 五月天欧美色图| 天天看精品动漫视频一区| 亚洲最大网站av| 少妇三P| 97香蕉网| 五月丁香在线| 欧美懂色综合网| 国产精品亚洲一区二区三区四区| 欧美 熟女 日韩| 电家庭影院午夜69久久夜色精品国产69乱 | 国产伦乱91| 日本 免费 一区二区三区 久久香蕉 | 日本一二三免费久久| 日本东京热加勒比久久| 欧美黑人与女人91~| 日韩熟女精一区二区三区不卡| 图片区小说区| 日本欧美不卡| 蜜臀av在线播放一区二区三区| 嗯嗯啊啊啊啊轻点视频| 天天艹天天日| 媚薬在线视频麻豆| 天天操夜夜嗨| 大干人妻| 日韩成人大片在线观看| 精品一区二区三区麻豆| 丝袜AV一二三区| 欧美 亚洲 第一页 | 亚洲有薄码区久久在线一区| 欧美黄片视频在线观看免费| 极品出轨视频网站| 久99热| 99热精品在线观看| 中文字幕一区av| 97Ai亚洲| 不卡九肏| 97在线精品观看视频| 亚洲第91页 | 亚洲AV无码久久精品蜜桃小说| 欧美黄色手机在线观看| 综合网亚| 成年人性爱日韩| 国产AV天美传媒一区二区三区 | 亚洲日韩97| 国产免费永久精品无码| 日日骚网站| 97超碰碰碰| 女沟厕偷窥piss小便| 自拍视频大全亚洲专媒视频/一区二区三区| 3PAV乱伦视频| jiujiujiujingpin| 色综合99| 国产兽交视频在线播放| 国产精品3| 婷婷综合在线| 91伊人久| 人妻 欧美亚洲| 色色激情五月天| 美女黄网| 婷婷精品久久av影视| 一二三四免费视频| 大香蕉www.超碰| 超碰碰小说97| 玖玖蜜臀资源网| 久久三| 亚洲国产综合图区中文字幕| 天天色怡春院| 五月天激情网站| 东京热视频网| 精品无码少妇| 2000亚洲男人天堂| 人妻加勒比东京热| 精品一区二区亚洲国产| 天天射天天操天天干天天吃2018| 风月影院男女十八禁| 亚洲AV无码天美传媒一区| 最新av网站在线观看| www.成人无码| 中日992视频| 欧中日成人免费影视| 亚洲精品人妻吞精av| 国产精品com| 国产中午字一暮区| 爱啪精品一区| 射 色综合| 玖玖爱免费观看视频| aa片毛片| 91老司机视频| 天天夜夜rb| 91精品婷婷国产综合久久竹菊| 丝袜美腿欧美| 亚洲丝袜色| av凤凰久久久| 黄色视频特级毛片| 亚洲自拍天堂| 芊芊操逼视频无码| 日韩99精品视频综合区| 高清在线不卡一区二区 视频| 亚洲熟妇A V黑人| 超碰 欧美| 激情小说亚洲视频| 久久婷婷欧美| 久久偷偷色综合蜜桃| 啊啊啊好舒服好爽啊啊啊视频| 97超碰69| 在线观看AV不卡| 色99视频| 中文字幕五区| 一区二区三区精品黑丝白丝酒店对鸡| 日欧操屄视频| 色色五月婷| 色婷婷基地| 国产久久久久久久久一区二区 | 日日夜夜模| 蜜臀久久99精品| 性性久久| 人人摸人人舔一区二区| 99热线麻豆 | 精品久久久无码| 久久亚洲不卡| 欧美天堂日韩三级国产传媒| 成人综合网 欧美| 好看的91视频| 91劲爆| 亚洲极品| 欧美性性性| 日韩色| 尤物av网站免费在线播放| 七月丁香婷婷| 中文字幕五月婷婷免费| 亚洲导航深夜福利| 激情五月天社区| 九九性爱网| 熟妇人妻精品一区二区视频色欲| 中文伊人大香蕉视频| 免費人妻夜夜爽天天爽爽一区| 国产AV天美| 乱色老一区二区三区的观看方式| 超碰97综合在线| av网站免费看| 午夜福利在线合集| 激情深爱五月天| 嗯嗯嗯,草死我| 久久人爽| 久操免费观看| 日韩欧美成人午夜福利| 国产成人无码久久精品| 江都AV在线| 午夜精品人妻二区三区| 久久久亚洲| 亚洲字幕一区二区| 欧美激情综合色综合啪啪五月| 富二代亚洲精品99| 欧美日韩天堂| 国产一级内射高清视频| 亚洲成a人在线观看久| 91一区二区| 久草在| 欧美少妇人妻| 人人摸人人叼| 鸥美插入视频| 国产精品久久久吖| 91色色色| 天天综合网合集91| 日婷婷| 麻豆久久久一区二区| 欧洲与亚洲欧美精品中文字幕| 婷婷人妻激情| 一线黄色免费性爱片| 欧美亚洲丝袜人妻制服99| 牛牛久久国产精品视频一二三| 蜜屁av| 浪人综合网| 啊啊啊啊啊操我视频| 婷婷丁香人妻 | 亚洲人精品久久久喷水| www男人天堂| 91快色色色色色| 青青草吊丝| 大香久久| 日本 欧美 国产一区| 东京热av男人的天堂| 淫荡网址| 国产av高清版| 啊啊啊好多水| 91狠狠综合久久久久久| 男人综合网| 久久草在线综合视频| 超碰欧美在线欧美| 青娱乐亚洲自拍| 天天综合欧美综合| 国内偷自视频区视频综合| 日韩情色视频| 亚洲啪啪综合?v一区综合精品区| 一品道视频一区二区三区| 国产激情在线| 天天做天天爽| 欧美高清色| 人人摸人人干| 国产乱子伦一区二区三区在线观看| 久综合网| 久久免费9| 亚洲日韩一区电影| 91春色| 91n美女视频| 手机午夜电影神马久久| 四虎视频在线观看| 日韩无码黄色片| 骚女高跟AV在线| 午夜电影在线观看无码专区| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 亚洲影院成人| 丰满搜索结果 -第18页- 久久高清无码| 伊人热综合| 九九亚洲精品| 操逼日韩无码| 蜜臀99久久精品久久久懂爱| 久久久久久久久九九久孕交| 精品亚洲黄色片 国产精品导航一区二区| 日日摸日日碰| 婷婷综合网站| 成人小说另类在线| 97se综合| 日本 欧美 亚中文字幕| 亚洲熟女乱色一区二区三区| 欧美超碰人妻97| 欧美日韩性爱精品| 国产呦精品系列在线观看| 亚洲色图a| 盗摄女人妻在线| 国产精品久久久久9999小说| 国产精品久久久久绯色| 亚洲精品官网在线观看| 精品人妻一区二区三区视频在线| 99re3这里只有精品| 国产精品久久久久无码A√| 爱丝福利| 久久免费看高潮毛片韩国| 十八禁的黄污污免费网站| 97资源站国产精品| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | A啊啊在线观看| 人成午夜免费大片| 成 人 A V免费视频在线观看| 大香蕉啪啪啪啪在线| 色色色五月婷婷| 男女激烈网站最新| 欧美姓爱综合网| 亚洲色图欧美另类在线| 久久天天摸| 亚洲精品啪视频| 激情五月天中文字幕色| 欧洲色综合| 亚洲第91页 | 男人的天堂日韩| 天天干2区3区| 亚洲色五月| 久久av成人无码免费| 超碰在线一区| 欧美宗合网| 久操影视| 日韩电影天堂视频一区二区| 中文字幕av久久爽Av| 91丨九色丨东北熟女| yellow网站免费观看日韩高清无码| 国产精品96| 农村少妇久久久久久久| 综合网亚洲1| 91l欧美在线| 亚洲熟妇无码一区二区三区| 久久草草欧美精品| 婷婷六月色开| 精品亚洲国产成人AV制服丝袜| 久久精品人人做人人看| 热思思免费视频| 蜜臀中文字幕| 国内一区二区免费| 99国产精品| 久这精品中文在线观看视频| 色九九久九九| 欧美日韩狠狠爱| 日韩欧美三级| 欧美日韩中文字幕不卡| 亚洲熟女一区二区| 丝袜视频网国产90| 九九九九九九精品| 精品女同一区二区三区| 婷婷8月天青娱乐| 91黄射| 精品一区二区2| 91大香蕉伊人| 亚洲人妻爽爽爽| 久久系列| 狠狠久久手机视频精品| 久久丁香久草综合网| 久久透逼视频| 欧美不卡二区| 欧美精品999| 婷婷五月天影院| 亚 欧 美 综合| 国产日韩精品一区二区三区| 日韩精品第3页| 亚洲男人天堂2013| 国产97在线播放| 99精品九九九九九九| 九久精品| 中文字幕日韩电影人妻| 老司机射| 色综合美国| 亚洲av热热色| 亚洲涩图欧美| 97在线免费看视频| 92性色国产午夜福利在线661| 日本成人A片网站| 亚洲精品中文字幕一区在线视频| 色五月婷婷中文字幕| 精品人人| 91欧美巨乳| 久久久性爱| 婷婷伊人五月| 黄色小视频日本txt| 天天日天天色| 精品乱码久久久久| 少妇熟女一区二区三区| 日韩黄片视频试看| 激情婷婷五月天| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠 | 天天综合~91| 亚洲精品97| 91足交| 精品人妻1237| 丰满少妇精品一区二区| 综合影院永久入口国产| 亚洲中文一区二区三区视频| 青青草在线视频人人想人人上| 色偷综合| 熟女乱3伦999| 99热自拍| 婷婷色导航| 欧美永久激情一区二区| 五月天伊人| 婷婷色综合欧美日韩| 69丨亚洲丨精品丨入口免费播放| 91网站18在线观看| 99热综合| 91美女中出| 久久天堂婷婷网| 黑丝少妇在线观看| 2020中文字幕| 国产美女激情| 骚人妻少妇视频| 91热热色| 久久男人天堂| 日韩黄色片子| 日韩黄片视频试看| 欧美三级中文字幕hd| 九九性爱网| 91色堂| 久久精品视| 俺去啦自拍| 九久9精品| 国产精品一区二区手机看片| 9色国产精品一区粉嫩| 91小视频| 中文字幕制服欧美久久一区| 91丝袜激情在线| 久热伊人| 搡老人老9丨女老熟人| 五月丁香啪啪网| 亚洲情色在线| 国产无码精品久久久久久| 不卡av在线中文字幕| 国产亚州精品美女久久久免费| 男人的天堂2010| 国产精品国产| 大JI巴好深好爽又大又粗视频| 午夜操逼不卡| 久久久久成人蜜桃精品| 人妻少妇久久| 国产亚洲精品无码三区| 丁香六月激情综合| 18禁久久| 无码少妇精品一区二区60岁老人| 日韩不卡码| 日韩操啪| 亚洲91av| 91在线免费精品视频| 五月天综合在线| 综合网亚洲1| 亚洲综合精品国产一区| 亚洲在钱| 国语国产操逼伊人AV网| 国产精品久久久999| 人人爱人人乐人人操| 麻豆黄四叶草网站| 国产精品精品系列在线观看| 十八禁网站在线| 起碰97| 99999无码| 国产精品久久aV| 欧美 亚洲 大香| 欧美大波激情xxxx| 日日夜夜骚| 成 人 A V免费视频在线观看| 色婷婷综合久久久久中文一区二区 | 麻豆视频test| 加勒比伊人| 欧美不卡在线美女| 翔田千里Av在线| 91久久久老司机| 久久久免费高清中文视频| 98一区二区精品| 国产亚洲精品美女久久久| 亚州男人的天堂| 欧美久热| 日韩黄片影院| 九九九成人| 亚洲91色在线| 婬女免费一二三区A片| 九色黄站| 精品一国2| 久久,精品一二三| 芊芊操逼视频无码| 亚洲中字幕日本一区二区三区| 久久久久久久久久精| 懂色AV一区二区三区| 人人干黄色| 超碰色老头| 很狠操| 亚洲激情色片| 国产剧情一区在线观看| 美女黄频a美女大全免费皮| 激情熟女12P| ..日韩av毛片精品久久久| 新91视频.cmp| 日韩丝袜高跟制服在线观看| 亚洲 欧美 91| 五月综合色| 日韩三级天堂在线观看| 一二三四视频中文字幕在线看| 免费少妇一区二区| 张柏芝国产一区在线观看| 色香91| 亚洲日韩黑丝| 久久精品中文字幕女同| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 影音资源男人日韩| 中文字幕欧美日本乱码一线二线 | 97干天天| 精品人妻一区二区三区-国产| 日韩一级二级| 激情图片亚洲色图| 天天天天天天天天综合| 男人天堂站| 欧美玖玖爱免费玖玖| 亚洲青色欧美| 亚洲成人AB| 色路综合| 亚洲丝袜综合| 99久久久无码国产精品性啊聊| 波多野结衣AV无码一区| 欧美大波激情xxxx| 欧美精品99久久久**| 国产久久av| 99激情| 精产国品一区二三产品| A 在线网址| 91熟女综合| 五月天黄色激情视频| 精品91摸| 欧美精品庄| 大乔未久88一区| 中文字幕99999| 激情抓乳插进去啪啪啪日韩| 琪琪精品免费一区二区三区 | 日韩三A大片在线观看| 国产剧情AV不卡在线观看| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 亚熟hd视频在线| www男人天堂| 日本激情免费大片| 67194无码不卡| 97爱爱官网| 人人操人人搞人人草| 性爱av在线免费观看| 一区中文字幕二区日韩| 91美女高潮| 一区二区三区四区理论片| 亚洲精品三区在线观看| 欧美在线视频99| 好爽免费视频,| 国产久久成人| 久久发布国产伦子伦精品| 天天92av| 亚洲中文字幕噜噜噜久久久| 国产九九九九九九| 夜间福利片1000无码| 91挑色欧美| 操逼逼一区视频| 日本免费一区二| 熟妇综合一区二区三区| 大香蕉123| 欧美精品三区| 天天看片天天爽| 中文乱码字字幕在线第5页| 熟妇视频一区二区三区在线观看| 97超碰超碰| 97视频在线观看播放与子乱对白在线……| 精品国产乱码久久久久久免费| 成人三一级一片aaa| 色眯眯av| 欧美男人一区| 襙一襙| 亚州综合电影| 乱伦日本色图AⅤ| 中日韩久久久免费看| 色色色热| 在线有码中文字幕| 97欧美色综合| 日韩素人无码一区二区三区三州| 午夜精品久久99蜜桃的功能章节| 丰满搜索结果 -第18页- 久久高清无码 | 欧美精品三级黄片| 亚洲欧美国产中文字幕| 中文字幕 国产 精品| 91bbbbbb| 久久久久久久久久黄色网| A片 AV一级在线播放观看免费| 国产精品97超碰| 99re6国产精品99re在线| 国产亚洲精品av一区| 日本孕妇一区二区视频操逼免费看| 男人的亚洲天堂| 91麻豆天美国产欧美| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 日韩欧美被操黄免费观看| 综合欧美日韩在线观看| 超碰精品日韩欧美国产| 91国内外在线| 九一国产精品| 国精综合一二三区影视| 亚洲黑丝在线| 国产女性无套 免费观看| 欧美人与动性人交a| 亚洲国产熟妇综合色专区| 性高潮久久久| 四虎影视国产精品| 91精品免费| 好舒服视频| 加勒比综合九九99视频在线播放| 蜜桃视频精品一区二区| 99日韩| av国产无码| caoni国产亚洲av| 色情乱伦AV| 韩日无码在线观看| 欧美性爱中文字幕无线码| 99久久久无码精品国产人| 一区二区三区免费视频入口| 五十路熟女人妻一区二区在线观看| 蜜桃传媒视频第一区入口在线看| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 88xx成人精品视频| 美女天天干| 国产野战露脸在线播放| 一,爱啪啪,在线免费视频| 亚洲码专区| 天天综合91在线| 操b网站亚洲无码| 久久亚洲熟妇在线视频| 97欧美色综合| 91丝袜美女视频| 国产精品视频91久久| 秋霞网—男女啪啪亚洲免费体验区 | 色逼综合| 国产精品又黄又猛又粗| 国产欧美精选激情视频| 亚洲av强奸乱伦| 日本一二三高清| 九九九九热只有精品| 久久精品国产精品一区| www.色婷婷色综合| 亚洲天堂第一页| 欧美狠狠狠| 精品高清av中文字幕| 色婷婷综合网站| 欧美韩国你懂得在线 | 插欧洲美女欧美精品| 男人的天堂,欧美亚洲另类国产日韩,日本高清一区二区 | 91综合色噜噜| 探花一区在线| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 中国熟女91| 99这里只有精品国产| 久久久久免费少妇| 亚洲日韩资源| 国产AV精久久| 亚洲日韩乱码中文无码蜜桃臀网站| 东京热大香蕉| 深田咏美亚洲精品福利社| 欧美综合网1| 日韩在线地址一| 久久精品亚洲婷婷| 亚洲se91| 伊人色综合网| 天天爱综合网| 五月婷婷六月丁香网址| 久久久久78| 成人AV超碰免费在线| 97精品国产97久久久久久户外免费| 精品在线78| 国产成人无码久久精品| 曰本特级特黄特色黄色A级网站高清在线免费看 | 思思热在线视频免费| 视频国产精品未满十八禁止在线观看| 久久极品一区二区| 91黑人无码激情在线| 久久精品国产亚洲AV成人直播| 在线情色电影 91大| 96久久精品一二三区色欲| 亚洲日韩黑丝| 99久久综合网| 久久久久久十| 天天拍天天操| 神马九九| 老熟女中文字幕高清| 色丁香久久| 丝袜亚洲综合| 亚洲天堂自拍| 国产乱人伦AVA麻豆软件.| 欧日韩一二三f区| 亚洲国产综合久久天堂| 强奸乱伦大香蕉网| se..亚洲欧美| 超碰欧美在线欧美| 五月丁香六月激情综合| 日本操逼视频不卡直接放| 骚妻少妇精品性色无码四色A V| 99爱精品| 大香网站| 天天操天天射天天日| 一二三区精品视频| 免费亚洲国产精品久久一区| 夜夜爽33333| 中文字幕aⅴ在线视频| 91人妻在线视频| 亚洲十八禁止| 欧美三级一级| 99碰碰| 噜噜噜在线视频| 日本媚薬中文字幕在线| 人妻丝袜肏逼| 日韩超碰精品综合| 玖玖视频在线资源一区二区三区| 丝袜熟女一区二区三区| 丰满人妻一区二区三区性色| 亚洲熟女人妻中文字幕一区二区| 大香蕉青青9| 330Dv国产女人终合视频极品人与兽| 免费看日本操逼视频| 操逼操操操91| 强奸乱伦亚洲第一页| 国产乱伦视频污| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 久热热| 国产又粗又长视频| 东京太热男人的天堂久久久| 中文字幕福利视频一区二区三区在线观看| 久久九操在线观看| 91九九九吃| 久久久99999久网站| 欧美夜夜骑视频| 日本天堂在线播放| 欧美激情黑人| 国产日韩美女小穴视频网站不卡| 色欧美在线| 日躁天天爽爽| 超碰成人公开| 色一色综合网| 久久日韩毛| 日韩 欧美 校园一区| 手机av亚洲丝袜美腿日韩第一页二页| 热G综合热G中文| 伊人麻豆传媒| 中文字幕日韩人妻视频| 五月丁香社区婷婷日韩欧美精品影院| 日本日逼视频网| 96AV久久久| 青青草一区二区三区四| 97欧美精品| 色久桃花影院在线观看| 丁香激情五月天| 97精品国产精品免费观看| 亚洲色棕合| 波多野42部无码喷潮在线观看 | 中文字幕第23区| 69一区二区三区 | 秋霞 色色| 青娱乐日韩无码| 麻豆国产成人精品| 亚洲av成人精品一区| 69精品久久久久中文字幕| 中美日韩毛片| 亚洲女人91| 久久一区二区高清免费| 熟女精品一区二区三区| 久久久成人精品| 久久成年片色大黄全免费网站| 国产 三级自拍| 9ⅰ久久久天天| 一类无码操逼视频| 一区二区三区机械有限公司| 老女人碰碰在线碰碰视频| 天天久久久久久| 中文字幕精品资源在线| 91精品国产91久久青草 | 人人模人人看| 91日产桃蜜| 东方亚洲在线操逼天堂| 婷婷三区| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴| 91久久九九精品国产综合| 9118禁| 操久久久久| 亚洲熟女乱色一区二区三区久久久 | 中文字幕午夜精品久久久| 97超碰天天爱天天爱| www.99热| 2024人人操人人摸| 美中日韩无码| 国产AV色黄看到爽| 女欧美一区二三区| 久操97| 一区二区三| 超碰美国| 97超碰欧美中文字幕| 啊啊啊免费| 欧美色图亚洲激情| 亚洲丝袜综合| 校园春色五月天| 激情综合网亚洲| 亚洲无992tv| 五月天我淫我色av| 一道α片欧美| 中国少妇XXXX做受| 神马久久久久久伦理片| 青娱乐亚洲自拍| 青娱乐国产精品| 日韩精品中文字幕二区| 欧美操逼一二三区| 91视频观看网站| 久久大线蕉一区| 青操影院| 色九久| 操操操五月天婷婷丁香影院| av网站在线观看了| 极品白嫩美女白浆成人福利在线看| 色丁香久久| 97精品国产97久久久久久户外免费| 国产中文福利| 加勒比中文av| 国产精品区在线12p| 亚洲AV成人无码一区二区三区在线观看| 婷婷五月色| 欧美78| 啊啊啊在线观看| 国产精品一二三在线看| 精品一区二区三区蜜桃臀赵总| 亚洲成人妻日韩在线| 色逼综合| 婷婷中文网| 亚洲情色一区三区| 青青草五月份天| 国产精品国产自产高清AV| 婷婷视频网| 欧美综合网1| .精品人妻一区二区三| 伊人亚洲国产一成人久久精品,久久| 男人的天堂VA在线| 超碰九7| 任你艹| 亚洲 欧美 日本 国内 首页| 一个色导综合| 国产有码一区| 中文字幕三四五区| 亚洲欧美国产其他二区| 伊人久久亚洲中文字幕不卡| 欧美亚洲综合高清在线| 激情综合色| 亚洲综合在线91| 日本高清有码网址视频| baiduhicn.com。| 国产精品一二三区18| 欧美成人9797| 久草午夜| 91精品国产综合久久久蜜臀| 青青草好吊色| 狠狠操狠狠插| 九九九九精| 人妻碰碰碰碰碰碰| 国产偷拍网站| 一区二区三区四区五区高清无码永久视频 | 日韩探花精品在线视频| 国产成人主播| 近亲乱伦一区二区| 亚洲人码13| 日本片日本片祼观看网站在线看中文版网页在线看| 加勒比久久av| 深爱激情五月天| av爱爱爱| 青操影院| 欧美第一页性| 超碰色男人操熟女| 天天爱综合网| 电影69乱码96| 一级人妻性爱视频| 无卡一区=区| 91女网站| 免费啪啪一级视频| 久久久96| 熟妇高潮二区三区| 欧美|91色综合| 国产精品区在线12p| 啊啊啊水好多| 久热久一区二区三区| 国产精品久久久久久久毛片1| 国产人人干| 亚洲中文字幕在线视频一区二区| 亚洲电影中字一区二区| 啊嗯嗯啊好大好爽| 日韩精品碰碰| 亚码人妻| 啪啪啪精品视频| 日日日日做夜夜夜夜做无码97| 亚洲国产av中文字幕久久| 日日碰视频网| 日韩人妻 中文字幕| 久草精品国产蜜臀| 激情五月综合开心五月| 色婷婷香蕉| 亚洲国产精品无石码久久| 吊色| 好舒服视频| 97爱爱影院| 清纯唯美亚洲综合| 清纯唯美第一页| 久久9精品网站| 激情综合av| 色五月天AV| 在线视频一区二区传媒| 加勒比无码一区二区三区| 大香蕉久| 操人无码| 九九黄色网| 五月婷婷色| 亚州精品一区二区三区香中文字幕在线| 在线性黄高清免费视频| 秋霞曰韩R级| 懂色天天爱天天日天天射天天澡| 久久黄片国产一区二区| 激情五月天中文字幕色| 91精品国产91综合久久蜜臀| 五月天亚洲色图| 天天澡天天狠天天天做| 国产无码久久高清| 国产乱伦视频污| 黄色激情电影在线观看| 26uuu偷拍亚洲欧洲综合| 国产亚洲日韩在线三区黑人| 中国女人内射6XXXXX| 久热9| 精品国产嫩穴视频| 成人天天看站长推荐| 加勒比综合a∨| 91bbbbbb| 亚洲一卡二卡在线免费| 国产熟女完整版中字| 黑丝少妇在线观看| 97精品视频免费| 999久久久久久久久| 久久日本熟妇熟色一区| 26UUU欧美激情一区二区| 91一起操| 亚洲另类色图片| 日本久久久久久久久久| 日本操逼aaaaa| 国产性爱强奸乱伦大全| 2017天天操| 国产一区二区三区白丝| 国产亚洲99久久精品| 日韩人妻精品中文字幕| 亚洲中文字幕av|