色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心 但凡玩過(guò)幾塊SSD的人都會(huì)遇到類似的問(wèn)題新加了一塊固態(tài)硬盤想把原來(lái)D盤的系統(tǒng)遷過(guò)去或者下載了慧榮SM2258XT主控的量產(chǎn)工具想自己開(kāi)卡。折騰硬件之前很多人沒(méi)意識(shí)到?jīng)Q定這一步順利與否的其實(shí)是主控SoC和它旁邊的DRAM顆粒。SSD主控SoC整體架構(gòu)如果沒(méi)有概念很多人會(huì)把“不穩(wěn)定”怪到固件上把“掉速”怪到顆粒上卻很少懷疑DDR子系統(tǒng)在數(shù)據(jù)通路里扮演的角色。這篇文章想以主控SoC內(nèi)部的數(shù)據(jù)通路為主線講清楚DDR子系統(tǒng)到底承擔(dān)什么任務(wù)作為系統(tǒng)架構(gòu)師或維修/開(kāi)卡愛(ài)好者又該怎么去理解帶DRAM和不帶DRAM方案的差異。別覺(jué)得“DDR”只是顆粒選型表里一個(gè)頻率和容量參數(shù)它在整個(gè)SSD里的角色比你想象的復(fù)雜得多。1. 主控SoC其實(shí)是一臺(tái)以“搬數(shù)據(jù)”為唯一目的的專用計(jì)算機(jī)1.1 先看清主控SoC的硬件全家福很多教程一上來(lái)就講FTL算法、垃圾回收但連主控SoC內(nèi)部有哪些模塊都沒(méi)交代清楚。這里先把家底盤一遍。主控SoC并不是什么神秘的東西去掉“存儲(chǔ)”這個(gè)屬性它跟普通嵌入式SoC沒(méi)有本質(zhì)區(qū)別照樣本有CPU核心、總線矩陣、外設(shè)接口。特殊的是它所有外設(shè)和加速器都圍繞同一個(gè)目標(biāo)把用戶數(shù)據(jù)在主機(jī)和NAND之間搬運(yùn)得又快又穩(wěn)。CPU核心以ARM Cortex-R系列為主流也有用自研RISC-V核的。CPU負(fù)責(zé)FTL邏輯、指令解析、壞塊管理、磨損均衡這些“決策類”工作但不直接參與大量數(shù)據(jù)拷貝。主機(jī)接口SATAAHCI協(xié)議或者PCIeNVMe協(xié)議負(fù)責(zé)跟PC、服務(wù)器通信。目前主流消費(fèi)級(jí)NVMe盤的PCIe Gen3 x4帶寬上限大約3500MB/sGen4 x4翻倍到7000MB/s。NAND閃存接口主控拉出若干條閃存通道常見(jiàn)8通道、12通道、16通道甚至更高每個(gè)通道掛多顆NAND die。通道越多閃存并行度越高這個(gè)并行度直接決定主控能跑多高帶寬。ECC/LDPC引擎硬件編解碼器寫的時(shí)候給數(shù)據(jù)加上校驗(yàn)冗余讀的時(shí)候把錯(cuò)誤糾回來(lái)。TLC/QLC時(shí)代LDPC軟解碼對(duì)主控算力要求極高這一塊做不好盤就會(huì)頻繁掉速。DMA引擎這是數(shù)據(jù)通路的真主力。DMA負(fù)責(zé)把數(shù)據(jù)從一個(gè)接口搬到另一個(gè)接口整個(gè)過(guò)程不需要CPU逐字節(jié)干預(yù)CPU只要事先配好描述符和目的地址就行。SRAM與DDR接口內(nèi)部SRAM快但容量很小通常幾十KB到幾MB外部DDR才是主存儲(chǔ)容量從幾十MB到1GB以上不等承擔(dān)絕大多數(shù)像映射表、數(shù)據(jù)緩沖這類需要大容量暫存的活兒??偩€矩陣內(nèi)部互聯(lián)容易被忽略但它和DDR子系統(tǒng)同樣關(guān)鍵。主控內(nèi)部常用AXI總線或者類似NoC的多平面互聯(lián)位寬從32位到64位頻率從幾百M(fèi)Hz到1GHz不等。如果你的內(nèi)部總線只有一個(gè)單出口主機(jī)數(shù)據(jù)、閃存數(shù)據(jù)、DDR訪問(wèn)、ECC編碼全部搶一條路那么外部DDR即使再快也會(huì)被“卡脖子”。很多FPGA做控制器原型驗(yàn)證的人會(huì)遇到“DDR帶寬明明夠但整機(jī)性能就是上不去”的情況一半的根因出在內(nèi)部總線仲裁而不是DDR本身。1.2 寫請(qǐng)求和讀請(qǐng)求在SoC內(nèi)部的完整旅程了解了模塊構(gòu)成就可以把一條真實(shí)的數(shù)據(jù)請(qǐng)求放進(jìn)通路里跑一遍。先看寫路徑主機(jī)通過(guò)NVMe/SATA協(xié)議發(fā)送寫命令伴隨數(shù)據(jù)包進(jìn)入主控的主機(jī)接口。DMA引擎把數(shù)據(jù)從主機(jī)側(cè)接收FIFO搬到內(nèi)部緩沖SRAM或DDR。此時(shí)數(shù)據(jù)已經(jīng)帶上了邏輯塊地址LBA。固件查詢FTL映射表決定這批數(shù)據(jù)該寫到哪些物理頁(yè)。注意這里FTL映射表通常就住在DDR里所以光“查表”這一步就已經(jīng)產(chǎn)生了一次DDR訪問(wèn)。決定物理地址后數(shù)據(jù)不會(huì)立刻落閃存。固件會(huì)依據(jù)磨損均衡、垃圾回收狀態(tài)和當(dāng)前NAND忙閑情況把數(shù)據(jù)先在DDR的寫緩沖區(qū)分組、合并。等到NAND通道空閑且聚合的數(shù)據(jù)量足夠固件才發(fā)起寫操作數(shù)據(jù)從DDR緩沖區(qū)流向LDPC編碼引擎加完校驗(yàn)后按通道和片選分配到對(duì)應(yīng)NAND顆粒。物理寫入完成后FTL映射表在DDR中更新。這部分更新的映射記錄還要定期固化到NAND的映射備份區(qū)否則斷電就會(huì)丟失。再看讀路徑讀路徑的邏輯稍微“輕”一點(diǎn)但同樣繞不開(kāi)DDR主機(jī)發(fā)出讀命令固件先查DDR里的映射表把LBA翻譯成物理頁(yè)地址。主控向?qū)?yīng)NAND通道發(fā)起讀命令從NAND讀回原始數(shù)據(jù)經(jīng)過(guò)LDPC譯碼獲取正確數(shù)據(jù)。由于NAND頁(yè)大小常見(jiàn)16KB或32KB和主機(jī)讀寫粒度典型4KB不對(duì)等主控經(jīng)常需要把若干段數(shù)據(jù)在DDR或SRAM里重新拼接湊成主機(jī)期望的邏輯塊再用DMA返回主機(jī)。一條數(shù)據(jù)從進(jìn)到出至少兩次經(jīng)過(guò)DDR。這個(gè)“至少”在隨機(jī)小寫、垃圾回收并發(fā)時(shí)會(huì)翻倍增長(zhǎng)。所以結(jié)論已經(jīng)很明顯了DDR子系統(tǒng)不是“可選配件”而是數(shù)據(jù)通路上的十字路口。2. DDR子系統(tǒng)在數(shù)據(jù)通路里的四種身份2.1 它是FTL映射表的常駐內(nèi)存FTLFlash Translation Layer是SSD的靈魂。它維護(hù)一張“邏輯地址到物理地址”的映射表。主機(jī)只認(rèn)邏輯塊地址LBA但閃存物理頁(yè)是不斷在磨損、回收、重寫的所以主控內(nèi)部必須有一張隨時(shí)能查的表。這張表有多大可以做一次很樸素的估算假設(shè)映射粒度為8KB即每8KB邏輯空間對(duì)應(yīng)一個(gè)映射條目單條映射信息打包壓縮后占用4字節(jié)。那么一塊512GB的盤映射表大小就是512GB÷8KB×4B算下來(lái)正好256MB。如果映射粒度更細(xì)4KB或條目更寬8字節(jié)512GB盤就可能需要512MB甚至1GB的DRAM來(lái)裝映射表。這里就能解釋很多產(chǎn)品現(xiàn)象為什么老款120GB/240GB固態(tài)盤只配64MB或128MB DDR而高端2TB盤要配512MB或1GB DDR。因?yàn)槿萘吭酱笥成浔碓酱驞DR不夠就裝不下足夠多的映射表熱數(shù)據(jù)。有了DDR常駐映射表主控處理一次讀命令時(shí)查表只需要一個(gè)短延時(shí)的內(nèi)存訪問(wèn)如果沒(méi)DDR或者DDR容量太小映射表就只能部分駐留查不到的部分要去NAND里讀這個(gè)開(kāi)銷是災(zāi)難級(jí)別的4K隨機(jī)性能會(huì)直接崩塌。2.2 它是讀寫合并時(shí)用的臨時(shí)堆場(chǎng)NAND閃存的工作方式跟機(jī)械硬盤完全不一樣它以頁(yè)為單位讀寫一個(gè)頁(yè)通常是16KB或32KB。但主機(jī)下發(fā)數(shù)據(jù)的粒度很靈活可能是極其瑣碎的4KB、8KB甚至更小。為了讓NAND寫效率更高主控不會(huì)來(lái)一條就寫一條而是把零碎的寫請(qǐng)求先在DDR緩沖里攢一攢湊成完整的NAND頁(yè)再寫入。這個(gè)過(guò)程在固件術(shù)語(yǔ)里叫“寫合并”或“批量組頁(yè)”。讀方向同樣需要合并。主機(jī)可能只讀一個(gè)頁(yè)里的前半部分但NAND讀出來(lái)的是整個(gè)物理頁(yè)。主控要么只保留有效部分要么把整頁(yè)數(shù)據(jù)放進(jìn)DDR緩存以便后續(xù)相鄰LBA的讀取直接命中。垃圾回收時(shí)更夸張GC要把一個(gè)塊里的有效數(shù)據(jù)先讀進(jìn)DDR再把它們跟正在寫的熱數(shù)據(jù)一起重新分配、重寫。這一進(jìn)一出DDR的帶寬壓力瞬間翻倍。所以有很多主控在順序?qū)懭霑r(shí)表現(xiàn)尚可一旦進(jìn)入“半盤以上空間被占滿”狀態(tài)性能會(huì)出現(xiàn)斷崖式下跌。除了NAND本身寫放大很大程度也源于DDR緩沖和固件GC策略在實(shí)際數(shù)據(jù)通路中調(diào)度不過(guò)來(lái)。2.3 它是固件自己的運(yùn)行內(nèi)存很多人只把DDR理解成“緩存”其實(shí)它同時(shí)也是固件的運(yùn)行內(nèi)存。SSD主控里跑的是一套完整的實(shí)時(shí)操作系統(tǒng)固件棧包括FTL模塊、命令調(diào)度、壞塊管理、磨損均衡、溫控策略還有各種后臺(tái)任務(wù)。這些模塊的代碼在運(yùn)行前會(huì)被從NAND或外掛NOR Flash加載到內(nèi)存里執(zhí)行。固件用到的數(shù)據(jù)結(jié)構(gòu)比如命令隊(duì)列、壞塊表、磨損計(jì)數(shù)、日志系統(tǒng)、上下文狀態(tài)全部需要一大塊可讀寫的RAM空間。內(nèi)部SRAM通常只有幾百KB撐不起這么多東西所以DDR才是固件的“主存”。如果DDR子系統(tǒng)不穩(wěn)定比如顆粒虛焊、供電紋波偏大、訓(xùn)練時(shí)序不對(duì)SSD最典型的表現(xiàn)就是“掉盤”——固件運(yùn)行過(guò)程中訪問(wèn)DDR出錯(cuò)觸發(fā)看門狗復(fù)位盤從系統(tǒng)里消失過(guò)一會(huì)又出現(xiàn)。這種案例在維修和開(kāi)卡圈子里非常常見(jiàn)很多人誤以為是固件bug其實(shí)根源在DDR。2.4 它是掉電保護(hù)時(shí)最后搶救的數(shù)據(jù)安全島DDR是易失性存儲(chǔ)一斷電數(shù)據(jù)就沒(méi)了。但恰恰因?yàn)镈DR里住著映射表和寫緩存SSD掉電時(shí)最怕的就是DDR內(nèi)容來(lái)不及保存。帶掉電保護(hù)PLP的企業(yè)級(jí)盤會(huì)在主板上焊一排大電容或鉭電容檢測(cè)到外部電源跌落時(shí)利用電容殘存電量繼續(xù)給主控、DDR和NAND供一小段時(shí)間的電。主控利用這段時(shí)間把DDR里的FTL映射表快照和新寫入但還沒(méi)來(lái)得及落盤的數(shù)據(jù)緊急寫進(jìn)NAND的臨時(shí)區(qū)域。消費(fèi)級(jí)盤大多沒(méi)有完整PLP靠的是固件定期把映射表持久化到NAND同時(shí)保證DDR里只保留可以重新推導(dǎo)或重建的數(shù)據(jù)。但無(wú)論哪一類DDR的角色都一致它是數(shù)據(jù)最集中、最新鮮的地方掉電保護(hù)的本質(zhì)就是在搶救DDR里的資產(chǎn)。這里也能看出DRAM-less方案的一個(gè)優(yōu)勢(shì)——少一個(gè)DDR掉電時(shí)需要搶救的數(shù)據(jù)量會(huì)小很多失效模型更簡(jiǎn)單。3. 從計(jì)算角度看DDR選型帶寬、容量、時(shí)序三個(gè)硬指標(biāo)3.1 DDR帶寬要多少才夠用在方案設(shè)計(jì)階段你要回答的第一個(gè)問(wèn)題不是“用多大容量DDR”而是“DDR帶寬夠不夠”。DDR在數(shù)據(jù)通路里要同時(shí)服務(wù)主機(jī)數(shù)據(jù)、NAND數(shù)據(jù)、FTL查詢、固件CPU讀寫所以它的總線帶寬必須留足余量。做一次粗略預(yù)算。假設(shè)做一塊PCIe Gen3 x4接口的NVMe盤主機(jī)接口理論帶寬約3500MB/s。為了達(dá)到這個(gè)上限NAND接口側(cè)必須同樣具備接近甚至超過(guò)3500MB/s的聚合帶寬而數(shù)據(jù)搬移過(guò)程中DDR常常要當(dāng)中間跳板。經(jīng)驗(yàn)做法是讓DDR可用帶寬達(dá)到主機(jī)接口理論帶寬的1.5到2倍以上才能保證順序大文件讀寫、隨機(jī)小寫和GC并發(fā)時(shí)不會(huì)被內(nèi)存訪問(wèn)卡住。舉個(gè)例子常見(jiàn)的DDR3-1600顆粒數(shù)據(jù)線寬16bit它的峰值帶寬是1600MT/s×2字節(jié)≈3200MB/s。這個(gè)值單看跟Gen3 x4接口差不多但實(shí)際包含了行激活、預(yù)充電、讀寫切換等開(kāi)銷可用帶寬會(huì)打折扣。所以稍微講究一點(diǎn)的控制器會(huì)選用DDR3/DDR4 1866/2133頻率或者把DDR數(shù)據(jù)線擴(kuò)展到32bit把峰值帶寬推到6.4GB/s以上。不做這一步順序?qū)懭牒蟀攵瓮鶗?huì)出現(xiàn)周期性掉速。我實(shí)際在FPGA原型上踩過(guò)這個(gè)坑DDR顆粒型號(hào)沒(méi)變只是把突發(fā)數(shù)據(jù)調(diào)度策略從“每筆請(qǐng)求獨(dú)立訪問(wèn)”改成“同Bank連續(xù)地址聚合訪問(wèn)”整機(jī)隨機(jī)寫性能就提升了約20%。這充分說(shuō)明DDR帶寬不止看顆粒規(guī)格更看控制器怎么組織和利用總線事務(wù)。這里順帶回答一個(gè)很多初學(xué)者會(huì)查的問(wèn)題DDR的burst length是什么意思DDR3/4顆粒默認(rèn)突發(fā)長(zhǎng)度BL8意味著一次突發(fā)連續(xù)傳輸8個(gè)數(shù)據(jù)字。以16bit位寬的顆粒為例一次BL8突發(fā)會(huì)傳輸16×8128bit數(shù)據(jù)對(duì)應(yīng)內(nèi)部預(yù)取8n位??刂破髦挥邪凑者B續(xù)地址、盡量集中在同一行Row Buffer Hit的方式組織訪問(wèn)才能把突發(fā)效率跑滿。如果你去讀DDR協(xié)議規(guī)范會(huì)發(fā)現(xiàn)ACT、READ、WRITE命令之間的時(shí)序約束tRCD、tRAS、tWR等非常嚴(yán)格這都是在為突發(fā)傳輸?shù)母咝史?wù)。3.2 DDR容量與NAND容量的換算關(guān)系容量問(wèn)題前面提到過(guò)這里給出可復(fù)用的公式映射表所需空間 ≈ (SSD用戶容量 ÷ 映射粒度) × 單條映射大小以512GB容量、8KB粒度、每條映射4字節(jié)為例512GB 536870912KB除以8KB得到67108864條映射再乘4字節(jié)等于256MB。所以不帶DDR的主控如果想保證映射表完整駐留至少配256MB內(nèi)存。實(shí)際工程中還要預(yù)留寫緩存和固件運(yùn)行空間512GB盤配256MB DDR其實(shí)已經(jīng)非常緊張很多設(shè)計(jì)會(huì)配到512MB。1TB往上要看映射粒度是否增大、映射條目壓縮是否激進(jìn)不然DDR成本會(huì)壓不住。從選型角度大家可以直接拿這個(gè)公式反推看到一塊盤的DRAM顆粒容量就能估算它主控的映射管理策略大概是什么等級(jí)從而判斷它在高負(fù)載下會(huì)不會(huì)出現(xiàn)映射抖動(dòng)。3.3 burst length、位寬與頻率如何組合很多主控規(guī)格表只寫“支持DDR3/DDR4”但不寫位寬。主控SoC的DDR控制器接口位寬通常有16bit和32bit兩種少見(jiàn)64bit。位寬直接決定同樣頻率下帶寬翻倍代價(jià)是SoC封裝引腳數(shù)和PCB布線面積顯著上升。DDR頻率選擇還要考慮跟主控內(nèi)部總線頻率的匹配。內(nèi)部AXI總線主頻假設(shè)是400MHz、64bit位寬理論帶寬也是3.2GB/s那么DDR3-1600 16bit的3.2GB/s正好匹配但余量不足。好的架構(gòu)設(shè)計(jì)會(huì)讓DDR接口帶寬略高于內(nèi)部總線帶寬而不是剛好卡在同一個(gè)數(shù)否則總線滿負(fù)載時(shí)會(huì)產(chǎn)生反壓導(dǎo)致主機(jī)接口出現(xiàn)額外延遲。時(shí)序?qū)用鍰DR3/DDR4顆粒的CL、tRCD、tRP這些參數(shù)同樣影響實(shí)際性能。顆粒頻率往上提CL值往往同步放大延遲反而沒(méi)降多少。SSD主控對(duì)延遲尤其敏感尤其是隨機(jī)4K讀每次查映射表的延遲都能直接影響IOPS。所以做SSD主控選DDR顆粒時(shí)別看峰值帶寬花眼還要關(guān)注在目標(biāo)頻率下的實(shí)際讀寫延遲。4. 帶外部DDR與DRAM-less的分叉口同為SSD內(nèi)部差著一個(gè)架構(gòu)時(shí)代4.1 帶DDR方案旗艦產(chǎn)品的穩(wěn)定器我們先說(shuō)經(jīng)典方案主控帶著一顆外置DDR顆粒。典型代表包括大家熟悉的慧榮SM2258注意不是XT版、SM2262/SM2263群聯(lián)E12/E16聯(lián)蕓MAP1202等。這些主控方案幾乎都外掛一顆DDR3L或DDR4顆粒容量從64MB到1GB不等。帶DDR方案的優(yōu)勢(shì)非常明顯FTL映射表完整駐留任意LBA查表都是固定低延遲。寫緩存空間充裕即使隨機(jī)小寫也能大量聚合大大減少NAND寫入次數(shù)降低寫放大。固件運(yùn)行空間富余可以做復(fù)雜的后臺(tái)GC、磨損均衡和熱冷數(shù)據(jù)分離。掉電保護(hù)只需要聚焦DDR和NAND之間的數(shù)據(jù)搬移邏輯相對(duì)清晰。缺點(diǎn)也直白成本高BOM里多一顆DDR顆粒多一個(gè)失效點(diǎn)DDR本體虛焊、老化、供電異常都會(huì)導(dǎo)致不開(kāi)卡或掉盤。不過(guò)對(duì)性能和穩(wěn)定性要求高的人來(lái)說(shuō)這些代價(jià)值得。4.2 DRAM-less HMB方案用主機(jī)內(nèi)存“蹭”出性能近幾年低價(jià)位NVMe盤大量采用DRAM-less主控比如慧榮SM2258XT、SM2263XT。這類方案在主控SoC上直接省掉DDR控制器外訪通路不焊外置DRAM顆粒成本大幅下降。但前面說(shuō)得很清楚沒(méi)有DDR映射表住哪兒寫緩存用什么解決辦法叫HMBHost Memory Buffer主機(jī)內(nèi)存緩沖。NVMe協(xié)議允許主控通過(guò)PCIe BAR空間去訪問(wèn)主機(jī)系統(tǒng)DDR的一段固定區(qū)域。也就是說(shuō)主控可以“借”一部分主機(jī)內(nèi)存來(lái)緩存FTL映射表和少量寫數(shù)據(jù)。HMB的妙處在于借用的是PC上性能極強(qiáng)的大容量?jī)?nèi)存而且延遲只比主控自帶DDR高一點(diǎn)點(diǎn)多了一次PCIe往返。對(duì)日常使用來(lái)說(shuō)HMB方案在讀寫大文件、跑分軟件里甚至能跟帶DDR方案打平。但實(shí)際體驗(yàn)中存在幾個(gè)不那么漂亮的地方老舊主板BIOS不支持HMB分配或PCIe ASPM省電策略太激進(jìn)導(dǎo)致主機(jī)內(nèi)存響應(yīng)不穩(wěn)定盤有時(shí)會(huì)卡成幻燈片。映射緩存放主機(jī)內(nèi)存每次查詢都要走PCIe鏈路雖然延遲不高但高隊(duì)列深度下并發(fā)沖突明顯隨機(jī)性能波動(dòng)比帶DDR方案大。寫緩存受限小文件寫入合并能力弱垃圾回收壓力會(huì)更早暴露。所以DRAM-less方案適合預(yù)算敏感、以順序讀寫為主的用戶如果重負(fù)載隨機(jī)寫、長(zhǎng)時(shí)間渲染或虛擬機(jī)多開(kāi)還是優(yōu)先考慮帶DDR方案。拆分這一點(diǎn)很多“為什么同容量盤價(jià)格差一半”的疑問(wèn)就解開(kāi)了。4.3 開(kāi)卡和量產(chǎn)時(shí)怎么判斷主控是否帶緩存如果你玩開(kāi)卡工具會(huì)在量產(chǎn)工具界面看到“Cache”“DDR”之類的選項(xiàng)。比如慧榮SM2258XT對(duì)應(yīng)的量產(chǎn)工具跟SM2258固件包往往不通用因?yàn)橐粋€(gè)是DRAM-less架構(gòu)一個(gè)是帶DDR外置架構(gòu)。開(kāi)卡前先看板子上有沒(méi)有獨(dú)立的DDR顆粒不要憑主控型號(hào)硬刷。很多開(kāi)卡失敗案例都源于糊涂地拿帶DDR固件往無(wú)緩存板子上刷。判斷方法很簡(jiǎn)單外觀上看主控旁邊有沒(méi)有一顆稍大的、引腳密集的顆粒更準(zhǔn)確的做法是查主控datasheet的封裝引腳表看有沒(méi)有完整DDR接口信號(hào)。像SM2258XT這種型號(hào)后綴帶XT的本身就是無(wú)緩存版本選錯(cuò)固件很容易報(bào)錯(cuò)。5. 固件與硬件配合中的DDR細(xì)節(jié)啟動(dòng)訓(xùn)練、掉電保護(hù)與排查經(jīng)驗(yàn)5.1 上電之后DDR是怎么被“喚醒”的這個(gè)環(huán)節(jié)做固件的人深有體會(huì)但普通玩家往往不知道。SSD上電后主控SoC并不是立刻就能用DDR的。此時(shí)DDR還沒(méi)有初始化內(nèi)部時(shí)序參數(shù)未知物理層信號(hào)對(duì)齊也沒(méi)建立。所以BootROM先靠?jī)?nèi)部SRAM運(yùn)行這段極早期的代碼只能用少量SRAM做基本硬件初始化鎖相環(huán)、時(shí)鐘、主機(jī)接口PHY、關(guān)鍵IO。完成基礎(chǔ)初始化后固件才進(jìn)入DDR初始化流程也就是常說(shuō)的DRAM Training。DDR控制器要在目標(biāo)頻率下對(duì)DQS/DQ信號(hào)做延遲掃描找到每個(gè)字節(jié)通道最可靠的采樣窗口然后寫入時(shí)序寄存器。這一步如果失敗盤的表現(xiàn)就是“主控不識(shí)別”“顆粒焊接沒(méi)問(wèn)題但依舊抓不到盤”實(shí)際顆粒本身往往是好的純粹是訓(xùn)練參數(shù)沒(méi)通過(guò)。我見(jiàn)過(guò)很多維修案例盤掉盤后重新開(kāi)卡又好了本質(zhì)就是重新上電后DRAM Training過(guò)了。但殘留問(wèn)題還在因?yàn)轭w?;蚬╇娨呀?jīng)老化訓(xùn)練余量極小跑幾天又會(huì)復(fù)現(xiàn)。這種情況建議直接更換DDR或降壓處理而不是反復(fù)刷機(jī)。5.2 掉電保護(hù)在固件層面的實(shí)現(xiàn)層次前面講過(guò)PLP的硬件基礎(chǔ)這里看固件怎么利用DDR做數(shù)據(jù)安全。第一級(jí)固件定期比如幾百毫秒或幾秒內(nèi)一次把DDR里的FTL映射表快照寫入NAND的映射備份區(qū)。每次完整寫映射表比較耗時(shí)所以通常只做“臟映射項(xiàng)”增量備份。第二級(jí)發(fā)生掉電時(shí)主控轉(zhuǎn)入緊急處理流程關(guān)閉主機(jī)接口禁止NAND新任務(wù)然后集中把DDR里的寫緩存數(shù)據(jù)和最新映射變更寫進(jìn)NAND臨時(shí)塊。等下次上電固件啟動(dòng)時(shí)先從臨時(shí)塊恢復(fù)現(xiàn)場(chǎng)。這里要注意DDR的容量越大掉電時(shí)需要搬移的數(shù)據(jù)也越多。如果DDR位寬窄、頻率低搬移時(shí)間就會(huì)拉長(zhǎng)對(duì)PLP電容的電量?jī)?chǔ)備要求就更高。這就是為什么有些大容量DDR方案的盤反而更容易在掉電中出問(wèn)題因?yàn)樗凹耶?dāng)”太多來(lái)不及搬完。在做產(chǎn)品定義時(shí)DDR容量不是越大越好還要評(píng)估在目標(biāo)掉電窗口內(nèi)能否完成數(shù)據(jù)固化。5.3 調(diào)試DDR常見(jiàn)問(wèn)題從“讀有效信號(hào)一直為低”說(shuō)起很多做FPGA原型驗(yàn)證或芯片驗(yàn)證的朋友會(huì)遇到一個(gè)問(wèn)題控制DDR時(shí)DDR的讀有效信號(hào)一直拉不高。這個(gè)現(xiàn)象可以拆出好幾個(gè)可能方向。第一檢查DDR控制器初始化狀態(tài)。控制器完成training并進(jìn)入正常態(tài)之前根本不會(huì)產(chǎn)生有效的讀數(shù)據(jù)返回讀有效信號(hào)保持低電平是正常的。不要一上來(lái)就懷疑讀時(shí)序先看控制器狀態(tài)寄存器是否從IDLE進(jìn)入ACTIVE。第二檢查命令是否真正發(fā)出。FPGA或膠邏輯里經(jīng)常犯的錯(cuò)是只配了地址沒(méi)有按DDR協(xié)議先發(fā)ACT命令打開(kāi)行就直接發(fā)READ命令或者REF自動(dòng)刷新沒(méi)有及時(shí)觸發(fā)。DDR要求先激活行再讀列命令次序錯(cuò)一個(gè)周期控制器就永遠(yuǎn)等不到有效數(shù)據(jù)。第三核對(duì)DFI接口的返回時(shí)序。控制器和PHY之間通常用DFI接口通信PHY讀回來(lái)的數(shù)據(jù)要經(jīng)過(guò)若干周期的內(nèi)部延遲才拉到DFI總線上。很多“讀有效一直為低”的case其實(shí)是PHY側(cè)返回路徑的采樣延遲沒(méi)配對(duì)控制器在錯(cuò)誤的時(shí)鐘沿采樣誤以為沒(méi)有有效數(shù)據(jù)。調(diào)試時(shí)可以沿著DFI總線把rddata_valid和rddata相對(duì)于dqs的相位打一拍、兩拍、三拍逐一觀察常常能找到正確窗口。第四用邏輯分析儀或示波器看物理DQS/DQ邊沿。如果命令、地址、時(shí)序寄存器都正常但DQS上根本沒(méi)出現(xiàn)讀前導(dǎo)信號(hào)read preamble優(yōu)先查時(shí)鐘穩(wěn)定性和PHY的訓(xùn)練結(jié)果。顆粒供電紋波大、參考電壓Vref偏了也會(huì)導(dǎo)致物理層眼圖閉合訓(xùn)練過(guò)程直接卡住。處理這類問(wèn)題經(jīng)驗(yàn)法則是“先狀態(tài)機(jī)后物理層再協(xié)議層”。把控制器狀態(tài)和DFI時(shí)序理清楚絕大多數(shù)“讀有效信號(hào)異?!倍寄芏ㄎ弧_@一套排查鏈路在SSD固件和芯片驗(yàn)證崗位面試?yán)镆步?jīng)常被拿出來(lái)問(wèn)可見(jiàn)它多么基礎(chǔ)又關(guān)鍵。DDR子系統(tǒng)在整個(gè)SSD主控SoC里的角色往小說(shuō)是內(nèi)存顆粒選型往大了說(shuō)其實(shí)是數(shù)據(jù)通路的調(diào)度中心。理解它之后再去看那些“帶緩存好還是無(wú)緩存好”“為什么掉盤”“為什么開(kāi)卡報(bào)錯(cuò)”的問(wèn)題思路會(huì)清晰很多。我自己做固件調(diào)優(yōu)時(shí)也養(yǎng)成一個(gè)習(xí)慣遇到性能或穩(wěn)定性問(wèn)題先看DDR控制器統(tǒng)計(jì)數(shù)據(jù)讀命中率、行命中率、寫合并命中率三個(gè)數(shù)一番組合下來(lái)往往比盲目調(diào)GC參數(shù)有效得多。希望這篇梳理能給你在選型、開(kāi)卡或調(diào)試的路上省下一點(diǎn)試錯(cuò)時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲欧美人妻| 久久鲁干| 国内91熟女人妻丝袜天天精品视频在线| 亚洲色偷偷色噜噜狠狠99网| 91最新综合| 偷偷人人精品女女久久| 亚洲第一无码播放立川理惠| 曰本91情色| 狠狠婷婷亚洲中文综合久久| 九九性爱网| 国产视频大全| 久久综合资源一区二区| 中出789在线视频| 精品日日人妻| 加勒比大香蕉视频在线| 日本媚薬中文字幕在线| 狠狠色婷婷777| 试看福利| 2019久久久久久久久福利| 国产久久久9999| 久久久久久久97| 2024人人操人人摸| 日韩本不卡视频在线观看| 综合操逼| 骚日日av| 精品夜夜澡人妻无码| 蜜桃久久一区二区| 视频在线观看一二三区| 欧美成人性爱视频在线播放| 亚欧中文字幕在线视频| 八人操人人摸人人看| 日韩欧美偷拍美女视频| 97在线精品| 九九九久久久W精品| 日产狠狠干| 农村女一级毛卡片| 超碰碰激情97+久| 亚洲成人性爱网站在线播放| 国产少妇内射| 久操99| 日本淫乱女一区二区三区视频| 殴美牲| 九九九精品成人免费视频小说| 亚洲精品一二三四区| 欧美呦呦性爱| 强乱老妇中文字幕| sss视频华人在线| 国产女同视频在线播放| 日日AAvv| 一区黄二区黄| 天天日天天干天天整| 就去色综合| 日日干夜夜操视频h| 久久av一级av少妇av高潮| 蜜臀av中文字幕| 久久人妻视频网| 操操操五月天婷婷丁香影院| 欧美精品久久| 亚洲日本成人动漫| 中文字幕成人理论在线| 久久精品国产亚洲5555| 亚洲人精品久久久| 精品无人区麻豆乱码久久久| 强奸乱伦中文字幕AV| 欧美性夜| 色情婷婷久久五月天| 成人精品在线观看| 性做久久久久久久| 久久久久久亚洲中文| 日本道人妻久久久在线不卡色视频| 黑操B| 北约熟女超碰| 91色图| 夜夜操夜夜高潮夜夜爽国产精品区| 超碰在线看| 日韩成人精品| 色激情综合网站| 天天激色| 激情文学 国产一二三aV| 两性综合网| 色黄污美女啪啪啪免费网站| 伊人九九九| 欧美日韩另类字幕中文| 欧美少妇第一页| 日本污ww视频网站| 操逼啊啊啊91| 国产精品欧美日韩久久| 无码免费在线观看黄色片| 91性网| 欧美在线视频观看一二三四区高清| 久久本道| 偷拍网站久久男女男| 全球成人中文在线| 久久一区二区高清免费| 国产Av超碰| 精品对白久久不卡| 人人弄人人摸| 国产免费黄色一级大片| 乱性AV| 丰满人妻一区二区三区色-百度| 欧美日韩中国x| 欧美精品91| 婷婷色一区| 色激情五月天| 日韩精品国产精品五码一区二区| 日本免费亚洲欧美| 激情看片网站| 国产久久一区二区午夜| 好淫网一二三视区| 91大胆欧美| 97精品视频免费| 高清孕妇孕交 交孕妇| 久久伊人亚洲AV无码网站| 男女国产精品| 蜜臀一区二区三区在线| 18禁无码永久免费无限制| 久久的免费性爱视频| 91操操操操| 成人羞羞视频国产| 在线中文字幕| 国产精品呦一区二区三区| 波多野42部无码喷潮在线观看| 偷拍 欧美 日韩| 亚洲欧洲av影音| 日韩激情无码影院| 亚洲一区二区三区欧美日韩| 大香网伊人久久综合| 久99视频| 久久久久久久 九九九九九九九| 国产精品对白内射| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 爱爱动态60秒| 久久久久亚洲熟妇熟女| 一区二区三区在线美女| 超碰精品在线| 屌妞视频久久久久久久久久久久| 欧洲性人爱视频| 日韩成人人妻网站| 精品午夜福利| 韩国成人精品久久久免费看| www.狠狠操| 后入 亚洲 美女 射| 欧美夜色| 97操b| 大色综合| 国产精品岛国片在线观看| 在线看免费无码AV天堂的| 啊啊啊啊啊啊在线| 久视频在线观看| 久久同城AV| 97亚洲国产| 超碰97人人cao| 亚洲春色欧美激情自拍| 亚洲少妇中文字幕网址| 色av中文字| 亚洲宗合网| 亚洲精品人体| 黄色AAAAA欧美| 91美女丝袜诱惑视频| 午夜欧美神马久久久久| 99re在线| 无码WWW免费视频网站| 免费观看欧美日韩操逼视频| 狠狠色一区二区中文字幕| 欧美偷| 日韩免费中文字幕视频| 色小视频蜜乳| 极品久久久久久久久久久久久久| 丰满人妻区一区二区三| 日日夜夜天天| 中文字幕一品色图| 中文字幕一区二区日韩网| 五月丁香| 一本久道久久综合狠狠爱一密臀精| www.yeyecao| 69超碰综合| 欧美淫乱视频| 久久精品中文字幕观看| 亚洲美女精品| 亚洲无码视频免费在线观看网址!| 顶级丝袜熟女一区二区三区| 秋霞福利网| 国产在线能看的你懂的| 国产欧美日韩在线观看麻豆传媒公司| 中文字幕免费看| 久草尤物| 一区 欧美 日韩 麻豆| 日韩本不卡视频在线观看| 性久久| 久久久熟妇熟女国产| 在线午夜成人无码视频| 精品妇女一区二区三区| 99久草| 91九色首页| 日日日大屁股骚女人精品| 日韩欧美午夜一区二区| 久久久久久久久久黄色网| 日本欧美中文字幕| 青青11操操操操操操操操| 极品极品色影院| 91色人妻| 97久久精品国产| 人人妻人人爽人人精品| 久热这里| 亚洲精品97| 五月天色图影视| 欧美色图校园春色| 能看的av| 超碰97人妻| 啪啪91| 夜夜欧美 | 欧洲一区二区三区四区在线观看| 五月丁香综合激情| 黄色视频高清无码网站| 2019AV天堂| 精品欧美А∨无码黑人大荫蒂| 日本啊啊啊啊啊视频| 免费一级精品啪啪视频| 一二视频神马久久传媒| 无码9区| 久9无限国产| 欧美不卡在线美女| 一个色导综合| 99这里都是精品| 欧美黄片视频在线观看免费 | 精品无码一区二区三区| 青青草色情网站视频| 亚洲综合另类小说色区亚洲成av人片在www| 啊啊啊在线观看免费视频| 少妇一区二区三区精选| daxiangjiao你懂的| 久久伊人大香蕉| 一级毛片电影免费看| 色色99| 亚洲一级性爱视频免费看| 欧美大色交| 天天日日夜夜| 国产亚洲日韩在线三区黑人| 中国熟妇| 啊啊啊好大好湿| 亚洲av无码成人精品国产| 97精品一区二区三区免费| 色天使大香蕉| 婷婷五月天社区| 成人性爱免费播放| 香蕉精品二区二区 | 两性综合网| 91高清欧美| 亚洲第一男人天堂| 伊色久人大在线| 天天操天天射青青草| 日韩性爱毛片操骚逼| 91色射| 日本不卡码黄色| AV无码久久久精品| 天天射天天| 97欧美色| 久久伊人青青草| 久久,精品一二三| 国产最新小视频在线播放下载| 999热日韩精品| 人人澡综合涩| 成人 日韩欧美一区| 强奸抽插av| 激情婷婷黑人91| 国模不卡一本二本三电影| 日本在线视频导航| 伊人久久大香线蕉无码| 凹凸视频在线一区二区| 欧美激情区| 四虎免费视频| 日欧毛片久久| 伊人久久久日韩一区| 天综合网| 超碰在线99| 九九久久一区二区伦理| 亚洲av无码国产精品字幕| 女生看匆91网站| 精品视频久久区| 一区,二区,三区视频| 狼人综合婷婷激情四射| www.婷婷六月天| 国产精品无码在线| 免费在线黄片视频| 日韩性爱人人爱人人操| 久久久久久久国产视频| 女人被男人桶爽视频网站| 日韩在线国产字幕| 亚洲一区中文精品| 国产成人自拍视频视频| Sekablack无码一区| 黑人娇小av在线播放| 欧美九九九九九| 综合少妇网| 情色大香蕉| 亚洲AV永久无码精品成人调教| 少妇内射www在线观看视频| 久久久久久性爱视频| 超碰资源亚洲97| 色综合美国| 亚洲精品丝袜-不卡成人免费…… 久久久久成人蜜桃精品 | 泰国AV在线观看| oumeisetu综合| 久久麻豆一区二区| 大香蕉97久久| 老司机福利社视频在线观看| 91天天综合在线观看| 日日妻色网| 久久机热| 狠狠爱夜夜| 国产精品福利视频| 一级AV性爱| WWW啪啪的com| 操逼网站视频漫画国产| 五月婷婷激情| 激情露脸爱| 青青青青草av在线观看| 嗯~啊~快点 死我视频免费看网站| 大香蕉琪琪日本女优不卡| 欧美97视频| 无码人妻系列少妇| 欧美日韩传媒| 欧美一级特黄淫片在线观看| 国产av美女被艹的乱叫| 日韩另类色图| 欧美91丝袜| 欧美综合自拍亚洲综合图| 天天天肏屄肏屄肏屄欧美欧美| 亚洲乱妇p22| 老司机福利青青草| 亚洲偷拍自拍在线视频| 亚洲熟女国产综合另类| 激情小说亚洲视频| 欧美亚洲情色| 国内毛片婷婷六月色| 精品人妻美妇91job| 五月婷婷综合网| 蜜桃臀一区二区三区久久| 亚洲国产精品久久久久久久久久| 国产精品午夜成人福利| 亚欧操逼片在线观看| 黄页av| 先锋激情∨在线视频播放| 91动漫操逼视频| 欧洲综合视频| 精品视频一区二区| 天天操天天射天天日| 丁香五月色情| 国产农村一一级特黄毛片| 色视频蜜乳| 日本熟妇一区二区三区| 亚洲一区二区AV| 人妻AV 中文字幕的| 色色色色网站| 国产午夜精品一区二区三区牛牛| 黄页18禁| 国产成人精品日本视频| 白丝一区| 91大神电影天堂| 殴美大黄片| 亚洲色欧美| 九九九久久久久| 久久国产视频性吧 | 九九亚洲| 亚洲高清无码在线桃色| 91狠狠综| 伊人网高清| 亚洲鸥美色图| 妇人噜噜| 久久有碼| 97视频620| 97中文超碰| AV无码久久久精品| 国产精品黄色三级av| 91丝袜在线播放| 久久久性少妇| 91激情综合| 久久精品老司| 丝袜美腿校园春色| 亚洲欧洲无码一区夜| 国精品一区二区三| 欧洲射精91| 精品一区96| 青青草操逼逼视频| 少妇二级| 欧美一级欧美三级在线观看| 欧插网站| 久草婷婷| 免费精品人妻一区二区三| 欧美色图20p| 97干在线| 在线观看岛国有码| 日韩精品在线观看网站| av天天在线观看| 黄色二级片网站| 九九热九九热| 91少妇香蕉久久精品| surenchaopeng| 麻豆色99999| 日本一线产区和二线产区伦理片| 曰韩人妻中文字幕在线 | 婷婷五月天影院| 女生自91网站| 超碰97COm中文| а√天堂资源官网在线资源| 麻豆一区在线| 97爱综合| 操逼视频免费日韩无码| 九九热免费视频| 美女啪欧美一区| 老鸭窝日丰县女人| 日韩成人高清一区二区| 久久久久国产一区二| 亚洲综合九九| 亚精品无码毛片一区二区三区| 黑人在线91| 日日噜噜夜夜狠狠视频无| 色一情一乱一乱一区91Av| 欧美精品第四五页中文字幕在线观看| 日产精品久久久一区二区| 日韩欧美性爱电影在线观看| 岛国精品视频在线观看| 51一区二区三区| 激情五月婷| 久久久久久久久久久久欧美日| 99av| 亚洲欧美校园另类春色| 欧美亚洲特P| 亚洲综合中文字幕有码| 97色欧州| av网页一区二区三区| 久久久啊啊| 亚洲人妻爽爽爽| 激情看片网站| 91中文字幕制服丝袜免费视频| 美女被艹尤物视频| 国产sv美女内射| 搡老熟女老女人老熟妇免费视频| 91碰碰| 欧洲成人性爱视频| 欧美特黄视频网站| 中字乱伦AV| 午夜传煤十二区精品| 日本高清久久| 亚欧洲日韩国产精品| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 欧美性生活综合| 天堂网亚洲区手机版| 美女尤物福利视频| 韩三级a视频在线观看 | 中字一区| 色色色综合| 日韩一级欧美一级国产一级台湾| 一及黄久一点| 亚洲精品无码少妇久久| 91天天综合日韩欧美| 日韩精品.久久精品.AV女优.天美传媒| 天天干18禁| 小明看看网址| 精品国产片亚洲一区| 家庭乱伦国产| 少妇淫妇久久久久久久| 久久曰曰| 日本99热| 九99久久| 97精品久久久久久久| 国产在线视视频有精品| 明星性猛交ⅹxxx乱大交| 色九九九九九九| 国产亚洲 中文欧美久久| 欧美十八禁导航成人| 丰满人妻区一区二区三| 国产suv精品一区二六| 日本不卡码黄色| 在线国产探花| 国产女人操逼视频| 久久男人精品| 欧美成人四级在线播放| 射综合网| 黄色工厂这里只有精品| 热热色AV| 97超色| 久久亚洲天天做| 色女网日韩| 1024久久高清视频| 97午夜剧场日韩| 91婷婷| 久久99网站| 日韩啪啪视频| 超碰美国| 农村女一级毛卡片| 中英熟女操女| 啪啪AV导航| 亚瑟国产精品久久无码| 伊人久久大香线蕉无码| 蜜臀亚洲中文| 中文字幕十五区| 欧美第二页午夜| 蜜桃臀久久| 亚洲做性| 天天日夜干| 日本中文字幕不卡视频| 在线a v| 亚洲乱码尤物193YW| 久久九九国产精品| 99热这里是精品| 嗯啊免费视频| 97爱b| 加勒比综合在线| 久久专区| 国产精品久久久久中文字幕| 99av| 岛国网址国产 | 欧美色网| aaaa少妇高潮大片| 欧美内射少妇| 欧美天堂在线| 欧美经典一区二区三区| 91一区二区| 久久99精品九九久久久婷婷| 91高清欧美| 69视频入口| 国产原创剧情在线丝袜| 好看的久久不射无码影视影院| 极品出轨视频网站| 日韩欧美午夜一区二区| 在线观看AV不卡| 色777999综合| 久久社区一区二区三区| 少妇极品熟妇人妻无码| 五月天开心网| 国产精品禁久久久精品| 日韩探花精品在线视频| 亚洲牲交| 欧美大香蕉在线观看| 亚洲交性| 亚洲春色激情小说| 97色亚洲| 久久久久骚| 综合欧美亚洲| 亚 欧 美 综合| 亚洲在线综合| 乱伦系列一区二区| 久久风骚城市人| 97色干| 四虎影视永久在线观看精品免费网站| 黄色在线网站| 亚洲成人AB| 夜夜草网站| 亚洲av资源| 国产精品96久久久久久| 色五月婷婷在线| 校园春色亚洲色图| 少妇被玩视频二三区| 日韩三级在线观看网站| 五月婷婷hd| 乳欲人妻办公室奶水| 国产精品网站免费| 一个人免费HD91视频| 超碰久久.com| 精品福利视频| 人摸人人操人| 国产精品视屏| 久久亚码| 91在线欧色| 99精品视频在线观看免费| 亚洲人人夜夜澡人人爽| 观看免费区二区三区二| 人人干人人搞人人摸| 麻豆成人影音在线| 人人插人人摸人人| 亚洲国产日韩精品久久久| 99国产天美| 天天天天天干夜夜夜夜夜操| 男插女青青影院| 中国熟女91| 亚洲男人天堂网久久| 伊人影院综合是一个与深夜成人在线| 2017天天操| 欧美少妇性乱| 69AV女优男人的天堂| 国产精品亚洲一区二区三区四区| 久久精品国产精品一区 | 国产精品久久久久久久久久久久| 日韩 欧美 视频 在线 一区| 91美女精品| 久久久久9| 艾草av| 日韩操逼HD| 少妇的嫩逼图片| 91欧美长吊| 亚洲欧美中文日韩视频中国语| 97欧美视频| 精品玖九九久| 久久久夜夜夜| 亚洲色图一区二区三区| 午夜在线播放| 丝袜 亚洲 偷拍| 色色色网站| 亚洲av强奸乱伦| 超碰成人最新最好看| 国产一在线观看| 岛国在线免费视频| 韩日性爱av| 一区三区啪啪| 我要看免费韩日黄片| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 中日韩免费看男女操逼大全| 粉嫩av在线| 久久秀这里有精品| 九九九综合精品| 激情文学 国产一二三aV| 操操啪| 亚洲少妇诱惑| 色汉综合| 男人干美女| 18啪啪手机免费性爱| 国产一区二区免费福利片| 中文字幕久久婷婷丁香五月天| 91精品国产91熟女| 99久久无码| 免费无码国产精品v片在线观看| 国产特级毛片AAAAAA高潮流水| 日本色色视频网站| 99久久99九九99九九九| 天美av在线观看| 五月天色电影| 夜夜夜爽www精品视频| 91oumei| 久久欧洲| 91综合网在线| 国产精品视频自拍在线| 五月婷婷激情网| 婷婷色网| www.acm成人黄色毛片| 自拍第一页| 亚洲欧美清纯| av在线资源| 午夜久久一区二区无码中出| 亚洲精品不卡一二三区| 日韩性爱一级片| 大伊香蕉在线视频免费| 中文字幕日韩精品一区二区三区| 久久香蕉国产线看观看亚洲女人 | 色色操| 亚洲高清视频在线观看| 91老司机视频| 日本一区二区三区四区免费观看| http://qxhbdz.com| 蜜臀一二三区| 97五月天| 精品女同一区二区三区| 五月婷网站| 99re9这里只有精品| 日本影视久久免费| 欧美乱色| 中文字幕人妻资源在线| 人妻碰碰碰碰碰碰| 国产精品一区二区密臀| 激情五月天丁香| 青青草色AV| 五月丁香影视| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 亚洲国产中文字幕| 亚洲AV无码黄色强奸| 国产性爱欧美性爱在线| 69视频入口| 欧美视频激情久久久久久| 性爱Av免费| 四虎精品一区| 开心激情婷婷| 大香蕉乱级| 亚洲91大片| 99国产人成精品| 射久久| 五月婷婷爱六月丁香色| 男人天堂2017| 天天情欲宗合网| 99久久久无码| 乱伦图av| 青青草福利视频| 欧美变态激情网| 99精品在线观看| 在线播放成人高清免费视频| 久久风骚城市| 亚洲欧美性生活| 九九九九精品视频| 九九自拍伦理| 又大又白奶子| 国产麻豆福利av在线播放| 欧美同性恋 的搜索结果 - 91n| 久久精品一区二区三区不卡| 精品一区二区综合熟妇| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 日韩丰满熟妇| 激情小说日韩无码| 欧美96交| 亚洲女优有码无码高清| 亚洲一区二区 麻豆传媒| 国产天天骚| 国产激情久久久| 久久人人舔人人爽舔人人av片| 久久在线观看免费视频| 天美传媒AV在线| 国产精品白丝AV| 欧美综合色| 成熟熟女国产精品一区二区| 中文字幕日产av人| 天天弄欧美| 无码91| 久操九九九九| 五月丁香| 任我爽视频在线观看| 亚洲色天堂日韩中| 欧美少妇熟女| 91N欧美| 日本丝袜美腿人妻九九| 青青草操逼逼视频| 天天看片天天爽| 日韩中文字幕熟妇人妻 | 99e久久国产精品| 欧美少妇人妻| 翔田千里无码一区| av一区二区三区四区| 九九黄色视频在线观看| 志村玲子视频一区二区| 超碰人人超在线观看| 成人av免费观看| 六月丁香婷| 色哟哟-国产专区| 欧美91丝袜| 国产国产亚洲一二三久久| 舔人妻中文免费视频| 亚洲成人贴图| 麻豆国产97在线| 一本一道vs波多野结衣| 高潮的A片激情扒开一区| 久久av成人无码免费| 婷婷五月天av| 久偷拍| 欧美操逼录像国产黄色国产| 国产精品ⅴ无码大片在线看.| 一牛影视成人片免费| 天天日少妇逼AV| 天天搞欧美| 亚洲国产成人精品999| 性开放中文AV高清无码免费看| 这里只有精品视频在线| 精品丰满熟妇人妻一区| 97在线视频免费看| 日韩黄色av中文字幕| 91久久久久久| 国产成人午夜视频网址| 五月婷婷青青草娱乐伊人| 成人婷婷丁香| 人人摸人人摸人人干| 女优大全 - 91n| 九九av| 国产精品一二三免费网站| 啪啪啪综合| 草莓精品视频| 麻豆熟妇乱妇熟色A片在线看| 午夜a成v人电影| 理论久久婷婷网 8| 久久在肏| 男人亚洲91首页在线| 色偷综合| 伊人婷婷五月天| 亚洲精品国产熟女久久久| 91爆操视频| 久久久久久久78| 93人人操人人| 韩国一级AAA| 亚洲性刺激| 九九伊人网| 七月婷婷综合| 色999偷自拍拍| 亚洲一区二区性爱电影| av天堂加勒比| 大香蕉99热| 伊人久久综合精品欧美| 欧美线天码中字| 五月婷色| 五十路六十路素人熟女| 亚洲一区二区中文字幕| 欧美国产一区二区三区麻豆传媒| 一级A片女人高潮叫床| 精品国产一区二区三区久久久蜜臀 | 国产操逼网站亚洲一级黄色| 国语精品av| 97人人模人人爽人人| 蜜臀久久99精品久久久久久| 999日韩中文精品观看视频。| 国产超碰AV在线精品| 97欧美色综合| 蜜桃视频精品一区二区| 26UUU欧美激情一区二区| 啊啊啊操死我| 亚洲 欧美 另类 日韩 人妻一区| 色99视频| 亚川综合视频| a级免费在线观看| 大香蕉92| 欧美福利视频啊啊啊啊| 国产av尤物| 操逼逼无码| 操人人| 大香蕉黄色一级片免费看| 欧美色图20p| 啊啊啊好多水| 激情第四色| 小情侣高清国产在线视频| 人人操我人人干| 久久青青草原免费视频| 日韩有码 一区二区三区| 四虎国产精品永久在线囯在线| 日韩大香蕉AV影片| 久久东京热久久| 久久六六| 人人操人人摸人人看人人插| 91东京热男人的天堂| 岛国片在线播放| 一区二区三区免费岛国片| 国产精品欧美日韩久久| 日本国产欧美高清在线| 国产一区二区三区精品观看啪| 久久久国产成人一区二区三区在线| 3028国产精品| 性爱综合网| 国产suv精品一区二区四| 蜜桃精久三区| 国产麻豆一区二三区| 99久久99九九99九九九| 久久大黄片| 最近2019中文字幕国语免费版| 九月丁香综合网| 性色一线| 69人妻人人揉人人躁人人精品| 精品人妻一区二区三区视频| 超碰精品97| se吧提供国产乱老熟视频胖女人| 白嫩国模丰满一二三区| 天天日少妇逼AV| 久久伦理视频久久大香蕉视频| 男人天堂无码| 好爽视频在线观看视频| 97干97色| 99色色网| 搡老熟女国产1000部| 狠狠操狠狠操操| 亚洲图片欧美在线视频| 白丝AV网站| 97干97色| 激情av| 欧美骚少妇| 久久亚洲AV成人精品无码| 久操视频免费在线观看| 欧美激情区| 欧美熟女操屄| 天操天操夜操夜月月年年操操| 视频不卡中文字幕| 国产不卡精品91| 一卡二卡三卡| 亚洲高清在线| 欧美大的香蕉有线电视视频| 欧美麻豆成人同性GⅤ在线| 久久大精品乱码视频人妻熟女| 成人免费性爱视视| 蜜臀久久99精品久久久久免费观| 欧美激情精品| 91视频观看网站| 思思热国产高清| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | a一区二区三区乱码在线| 99色视频| 亚洲精品人体| 口爆综合网| 蜜桃久久一区二区| 亚洲色图超碰在线| 国产精品96久久久久久| JULIA一区二区三区在线播放| 亚洲天堂人人妻| 日韩激情电影中文字幕| 精品人妻二区三区| 欧美欧美啪啪视频| 日本999精品| 国产强奸无码乱伦| 久久欧洲| 日韩丰满熟妇| 抽插亚洲无码| 中文字幕91综合| 天天激情综合站| 亚洲文学偷乱拍啪啪啪啪| 日本护士高潮| 亚洲精品久久久久毛片A片拉屎| 偷拍亚洲高清图片| 丁香五月婷婷基地| 国产资源中文字幕在线| 日韩av情韩国爱禁区av一区二区| 欧美很很操视频| 18一区二区三区| 一级二级三级黑人无码| 美女诱惑在线一区| 欧亚乱色熟一区二区三四区| 约操熟妇| 青娱乐999| 久久久96精品| 欧美亚洲宗合色性图| 自拍盗摄一区| 日日操天天操| 亚洲国产欧美一区二区潘金莲 | 99精品久久| 性久久| 日韩欧美性吧婷婷乱伦大香蕉| jiujiujiujingpin| 国产夜夜艹| 亚洲nv男人的天堂网| 天天操天天射天天日| 亚洲天天操| 日韩在线电影| 欧美综合中文| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 国产91啪| se吧提供国产乱老熟视频胖女人| 老鸭窝成人免费毛片视频| 黄色av播放免不| 国产人妻精品一区二区三区秋霞| 欧美大香蕉卡久久| 动漫片子网站3黄| 97色冈| 狠狠热这里都是精品| 91原创在线观看| 久久久久久久久久久人妻| 多乙久久久久久| 亚洲av无码成人精品国产| 久久久久久精品免费看A级| 无码最新| 五月婷视频| 亚 欧 美 综合| 久热69九色熟妇97| 91亚州欧美| 日本新免费二区三区| 男女性扦B| 天堂av最新电影网| 大香蕉手机在线| 老女人综合| 综合久久97| 国产毛片久久久久久久| 香蕉久久国产AV一区二区| 国产精品视频电影| 欧美久久婷婷| 成人精品视频一区二区| 樱花蜜乳av| 91av熟女人妻| 睡产熟女乱伦| 日日夜夜国产综合| 97国产精品在线观看| 国产日韩无码一区二区三区久久区| 国产成人自拍视频视频| 日韩女模中文造逼| 九九热视频这里只有精品| 欧美黑人日韩少妇色情| 香蕉欧美| 丁香色五月 97干| 欧美少妇色综合| 国产粉嫩蜜臀av一区二区三区| A片 AV一级在线播放观看免费| 欧美日韩淫加| 一二三区精品视频| 久久久久婷婷| 另类av天堂| 人妻丝袜美腿中文字幕| 玖玖在线视频| 日日干日日操五月天伦理视频| 日日嗷| 婷婷丁香五月激情啪啪| 天堂精品一区| 色情五月综合婷婷| 精品人妻一区二区三区四区| 熟妇操花| 久久久久久久久久久久色网| 免费黄色A片| 欧美亚洲高清不卡| 91丨豆花丨熟女| 大香蕉欧美伊| 亚洲av青草久久一区二区| 五月综合久久| 人妻少妇精品久久久久久| 92人人操人人| 中国和日本人色哪个不下载能放| 国产精品美女在线一区| 日韩人妻精品中文字幕| 日本人人操人人操| 欧美日韩色| 亚洲综合888| 色久桃花影院在线观看| 青青草在线成人视频| 亚欧免费| 欧美在线天堂| av操操不卡| 欧美精品1区2区3区| 久久天堂| 欧美亚洲高清不卡| 天天插天天插| 久草视频在线视频在线视频在线观看| 日韩精品人妻中文字有码在线| 亚洲中文字幕精品久久久久久直播| 91丝袜视频在线观看| 男人的天堂2018东京热啪啪啪| ji熟女.com| 青青青在线高清视频在线一二三四区| 色蜜AV| 黄aaaaaaaaaaaaaaaaaa色网站 | 淫乱图区 | 男人的天堂日本东京热| 91free福利| 日韩激情电影中文字幕| 亚洲AV无码天美传媒一区| www.久久超碰| 加勒比色99999| 国产成人bd在线观看| 美女97超碰| 91情色| 天天综合色电影| 97欧美日韩综合| 在线中文字幕极品av| 色大师网站www永久网站视频| 狠狠婷婷亚洲中文综合久久| 9+1视频网址| 97在线免费公开视频| 丁香五月偷拍| 淫乱图区 | 久久久久久九| 91麻豆天美国产欧美| 91精品国产91久久久久久久久久久久| 日本女优在线视频福利| 啊灬啊灬啊灬啊灬高潮奶出了免费视| 一个国产在线综合网站| 麻豆 亚洲 97| 日韩精品在线观看网站| 中文字幕免费看| 五月丁香影院| 欧美AB在线| 后入式在线免费观看60秒| 另类欧美色| 久操99| 老外又粗又长一晚做五次| 磁力99AV| 国产精品免费视频人成| 亚洲日韩欧美一区二区| 亚洲成熟国产精品美女| 一二区在线观看视频| 欧美黑人性猛交91| 370p日韩欧美亚洲精品| 精品久久艹| 欧美九九爱| 先锋激情∨在线视频播放| 夜夜国自区| 亚州欧美在线| 99热99re超碰精品| 久久精品国产亚洲AV高级北京| 99热这里只有精品1| 9999伦理视频| 国产亚洲精品自在线亚洲情侣| 九九人妻| 麻豆AV96熟妇人妻| 日本一级黄色电影| 欧美高清18A片| 欧美爱国产综合、| 久久9 9 9精品| 国产精品一二三在线看| 91丝袜在线播放| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 日韩人妻制服丝袜av| 深夜激情 | 嗯嗯嗯啊啊啊在线免费观看| 亚洲小电影免费涩涩成人在线高清| 试看60秒 爽| av日韩中文字幕| 俄罗斯一区二区视频在线观看 | 91ise欧美| 麻豆啪啪啪视频| 亚洲精品影视老司机| 久操操AV电影| 日韩强奸av| 国产午夜精品理论片a大结局| 丁香五月综合| 久久噜噜噜精品国产亚洲综合| 啊啊啊啊啊啊啊国| 国产av高清版| 日本九九九九| www.av在线观看| 九九亚洲精品| 亚洲精品第一| 亚洲中文日韩欧美大香蕉视频| 亚洲AV成人精品网站在AV| 亚洲高清91| 亚洲国产熟妇综合色专区| 东北女人高潮视频| 丰满人妻-区二区三区| 在线电影亚洲色图| 精品二区三四区五电影 | 少妇天堂网络| 久久9精品视频| 97超级欧美| 目产99999久久999| 伊人网在线观看| 欧洲一区二区三区四区在线观看| x97av| 青青草女人天天干| 九九九九一区| 亚洲婷婷丁香在线| 亚洲国产成人精品999| 欧美一区二区福利在线| 草草影院最新网址| 无码 有码 国产18p| 成人电影一区| 91蜜臀熟女| 亚洲天堂美臀在线| 啊啊啊啊无码| 国产人妖的免费的视频| 99热精品在线播放| 天堂精品小草| 亚洲脚交| 欧美日韩黄片精品在线| 99热精品在线| 1000午夜黄色| 亚洲熟女人妻中文字幕一区二区| 欧美色www亚洲国产阿娇要播| 全免费a敌肛交毛片免费| 欧美亚洲色图另类国产| 中文字幕一区二区三区字幕| 黄色香蕉视频网站一区| 黄色一级视| 国产怡红院| 亚洲人妻色图| 淫荡网址| 色综合久久久久| 在线视频一区二区传媒| 青青青草伊人精品| 亚洲一区中文精品| 熟妇熟女视频一区二区三区| 日韩欧美中文字| 大香蕉黄色一级片免费看| 亚洲AV资源| 九九热AV| 亚洲18禁| 久久精品噜噜噜成人看免欧美大片| 国产成年精品高清在线观看91| 久久机热| 欧美日韩精品一区二区三区高清| 成年女人一区| 91亚洲人| 在线不卡视频| 超碰97国产欧美| 日韩欧美午夜视频在线| 欧色性第一页| 高跟伊人julia ann| 日本操大逼| 久久av色|