色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心 但凡玩過(guò)幾塊SSD的人都會(huì)遇到類似的問(wèn)題新加了一塊固態(tài)硬盤想把原來(lái)D盤的系統(tǒng)遷過(guò)去或者下載了慧榮SM2258XT主控的量產(chǎn)工具想自己開(kāi)卡。折騰硬件之前很多人沒(méi)意識(shí)到?jīng)Q定這一步順利與否的其實(shí)是主控SoC和它旁邊的DRAM顆粒。SSD主控SoC整體架構(gòu)如果沒(méi)有概念很多人會(huì)把“不穩(wěn)定”怪到固件上把“掉速”怪到顆粒上卻很少懷疑DDR子系統(tǒng)在數(shù)據(jù)通路里扮演的角色。這篇文章想以主控SoC內(nèi)部的數(shù)據(jù)通路為主線講清楚DDR子系統(tǒng)到底承擔(dān)什么任務(wù)作為系統(tǒng)架構(gòu)師或維修/開(kāi)卡愛(ài)好者又該怎么去理解帶DRAM和不帶DRAM方案的差異。別覺(jué)得“DDR”只是顆粒選型表里一個(gè)頻率和容量參數(shù)它在整個(gè)SSD里的角色比你想象的復(fù)雜得多。1. 主控SoC其實(shí)是一臺(tái)以“搬數(shù)據(jù)”為唯一目的的專用計(jì)算機(jī)1.1 先看清主控SoC的硬件全家福很多教程一上來(lái)就講FTL算法、垃圾回收但連主控SoC內(nèi)部有哪些模塊都沒(méi)交代清楚。這里先把家底盤一遍。主控SoC并不是什么神秘的東西去掉“存儲(chǔ)”這個(gè)屬性它跟普通嵌入式SoC沒(méi)有本質(zhì)區(qū)別照樣本有CPU核心、總線矩陣、外設(shè)接口。特殊的是它所有外設(shè)和加速器都圍繞同一個(gè)目標(biāo)把用戶數(shù)據(jù)在主機(jī)和NAND之間搬運(yùn)得又快又穩(wěn)。CPU核心以ARM Cortex-R系列為主流也有用自研RISC-V核的。CPU負(fù)責(zé)FTL邏輯、指令解析、壞塊管理、磨損均衡這些“決策類”工作但不直接參與大量數(shù)據(jù)拷貝。主機(jī)接口SATAAHCI協(xié)議或者PCIeNVMe協(xié)議負(fù)責(zé)跟PC、服務(wù)器通信。目前主流消費(fèi)級(jí)NVMe盤的PCIe Gen3 x4帶寬上限大約3500MB/sGen4 x4翻倍到7000MB/s。NAND閃存接口主控拉出若干條閃存通道常見(jiàn)8通道、12通道、16通道甚至更高每個(gè)通道掛多顆NAND die。通道越多閃存并行度越高這個(gè)并行度直接決定主控能跑多高帶寬。ECC/LDPC引擎硬件編解碼器寫的時(shí)候給數(shù)據(jù)加上校驗(yàn)冗余讀的時(shí)候把錯(cuò)誤糾回來(lái)。TLC/QLC時(shí)代LDPC軟解碼對(duì)主控算力要求極高這一塊做不好盤就會(huì)頻繁掉速。DMA引擎這是數(shù)據(jù)通路的真主力。DMA負(fù)責(zé)把數(shù)據(jù)從一個(gè)接口搬到另一個(gè)接口整個(gè)過(guò)程不需要CPU逐字節(jié)干預(yù)CPU只要事先配好描述符和目的地址就行。SRAM與DDR接口內(nèi)部SRAM快但容量很小通常幾十KB到幾MB外部DDR才是主存儲(chǔ)容量從幾十MB到1GB以上不等承擔(dān)絕大多數(shù)像映射表、數(shù)據(jù)緩沖這類需要大容量暫存的活兒??偩€矩陣內(nèi)部互聯(lián)容易被忽略但它和DDR子系統(tǒng)同樣關(guān)鍵。主控內(nèi)部常用AXI總線或者類似NoC的多平面互聯(lián)位寬從32位到64位頻率從幾百M(fèi)Hz到1GHz不等。如果你的內(nèi)部總線只有一個(gè)單出口主機(jī)數(shù)據(jù)、閃存數(shù)據(jù)、DDR訪問(wèn)、ECC編碼全部搶一條路那么外部DDR即使再快也會(huì)被“卡脖子”。很多FPGA做控制器原型驗(yàn)證的人會(huì)遇到“DDR帶寬明明夠但整機(jī)性能就是上不去”的情況一半的根因出在內(nèi)部總線仲裁而不是DDR本身。1.2 寫請(qǐng)求和讀請(qǐng)求在SoC內(nèi)部的完整旅程了解了模塊構(gòu)成就可以把一條真實(shí)的數(shù)據(jù)請(qǐng)求放進(jìn)通路里跑一遍。先看寫路徑主機(jī)通過(guò)NVMe/SATA協(xié)議發(fā)送寫命令伴隨數(shù)據(jù)包進(jìn)入主控的主機(jī)接口。DMA引擎把數(shù)據(jù)從主機(jī)側(cè)接收FIFO搬到內(nèi)部緩沖SRAM或DDR。此時(shí)數(shù)據(jù)已經(jīng)帶上了邏輯塊地址LBA。固件查詢FTL映射表決定這批數(shù)據(jù)該寫到哪些物理頁(yè)。注意這里FTL映射表通常就住在DDR里所以光“查表”這一步就已經(jīng)產(chǎn)生了一次DDR訪問(wèn)。決定物理地址后數(shù)據(jù)不會(huì)立刻落閃存。固件會(huì)依據(jù)磨損均衡、垃圾回收狀態(tài)和當(dāng)前NAND忙閑情況把數(shù)據(jù)先在DDR的寫緩沖區(qū)分組、合并。等到NAND通道空閑且聚合的數(shù)據(jù)量足夠固件才發(fā)起寫操作數(shù)據(jù)從DDR緩沖區(qū)流向LDPC編碼引擎加完校驗(yàn)后按通道和片選分配到對(duì)應(yīng)NAND顆粒。物理寫入完成后FTL映射表在DDR中更新。這部分更新的映射記錄還要定期固化到NAND的映射備份區(qū)否則斷電就會(huì)丟失。再看讀路徑讀路徑的邏輯稍微“輕”一點(diǎn)但同樣繞不開(kāi)DDR主機(jī)發(fā)出讀命令固件先查DDR里的映射表把LBA翻譯成物理頁(yè)地址。主控向?qū)?yīng)NAND通道發(fā)起讀命令從NAND讀回原始數(shù)據(jù)經(jīng)過(guò)LDPC譯碼獲取正確數(shù)據(jù)。由于NAND頁(yè)大小常見(jiàn)16KB或32KB和主機(jī)讀寫粒度典型4KB不對(duì)等主控經(jīng)常需要把若干段數(shù)據(jù)在DDR或SRAM里重新拼接湊成主機(jī)期望的邏輯塊再用DMA返回主機(jī)。一條數(shù)據(jù)從進(jìn)到出至少兩次經(jīng)過(guò)DDR。這個(gè)“至少”在隨機(jī)小寫、垃圾回收并發(fā)時(shí)會(huì)翻倍增長(zhǎng)。所以結(jié)論已經(jīng)很明顯了DDR子系統(tǒng)不是“可選配件”而是數(shù)據(jù)通路上的十字路口。2. DDR子系統(tǒng)在數(shù)據(jù)通路里的四種身份2.1 它是FTL映射表的常駐內(nèi)存FTLFlash Translation Layer是SSD的靈魂。它維護(hù)一張“邏輯地址到物理地址”的映射表。主機(jī)只認(rèn)邏輯塊地址LBA但閃存物理頁(yè)是不斷在磨損、回收、重寫的所以主控內(nèi)部必須有一張隨時(shí)能查的表。這張表有多大可以做一次很樸素的估算假設(shè)映射粒度為8KB即每8KB邏輯空間對(duì)應(yīng)一個(gè)映射條目單條映射信息打包壓縮后占用4字節(jié)。那么一塊512GB的盤映射表大小就是512GB÷8KB×4B算下來(lái)正好256MB。如果映射粒度更細(xì)4KB或條目更寬8字節(jié)512GB盤就可能需要512MB甚至1GB的DRAM來(lái)裝映射表。這里就能解釋很多產(chǎn)品現(xiàn)象為什么老款120GB/240GB固態(tài)盤只配64MB或128MB DDR而高端2TB盤要配512MB或1GB DDR。因?yàn)槿萘吭酱笥成浔碓酱驞DR不夠就裝不下足夠多的映射表熱數(shù)據(jù)。有了DDR常駐映射表主控處理一次讀命令時(shí)查表只需要一個(gè)短延時(shí)的內(nèi)存訪問(wèn)如果沒(méi)DDR或者DDR容量太小映射表就只能部分駐留查不到的部分要去NAND里讀這個(gè)開(kāi)銷是災(zāi)難級(jí)別的4K隨機(jī)性能會(huì)直接崩塌。2.2 它是讀寫合并時(shí)用的臨時(shí)堆場(chǎng)NAND閃存的工作方式跟機(jī)械硬盤完全不一樣它以頁(yè)為單位讀寫一個(gè)頁(yè)通常是16KB或32KB。但主機(jī)下發(fā)數(shù)據(jù)的粒度很靈活可能是極其瑣碎的4KB、8KB甚至更小。為了讓NAND寫效率更高主控不會(huì)來(lái)一條就寫一條而是把零碎的寫請(qǐng)求先在DDR緩沖里攢一攢湊成完整的NAND頁(yè)再寫入。這個(gè)過(guò)程在固件術(shù)語(yǔ)里叫“寫合并”或“批量組頁(yè)”。讀方向同樣需要合并。主機(jī)可能只讀一個(gè)頁(yè)里的前半部分但NAND讀出來(lái)的是整個(gè)物理頁(yè)。主控要么只保留有效部分要么把整頁(yè)數(shù)據(jù)放進(jìn)DDR緩存以便后續(xù)相鄰LBA的讀取直接命中。垃圾回收時(shí)更夸張GC要把一個(gè)塊里的有效數(shù)據(jù)先讀進(jìn)DDR再把它們跟正在寫的熱數(shù)據(jù)一起重新分配、重寫。這一進(jìn)一出DDR的帶寬壓力瞬間翻倍。所以有很多主控在順序?qū)懭霑r(shí)表現(xiàn)尚可一旦進(jìn)入“半盤以上空間被占滿”狀態(tài)性能會(huì)出現(xiàn)斷崖式下跌。除了NAND本身寫放大很大程度也源于DDR緩沖和固件GC策略在實(shí)際數(shù)據(jù)通路中調(diào)度不過(guò)來(lái)。2.3 它是固件自己的運(yùn)行內(nèi)存很多人只把DDR理解成“緩存”其實(shí)它同時(shí)也是固件的運(yùn)行內(nèi)存。SSD主控里跑的是一套完整的實(shí)時(shí)操作系統(tǒng)固件棧包括FTL模塊、命令調(diào)度、壞塊管理、磨損均衡、溫控策略還有各種后臺(tái)任務(wù)。這些模塊的代碼在運(yùn)行前會(huì)被從NAND或外掛NOR Flash加載到內(nèi)存里執(zhí)行。固件用到的數(shù)據(jù)結(jié)構(gòu)比如命令隊(duì)列、壞塊表、磨損計(jì)數(shù)、日志系統(tǒng)、上下文狀態(tài)全部需要一大塊可讀寫的RAM空間。內(nèi)部SRAM通常只有幾百KB撐不起這么多東西所以DDR才是固件的“主存”。如果DDR子系統(tǒng)不穩(wěn)定比如顆粒虛焊、供電紋波偏大、訓(xùn)練時(shí)序不對(duì)SSD最典型的表現(xiàn)就是“掉盤”——固件運(yùn)行過(guò)程中訪問(wèn)DDR出錯(cuò)觸發(fā)看門狗復(fù)位盤從系統(tǒng)里消失過(guò)一會(huì)又出現(xiàn)。這種案例在維修和開(kāi)卡圈子里非常常見(jiàn)很多人誤以為是固件bug其實(shí)根源在DDR。2.4 它是掉電保護(hù)時(shí)最后搶救的數(shù)據(jù)安全島DDR是易失性存儲(chǔ)一斷電數(shù)據(jù)就沒(méi)了。但恰恰因?yàn)镈DR里住著映射表和寫緩存SSD掉電時(shí)最怕的就是DDR內(nèi)容來(lái)不及保存。帶掉電保護(hù)PLP的企業(yè)級(jí)盤會(huì)在主板上焊一排大電容或鉭電容檢測(cè)到外部電源跌落時(shí)利用電容殘存電量繼續(xù)給主控、DDR和NAND供一小段時(shí)間的電。主控利用這段時(shí)間把DDR里的FTL映射表快照和新寫入但還沒(méi)來(lái)得及落盤的數(shù)據(jù)緊急寫進(jìn)NAND的臨時(shí)區(qū)域。消費(fèi)級(jí)盤大多沒(méi)有完整PLP靠的是固件定期把映射表持久化到NAND同時(shí)保證DDR里只保留可以重新推導(dǎo)或重建的數(shù)據(jù)。但無(wú)論哪一類DDR的角色都一致它是數(shù)據(jù)最集中、最新鮮的地方掉電保護(hù)的本質(zhì)就是在搶救DDR里的資產(chǎn)。這里也能看出DRAM-less方案的一個(gè)優(yōu)勢(shì)——少一個(gè)DDR掉電時(shí)需要搶救的數(shù)據(jù)量會(huì)小很多失效模型更簡(jiǎn)單。3. 從計(jì)算角度看DDR選型帶寬、容量、時(shí)序三個(gè)硬指標(biāo)3.1 DDR帶寬要多少才夠用在方案設(shè)計(jì)階段你要回答的第一個(gè)問(wèn)題不是“用多大容量DDR”而是“DDR帶寬夠不夠”。DDR在數(shù)據(jù)通路里要同時(shí)服務(wù)主機(jī)數(shù)據(jù)、NAND數(shù)據(jù)、FTL查詢、固件CPU讀寫所以它的總線帶寬必須留足余量。做一次粗略預(yù)算。假設(shè)做一塊PCIe Gen3 x4接口的NVMe盤主機(jī)接口理論帶寬約3500MB/s。為了達(dá)到這個(gè)上限NAND接口側(cè)必須同樣具備接近甚至超過(guò)3500MB/s的聚合帶寬而數(shù)據(jù)搬移過(guò)程中DDR常常要當(dāng)中間跳板。經(jīng)驗(yàn)做法是讓DDR可用帶寬達(dá)到主機(jī)接口理論帶寬的1.5到2倍以上才能保證順序大文件讀寫、隨機(jī)小寫和GC并發(fā)時(shí)不會(huì)被內(nèi)存訪問(wèn)卡住。舉個(gè)例子常見(jiàn)的DDR3-1600顆粒數(shù)據(jù)線寬16bit它的峰值帶寬是1600MT/s×2字節(jié)≈3200MB/s。這個(gè)值單看跟Gen3 x4接口差不多但實(shí)際包含了行激活、預(yù)充電、讀寫切換等開(kāi)銷可用帶寬會(huì)打折扣。所以稍微講究一點(diǎn)的控制器會(huì)選用DDR3/DDR4 1866/2133頻率或者把DDR數(shù)據(jù)線擴(kuò)展到32bit把峰值帶寬推到6.4GB/s以上。不做這一步順序?qū)懭牒蟀攵瓮鶗?huì)出現(xiàn)周期性掉速。我實(shí)際在FPGA原型上踩過(guò)這個(gè)坑DDR顆粒型號(hào)沒(méi)變只是把突發(fā)數(shù)據(jù)調(diào)度策略從“每筆請(qǐng)求獨(dú)立訪問(wèn)”改成“同Bank連續(xù)地址聚合訪問(wèn)”整機(jī)隨機(jī)寫性能就提升了約20%。這充分說(shuō)明DDR帶寬不止看顆粒規(guī)格更看控制器怎么組織和利用總線事務(wù)。這里順帶回答一個(gè)很多初學(xué)者會(huì)查的問(wèn)題DDR的burst length是什么意思DDR3/4顆粒默認(rèn)突發(fā)長(zhǎng)度BL8意味著一次突發(fā)連續(xù)傳輸8個(gè)數(shù)據(jù)字。以16bit位寬的顆粒為例一次BL8突發(fā)會(huì)傳輸16×8128bit數(shù)據(jù)對(duì)應(yīng)內(nèi)部預(yù)取8n位??刂破髦挥邪凑者B續(xù)地址、盡量集中在同一行Row Buffer Hit的方式組織訪問(wèn)才能把突發(fā)效率跑滿。如果你去讀DDR協(xié)議規(guī)范會(huì)發(fā)現(xiàn)ACT、READ、WRITE命令之間的時(shí)序約束tRCD、tRAS、tWR等非常嚴(yán)格這都是在為突發(fā)傳輸?shù)母咝史?wù)。3.2 DDR容量與NAND容量的換算關(guān)系容量問(wèn)題前面提到過(guò)這里給出可復(fù)用的公式映射表所需空間 ≈ (SSD用戶容量 ÷ 映射粒度) × 單條映射大小以512GB容量、8KB粒度、每條映射4字節(jié)為例512GB 536870912KB除以8KB得到67108864條映射再乘4字節(jié)等于256MB。所以不帶DDR的主控如果想保證映射表完整駐留至少配256MB內(nèi)存。實(shí)際工程中還要預(yù)留寫緩存和固件運(yùn)行空間512GB盤配256MB DDR其實(shí)已經(jīng)非常緊張很多設(shè)計(jì)會(huì)配到512MB。1TB往上要看映射粒度是否增大、映射條目壓縮是否激進(jìn)不然DDR成本會(huì)壓不住。從選型角度大家可以直接拿這個(gè)公式反推看到一塊盤的DRAM顆粒容量就能估算它主控的映射管理策略大概是什么等級(jí)從而判斷它在高負(fù)載下會(huì)不會(huì)出現(xiàn)映射抖動(dòng)。3.3 burst length、位寬與頻率如何組合很多主控規(guī)格表只寫“支持DDR3/DDR4”但不寫位寬。主控SoC的DDR控制器接口位寬通常有16bit和32bit兩種少見(jiàn)64bit。位寬直接決定同樣頻率下帶寬翻倍代價(jià)是SoC封裝引腳數(shù)和PCB布線面積顯著上升。DDR頻率選擇還要考慮跟主控內(nèi)部總線頻率的匹配。內(nèi)部AXI總線主頻假設(shè)是400MHz、64bit位寬理論帶寬也是3.2GB/s那么DDR3-1600 16bit的3.2GB/s正好匹配但余量不足。好的架構(gòu)設(shè)計(jì)會(huì)讓DDR接口帶寬略高于內(nèi)部總線帶寬而不是剛好卡在同一個(gè)數(shù)否則總線滿負(fù)載時(shí)會(huì)產(chǎn)生反壓導(dǎo)致主機(jī)接口出現(xiàn)額外延遲。時(shí)序?qū)用鍰DR3/DDR4顆粒的CL、tRCD、tRP這些參數(shù)同樣影響實(shí)際性能。顆粒頻率往上提CL值往往同步放大延遲反而沒(méi)降多少。SSD主控對(duì)延遲尤其敏感尤其是隨機(jī)4K讀每次查映射表的延遲都能直接影響IOPS。所以做SSD主控選DDR顆粒時(shí)別看峰值帶寬花眼還要關(guān)注在目標(biāo)頻率下的實(shí)際讀寫延遲。4. 帶外部DDR與DRAM-less的分叉口同為SSD內(nèi)部差著一個(gè)架構(gòu)時(shí)代4.1 帶DDR方案旗艦產(chǎn)品的穩(wěn)定器我們先說(shuō)經(jīng)典方案主控帶著一顆外置DDR顆粒。典型代表包括大家熟悉的慧榮SM2258注意不是XT版、SM2262/SM2263群聯(lián)E12/E16聯(lián)蕓MAP1202等。這些主控方案幾乎都外掛一顆DDR3L或DDR4顆粒容量從64MB到1GB不等。帶DDR方案的優(yōu)勢(shì)非常明顯FTL映射表完整駐留任意LBA查表都是固定低延遲。寫緩存空間充裕即使隨機(jī)小寫也能大量聚合大大減少NAND寫入次數(shù)降低寫放大。固件運(yùn)行空間富余可以做復(fù)雜的后臺(tái)GC、磨損均衡和熱冷數(shù)據(jù)分離。掉電保護(hù)只需要聚焦DDR和NAND之間的數(shù)據(jù)搬移邏輯相對(duì)清晰。缺點(diǎn)也直白成本高BOM里多一顆DDR顆粒多一個(gè)失效點(diǎn)DDR本體虛焊、老化、供電異常都會(huì)導(dǎo)致不開(kāi)卡或掉盤。不過(guò)對(duì)性能和穩(wěn)定性要求高的人來(lái)說(shuō)這些代價(jià)值得。4.2 DRAM-less HMB方案用主機(jī)內(nèi)存“蹭”出性能近幾年低價(jià)位NVMe盤大量采用DRAM-less主控比如慧榮SM2258XT、SM2263XT。這類方案在主控SoC上直接省掉DDR控制器外訪通路不焊外置DRAM顆粒成本大幅下降。但前面說(shuō)得很清楚沒(méi)有DDR映射表住哪兒寫緩存用什么解決辦法叫HMBHost Memory Buffer主機(jī)內(nèi)存緩沖。NVMe協(xié)議允許主控通過(guò)PCIe BAR空間去訪問(wèn)主機(jī)系統(tǒng)DDR的一段固定區(qū)域。也就是說(shuō)主控可以“借”一部分主機(jī)內(nèi)存來(lái)緩存FTL映射表和少量寫數(shù)據(jù)。HMB的妙處在于借用的是PC上性能極強(qiáng)的大容量?jī)?nèi)存而且延遲只比主控自帶DDR高一點(diǎn)點(diǎn)多了一次PCIe往返。對(duì)日常使用來(lái)說(shuō)HMB方案在讀寫大文件、跑分軟件里甚至能跟帶DDR方案打平。但實(shí)際體驗(yàn)中存在幾個(gè)不那么漂亮的地方老舊主板BIOS不支持HMB分配或PCIe ASPM省電策略太激進(jìn)導(dǎo)致主機(jī)內(nèi)存響應(yīng)不穩(wěn)定盤有時(shí)會(huì)卡成幻燈片。映射緩存放主機(jī)內(nèi)存每次查詢都要走PCIe鏈路雖然延遲不高但高隊(duì)列深度下并發(fā)沖突明顯隨機(jī)性能波動(dòng)比帶DDR方案大。寫緩存受限小文件寫入合并能力弱垃圾回收壓力會(huì)更早暴露。所以DRAM-less方案適合預(yù)算敏感、以順序讀寫為主的用戶如果重負(fù)載隨機(jī)寫、長(zhǎng)時(shí)間渲染或虛擬機(jī)多開(kāi)還是優(yōu)先考慮帶DDR方案。拆分這一點(diǎn)很多“為什么同容量盤價(jià)格差一半”的疑問(wèn)就解開(kāi)了。4.3 開(kāi)卡和量產(chǎn)時(shí)怎么判斷主控是否帶緩存如果你玩開(kāi)卡工具會(huì)在量產(chǎn)工具界面看到“Cache”“DDR”之類的選項(xiàng)。比如慧榮SM2258XT對(duì)應(yīng)的量產(chǎn)工具跟SM2258固件包往往不通用因?yàn)橐粋€(gè)是DRAM-less架構(gòu)一個(gè)是帶DDR外置架構(gòu)。開(kāi)卡前先看板子上有沒(méi)有獨(dú)立的DDR顆粒不要憑主控型號(hào)硬刷。很多開(kāi)卡失敗案例都源于糊涂地拿帶DDR固件往無(wú)緩存板子上刷。判斷方法很簡(jiǎn)單外觀上看主控旁邊有沒(méi)有一顆稍大的、引腳密集的顆粒更準(zhǔn)確的做法是查主控datasheet的封裝引腳表看有沒(méi)有完整DDR接口信號(hào)。像SM2258XT這種型號(hào)后綴帶XT的本身就是無(wú)緩存版本選錯(cuò)固件很容易報(bào)錯(cuò)。5. 固件與硬件配合中的DDR細(xì)節(jié)啟動(dòng)訓(xùn)練、掉電保護(hù)與排查經(jīng)驗(yàn)5.1 上電之后DDR是怎么被“喚醒”的這個(gè)環(huán)節(jié)做固件的人深有體會(huì)但普通玩家往往不知道。SSD上電后主控SoC并不是立刻就能用DDR的。此時(shí)DDR還沒(méi)有初始化內(nèi)部時(shí)序參數(shù)未知物理層信號(hào)對(duì)齊也沒(méi)建立。所以BootROM先靠?jī)?nèi)部SRAM運(yùn)行這段極早期的代碼只能用少量SRAM做基本硬件初始化鎖相環(huán)、時(shí)鐘、主機(jī)接口PHY、關(guān)鍵IO。完成基礎(chǔ)初始化后固件才進(jìn)入DDR初始化流程也就是常說(shuō)的DRAM Training。DDR控制器要在目標(biāo)頻率下對(duì)DQS/DQ信號(hào)做延遲掃描找到每個(gè)字節(jié)通道最可靠的采樣窗口然后寫入時(shí)序寄存器。這一步如果失敗盤的表現(xiàn)就是“主控不識(shí)別”“顆粒焊接沒(méi)問(wèn)題但依舊抓不到盤”實(shí)際顆粒本身往往是好的純粹是訓(xùn)練參數(shù)沒(méi)通過(guò)。我見(jiàn)過(guò)很多維修案例盤掉盤后重新開(kāi)卡又好了本質(zhì)就是重新上電后DRAM Training過(guò)了。但殘留問(wèn)題還在因?yàn)轭w?;蚬╇娨呀?jīng)老化訓(xùn)練余量極小跑幾天又會(huì)復(fù)現(xiàn)。這種情況建議直接更換DDR或降壓處理而不是反復(fù)刷機(jī)。5.2 掉電保護(hù)在固件層面的實(shí)現(xiàn)層次前面講過(guò)PLP的硬件基礎(chǔ)這里看固件怎么利用DDR做數(shù)據(jù)安全。第一級(jí)固件定期比如幾百毫秒或幾秒內(nèi)一次把DDR里的FTL映射表快照寫入NAND的映射備份區(qū)。每次完整寫映射表比較耗時(shí)所以通常只做“臟映射項(xiàng)”增量備份。第二級(jí)發(fā)生掉電時(shí)主控轉(zhuǎn)入緊急處理流程關(guān)閉主機(jī)接口禁止NAND新任務(wù)然后集中把DDR里的寫緩存數(shù)據(jù)和最新映射變更寫進(jìn)NAND臨時(shí)塊。等下次上電固件啟動(dòng)時(shí)先從臨時(shí)塊恢復(fù)現(xiàn)場(chǎng)。這里要注意DDR的容量越大掉電時(shí)需要搬移的數(shù)據(jù)也越多。如果DDR位寬窄、頻率低搬移時(shí)間就會(huì)拉長(zhǎng)對(duì)PLP電容的電量?jī)?chǔ)備要求就更高。這就是為什么有些大容量DDR方案的盤反而更容易在掉電中出問(wèn)題因?yàn)樗凹耶?dāng)”太多來(lái)不及搬完。在做產(chǎn)品定義時(shí)DDR容量不是越大越好還要評(píng)估在目標(biāo)掉電窗口內(nèi)能否完成數(shù)據(jù)固化。5.3 調(diào)試DDR常見(jiàn)問(wèn)題從“讀有效信號(hào)一直為低”說(shuō)起很多做FPGA原型驗(yàn)證或芯片驗(yàn)證的朋友會(huì)遇到一個(gè)問(wèn)題控制DDR時(shí)DDR的讀有效信號(hào)一直拉不高。這個(gè)現(xiàn)象可以拆出好幾個(gè)可能方向。第一檢查DDR控制器初始化狀態(tài)。控制器完成training并進(jìn)入正常態(tài)之前根本不會(huì)產(chǎn)生有效的讀數(shù)據(jù)返回讀有效信號(hào)保持低電平是正常的。不要一上來(lái)就懷疑讀時(shí)序先看控制器狀態(tài)寄存器是否從IDLE進(jìn)入ACTIVE。第二檢查命令是否真正發(fā)出。FPGA或膠邏輯里經(jīng)常犯的錯(cuò)是只配了地址沒(méi)有按DDR協(xié)議先發(fā)ACT命令打開(kāi)行就直接發(fā)READ命令或者REF自動(dòng)刷新沒(méi)有及時(shí)觸發(fā)。DDR要求先激活行再讀列命令次序錯(cuò)一個(gè)周期控制器就永遠(yuǎn)等不到有效數(shù)據(jù)。第三核對(duì)DFI接口的返回時(shí)序。控制器和PHY之間通常用DFI接口通信PHY讀回來(lái)的數(shù)據(jù)要經(jīng)過(guò)若干周期的內(nèi)部延遲才拉到DFI總線上。很多“讀有效一直為低”的case其實(shí)是PHY側(cè)返回路徑的采樣延遲沒(méi)配對(duì)控制器在錯(cuò)誤的時(shí)鐘沿采樣誤以為沒(méi)有有效數(shù)據(jù)。調(diào)試時(shí)可以沿著DFI總線把rddata_valid和rddata相對(duì)于dqs的相位打一拍、兩拍、三拍逐一觀察常常能找到正確窗口。第四用邏輯分析儀或示波器看物理DQS/DQ邊沿。如果命令、地址、時(shí)序寄存器都正常但DQS上根本沒(méi)出現(xiàn)讀前導(dǎo)信號(hào)read preamble優(yōu)先查時(shí)鐘穩(wěn)定性和PHY的訓(xùn)練結(jié)果。顆粒供電紋波大、參考電壓Vref偏了也會(huì)導(dǎo)致物理層眼圖閉合訓(xùn)練過(guò)程直接卡住。處理這類問(wèn)題經(jīng)驗(yàn)法則是“先狀態(tài)機(jī)后物理層再協(xié)議層”。把控制器狀態(tài)和DFI時(shí)序理清楚絕大多數(shù)“讀有效信號(hào)異?!倍寄芏ㄎ弧_@一套排查鏈路在SSD固件和芯片驗(yàn)證崗位面試?yán)镆步?jīng)常被拿出來(lái)問(wèn)可見(jiàn)它多么基礎(chǔ)又關(guān)鍵。DDR子系統(tǒng)在整個(gè)SSD主控SoC里的角色往小說(shuō)是內(nèi)存顆粒選型往大了說(shuō)其實(shí)是數(shù)據(jù)通路的調(diào)度中心。理解它之后再去看那些“帶緩存好還是無(wú)緩存好”“為什么掉盤”“為什么開(kāi)卡報(bào)錯(cuò)”的問(wèn)題思路會(huì)清晰很多。我自己做固件調(diào)優(yōu)時(shí)也養(yǎng)成一個(gè)習(xí)慣遇到性能或穩(wěn)定性問(wèn)題先看DDR控制器統(tǒng)計(jì)數(shù)據(jù)讀命中率、行命中率、寫合并命中率三個(gè)數(shù)一番組合下來(lái)往往比盲目調(diào)GC參數(shù)有效得多。希望這篇梳理能給你在選型、開(kāi)卡或調(diào)試的路上省下一點(diǎn)試錯(cuò)時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久超碰亚洲人| www国产无码| 91无摭挡| 欧美一级美片在线观看免费| 丁香六月婷婷综合| 日韩本不卡视频在线观看 | 天堂精品在线| 色情五月综合婷婷| 伊人991| 久久日韩肥臀| 国产无码一二三区| 4虎在线视频| 强奸抽插av| 99热精品在线观看| 一本久久久精品| 色婷婷九月天天综合| 国产一区麻豆免费观看| 91在线视频国产网站| 99视频自拍| 久久久国产精品亚洲精品| 日韩在线观看三级电影| 色五月第四色| 青青伊人这里只有精品| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 无码精品久久| 91夜夜蜜桃臀1区2区3区| 蜜臀久久99精品久久久久久成人小说 | 欧美日韩精品国产91| 精品视频一二三中文| 长长久久免费视频| 男人天堂网站| 亭亭丁香激情| 久久双插| 欧洲亚洲人妻无码中字久久三区四区 | 亚洲码和欧洲精品激情系列| 亚洲国产另类在线中文| 中文字幕 一区二区 亚洲无码| 91无遮挡| 精品久久久久久久久久久久| 少妇3P性爱自拍| 少妇精品久久久| 欧美色性爱| 久久天堂网| 久久精品中文字幕观看| 欧美另类天堂| 色97| 亚洲一级性爱视频免费看| 天天日日日射| 欧美日韩操操操| 色香91| 免费A V在线| 亚洲少妇综合| 青青草在线视频人人想人人上| 日韩三级伊人| 黄资源| 约操熟妇| 精品九九九九九| 97玖玖超碰| 日韩精品一区的| 亚洲高清综合网| 免费观看欧美日韩操逼视频| 黄片视频观看| 99超碰网| 理论久久婷婷网 8| 亚洲人妻在线一区| 清纯唯美亚洲综合| 久草线上视频免费看| 色综合久| 性夜影院爽黄A爽免费动漫| 久久同城AV| 狠狠色婷婷777| 精品一二三区久久AAA片| 欧美色蜜桃97| 91丝袜激情在线| .精品人妻一区二区三| 手机av亚洲丝袜美腿日韩第一页二页| 久久久 国产精品| 肏逼视频日本| 国产99热| 欧美综合1性辶| 啊啊啊好湿久久| 国产AV久久野战精品| 国产又粗又长又大的视频| 刺激精品视频| 久久久久久久一级黄色打同平台| 粉嫩av在线一区二区| 曰韩人妻中文字幕在线| 综合情欲网| 999综合色| 色婷婷基地| 国产尹人在线视频免费| 久久久久久性爱视频| 乱伦AVxx| 黄页网站免费高清在线观看| 夜夜嗨一区| 久草婷婷| 91精品人妻一区二区三区蜜桃臀 | 国产精品网站www| 欧美激情综合色综合啪啪五月| 亚洲免费在线探花| 性爱边摸边日免费AV| 操国产高清| 日韩综合第八区国产精品| 狠狠躁天天躁日日躁| 少妇高潮99p| 人妻精品视频一区二区| 最新中文字幕在线亚洲| 欧美 日韩 亚洲 春色| 神马久久久久久| 欧美最婬乱婬爆婬牲视频| 91九九九逼| 蜜桃中文字日产乱幕4区| 国产成人久久久精品免费AV| 熟女视频久久| 9久热| 国产精品极品美女视频| 操迟操逼在巾线Fre看| 国产亚洲99久久精品熟| 蜜臀久久99精品久久久电影| 日本东京热久久久电影| 蜜乳成人AV| 亚洲成a人v欧美综合天堂下载| 偷拍盗拍亚洲色图图片| 思思热国产高清| 亚洲天天综合| 黄色区免费观看中文字幕| 人妻少妇精品一区二区三区| 久久超碰久| 婷婷五月天综合网| 久久天天摸| 男人天堂一区二区| 综合日韩激情另类图片| 91久久午夜无码鲁丝片久久人妻| 91熟女综合| 亚洲欧美setu| 超碰偷拍| 狠狠操使劲操| 男人天堂黄片| 亚洲一区二区性爱电影| 在线看免费无码AV天堂的| 91在线无码精品秘 软件| 色综合色| 歐美一級亂黃99在綫精品| 超碰在线人妻不卡| 香蕉av一区二区三区| 亚洲素人综合| 美女网站91| 久草新在线| 影音先锋乱伦资源| 性爱av在线免费观看| 五月婷婷大香蕉| 97超碰jingpin| 99精彩视频| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 国产成人 综合亚洲 天堂| 91天天| 国产精品露脸在线观看| 亚洲欧美国产日本一区二区三区| 午夜男人一级A片7777| 综合五月天| 欧美激情欧美精品| 九七超碰人人乐| 久草资源在线| 高潮毛片无遮挡高清免费| 人人操人人叉人人插人人| www久久99| 欧美不卡在线美女| 美女骚尻视频| 亚洲精品尤物yw在线影院| 91九色首页| 99自拍B亚洲 | 一区久久久二区| 蜜臀aV午夜一区二区三区| 亚洲欧美天| 91狠狠综| 国产精品久久久久久片| 欧美日韩淫加| 日本精品无码三级网站| 亚洲综合小说另类图欧美视频激情小说色五月天| 91女网站| 日韩一级二级三级在线不卡观看完整| 国产亚洲福利第一页丝袜| 欧美激情中文字幕另类小说| 超碰天天操| 日夜精品| 最新日产中文在线麻豆| 91/欧美| 思思热在线视频免费| AV电影在线播放| 国产成人天堂| 久久成人午夜精品影院| 人人操天天爽| 丝袜美腿亚洲| 少妇一线天久久久久久| 久久熟女精品不卡一区| 99re公开精品免费视频| 熟女自慰久久久| 大逼色网站| 99热在线观看| 骚货 中文字幕 av| 日韩中文字幕人妻视频| 91夜夜蜜桃臀1区2区3区| 欧美成人免费在线观看| 欧美婷婷久久| 日韩黄色av中文字幕| 国产精品欧美激在线| 无码人妻精品酒店| 东北夫妻性偷拍| 97免费在线观看视频| 亚州高清AV| 一区操逼日比视频| 中文字幕日韩人妻视频| 91精品成人| 狠狠干,狠狠操| 你想操日本小逼吗| 亚洲中文字幕精品久久久久久直播| 日夜久久久九九九久| 中文操逼字幕| 国产二区三区粉嫩在线| 午夜福利av电影在线| 久久久精品国产亚洲伊人| 久久αⅴ| 日本护士高潮| 97欧美久久久久久久| 色欲无码人妻日韩欧美精品| 天天摸天天舔天天操| 中文字幕精品一区欧美| s片在线观看| 人人干人人搞人人摸| 欧美国产操逼| 综合网色| 日韩欧无码一区二区三区免费不卡| 99re视频在线观看这里只有精品| 日本在线伊人啪啪| 一区,二区,三区网站| 999亚洲国产视频| 亚州男人的天堂| 国产操逼逼网| 97se亚洲综合自| 日韩伦理久 久久 清纯| 日韩激情小说一区二区| 97免费视频在线| 久久免费中文字幕在线观看| 欧美激情性久久久久久| 男人成人黄色视频在线观看免费下载| 欧美日韩国产色图在线| 欧美高清第一页| 91在线限制级| 成人情色一区二区| 亚洲精品乱码线路中文字幕 | 探花视频免费观看国产专区| 国产AV天美| 超碰成人最新最好看| 青娱乐黄色录像| 91人妻视频在线| 干婷婷综合网| 亚洲**2021在线观看| 国产精品天干天干综合网麻豆| 91强热人妻| 蜜臀久久99精品久久久久久无删减 | 啪啪资源网| 亚洲骚逼少妇| 超碰天天操| 久久人人看| 操逼视频色| 伊人欧美大香蕉视频| 91精品国产综合久久久蜜臀| 欧美久久伊人| 欧美亚洲国产91在线| 欧美高清在线| 久久水蜜臀亚洲AV无码精品| 欧美日韩国产传媒在线精品| 中文字幕亚洲在线一区| 日熟女| 蜜臀99久久国产| 日本淫穴在线| 午夜精品一区二区三区三上悠亚| 人妻少妇被猛烈进入中| 极品国产内射| 亚州欧美综合| 亚洲一二三| 欧美综合97www| 亚欧国产无码精品在线| 国产黄色影片在线观看| 欧美成人A√在线一区二区| 狠狠97| 91久久堂| 激情图片亚洲色图| 超91综合网| 嗯啊抽插大香蕉网页| 97在线视频免费观看| 少妇人妻在线| 久久精品一区一起草| 密臀视频一区二区三区| 99热精品青草在线 | 综合五月天| 日韩精品电影| 色天堂在线观看| 白丝AV网站| 男人的天堂在线2| 色精品极品| 婷婷视频网| 麻豆啪啪啪视频| 中文字幕aⅴ在线视频| 日韩av电影成人在线| 插入逼91| 少妇熟女一区二区三区| 国产精品com| 美欧色综合| 亚洲不雅视频1区二区| 少妇九九九九| 妇女一区二区三区| 亚洲另类春色| 高清无码久操视频| 欧美日韩国产一区二区小黄片大全| 国产精品农村妇女| 激情小说亚洲| 欧美一级美片在线观看免费| 国产精品久久久久久照片| 亚洲精品免费中文字幕| 久久精品国产亚洲AV高清演员表| 欧美激情性爱视频网站| av在线一区二区三区| 国产www色在线观看| xxx0国产在线播放| 天天躁日日躁AAAXX| 少妇滛荡视频| 中文字幕艹艹| 色综合20p| 性交一区二区在线播放| 操久久久久| 超碰在线人人射| 日本人妻伦在线中文字幕| 少妇一级婬片免费放一级a性色.| 丝袜熟女一区二区三区| 操操碰| 丝袜熟女2P| 成人热久久精品| 91少妇通奸网站| 天天操熟妇| 亚洲精品人体| 无码精品久久久天天影视| 国产小黄片在线免费观看| av大香蕉| 另类 综合 日韩 欧美 亚洲| 欧洲亚洲人妻无码高清久久三区四区| 色综91| 亚洲囯产精品女人久久久| 日本色色色色色视频| 啊啊啊不要好疼视频| 中文字幕版| 天天天堂影视日韩亚洲91| 亚州一区二区| 久久久精品视频免费观看| 五月激情天| 欧美91网站| 久久婷婷成人综合色怡春院| 思思热国产在线视频| 亚洲五月丁香花狠狠干一区二区三区| 日韩午夜国产| 亚洲熟女av中文字幕| 久久久久免费看少妇A片特黄| 97最新在线播放视频| 婷婷三区| 蜜臀久久久99久久久久 | 99日免费视频中文字幕| 免费视频在线一区二区不卡| 久久久精品国产亚洲AV无码| 久久综合久久综合人久久夜精品| 玖色av| 在线观看无码三级少妇| 欧美精品四区| 漂亮人妻被强中文字幕hd| 永久免费观看的毛片的网站| 爱媛媛久久国产福利| 97色欧州| 日韩免费中文字幕视频| 久久极品一区二区| 97国产中文| 丰满岳乱妇一区二区三区| 日本三级久| 久久熟女精品不卡一区| 操逼操逼视频操逼| 日韩ab网 | 天天综合麻豆视频| 日韩色| 欧美性区| 国产精品白领在线观看| 欧美色图天堂在线| 强乱老妇中文字幕| 白嫩国模丰满一二三区| 不卡一区视频| 久操网无码在线| 夜夜操91744565| 精品在线蜜臀| 800zy一区二区| 97Ai亚洲| 亚洲情色婷婷五月天| 神马麻豆福利院| 色婷婷五月综合激情中文字幕| 久日91在线| 粉嫩av平台| 青青草吊丝| 狠狠久久手机视频精品| 色噜噜人妻丝袜AV资源| 性影在线视频| 久久99草| 蜜乳AV色欲AVAV无码| 天美传媒av在线| 日韩三级天堂在线观看| 久久亚洲天堂| 青娱乐日韩无码| 久久久三区二区一区| 无码抄逼网| 青青草依人大香蕉| 亚洲精品久| 亚洲成人激情小说视频| silk lablo在线观看一区二区| 秋霞网—男女啪啪亚洲免费体验区| 日日AV加勒比| 成人亚欧免费视频| 国产成人五月天丁香花| 美女尤物福利视频| 强奸乱伦免费网站| 一二区在线观看视频| 丁香五月性| 91精品国产91久久青草| 青青草日本中文字幕 | 色色色欧美| 综合色好色| 亚洲一二三四区机械| 尤物视频一区| 黑人精品欧美一区二区蜜桃| 五月天激情视频| 国产精品com| 东京热熟女亚洲视频网站| 国产女人91精品嗷嗷嗷嗷| 麻豆熟妇乱妇熟色A片在线看| 91 刺激在线| 超碰日韩人妻| 女人18精品一区二区三区| 99婷婷| 欧美日韩黄片精品在线| 亚洲精品久久久久久| 嗯嗯啊在线视频| 91在线秘 男同| 日本高清视频在线观看黄已三辽| 精品一区96| 操逼片中文| 欧美 亚洲精品首页| 91成人在线| 精品少妇一区二区三区在线视频| 淫荡网址| 99久在线精品99re8| 麻豆天美国美国产| 成人黑料社久久| 色y情视频免费看| 中国91AV| 亚洲 欧美 日本 国内 首页| 亚洲综合图文| 夜夜操二区| 色成人Www精品永久观看| 亚洲男人电影天堂| 9精品久久久久| 久久国产对白激情浪潮 | 久久啊啊啊| 91久久国外网| 国产亚洲色婷婷99精品91| 天天爱天天操| 婷婷天堂站| 翔田千里A片一区二区| 九九九久| 呦女网站| 97欧美日韩中文| 国产精品肉丝自拍| 欧美久久九九| 中文字幕在线免费观看视频| 日韩欧美亚洲一区二区三区影院| 蜜乳AV.COM| 狠狠操狠狠操操| 欧美伊人电影| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 撸无码不卡免费视频| 亚欧美天堂在线| 99综合网| 偷拍 精品另类 凸凹了四区| 九久9精品| 性爱乱伦一区| 亚洲超碰AV| 日日日日做夜夜夜夜无码| 久久国产在线一区二区| 亚洲牲交| 麻豆久久精品亚洲精品88| 麻豆成人AV| 四虎av在线| 在线洲亚线| 青青草中出视频| 九九热精彩视频| 久久超碰98| 青青草日本无码| 婷婷色一区| 另类图片五月| 麻豆国产原创AV色哟哟| 激情欧美日韩女同久久| 人妻丝袜肏逼| 精久久久| 精品国产99999| 午夜福利 成人 91| 欧美高清色| 亚洲精品久久久久毛片A片拉屎 | 精品人妻一区二区蜜桃视频| 99色热| 91五十路| 一品道视频一区二区三区| 亚洲 日本 一 二 三| 亚洲国产第一页综合视频| 日本曲间由美性生活片| 超碰在线974| 噜噜噜久久亚洲精品色情| 美女干逼2| 一摸二插三插| 黄骗免费网站| 国模私拍一区二区三区神乳| 超清福利精品视频在线| 日本操逼视频导航| 四色永久成人网站| 激情五月天网| 欧美三级免费伊人| 欧美激情精品久久久| 91美| AV在线性爱| 婷婷亚洲五月***久久| 婷婷啪啪| 一区二区 电影 亚洲| 99re6国产精品99re| 久久熟女嫩草成人片免费 | 激情文学网伊人| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 97视频免费在线观看| 欧美性爱精品七区| 97任你吞精| 啊啊啊用力在线观看| 青青草成人视频在线观看二区| 欧美线天码中字| 亚洲影视综合| av日韩在线观看电影| 日韩无码嘿咻黑热久| 亚欧美综合网。| 麻豆成人影音在线| 日韩色| 一二三四日本视频高清| 性交一区二区在线播放| 91美女网站| 777奇米影视777四色| 91久久久久久| 美女干逼2| 东北女人操逼| 九九RE视频在线精品| 97免费免费视频网| 青娱乐啪啪视频| 青青伊人这里只有精品| 91女在线观看| JuliaAnnXXX888| 少妇人妻好深太紧了vr91| 亚洲综合小说另类图欧美视频激情小说色五月天 | 99色骚| 97欧美| 久久五月视频| 插老姨肥穴| 亚洲丝袜综合| 第一高清av中文字幕| 伊人成人中文字幕久久网| 香蕉大久久久| 国产精品亚洲高清在线| 超碰97色色| 日韩中文字墓| av一区二区三区 中文| 亚洲美女30b| 96久久久久久久| 日韩不卡a级视频专区| 天天夜夜久久| a亚洲欧美色欲| 成人性爱电影网| 91男人天堂网| 中文字幕日韩人妻视频一区二区三区 | 久久久国产护士丝袜美腿一| 中国一级αV| 亚洲中亚日激情视频| 国产精品成人久久一区二区三区 | 精品人妻少妇| 色婷婷电影网| 精品国产乱码久久久久久久久久毛片| 一级性爱aaaa| 欧美天天搞| 嗯嗯啊啊视频一区二区三区| 久久久久97| 久操99| α√在线| 国产精品日日摸夜夜添骚逼| 成·人免费午夜在线观看| 久久夜夜| 色综合av男人天堂| 中文字幕成人| 久久久久久性爱视频| 自拍二页| 久超碰这里只有精品| 九九热三级片| 亚洲AV秘 精品久久老牛影视| 97精品熟女少妇一区| 综合色99| 国产a级精品| 亚洲AV在线资源| 成人怡红院| 欧美天天干| 国产久久av| 懂色AV一区二区三区| laoshunv91| 日本道人妻久久久在线不卡色视频| 综合夜夜| 激情视屏国产乱伦强奸| 97亚洲国产影视| 粉嫩久久久极品| 青青草原伊人网| 另类图片天天影视| 成 人片 黄色大片| 久久日韩毛| 怡春苑东京热| 久久久亚洲熟妇资源| 国产91会所女技师在线观看| 亚洲综合在线视频| 久操av在线| 欧美成熟性爱精品| 国产精品一二三区福利| Julia Annxxxxx| 伊人网青青| 精品四五区| 香港久久久| www国产天美久久久| 亚洲综合春色| 国产精品久久蜜乳av| 亚洲精品亚洲人成在线麻豆| 欧美91网站| 一本久道在线综合视频| 欧美日韩青操| 无码日韩人妻av一| 国产精品久久久久久夜夜夜夜| 亚洲av综合色区图片亚洲| 日逼五月天| 超碰无码加勒比| 亚洲中文字幕乱码无码一区二区| 日韩色香| 美女诱惑爱爱| 夜夜嗨免费视频| 麻豆综合一区av| 熟妇最新先锋一二三区| 国产日本一区二区三区蜜臀在线观看| 丁香久久| 亚洲熟女综合一区二区| 屌逼传媒| 中文字幕第二页| 精品少妇一区二区三区在线视频| 美女网站黄页| 国产成人精品日本视频| 久久网亚洲| 91搞逼视频| 久久久久元码视频| 久久精品国产亚洲AV片多多| 97资源站久久| 亚洲综合113页| 日本成人免费一区二区三区| 第45页一区二区| 看一级特黄a大一片| 大香蕉性欧美| 毛片17S| 黑人嘿嘿嘿超爽免费视频| 国产精品对白自产拍| 骚逼高潮久久精品| 蜜乳视频网站| 国产suv精品一区| 日本一区二区三区欧美日韩中文字幕| 性爱乱伦视频免费| 一区二区三区一亚洲中文字幕、综合区灬 | 日韩操逼HD| 97国产中文| 九九久久久久久爱| wwwcaobibi| 17c嫩草51久久91嫩草| 色超碰综合| 综合熟女| 最新中文字幕在线亚洲| 亚洲成a人v欧美综合天堂下载 | 久久精品日韩| 超碰99在线| 青娱乐手机日韩在线视频| 丁香五月偷拍| 成年女人黄网站| 欧美色偷偷| 麻豆a'v电影| 亚射在线| 人妻熟女字幕一区二区| 国产中文字幕曰本毛片| 97在线免费观看| 1204人成网站色www| 国产乱弄免费在线视频。 | 欧美97在线欧| julia ann久久| 91殴美大片| 日韩人妻精品久久久久| 嫖老熟女A片一二三区| Sekablack无码一区| 超碰在线91| 亚洲影视第一页| 国产成人主播| 天天综合有色网| 欧美日不卡| 婷婷综合网| 18禁超污无遮挡无码免费网| 久久免费99精品久久久久久| 上特色A在线| 91女日逼| 日本布卡一区二三区| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 操曰本熟女| 麻豆精品A片免费观看| 亚州宗合另类| 男人天堂久久精品| 天天日天天操心| 妺妺跟我一起洗澡没忍住| AAAAAAAAA黄片| 国产日韩区| 第四色奇米影视777| 亚洲无码 国产无码| 99久久99久久免费精品蜜臀| 亚洲欧美伦综合| 亚洲丝袜少妇在线| 精品少妇99| 这里都是精品| 日本男人天堂| 久久久久九九九九| 人妻少妇久久中文字幕一区二区 麻豆 | 一区二区三区在线美女| 日欧操屄| 色黄污美女啪啪啪免费网站| 久久欲| 欧美日日操| 91碰超| 国产午夜激片Av毛片不卡| 日韩美女操b| 欧美黄片欧美黄片xxx| 91操人| 一区二区娱乐网站| 丁香五月天社区| 夜夜中出国产| 操美女人妻| 好屌色综合| 伊人96在线| 青青草大香蕉视频| 男人天堂网址| 黄色激情电影在线观看| 国产精品婬乱一级毛片彝族| 干婷婷综合网| 天天欧美欧美亚洲网| 人妻天天爽夜夜爽精品2| 日韩久久艹| 色欧美色交综合| 极品另类| h4610国产人妻| 亚洲欧洲综合视频在线| 啊啊啊啊啊啊啊国| 国产精品视频在线播放| 97中文综合| 少妇被c 黄 免费观看| 十八岁啪啪视频免费看| 99久久99九九99九九九| 熟妇人妻一区二区| 亚洲欧美日韩中文久久自慰| 97超碰色色| 亚洲一曲日韩精品| 狠狠干,狠狠操| 亚洲国成人情色好看电影| 伊人午夜福利视频| 色欲天天综合久久久无码网中文| 国产一在线观看| 蜜臀少妇一区二区| 国产熟女精品区| 熟女人妻一区二区三区免费看| 啪啪视频亚洲第一| 亚洲国产第一页综合视频| 蜜臀99999| 91亚洲影视| 一区操逼日比视频| 男女打扑克高清网站| 国产和美国毛片| 精品免费视频国产一区| 超碰人人干| 欧美大战久久久伊人| 不卡在线观看视频| 91干熟女| 婷婷美人网| 免费成人自拍视频在线| 精品人人插人人操| 日本精品五区| 欧美午夜视频精品久久| 天色综合网| 91美女小视频| 中文字幕亚洲在线一区| 国产成人天堂| 中文字幕黄片在线| 国产黄a三级三级三级av在线看| 日韩 女同 综合| 日本性交操一区二区不卡系列| 婷婷99| 亚洲人妻久久久| 太久视频| 国产亚洲色婷婷99精品91| 9久精品| 婷婷中文字幕| 又黄又硬又粗又长国产视频| 欧美性爱1080p| 在线亚洲精品久久久| 国产亚洲99久久精品熟| 国产av白丝| 久久69| 999狠狠综合| 亚洲性天堂| 91碰碰碰| 天天射日日干| 亚洲色吧网| 亚洲人久久久久日| 天天爱天天韩国日本牛牛牛牛| 欧美色图片欧美色图| 欧美日韩国产中文精品字幕自在自线| 少妇三P| 精品人妻中文字幕4399| 欧美视频第二页| 精品国产无码中文| 久久久久9999妇女| 青娱乐欧美激情一区二区| 操逼精品视频| 91久久精品中文字幕| 欧美在线 亚洲| 日本一区二区成人在线| 97在线观看免费| 97碰在线视频| 国产精品天堂| 中文字幕视频2区| 情趣丝袜无码操逼视频| 久久啊啊啊视频| 中文字幕狠狠玩| 极品出轨视频网站| 99无码视频| 综合网亚洲| 日日橹狠狠爱欧美超碰| 国产精品成人福利在线| 色偷偷2020免费视频播放| 色婷婷影院| 国产日韩精品suv| 欧美性生活内射| 中文字幕亚韩| 97视频免费播放| 欧美日韩淫加| 高清无码 国产精品| 岛国天天午夜影院传媒网| 婷婷五月天成人| 大香蕉乱级| AV色五月| 亚洲AV小说| 中文字幕日韩电影人妻| 欧美,亚洲,日韩,v,天堂,手机在线观看| 一本一道vs波多野结衣| 国产精品乱码久久久| 久久精品一区| 日本高清一区二区在线| 中文字幕在线观| 中文字幕女同在线| 色播五月婷婷| 欧美伊人久久综合网| 欧美丝袜亚洲| 色欲人妻一区二区在线| 免费精品福利在线观看| 国产乱伦搜索结果91P| 国产吹潮女在线观看| 亚洲综合97中文网| 国产色精品午夜大片| 日韩一二三区| 怡红院亚洲怡春院av| 六六久久日韩不卡| 日本一区二区三区四区免费观看| 91少妇人妻| 久久久久久久9最新免费视频观看| 91黑丝露脚| 亚洲一级特黄大片在线播放91| 精品国产AV一区天美传媒| 国产精品丝袜久久亚洲不卡| 综合网,亚洲,欧美| 99热这里只有精品地址| 久久性生大片免费观看性| av日韩中文字幕| 国产精品suv一区| 久久久久成人蜜桃精品| 日本一本道A级黄色毛片试看60分钟| 人妻少妇久久中文字幕一区二区 麻豆| 亚州Av天美传媒| 诱惑人妻欧美一区在线播放| 精品视频久久久久九九九九9999| 秋霞蝌科网日本一区| AV乱伦专区| 五十路熟女人妻一区二区在线观看| 狠狠干妹子| 加勒比海成人视频网| 久久久不能久久久久| 五月天精品| av片在线观看免费播放| 亚洲无码一二三区| 人人艹亚洲| 精品视频日日夜夜| 成人午夜无码视频| 欧美日本一区二区a人| 八戒无码国产午夜福利| 69XX一中文字幕人妻91| 91情色| 久久超碰网| 久九九九| 日日夜夜精品视频| 亚洲情欲| 久久天堂| 国产农村妇女精品| 亚洲综合首页| 2019天天干| 亚洲?V高清一区二区三区尤物| 狠狠爱夜夜| 精品传媒在线一区| 超碰碰97资源站| 欧美性色网| 青娱乐啪啪视频| 日日夜夜摸| 久久国产AⅤ| 国产视频一区二区三区在线免费观看 | 亚洲综合另类小说色区亚洲成av人片在www| 好色综合| 级做a爱无码性色永久免费| 一本色道无码DVD中文字幕| 韩国免费播放一级毛片| 久久性爱视频99| 国产三级在线现体验区| 9丨亚洲一区二区在线| 色翁荡息又大又硬又粗又爽| 家庭乱伦国产| 国产熟女完整版中字| 成人网站 免费观看| 大香蕉黄色一区| 婷婷五月丁香五月| 小草精彩毛片| 久久骚少妇| 亚洲女人毛茸茸91| 欧美日韩欧美| 尤物视频视频官网| 亚洲国产91精品一区二区久久| 日韩性爱毛片操骚逼| 亚洲一区二区中文字幕| 91蜜桃婷婷狠狠久久综合9色| 欧美日不卡| 国内操逼视频二区| 美国三级日本三级久久99| 亚洲性高潮| 国产狂喷潮在线精品| 国产极品99热在线播放69| 99ri在线视频| 亚洲免费精品一区| 日本一久是| 久草资源在线| 天天躁日日躁成人字幕aⅴ| 少妇高潮对白在线观看| 伊人久久88国产女| 啊操爽品善一区二区三区| 超碰色美女| 亚洲在线网站| 欧美网站免费| 97国伦国色| 啊啊啊啊,啊啊好多水| 亚洲天天操| 狠狠色狠狠色狠狠五月| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 国内三级自拍小视频在线观看| baisiav| 日韩人妻丝袜美腿中文| 1区2区3区视频| 99精品久久久久久久婷婷| 麻豆蜜桃视频在线观看| 欧美最大综合网| 极品销魂美女一区二区 | 黄色不卡视频| 欧美日韩久久精品爱爱| 免费看黄视频亚洲网站| 国色天香av| 日本 情色 1区2区3区| 粉嫩av平台| 色播丁香| 经典丝袜一区| 日韩无码视频黄色| 少妇超碰在线| 久久女女| jk白丝没脱就开始啪啪| 久久久久国产亚洲一区欧美色图日韩| 久久久成人免费av电影| 日韩三A大片在线观看| 91粉芽高清在线一区二区| 亚洲天天精品| 婷婷去俺也去六月色| 二区熟妇韩日| 91熟女在线| 亚洲国产无码精品首页久久久| 97久久久精品| 午夜国产综合视频在线观看| 97五月天| 有码专区最新中文字幕有码| 亚洲系列第一页| 干B| 亚洲激情在线观看一区| 97蜜桃综合| 啊啊啊爽爽| 天天插天天插| 天天欲望网| 久热99| 久区视频| 久久五月综合| 亚洲成人在线乱码色午夜| 播播亚洲小说亚洲| 精品国产久久乱码| 欧美成人A天堂片在线观看| 超碰97玖玖爱| 日韩簧片免费看| 亚洲精品 超碰| 日欧操屄| 丝袜无码a片| 亚洲精品国产无码高清| 日本999精品视频| 国产成人99久久亚洲综合| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 不卡一区二区日本视频| 青青草成人视频在线观看二区| 两女互慰AV高潮喷水在线观看| 安徽熟妇视频| 久久久精品电影| 老女人老91妇女老热女| av在线一区二区三区| 天天影视网色欲色香| 国产精品无码AV网站| 东京热,男人的天堂| 五月婷在线| 人人操欧美风骚| 欧美一二三区四五区| 中国少妇XXXX做受| 啊啊啊啊好疼视频| 久久久精品国产亚洲AV无码| 91美女在线| 肥臀熟女福利视频一区二区| 一级日本牲交大片好爽在线看| 嫩草影院永久在线制服丝袜| 久操视频资源站公开| 欧洲视频在线| xxx亚洲午夜天堂| 亚洲国产ⅴ高清在线观看| 蜜桃狠狠色伊人亚洲综合 | 亚洲日韩97| 精品久久久久久亚洲| 欧美性爱综合,免费| 亚洲欧洲久久天堂| 久久久久国产无av| 国产农村妇女精品| 9999亚洲精品| 久久激情五月| 欧美日韩大香蕉| 婷婷九月国产| 性爱动态120秒| 曰韩操B| 九九九成人| 人妻无码后入| www色婷婷| 伊人专区一区二区三区| 青青草原成人| 四虎影视在线| 白嫩国模丰满一二三区| 亚洲国产97| 人妻人妻天天碰| 九九热精品| 日韩在线性爱免费视频| 青青青在线高清视频在线一二三四区| 区一二区日韩亚洲乱码av电影| 人看人人摸人人操| 国产91影院| 久99在线免费观看视频| 欧美 青青草| 色五月激情综合网| 大香蕉www.超碰| 大香蕉99999| 激情人妻另类| 91色噜噜狠狠| 丁香啪啪| 色婷婷激一区二区三区| 国产熟女精品一区二区| 97操综合| 屌妞视频久久久久久久久久久久| 开心五月激情网| 色情乱伦AV| 老外又粗又长一晚做五次| 久久9久久| 2019亚洲男人天堂| 四虎国产成人精品免费一女五男| 狠日欧美| 午夜视频好爽啊| 精品999一区二区| 欧美在线|亚洲| 色制服丝袜夫妻av一区| 操九九九九九九| 激情小说五月天| 狠狠色噜噜狠狠狠狠狠色综合久久| 国产午夜精品理论片一二三区区| 十八禁黄色| 中文字幕色AV| 久湿久久 | 香蕉视频欧美一卡二卡| 九久久精品| 欧美久久久| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 国产高清在线自在拍69| 伊人网在线观看| 人妻出轨一区二区三区| 国模限制级电影| 欧美后进式| 亚洲 日本 一 二 三| www超碰| 97国产成人精品免费视频| 天天操夜夜嗨| 激情无码日韩| 日韩色欲久久一二三四区| 日韩无码操逼片| 午夜激情成人在线观看| 天天视频网站黄| 97欧美性爱| 国产精品无码av| 国产精品久久久久中文字幕| 一个国产在线综合网站| www.久久制服糖| 中文字幕在线观看永久| 亚洲精品国产专区在线观看| 蜜乳AV.COM| 成人性爱视频在线看| 国产中文精品一区二区在线观看| 日韩在线一区高清在线| 亚洲国产成人福利在线观看| 国产精品久久久久亚洲av | 久久综合久色欧美综合狠狠| 色亚州人久干视频在线观看免费版| 97一区二区三区视频| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 青草青草久热| 大香蕉综合在线| 亚州少妇| yazhousetuoumei|