在做 AI 算力選型與集群設(shè)計(jì)時(shí)顯存不足、HBM 帶寬吃緊、多卡通信開(kāi)銷(xiāo)高幾乎是每家做大模型訓(xùn)練團(tuán)隊(duì)都會(huì)遇到的硬瓶頸。當(dāng)主流方案普遍選擇“GPU HBM”組合時(shí)Cerebras 走的是一條更極端的路線不切割晶圓直接把一整塊晶圓做成一顆芯片。最近行業(yè)里討論度很高的 CS-6 正是這條路線上的又一次關(guān)鍵進(jìn)化——首次把 DRAM 通過(guò) 3D 堆疊方式垂直集成到計(jì)算晶圓上。這篇文章會(huì)圍繞 CS-6 展開(kāi)先講清晶圓級(jí)計(jì)算與 DRAM 工作原理再拆解“3D 堆疊垂直集成 DRAM”的技術(shù)含義以及它和傳統(tǒng) GPU HBM 方案的差異。如果你對(duì) AI 芯片架構(gòu)、大模型算力瓶頸、存儲(chǔ)與計(jì)算協(xié)同這些方向感興趣這篇文章可以幫你建立一套完整的分析框架。1. 背景內(nèi)存墻與晶圓級(jí)計(jì)算1.1 為什么 AI 芯片越來(lái)越依賴(lài)存儲(chǔ)帶寬AI 計(jì)算和傳統(tǒng)的科學(xué)計(jì)算有一個(gè)顯著區(qū)別模型參數(shù)、中間激活值、梯度、優(yōu)化器狀態(tài)都是反復(fù)讀寫(xiě)的數(shù)據(jù)。每次前向傳播要讀取權(quán)重每次反向傳播要讀取激活值并更新梯度。數(shù)據(jù)移動(dòng)的能耗和延遲經(jīng)常比計(jì)算本身還高。在芯片設(shè)計(jì)里這被稱(chēng)為“內(nèi)存墻”問(wèn)題處理器單位時(shí)間能完成的浮點(diǎn)運(yùn)算越來(lái)越高但數(shù)據(jù)從存儲(chǔ)到計(jì)算單元的速度卻跟不上。結(jié)果就是大量計(jì)算單元處于等待數(shù)據(jù)的狀態(tài)實(shí)際利用率遠(yuǎn)低于理論峰值。這幾年大模型的參數(shù)規(guī)模從幾億漲到幾千億上下文長(zhǎng)度也在持續(xù)拉長(zhǎng)KV Cache 這類(lèi)中間數(shù)據(jù)進(jìn)一步放大了訪存壓力。單靠擴(kuò)大傳統(tǒng) HBM 的容量與帶寬成本會(huì)急劇上升而物理封裝與功耗限制又讓這條路越來(lái)越難走。此時(shí)業(yè)界自然會(huì)尋找把存儲(chǔ)做得更靠近計(jì)算核心的方法也就是“異構(gòu) 3D 集成”和“垂直堆疊 DRAM”。1.2 晶圓級(jí)計(jì)算把一整塊晶圓做成芯片傳統(tǒng)芯片的制造流程是在一片圓形晶圓上同時(shí)制造幾十甚至上百顆相同的芯片然后切割、封裝成獨(dú)立產(chǎn)品。Cerebras 的做法完全不同它不做切割而是把整片晶圓當(dāng)作一顆芯片來(lái)使用因此產(chǎn)品名里有“晶圓級(jí)引擎”Wafer Scale EngineWSE的說(shuō)法。這樣做的直接收益是芯片面積大幅增加可以放下更多的計(jì)算核心和片上存儲(chǔ)。普通 GPU 的核心數(shù)通常在幾千到一萬(wàn)級(jí)別而 WSE 系列的核心數(shù)達(dá)到數(shù)十萬(wàn)甚至近百萬(wàn)。核心之間通過(guò)片上互連網(wǎng)絡(luò)通信省去了傳統(tǒng)多卡場(chǎng)景下經(jīng)過(guò) PCIe 或 NVLink 的跨芯片通信開(kāi)銷(xiāo)。不過(guò)晶圓級(jí)計(jì)算也帶來(lái)非常具體的工程挑戰(zhàn)整片晶圓如何供電、如何散熱、如何保證良率、出現(xiàn)壞點(diǎn)時(shí)如何隔離都是過(guò)去消費(fèi)級(jí)芯片不需要面對(duì)的問(wèn)題。Cerebras 通過(guò)冗余設(shè)計(jì)、動(dòng)態(tài)降頻、水冷散熱等方案逐步解決了這些問(wèn)題也讓晶圓級(jí)芯片從概念走向了實(shí)際商用。1.3 從早期方案到 CS-6為什么說(shuō)“首次垂直集成 DRAM”值得關(guān)注Cerebras 過(guò)去幾代產(chǎn)品非常依賴(lài)片上的 SRAM 作為存儲(chǔ)層。片上 SRAM 雖然帶寬極高、延遲極低但密度遠(yuǎn)低于 DRAM成本也更高。隨著模型越來(lái)越大單純擴(kuò)大 SRAM 容量既不經(jīng)濟(jì)也會(huì)讓晶圓功耗失控。行業(yè)普遍認(rèn)為Cerebras 需要在保持晶圓級(jí)計(jì)算優(yōu)勢(shì)的同時(shí)增加一種更密集、可擴(kuò)展的存儲(chǔ)方案。CS-6 的“首次垂直集成 DRAM”把 DRA M 層直接堆疊在計(jì)算晶圓之上意味著存儲(chǔ)不再只是旁邊的 HBM 顆粒而是計(jì)算層的直接鄰居。這個(gè)變化對(duì)整個(gè) AI 芯片設(shè)計(jì)思路有啟發(fā)當(dāng) 2.5D 封裝和 HBM 已經(jīng)接近帶寬密度的物理極限時(shí)3D 堆疊提供了另一條可行路徑。理解這一點(diǎn)是讀懂 CS-6 的關(guān)鍵。2. DRAM 工作原理讀懂 3D 堆疊的基礎(chǔ)2.1 存儲(chǔ)單元一個(gè)晶體管加一個(gè)電容DRAM 的英文全稱(chēng)是 Dynamic Random Access Memory即動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器。“動(dòng)態(tài)”二字來(lái)自它的存儲(chǔ)方式每個(gè)存儲(chǔ)單元由一個(gè)訪問(wèn)晶體管和一個(gè)存儲(chǔ)電容構(gòu)成通常稱(chēng)為 1T1C 結(jié)構(gòu)。電容存儲(chǔ)電荷電荷量的高低代表二進(jìn)制 0 或 1。問(wèn)題是電容會(huì)緩慢泄漏電荷。為了讓數(shù)據(jù)不丟失DRAM 必須周期性地對(duì)每個(gè)存儲(chǔ)單元進(jìn)行“刷新”也就是檢測(cè)并恢復(fù)電荷。這個(gè)操作需要額外的時(shí)間與功耗這是 DRAM 與 SRAM 在原理上的根本差異。下面用一個(gè)很簡(jiǎn)化的 Python 模型來(lái)展示 DRAM 存儲(chǔ)的基本行為# 簡(jiǎn)化模型展示 DRAM 單元電荷與刷新關(guān)系 class DramCell: def __init__(self, initial_charge1.0): self.charge initial_charge # 1.0 表示滿(mǎn)電荷 def leak(self, time_step, leak_rate0.01): self.charge - leak_rate * time_step if self.charge 0.5: self.charge 0.0 # 電荷不足時(shí)讀數(shù)可能變成 0 def refresh(self): if self.charge 0.5: self.charge 1.0 else: self.charge 0.0 cell DramCell(initial_charge1.0) for t in range(10): cell.leak(time_step1) print(ft{t}, charge{cell.charge:.2f}) if cell.charge 0.8: cell.refresh() print(refresh)這段代碼只是教學(xué)演示真實(shí) DRAM 的刷新邏輯遠(yuǎn)比這復(fù)雜但它可以幫助理解一個(gè)核心點(diǎn)DRAM 是靠電容電荷存數(shù)據(jù)的電荷會(huì)泄漏所以需要刷新刷新頻率和數(shù)據(jù)保持時(shí)間之間存在權(quán)衡。2.2 行激活、列讀取與刷新機(jī)制DRAM 在讀取數(shù)據(jù)時(shí)先通過(guò)行地址選擇一條字線把這一行所有存儲(chǔ)單元的電荷送到靈敏度放大器上這個(gè)過(guò)程叫“行激活”。隨后列地址再?gòu)倪@些放大器中選中需要的列輸出數(shù)據(jù)。由于讀操作本身會(huì)改變電容電荷讀出后還需要寫(xiě)回保證數(shù)據(jù)不丟失。刷新機(jī)制通常按行進(jìn)行控制器會(huì)定期刷新所有行確保存儲(chǔ)單元不會(huì)因漏電而丟掉數(shù)據(jù)。溫度升高會(huì)加快漏電速度所以高功耗環(huán)境下 DRAM 的刷新壓力會(huì)顯著增加。這也是 3D 堆疊 DRAM 需要特別關(guān)注散熱的原因之一。2.3 DRAM 與 SRAM 的取舍SRAM 用觸發(fā)器保存數(shù)據(jù)不需要刷新速度快但單元面積大。DRAM 單元結(jié)構(gòu)簡(jiǎn)單、密度高、成本低但延遲更高并且需要刷新。計(jì)算芯片通常把 SRAM 作為 Cache 和寄存器組使用而把 DRAM 作為主存。在 AI 芯片里片上 SRAM 可以給計(jì)算核心提供超大帶寬但容量受限外部 DRAM 容量大但需要通過(guò)復(fù)雜封裝和總線訪問(wèn)延遲明顯增加。CS-6 提出“垂直集成 DRAM”本質(zhì)上是在 SRAM 的帶寬優(yōu)勢(shì)和 DRAM 的密度優(yōu)勢(shì)之間尋找一個(gè)更好的平衡點(diǎn)。3. CS-6 首次垂直集成 DRAM3D 堆疊的關(guān)鍵變化3.1 垂直堆疊解決了什么問(wèn)題傳統(tǒng)方案中無(wú)論用 DDR 內(nèi)存條還是 HBM存儲(chǔ)芯片都和被訪問(wèn)的計(jì)算芯片處在同一個(gè)封裝平面上或者通過(guò)主板走線連接。隨著距離拉長(zhǎng)信號(hào)傳輸延遲和單位比特的功耗都會(huì)上升。所謂“垂直集成 DRAM”就是把 DRAM 層直接堆疊在計(jì)算晶圓的上方或下方兩層之間通過(guò)硅通孔或混合鍵合進(jìn)行垂直互連。信號(hào)從計(jì)算核心到存儲(chǔ)單元的距離被壓縮到幾微米到幾十微米而不是傳統(tǒng)封裝中的幾百微米甚至幾毫米。這種近距離的優(yōu)勢(shì)主要體現(xiàn)在三個(gè)方面互連密度大幅提升單個(gè)通道未必需要跑極高的頻率也能獲得很高的總帶寬。數(shù)據(jù)路徑變短訪問(wèn)延遲下降。單位比特的 IO 功耗減少對(duì)功耗密集的 AI 芯片尤其友好。3.2 3D 堆疊的互連方式TSV 與混合鍵合實(shí)現(xiàn) 3D 堆疊有兩種主流互連方式。一種是通過(guò)硅通孔在晶圓上刻出貫穿硅片的垂直導(dǎo)電通道把上下層連接起來(lái)另一種是混合鍵合利用銅焊盤(pán)實(shí)現(xiàn)微米級(jí)間距的高密度連接。對(duì)于 CS-6 這種超大晶圓來(lái)說(shuō)TSV 是更現(xiàn)實(shí)的路徑因?yàn)檎A的面積很大需要大量的供電和信號(hào)通路。TSV 的直徑和間距決定了信號(hào)密度而混合鍵合則更多用于小尺寸芯片堆疊比如 CMOS 圖像傳感器和部分 HBM 的未來(lái)方案?；ミB方式直接決定了 3D 堆疊的帶寬上限。過(guò)去 2.5D 封裝中HBM 通過(guò)硅中介層與計(jì)算芯片連接帶寬受限于中介層走線與引腳數(shù)量而 3D 堆疊可以直接用成千上萬(wàn)個(gè)垂直互連點(diǎn)把計(jì)算層和存儲(chǔ)層“縫”在一起。3.3 “垂直集成 DRAM”與“封裝貼 DRAM”的區(qū)別很多人會(huì)把 3D 堆疊 DRAM 和 HBM 混為一談但兩者有本質(zhì)區(qū)別。HBM 是把多個(gè) DRAM die 垂直堆疊起來(lái)然后通過(guò)硅中介層放在 GPU 或 AI 芯片旁邊屬于 2.5D 封裝思路。它仍然需要通過(guò)中介層和基板完成信號(hào)傳輸。垂直集成 DRAM 則是把存儲(chǔ)層疊在計(jì)算層正上方或正下方兩層之間沒(méi)有中介層信號(hào)路徑垂直穿越屬于真正的 3D 集成。這不僅是物理排列的變化還意味著芯片設(shè)計(jì)、供電方式、散熱路徑和測(cè)試策略都要重新設(shè)計(jì)。用一張表格可以更清楚地看出差別方案存儲(chǔ)與計(jì)算位置互連方式典型場(chǎng)景HBM并列放在中介層上硅中介層 TSVGPU、AI 加速卡垂直堆疊 DRAM直接疊在計(jì)算層上下垂直 TSV / 混合鍵合晶圓級(jí) AI 芯片DDR/LPDDR通過(guò)主板布線連接PCB 走線CPU 主存、嵌入式從技術(shù)演進(jìn)看垂直堆疊 DRAM 是比 HBM 更“激進(jìn)”的一步它把存儲(chǔ)和計(jì)算從“鄰居關(guān)系”變成了“上下層關(guān)系”。4. 技術(shù)架構(gòu)對(duì)比CS-6 與 GPU HBM 路線4.1 兩種架構(gòu)的訪存路徑差異GPU HBM 方案中計(jì)算核心訪問(wèn)片上 L2 CacheL2 再通過(guò)中介層訪問(wèn) HBM。HBM 與 GPU 的距離已經(jīng)比傳統(tǒng)顯存近很多但依然存在跨封裝、跨互連的開(kāi)銷(xiāo)。CS-6 的垂直集成 DRAM 方案里計(jì)算層與 DRAM 層直接堆疊訪問(wèn)路徑縮短到垂直距離。更重要的是垂直互連可以在整片晶圓上分布而不像 HBM 只能通過(guò)有限的對(duì)外接口訪問(wèn)。這種“分布式訪問(wèn)”能力對(duì)大模型訓(xùn)練里的高并發(fā)訪問(wèn)非常有利。4.2 帶寬、容量與功耗的權(quán)衡HBM 目前能提供很高的帶寬但容量受堆疊層數(shù)和封裝尺寸限制單顆 HBM 的容量通常在 16GB 到 32GB 級(jí)別需要通過(guò)多顆組合才能滿(mǎn)足大模型需求。多顆 HBM 帶來(lái)的功耗與成本也相當(dāng)可觀。垂直集成 DRAM 的優(yōu)勢(shì)在于DRAM 層可以直接覆蓋在整個(gè)計(jì)算晶圓之上可用存儲(chǔ)面積遠(yuǎn)大于芯片周邊能放置 HBM 的物理空間。如果良率和散熱問(wèn)題得到解決理論上可以獲得遠(yuǎn)超當(dāng)前 GPU 方案的容量和帶寬。功耗方面近距離互連能顯著降低每比特傳輸能耗但 3D 堆疊會(huì)讓發(fā)熱密度集中在狹小空間里。DRAM 對(duì)溫度敏感高溫會(huì)加快漏電、縮短數(shù)據(jù)保持時(shí)間因此散熱設(shè)計(jì)是決定垂直集成 DRAM 能否量產(chǎn)的關(guān)鍵。4.3 適合的工作負(fù)載類(lèi)型GPU HBM 方案在通用 AI 訓(xùn)練和推理生態(tài)上非常成熟適合各類(lèi)模型、各類(lèi)開(kāi)發(fā)者。Cerebras 的晶圓級(jí)方案更適合超大模型訓(xùn)練、需要極高帶寬和低通信延遲的場(chǎng)景。如果 CS-6 的垂直集成 DRAM 容量足夠大、帶寬足夠高它能有效減少模型并行帶來(lái)的通信壓力因?yàn)楦鄥?shù)和數(shù)據(jù)可以直接放在同一顆芯片上無(wú)需頻繁跨卡同步。對(duì)于大規(guī)模生成式模型訓(xùn)練這是一個(gè)非常吸引人的優(yōu)勢(shì)。但我們也應(yīng)該看到軟件生態(tài)和靈活性仍然是晶圓級(jí)方案的短板。GPU 的 CUDA 生態(tài)積累多年而 Cerebras 的編譯器與運(yùn)行時(shí)棧需要模型開(kāi)發(fā)者和框架適配這一點(diǎn)在短期內(nèi)很難拉開(kāi)差距。5. 工程挑戰(zhàn)與制造難點(diǎn)5.1 大尺寸晶圓的翹曲與對(duì)準(zhǔn)晶圓級(jí)芯片本身尺寸就很大要在這樣的表面上再堆疊一層 DRAM 晶圓對(duì)準(zhǔn)精度是極大的挑戰(zhàn)。多層堆疊時(shí)上下層之間的熱膨脹系數(shù)差異會(huì)產(chǎn)生翹曲和應(yīng)力導(dǎo)致對(duì)準(zhǔn)偏移。解決這類(lèi)問(wèn)題通常需要在材料選擇、晶圓減薄、鍵合溫度曲線和支撐結(jié)構(gòu)上做大量?jī)?yōu)化。任何微小的形變都會(huì)影響到數(shù)以萬(wàn)計(jì)的 TSV 互連點(diǎn)所以良率控制是 CS-6 量產(chǎn)的最大不確定因素之一。5.2 散熱與功耗密度計(jì)算層與存儲(chǔ)層堆疊在一起后熱量更難散發(fā)。與傳統(tǒng) 2.5D 封裝不同散熱不再只是把熱量從芯片表面帶走還要考慮層與層之間的熱傳導(dǎo)路徑。DRAM 的刷新需求會(huì)隨溫度上升而增加如果堆疊區(qū)域散熱不足可能出現(xiàn)“溫度升高→刷新頻率提高→功耗增加→溫度繼續(xù)升高”的惡性循環(huán)。因此 CS-6 大概率需要在散熱結(jié)構(gòu)上做專(zhuān)門(mén)設(shè)計(jì)例如在堆疊層之間預(yù)留冷卻通道或采用特殊的導(dǎo)熱材料。5.3 測(cè)試、修復(fù)與可維護(hù)性芯片測(cè)試在堆疊完成后進(jìn)行如果只有部分 TSV 連接失敗可能需要通過(guò)冗余通路進(jìn)行替換。Cerebras 在單晶圓上已經(jīng)積累了不少壞點(diǎn)隔離經(jīng)驗(yàn)但 3D 堆疊讓測(cè)試復(fù)雜度進(jìn)一步上升。在運(yùn)維層面整顆晶圓級(jí)芯片出現(xiàn)故障時(shí)很難像普通 GPU 服務(wù)器那樣單卡替換。因此系統(tǒng)級(jí)的冗余設(shè)計(jì)、故障隔離和在線降級(jí)能力會(huì)變得更加重要這也是把 3D 堆疊從樣品變成可商用產(chǎn)品必須跨越的鴻溝。6. 對(duì) AI 基礎(chǔ)設(shè)施的潛在影響6.1 大模型訓(xùn)練的存儲(chǔ)瓶頸緩解當(dāng)前訓(xùn)練千億級(jí)參數(shù)模型單卡 GPU 顯存放不下完整權(quán)重需要張量并行、流水線并行、ZeRO 等策略把模型切分到多卡上。切分得越細(xì)通信開(kāi)銷(xiāo)越大。如果 CS-6 能通過(guò)垂直集成 DRAM 提供足夠大的近端存儲(chǔ)那么更多參數(shù)可以在單片芯片內(nèi)保存減少跨芯片通信次數(shù)。對(duì)超大規(guī)模訓(xùn)練集群來(lái)說(shuō)這意味著更高的有效計(jì)算時(shí)間占比也意味著更簡(jiǎn)單的并行策略設(shè)計(jì)。6.2 推理場(chǎng)景的帶寬收益推理階段同樣受益。大模型推理時(shí)每生成一個(gè) token 都需要掃描全部 KV CacheKV Cache 量大時(shí)訪存延遲直接決定生成速度。把更多 KV Cache 放到靠近計(jì)算核心的 DRAM 層能顯著降低單 token 生成延遲。從這個(gè)角度看垂直集成 DRAM 不只是面向訓(xùn)練對(duì)在線推理服務(wù)也很有價(jià)值。如果未來(lái)大模型上下文長(zhǎng)度繼續(xù)增加能裝下更多 KV Cache 的芯片會(huì)具備更好的性?xún)r(jià)比。6.3 軟件生態(tài)與開(kāi)發(fā)范式硬件架構(gòu)發(fā)生大變化軟件也必須跟上。3D 堆疊 DRAM 的內(nèi)存層次、訪存模型和顯式管理方式跟傳統(tǒng)的內(nèi)存模型不同。開(kāi)發(fā)者可能需要顯式分配“近存儲(chǔ)”與“遠(yuǎn)存儲(chǔ)”的布局編譯器也需要更智能地進(jìn)行數(shù)據(jù)放置。Cerebras 的軟件棧在近幾年持續(xù)完善但要吸引更多主流框架開(kāi)發(fā)者還需要提供易用的高層接口。對(duì)于普通算法工程師可能更關(guān)心的是“把 PyTorch 代碼跑上去需要改多少”而不是底層 TSV 有多密。7. 總結(jié)與后續(xù)觀察方向從 WSE 到 CS-6Cerebras 一直在挑戰(zhàn)芯片制造與封裝的傳統(tǒng)邊界。垂直集成 DRAM 只是一系列變化中的一環(huán)但它的意義是標(biāo)志性的它首次在晶圓級(jí)計(jì)算中把 DRAM 真正“疊”到了計(jì)算核心上而不只是放在旁邊。想跟進(jìn)這個(gè)領(lǐng)域可以從幾個(gè)維度持續(xù)觀察第一官方公布的 TSV 互連密度和總存儲(chǔ)帶寬第二良率與散熱方案的公開(kāi)細(xì)節(jié)第三主流框架對(duì)晶圓級(jí)平臺(tái)的適配進(jìn)度第四實(shí)際客戶(hù)在訓(xùn)練和推理場(chǎng)景中的公開(kāi)基準(zhǔn)。如果這幾個(gè)指標(biāo)都能達(dá)到預(yù)期晶圓級(jí)計(jì)算很可能會(huì)從“小眾路線”變成大模型算力基礎(chǔ)設(shè)施中的一個(gè)重要選項(xiàng)。