2017年我讀到《Attention Is All You Need》時(shí)印象其實(shí)是矛盾的。一方面self-attention的全局建模能力確實(shí)漂亮另一方面O(n2)復(fù)雜度讓我下意識(shí)覺(jué)得這種架構(gòu)只會(huì)停留在中等長(zhǎng)度序列上撐不起真正的長(zhǎng)文本場(chǎng)景。后來(lái)的發(fā)展大家都看到了transformer不僅成了NLP的默認(rèn)底座還一路蔓延到圖像、語(yǔ)音、多模態(tài)甚至連近年大模型里最核心的算法選型也都圍繞transformer架構(gòu)在不斷演進(jìn)。我想把這幾年觀察到的“核心算法是如何一步步被改出來(lái)的”講清楚從Q/K/V注意力本身到復(fù)雜度優(yōu)化、位置編碼、歸一化策略、注意力頭配置再到Decoder-only范式。不管你是要做模型訓(xùn)練、推理優(yōu)化還是單純想理解大模型底層這條演進(jìn)線都值得過(guò)一次。這里不會(huì)只堆結(jié)論我會(huì)把每一步背后的動(dòng)機(jī)、代價(jià)和實(shí)際取舍都拆開(kāi)說(shuō)。理解這些比記住一堆模型名字更能幫你應(yīng)對(duì)新出的模型。1. 起點(diǎn)問(wèn)題為什么循環(huán)網(wǎng)絡(luò)會(huì)被自注意力取代1.1 RNN序列建模的硬傷遠(yuǎn)不止“不能并行”先從RNN說(shuō)起。RNN的致命問(wèn)題不是簡(jiǎn)單的不支持并行而是序列建模的方式?jīng)Q定了信息必須沿著時(shí)間步逐步傳遞。每一步隱狀態(tài)既要表達(dá)當(dāng)前輸入又要保留過(guò)去的記憶這個(gè)隱狀態(tài)本質(zhì)上是個(gè)“有損壓縮瓶口”。LSTM注入門(mén)控以后緩解了梯度消失但距離很遠(yuǎn)的位置之間要經(jīng)過(guò)多層門(mén)控復(fù)合信號(hào)早就衰減或扭曲了。機(jī)器翻譯里把整句編碼成一個(gè)向量的做法尤其明顯句子越長(zhǎng)語(yǔ)義細(xì)節(jié)越難塞進(jìn)一個(gè)固定向量。比如一篇新聞稿把開(kāi)頭的主語(yǔ)和結(jié)尾的時(shí)間地點(diǎn)強(qiáng)行壓縮到同一個(gè)向量里中間的轉(zhuǎn)折關(guān)系很容易被平均掉。這個(gè)問(wèn)題不是靠加深循環(huán)層就能解決的因?yàn)闊o(wú)論堆多少層路徑仍然是線性的信息依然要一站一站傳下去。真正讓序列建模發(fā)生質(zhì)變的是把“路徑距離”這個(gè)概念直接抹平。Transformer讓任意兩個(gè)token之間都有一條直連路徑不需要經(jīng)過(guò)中間token的中轉(zhuǎn)。從信息論視角看這相當(dāng)于把一條容易衰減的串行信道換成了全連接網(wǎng)絡(luò)。代價(jià)是每條路徑都要顯式建模相關(guān)性于是就有了自注意力那個(gè)n×n的相似度矩陣。1.2 Attention機(jī)制從輔助走向主角的臨界點(diǎn)Attention也不是Transformer原創(chuàng)的。2014年前后Bahdanau等人在神經(jīng)機(jī)器翻譯里引入的attention本質(zhì)上是動(dòng)態(tài)加權(quán)源端隱狀態(tài)讓decoder每一步能“按需查閱”源端信息而不是只靠最后一個(gè)向量。這個(gè)思路解決了一個(gè)實(shí)際問(wèn)題但還沒(méi)有脫離RNN的主干。Transformer的突破在于把a(bǔ)ttention完全提升到主架構(gòu)層面每一個(gè)位置的表示都通過(guò)它與其他所有位置的注意力來(lái)生成。于是任意兩個(gè)token之間的距離被拉到了1長(zhǎng)距離依賴不再是經(jīng)過(guò)若干步傳播而是直接計(jì)算相關(guān)性。這在算法設(shè)計(jì)上是個(gè)根本轉(zhuǎn)變用全局檢索代替順序傳遞同時(shí)讓所有位置的計(jì)算天然可以并行。所以討論Transformer的核心算法演進(jìn)起點(diǎn)其實(shí)是這個(gè)選擇為什么要放棄順序結(jié)構(gòu)答案不是“RNN不好”這么簡(jiǎn)單而是RNN的串行瓶頸和長(zhǎng)程衰減在規(guī)模化訓(xùn)練里太吃虧。Transformer把這條路跳過(guò)去之后后面所有演進(jìn)都圍繞兩個(gè)核心問(wèn)題展開(kāi)一是如何讓注意力更快、更省、能處理更長(zhǎng)序列二是如何在保持表達(dá)力的同時(shí)讓訓(xùn)練更穩(wěn)定。理解了這兩個(gè)靶子后面所有改進(jìn)就都能對(duì)號(hào)入座。2. 自注意力精算Q/K/V設(shè)計(jì)、縮放點(diǎn)積與多頭的數(shù)學(xué)邏輯2.1 Attention運(yùn)算中的“查詢-鍵-值”到底在做什么要理解自注意力可以先把它想成一個(gè)數(shù)據(jù)庫(kù)檢索系統(tǒng)。每個(gè)輸入token經(jīng)過(guò)三套不同的線性變換分別得到查詢Query、鍵Key和值Value。查詢是“我想找什么”鍵是“我身上有什么索引”值是“我實(shí)際提供的內(nèi)容”。某個(gè)請(qǐng)求與前一個(gè)位置的鍵越匹配注意力權(quán)重越大輸出就越偏向前一個(gè)位置的值。在自注意力場(chǎng)景中這個(gè)機(jī)制是模型自己對(duì)自己的序列做檢索每個(gè)token都能根據(jù)整個(gè)序列的內(nèi)容決定自己的表示。從實(shí)現(xiàn)角度看所有token的Q、K、V可以被組織成矩陣因此可以用矩陣乘法一次算完所有token之間的相似度。這也是并行性的來(lái)源不再是逐步計(jì)算而是一次性算出一張完整的關(guān)系表。具體公式可以寫(xiě)成Attention(Q, K, V) softmax(Q * K^T / sqrt(d_k)) * V矩陣Q和K的每一行對(duì)應(yīng)一個(gè)token的查詢和鍵。Q和K的轉(zhuǎn)置相乘得到n×n的相似度分?jǐn)?shù)矩陣softmax把每行歸一化成概率分布最后用這些概率對(duì)V做加權(quán)求和得到每個(gè)token的新表示。2.2 縮放因子sqrt(d_k)一個(gè)經(jīng)常被忽略的穩(wěn)定性設(shè)計(jì)公式里除以sqrt(d_k)很多入門(mén)文章把它當(dāng)作“經(jīng)驗(yàn)性技巧”實(shí)際上這里藏著訓(xùn)練穩(wěn)定性的關(guān)鍵。假設(shè)Q、K中的元素是均值0、方差1的隨機(jī)變量那么單個(gè)維度乘積的均值是0、方差是1對(duì)d_k個(gè)維度的點(diǎn)積結(jié)果來(lái)說(shuō)方差會(huì)累積到d_k。如果不對(duì)點(diǎn)積做縮放當(dāng)d_k變大時(shí)點(diǎn)積數(shù)值的方差也會(huì)變大。Softmax的輸入一旦落到兩端飽和區(qū)梯度會(huì)變得非常小模型幾乎無(wú)法學(xué)習(xí)。除以sqrt(d_k)可以讓點(diǎn)積方差回到1左右讓softmax保持在梯度敏感的區(qū)間。這是基于隨機(jī)變量方差性質(zhì)的推導(dǎo)不是拍腦袋的經(jīng)驗(yàn)。實(shí)際訓(xùn)練中不縮放也能跑通小模型但深層模型和長(zhǎng)序列場(chǎng)景下會(huì)明顯難訓(xùn)。很多復(fù)現(xiàn)Transformer失敗的項(xiàng)目最后排查下來(lái)就是漏了這個(gè)因子或者實(shí)現(xiàn)時(shí)數(shù)據(jù)類型精度不對(duì)。2.3 多頭注意力如何讓模型同時(shí)看到多種關(guān)系一個(gè)注意力頭只能有一組線性映射也就是說(shuō)它只能用一種相似度度量來(lái)衡量任意兩個(gè)token的關(guān)系。但一段文本里的關(guān)系是多種多樣的有的頭適合關(guān)注相鄰詞有的頭適合追蹤句法依存有的頭適合捕捉跨句話題。如果只用單頭模式會(huì)被迫壓縮到同一個(gè)空間里。多頭注意力把輸入投影到h個(gè)平行子空間每個(gè)頭獨(dú)立計(jì)算注意力最后拼接再經(jīng)過(guò)一次輸出投影。由于每個(gè)頭的初始線性映射不同它們會(huì)被逼著分化成不同的語(yǔ)義角色。實(shí)驗(yàn)和后來(lái)的分析都表明這種分工是自動(dòng)出現(xiàn)的而不是人為指定的。Transformer原始論文里d_model512、h8、每個(gè)頭維度64這個(gè)配置到今天仍是很多模型的起點(diǎn)。多頭付出的額外參數(shù)不算大但讓模型表達(dá)空間立刻豐富起來(lái)這是它能以相對(duì)較低成本碾壓?jiǎn)晤^注意力的主要原因。3. 復(fù)雜度突圍稀疏、線性與IO感知的注意力演進(jìn)3.1 平方復(fù)雜度在長(zhǎng)序列場(chǎng)景中先卡住顯存自注意力的直接計(jì)算復(fù)雜度是O(n2·d)n是序列長(zhǎng)度d是特征維度。表面上看這是個(gè)“計(jì)算量”問(wèn)題實(shí)際第一卡點(diǎn)是顯存注意力權(quán)重矩陣本身是一個(gè)n×n的矩陣需要在顯存里顯式存下來(lái)。我算過(guò)一個(gè)直觀數(shù)據(jù)n8192、float32時(shí)單層注意力矩陣就是8192×8192×4字節(jié)約268MB。如果模型有三四十層又不用任何優(yōu)化顯存很快會(huì)被中間矩陣占滿。所以當(dāng)大家想把Transformer用到長(zhǎng)文本、長(zhǎng)視頻序列時(shí)“平方”根本不是細(xì)節(jié)而是第一堵墻。后面所有高效注意力算法目標(biāo)都是拆掉這堵墻。這里容易有個(gè)誤區(qū)以為O(n2)只是慢實(shí)際上它同時(shí)限制了批量大小和序列長(zhǎng)度。很多時(shí)候不是算不動(dòng)而是顯存放不下連batch size 1都跑不了。理解這一點(diǎn)再看稀疏注意力和FlashAttention的動(dòng)機(jī)就會(huì)清楚很多。3.2 稀疏注意力用局部全局連接近似完整關(guān)系最早被大量驗(yàn)證的做法是稀疏注意力。Longformer的思路很直接保留一個(gè)滑動(dòng)窗口讓每個(gè)token只看附近若干token同時(shí)額外設(shè)置少數(shù)全局token比如CLS讓信息可以通過(guò)它們跨區(qū)域傳播。BigBird在此基礎(chǔ)上又加了隨機(jī)連接證明窗口、隨機(jī)、全局三種模式的組合能夠在理論上逼近完整注意力的表達(dá)能力。視覺(jué)里的Swin Transformer也采用了類似哲學(xué)。它把注意力限制在局部窗口內(nèi)再用窗口移位獲得跨窗口連接既把復(fù)雜度降下來(lái)了又保留了層次化的視覺(jué)感知。稀疏注意力的核心代價(jià)是必須人工決定哪些位置需要被關(guān)注。任務(wù)不同最佳模式也不同長(zhǎng)文本問(wèn)答里局部窗口可能不夠全局token的選點(diǎn)需要試驗(yàn)圖像任務(wù)里窗口大小本身就是超參數(shù)。 它不像標(biāo)準(zhǔn)自注意力那樣“無(wú)腦”調(diào)起來(lái)更麻煩。3.3 線性注意力把softmax換成特征映射后的計(jì)算重排另一個(gè)方向是從數(shù)學(xué)上消掉n×n矩陣。完整softmax注意力要先算QK^T再softmax再乘以V。線性注意力把softmax中的指數(shù)相似度拆成兩個(gè)獨(dú)立特征映射的內(nèi)積形式然后利用矩陣結(jié)合律把運(yùn)算順序改成φ(Q) * (φ(K)^T * V)這樣先算φ(K)^T * V得到一個(gè)d×d的小矩陣再與φ(Q)相乘復(fù)雜度從O(n2)降到了O(n)。這類方法在超長(zhǎng)序列檢索、DNA序列建模等場(chǎng)景有應(yīng)用但效果普遍不如完整注意力因?yàn)樗裺oftmax的歸一化競(jìng)爭(zhēng)性抹掉了。沒(méi)有了歸一化模型很難通過(guò)注意力權(quán)重做“選哪個(gè)、忽略哪個(gè)”的離散判斷。我自己的經(jīng)驗(yàn)是線性注意力更適合序列非常長(zhǎng)、但對(duì)質(zhì)量要求不極端嚴(yán)苛的任務(wù)如果資源允許優(yōu)先嘗試FlashAttention往往更劃算。3.4 FlashAttention的真實(shí)貢獻(xiàn)不省計(jì)算省內(nèi)存搬運(yùn)FlashAttention經(jīng)常被誤歸為近似注意力這其實(shí)是最大的誤解。它計(jì)算的注意力結(jié)果和標(biāo)準(zhǔn)注意力完全一致只是改變了計(jì)算順序和存儲(chǔ)策略。GPU有兩塊存儲(chǔ)片上SRAM很快但很小顯存HBM很大但慢。標(biāo)準(zhǔn)做法是頻繁把QK^T等中間矩陣寫(xiě)到HBM再?gòu)腍BM讀出來(lái)一遍遍搬運(yùn)。FlashAttention把Q、K、V分塊放到SRAM里每個(gè)block內(nèi)做完整softmax再用online softmax的思想逐步累積結(jié)果全程不落盤(pán)完整注意力矩陣。效果是顯存占用從O(n2)降到O(n)速度提升明顯。它優(yōu)化的是IO搬運(yùn)而不是計(jì)算量。現(xiàn)在主流訓(xùn)練框架里FlashAttention基本可以無(wú)腦開(kāi)啟這也讓長(zhǎng)上下文在工程上變得現(xiàn)實(shí)了很多。如果項(xiàng)目里發(fā)現(xiàn)訓(xùn)練長(zhǎng)序列時(shí)GPU利用率低先確認(rèn)是不是沒(méi)開(kāi)FlashAttention開(kāi)了以后瓶頸往往會(huì)從前向計(jì)算轉(zhuǎn)移到通信或數(shù)據(jù)加載這是我自己踩過(guò)的坑。4. 位置編碼演進(jìn)出sin/cos、相對(duì)編碼與RoPE4.1 為什么自注意力必須額外補(bǔ)充位置信息自注意力有個(gè)性質(zhì)如果把輸入序列打亂順序輸出也只會(huì)隨之打亂而不會(huì)改變?nèi)我鈨蓚€(gè)位置之間的關(guān)系結(jié)構(gòu)。因?yàn)樗豢磧?nèi)容相似度不看誰(shuí)在誰(shuí)前面。對(duì)語(yǔ)言來(lái)說(shuō)順序就是信息?！皬埲蛄死钏摹焙汀袄钏拇蛄藦埲钡脑~完全一樣語(yǔ)義完全相反。所以Transformer在最初設(shè)計(jì)中就必須顯式加入位置信息。這個(gè)模塊看似配角實(shí)際撐起了今天長(zhǎng)文本外推能力的大半。很多項(xiàng)目訓(xùn)練時(shí)一切正常一換序列長(zhǎng)度就崩往往就是位置編碼選型的問(wèn)題。位置編碼本身也從最初的固定三角函數(shù)一路演進(jìn)到可學(xué)習(xí)絕對(duì)位置編碼、相對(duì)位置編碼、旋轉(zhuǎn)位置編碼RoPE再到零參數(shù)的ALiBi。4.2 絕對(duì)位置編碼的兩種形態(tài)固定式與可學(xué)習(xí)式原始Transformer使用固定三角函數(shù)編碼不同維度用不同頻率的sin/cos生成。好處是參數(shù)少、不學(xué)習(xí)、可以嘗試外推更關(guān)鍵的是由于三角函數(shù)的和差化積公式理論上編碼后兩個(gè)位置向量的點(diǎn)積能包含相對(duì)位置信息。不過(guò)在深層網(wǎng)絡(luò)里這種相對(duì)信息能不能被有效利用并不一定。到了BERT時(shí)代大家發(fā)現(xiàn)直接用可學(xué)習(xí)的位置embedding更簡(jiǎn)單效果當(dāng)時(shí)也更好所以大量預(yù)訓(xùn)練模型都采用了它?？蓪W(xué)習(xí)絕對(duì)位置編碼的問(wèn)題是訓(xùn)練長(zhǎng)度固定模型見(jiàn)過(guò)多長(zhǎng)就只能處理多長(zhǎng)。如果訓(xùn)練時(shí)最長(zhǎng)512推理時(shí)來(lái)了1024超出部分的位置embedding是從未訓(xùn)練過(guò)的隨機(jī)值效果自然崩。后來(lái)為了讓模型能處理長(zhǎng)文檔大家才重新轉(zhuǎn)向相對(duì)位置類編碼因?yàn)橄鄬?duì)距離比絕對(duì)序號(hào)更容易泛化你說(shuō)“隔了兩句話的關(guān)系”比說(shuō)“第5個(gè)詞和第120個(gè)詞的關(guān)系”更本質(zhì)。4.3 相對(duì)位置編碼與Transformer-XL的外推思路絕對(duì)位置編碼把“第i個(gè)位置”當(dāng)作獨(dú)立標(biāo)簽相對(duì)位置編碼則直接建模“第i和j個(gè)位置相距多遠(yuǎn)”。Transformer-XL使用相對(duì)位置編碼后模型在訓(xùn)練長(zhǎng)度之外也能延續(xù)一定距離因?yàn)榫嚯x關(guān)系比絕對(duì)序號(hào)更容易遷移。T5的處理更直接給注意力分?jǐn)?shù)加一個(gè)由相對(duì)距離決定的可學(xué)習(xí)bias讓模型在打分時(shí)知道兩個(gè)token離得遠(yuǎn)還是近。這類設(shè)計(jì)的直覺(jué)是語(yǔ)言中“相鄰”“相隔兩個(gè)詞”“跨句”這些距離模式是穩(wěn)定的而具體出現(xiàn)在第幾段并不重要。不過(guò)相對(duì)位置編碼的實(shí)現(xiàn)細(xì)節(jié)通常更繞比如需要調(diào)整K和V的拆分方式網(wǎng)絡(luò)層數(shù)一變就容易搞混。我在復(fù)現(xiàn)Transformer-XL時(shí)曾花了大半天排查維度不對(duì)齊的問(wèn)題原因就是相對(duì)位置索引的偏移量沒(méi)寫(xiě)對(duì)。位置編碼雖然看著只有幾行代碼但確實(shí)是實(shí)現(xiàn)時(shí)最容易出錯(cuò)的地方之一。4.4 RoPE為什么成了LLM的事實(shí)標(biāo)準(zhǔn)旋轉(zhuǎn)位置編碼RoPE是近幾年大模型里用得最多的位置編碼。它的核心想法很漂亮把每個(gè)位置對(duì)應(yīng)的Q或K向量在高維空間里旋轉(zhuǎn)一個(gè)與該位置相關(guān)的角度。兩個(gè)旋轉(zhuǎn)后的向量做內(nèi)積時(shí)旋轉(zhuǎn)不改變向量長(zhǎng)度只改變相位所以內(nèi)積結(jié)果恰好只依賴兩個(gè)位置的旋轉(zhuǎn)角之差也就是相對(duì)位置。這種設(shè)計(jì)把位置信息與注意力計(jì)算融合得不露痕跡同時(shí)具備相對(duì)位置編碼的外推優(yōu)勢(shì)。更重要的是后續(xù)對(duì)RoPE做長(zhǎng)度外推很方便直接對(duì)旋轉(zhuǎn)角做線性插值或NTK插值就可以把模型推到訓(xùn)練長(zhǎng)度之外不需要改動(dòng)模型結(jié)構(gòu)。Llama、Qwen這些開(kāi)源模型都用它生態(tài)工具也都對(duì)齊了所以它成為事實(shí)標(biāo)準(zhǔn)不是偶然。如果需要在超長(zhǎng)上下文場(chǎng)景部署模型RoPE加插值方案是目前最成熟的方向之一。4.5 外推替代方案ALiBi如果你不想引入復(fù)雜的旋轉(zhuǎn)公式ALiBi是另一個(gè)有趣的思路。它完全不做位置embedding而是在注意力分?jǐn)?shù)上直接減去一個(gè)與兩個(gè)位置距離成正比的懲罰項(xiàng)讓模型天然對(duì)“遠(yuǎn)距離”降低權(quán)重。這種設(shè)計(jì)幾乎零參數(shù)在短訓(xùn)練、中長(zhǎng)推理的外推場(chǎng)景上表現(xiàn)不錯(cuò)。我實(shí)際測(cè)評(píng)中發(fā)現(xiàn)ALiBi在需要較長(zhǎng)外推的任務(wù)里比較省心但訓(xùn)練充分的大模型里RoPE配合插值通常更穩(wěn)。位置編碼沒(méi)有銀彈關(guān)鍵是定義清楚你手里的序列長(zhǎng)度需求和外推目標(biāo)。如果訓(xùn)練和推理長(zhǎng)度一致可學(xué)習(xí)絕對(duì)位置編碼足夠如果要外推RoPE或ALiBi是更穩(wěn)的選擇。這個(gè)判斷越早做后面返工越少。5. 同是Transformer外殼內(nèi)部件一直在換歸一化、激活、共享頭5.1 Post-LN到Pre-LN的穩(wěn)定化改動(dòng)原始Transformer把LayerNorm放在殘差相加之后也就是Post-LN。理論上Post-LN表達(dá)能力更強(qiáng)因?yàn)樗粚?duì)殘差路徑做額外限制但實(shí)際訓(xùn)練大模型時(shí)容易不穩(wěn)定需要warmup和精細(xì)調(diào)參。后來(lái)GPT-2和很多開(kāi)源模型改用Pre-LN先對(duì)輸入做LayerNorm再進(jìn)行注意力或前饋網(wǎng)絡(luò)最后殘差直接相加。Pre-LN的殘差路徑更干凈梯度更容易跨層流動(dòng)訓(xùn)練更穩(wěn)定。代價(jià)是模型最終效果可能略弱于Post-LN但和“能不能訓(xùn)起來(lái)”相比這個(gè)代價(jià)非常好接受。工程上我見(jiàn)過(guò)不少照著原始Transformer搭模型的朋友第一版堆不出深度改成Pre-LN以后幾十層就能穩(wěn)定跑了?，F(xiàn)在看主流LLM的開(kāi)源代碼幾乎都是Pre-LN或者它的變體。如果你自己從零訓(xùn)練Transformer先把這一步改對(duì)比調(diào)一堆學(xué)習(xí)率更有效。5.2 從LayerNorm到RMSNorm的一步簡(jiǎn)化LayerNorm要計(jì)算均值和方差然后做歸一化。RMSNorm的研究者發(fā)現(xiàn)均值那一步其實(shí)可以省掉只要用RMS均方根做縮放就足夠穩(wěn)定而且省了不少計(jì)算。聽(tīng)起來(lái)像小改動(dòng)但對(duì)幾十億參數(shù)模型來(lái)說(shuō)省一個(gè)reduce對(duì)訓(xùn)練吞吐是有實(shí)際影響的。LLaMA系列用的就是RMSNorm。從算法演進(jìn)角度看RMSNorm少了一次中心化偏移的可學(xué)習(xí)參數(shù)也少了一層統(tǒng)計(jì)耦合訓(xùn)練時(shí)更干脆。如果你的模型在訓(xùn)練時(shí)發(fā)現(xiàn)LayerNorm統(tǒng)計(jì)均值長(zhǎng)期偏離0仿照RMSNorm砍掉中心化通常會(huì)更快收斂。當(dāng)然這不是萬(wàn)能技巧但在很多場(chǎng)景下確實(shí)能讓歸一化這塊更簡(jiǎn)潔?，F(xiàn)在新開(kāi)源模型普遍用RMSNorm也說(shuō)明這種簡(jiǎn)化在工程上是劃算的。5.3 激活函數(shù)ReLU到GELU、SwiGLU的演進(jìn)Transformer前饋網(wǎng)絡(luò)里的激活函數(shù)也在演進(jìn)。原始論文用ReLU簡(jiǎn)單高效但負(fù)數(shù)區(qū)域梯度完全為0容易造成神經(jīng)元死亡。BERT和GPT-1開(kāi)始用GELU它用標(biāo)準(zhǔn)正態(tài)累積分布做平滑門(mén)控0附近不是尖點(diǎn)梯度更連續(xù)訓(xùn)練更穩(wěn)。后來(lái)PaLM、LLaMA、很多LLM用SwiGLU把門(mén)控線性單元和Swish組合起來(lái)等于一個(gè)分支負(fù)責(zé)“內(nèi)容”另一個(gè)分支負(fù)責(zé)“門(mén)控”。SwiGLU在同等計(jì)算量下通常能帶來(lái)穩(wěn)定的效果提升但會(huì)額外增加參數(shù)。實(shí)際使用時(shí)常常要把中間層維度縮小比如從4倍降到約2.67倍來(lái)抵消參數(shù)增量。這里給個(gè)參數(shù)建議表激活函數(shù)典型中間層倍數(shù)特點(diǎn)ReLU4倍簡(jiǎn)單快速容易神經(jīng)元死亡GELU4倍平滑梯度預(yù)訓(xùn)練更穩(wěn)SwiGLU約2.67倍門(mén)控機(jī)制效果好但參數(shù)多這個(gè)維度調(diào)整看起來(lái)小但對(duì)訓(xùn)練吞吐影響很大。我見(jiàn)過(guò)有人把SwiGLU的中間層繼續(xù)設(shè)成4倍結(jié)果參數(shù)量爆炸訓(xùn)練速度直線下降效果卻沒(méi)提升。激活函數(shù)選型時(shí)一定要連同維度一起看。5.4 從MHA到MQA/GQA推理成本驅(qū)動(dòng)的頭結(jié)構(gòu)變化注意力頭結(jié)構(gòu)的最大演進(jìn)動(dòng)力來(lái)自推理階段的KV cache。標(biāo)準(zhǔn)多頭注意力MHA每個(gè)頭都獨(dú)立存K和V序列越長(zhǎng)顯存越大。推理時(shí)這些KV要一直存在所以有人做了MQA讓所有頭共享同一個(gè)K和V。共享以后KV cache大幅縮小但表達(dá)能力下降模型質(zhì)量可能有折扣。折中方案是GQA把注意力頭分成若干組組內(nèi)共享一組K/V。GQA在質(zhì)量和KV cache之間取得了平衡比如Llama 2 70B就用了GQA。如果你在做長(zhǎng)上下文服務(wù)的部署KV cache是繞不開(kāi)的工程問(wèn)題。MQA/GQA這類結(jié)構(gòu)改動(dòng)遠(yuǎn)比單純加顯存更實(shí)際。下面這張表可以幫你快速?zèng)Q策類型K/V共享方式KV cache開(kāi)銷適用場(chǎng)景MHA每頭獨(dú)立最高訓(xùn)練階段追求表達(dá)上限MQA所有頭共享一組最低輕量推理接受質(zhì)量回落GQA組內(nèi)共享折中生成式LLM質(zhì)量與顯存平衡實(shí)際開(kāi)發(fā)時(shí)訓(xùn)練階段可以用MHA充分訓(xùn)練推理階段再做GQA轉(zhuǎn)換或量化這種思路在一些部署實(shí)踐中已經(jīng)很常見(jiàn)。不過(guò)要注意訓(xùn)練和推理的注意力頭配置不一致時(shí)需要做參數(shù)重構(gòu)不能簡(jiǎn)單改名了事。6. 范式位移Decoder-only與條件計(jì)算帶來(lái)的新問(wèn)題6.1 BERT與GPT左右兩條路的結(jié)果從Transformer衍生出來(lái)的早期路線分兩支。BERT走Encoder-only架構(gòu)用雙向上下文預(yù)訓(xùn)練在GLUE、SQuAD等理解類任務(wù)上統(tǒng)治了很久。GPT走Decoder-only架構(gòu)用因果語(yǔ)言模型做生成一開(kāi)始更擅長(zhǎng)續(xù)寫(xiě)。當(dāng)時(shí)很多研究者的判斷是兩種架構(gòu)各司其職理解歸BERT生成歸GPT。后來(lái)的發(fā)展大家都清楚生成式AI成為大模型主流后兩邊在規(guī)模、生態(tài)、社區(qū)投入上開(kāi)始明顯傾斜。這種偏差背后有算法理念的原因BERT的預(yù)訓(xùn)練目標(biāo)需要額外任務(wù)頭才能遷移而GPT的自回歸目標(biāo)天然把所有任務(wù)統(tǒng)一成“預(yù)測(cè)下一個(gè)token”下游使用時(shí)幾乎不需要架構(gòu)改動(dòng)?？雌饋?lái)只是訓(xùn)練目標(biāo)的差別實(shí)際變成了整個(gè)產(chǎn)品形態(tài)的差別。6.2 為什么生成式大模型把Decoder-only當(dāng)成默認(rèn)架構(gòu)除了統(tǒng)一任務(wù)很方便Decoder-only在工程上也更好擴(kuò)展。因果注意力意味著所有位置只看左側(cè)顯存中KV的形態(tài)整齊推理時(shí)逐token生成天然符合KV cache的更新方式。Encoder-Decoder架構(gòu)雖然雙向理解更強(qiáng)但生成時(shí)仍然要從Decoder走一遍編碼端和解碼端的調(diào)度更復(fù)雜推理開(kāi)銷也更大。再加上近年一些對(duì)照實(shí)驗(yàn)顯示在同等參數(shù)量和訓(xùn)練數(shù)據(jù)下Decoder-only在下游任務(wù)上比Encoder-Decoder不弱甚至更強(qiáng)。這直接推動(dòng)元模型、Llama、Qwen等幾乎所有主流大模型都選了Decoder-only。倒不是說(shuō)Encoder-Decoder沒(méi)有價(jià)值而是在當(dāng)前規(guī)模化生成的范式中Decoder-only的工程優(yōu)勢(shì)太明顯。如果只是做純理解任務(wù)Encoder-only依舊有其價(jià)值但如果你要做一個(gè)通用助手Decoder-only幾乎是最省事的起點(diǎn)。6.3 MoE、多模態(tài)等架構(gòu)層面的新變量說(shuō)Transformer架構(gòu)演進(jìn)還不能不提MoE。MoE不是改注意力算法而是把FFN層換成多個(gè)專家網(wǎng)絡(luò)并通過(guò)門(mén)控網(wǎng)絡(luò)對(duì)每個(gè)token動(dòng)態(tài)選擇專家。它以條件計(jì)算的方式讓模型參數(shù)量大幅增加但單次推理只激活一部分參數(shù)。Mixtral、DeepSeek等模型把MoE和Transformer結(jié)合后長(zhǎng)上下文的性價(jià)比進(jìn)一步提升。多模態(tài)方向則出現(xiàn)把圖像、音頻都當(dāng)作token序列輸入到Transformer的做法。核心算法時(shí)代的很多技巧都能原樣保留只是模態(tài)編碼器不同。這些都說(shuō)明Transformer的核心算法演進(jìn)不會(huì)停在“注意力本身怎么算”而會(huì)在“結(jié)構(gòu)算法如何匹配實(shí)際算力”上繼續(xù)延伸。我入行這幾年最大的感受是很多看似理論優(yōu)雅的演進(jìn)最初都來(lái)自工程上的“卡脖子”問(wèn)題。FlashAttention來(lái)自顯存瓶頸Pre-LN來(lái)自深度訓(xùn)練不穩(wěn)定GQA來(lái)自推理KV cache膨脹。如果你自己做項(xiàng)目別急著追新模塊先看看當(dāng)前流程卡在哪一層序列一長(zhǎng)就崩優(yōu)先看注意力復(fù)雜度模型越深越難收斂?jī)?yōu)先看歸一化和殘差服務(wù)端KV cache太吃顯存優(yōu)先看GQA。按這個(gè)思路去選架構(gòu)算法比復(fù)制別人的配置要有效得多。這也是我把前面那些演進(jìn)串成一條邏輯線的意義把每個(gè)新模塊的名字都還原成它原本要解決的問(wèn)題用的時(shí)候自然知道怎么選。