今天文章的主題是“用 PyTorch 從零構(gòu)建 GPT”。開(kāi)頭不繞彎子先從我一次帶新人跑代碼的真實(shí)場(chǎng)景說(shuō)起因?yàn)槟莻€(gè)場(chǎng)景幾乎濃縮了所有初學(xué)者會(huì)遇到的問(wèn)題。大概是一年前有個(gè)剛?cè)?NLP 方向的同學(xué)問(wèn)我他想自己寫(xiě)一個(gè) GPT但照著開(kāi)源代碼敲了一遍前向傳播還是跑不通。他把報(bào)錯(cuò)信息發(fā)給我我發(fā)現(xiàn)問(wèn)題根本不在模型結(jié)構(gòu)上而是他用的 PyTorch 版本和代碼里的F.scaled_dot_product_attention不兼容。他折騰了兩天最后把 PyTorch 降級(jí)到 2.0 以上問(wèn)題就消失了。這種經(jīng)歷其實(shí)很常見(jiàn)。很多人以為從零構(gòu)建 GPT 的難點(diǎn)在“注意力機(jī)制”“Transformer 架構(gòu)”“訓(xùn)練策略”這些聽(tīng)起來(lái)很高級(jí)的概念上。但真正動(dòng)手以后你會(huì)發(fā)現(xiàn)攔住你的往往不是算法理解而是環(huán)境、版本、數(shù)據(jù)類型、設(shè)備分配這些看起來(lái)特別不起眼的問(wèn)題。這篇文章我想講的不是把 GPT 的源碼逐行抄一遍給你看。我更想和你聊清楚如果你真的想用 PyTorch 從零構(gòu)建一個(gè) GPT你最應(yīng)該把精力花在什么地方哪些坑是可以提前避開(kāi)的什么樣才算真正“跑通”了以及從“能跑通”到“能用”之間還差哪些關(guān)鍵拼圖。這個(gè)主判斷先放在這里從零構(gòu)建 GPT 這件事真正鍛煉你的不是 Transformer 理論的背誦而是一套工程化拆解能力——把論文細(xì)節(jié)變成模型代碼把模型代碼變成可訓(xùn)練流程再把可訓(xùn)練流程變成可控的實(shí)驗(yàn)。任何一個(gè)環(huán)節(jié)掉鏈子你都會(huì)卡在原地。1. 先搞清楚“從零構(gòu)建 GPT”到底是在構(gòu)建什么很多教程喜歡把 GPT 描述成一棟宏偉的建筑但實(shí)際動(dòng)手時(shí)你是在一塊一塊地砌磚。你不需要真的去實(shí)現(xiàn)一個(gè) GPU 矩陣乘法庫(kù)也不需要自己寫(xiě) CUDA 內(nèi)核。你要做的是用 PyTorch 這種深度學(xué)習(xí)框架提供的“積木”把論文《Attention Is All You Need》和 GPT 系列的技術(shù)報(bào)告中描述的結(jié)構(gòu)一塊一塊還原出來(lái)。1.1 它不是一個(gè)“大”模型而是一套有邊界的結(jié)構(gòu)如果你搜索“大語(yǔ)言模型”看到的都是幾百億參數(shù)、幾千張 GPU 之類的新聞。但你自己動(dòng)手用 PyTorch 構(gòu)建 GPT 時(shí)完全不需要追求“大”。你完全可以先寫(xiě)一個(gè)參數(shù)只有幾百萬(wàn)的小模型放在 CPU 上也能跑甚至在普通的筆記本上就能完成前向傳播和過(guò)擬合測(cè)試。這里有一個(gè)非常重要的認(rèn)知轉(zhuǎn)變GPT 并不是“因?yàn)榇蟛沤?GPT”而是它采用了 GPT 這種架構(gòu)。架構(gòu)決定了模型如何組織信息流參數(shù)規(guī)模決定了它能裝下多少知識(shí)。你從零構(gòu)建時(shí)核心目標(biāo)是把 GPT 架構(gòu)中的幾個(gè)關(guān)鍵組件準(zhǔn)確實(shí)現(xiàn)出來(lái)Tokenizer分詞器把文本切分成 token再把 token 映射成整數(shù) ID。Token Embedding Position Embedding把 token ID 變成向量并把位置信息編碼進(jìn)去。Transformer Decoder Block這是重中之重包含多頭自注意力機(jī)制、交叉注意力嚴(yán)格來(lái)說(shuō) GPT 的 Decoder Block 里沒(méi)有交叉注意力這一點(diǎn)后文會(huì)細(xì)說(shuō)、前饋神經(jīng)網(wǎng)絡(luò)和層歸一化。輸出投影層把最后一個(gè)隱藏狀態(tài)映射到詞表大小的概率分布上。很多人第一次接觸會(huì)搞混一個(gè)點(diǎn)GPT 用的 Transformer Decoder和原始的 Transformer Decoder 并不完全一樣。原始 Transformer 的 Decoder 里有交叉注意力cross-attention用來(lái)訪問(wèn) Encoder 的輸出而 GPT 里的 Decoder Block 只有 masked self-attention 和一個(gè)前饋網(wǎng)絡(luò)。這個(gè)區(qū)別會(huì)導(dǎo)致你對(duì)結(jié)構(gòu)的理解完全不同。注意寫(xiě)代碼前先想清楚你構(gòu)建的 GPT 是哪種形態(tài)。如果參考“GPT 風(fēng)格的 decoder-only”結(jié)構(gòu)就不要把 cross-attention 硬塞進(jìn)去。1.2 結(jié)構(gòu)看清了才能知道每一步代碼在做什么當(dāng)我拿到一份從零構(gòu)建 GPT 的代碼時(shí)我通常會(huì)按順序檢查四個(gè)模塊是否存在且正確輸入處理模塊原始文本能否正確變成[batch_size, seq_len]的整數(shù)張量。位置信息注入是用可學(xué)習(xí)的 Positional Embedding還是用 Sinusoidal 編碼還是用 RoPE旋轉(zhuǎn)位置編碼。注意力掩碼GPT 是自回歸模型必須保證當(dāng)前位置的注意力只能看到前面位置不能看到未來(lái)。這個(gè)掩碼做錯(cuò)了整個(gè)訓(xùn)練過(guò)程會(huì)崩掉但不報(bào)錯(cuò)因?yàn)閾p失依然會(huì)下降只是模型變成了“作弊”模型。分類頭和損失函數(shù)輸出維度是否等于詞表大小損失是否在忽略填充位置的前提下計(jì)算。如果你能把這個(gè) 4 個(gè)點(diǎn)講清楚寫(xiě)成注釋和文檔那這篇文章的真實(shí)價(jià)值就出來(lái)了。因?yàn)榇蠖鄶?shù)教程只會(huì)給你看完整代碼而不會(huì)告訴你“為什么這段代碼要這樣組織”。2. 環(huán)境搭建不是簡(jiǎn)單的 pip install而是版本對(duì)齊工程剛才我提到有過(guò)一個(gè)同學(xué)卡在 PyTorch 版本上兩天沒(méi)進(jìn)展。這其實(shí)不是個(gè)例。從熱搜詞里能看到大量人都在搜“pytorch安裝”“pytorch環(huán)境搭建”“anaconda配置pytorch環(huán)境”“ubuntu系統(tǒng)下載pytorch教程”“pytorch cu130”這類關(guān)鍵詞。這說(shuō)明環(huán)境搭建本身就是從零構(gòu)建 GPT 的第一道坎而且攔住了很多人。2.1 為什么版本不對(duì)模型代碼會(huì)出各種怪問(wèn)題PyTorch 的 API 變化速度極快。舉個(gè)例子torch.nn.functional.scaled_dot_product_attention是在 PyTorch 2.0 引入的高效注意力實(shí)現(xiàn)。如果你拿到的參考代碼用了這個(gè)函數(shù)但你的 PyTorch 還是 1.x就會(huì)報(bào)一個(gè)不那么明顯的錯(cuò)誤甚至有時(shí)候只是慢不是直接崩。再比如torch.compile它在 PyTorch 2.0 被引入可以明顯加速訓(xùn)練但它對(duì) Python 版本、CUDA 版本和 GPU 型號(hào)都有要求。如果你是在 Windows 上用 pip 裝的 CPU 版 PyTorch很多加速能力都用不上。所以在開(kāi)始構(gòu)建模型之前先確定幾個(gè)版本而不是拿到最新版就裝Python 版本建議 3.9 到 3.11太新有時(shí)候會(huì)遇到 wheel 不匹配PyTorch 版本建議 2.x除非你刻意學(xué)習(xí) 1.x 的舊代碼CUDA 版本取決于你的驅(qū)動(dòng)支持不要盲目選 cu130依賴包版本transformers、tiktoken、numpy、datasets 等2.2 我的建議流程先固定依賴再寫(xiě)代碼這里我用一個(gè)通用流程來(lái)說(shuō)明具體版本號(hào)會(huì)變化但順序是穩(wěn)定的# 1. 創(chuàng)建獨(dú)立虛擬環(huán)境避免污染全局 Python conda create -n gpt-from-scratch python3.10 -y conda activate gpt-from-scratch # 2. 安裝 PyTorch根據(jù)你的機(jī)器選擇 CPU 版或 CUDA 版 # CPU 版先保證能跑通代碼 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 3. 安裝訓(xùn)練和分詞相關(guān)依賴 pip install numpy tiktoken datasets matplotlib如果你的機(jī)器有 NVIDIA 顯卡并且已經(jīng)安裝了合適的驅(qū)動(dòng)你可以去 PyTorch 官網(wǎng)選擇對(duì)應(yīng) CUDA 版本的安裝命令。但這里有一個(gè)經(jīng)驗(yàn)第一次用 PyTorch 從零構(gòu)建 GPT不要直接上 CUDA 版。先用 CPU 版把完整流程跑通確認(rèn)模型代碼沒(méi)有邏輯錯(cuò)誤再安裝 GPU 版加速訓(xùn)練。為什么因?yàn)?CPU 和 GPU 的報(bào)錯(cuò)信息不一樣把兩個(gè)變量混在一起排查你會(huì)浪費(fèi)大量時(shí)間。環(huán)境搭建的核心邏輯是把你跑通的實(shí)驗(yàn)環(huán)境記錄下來(lái)形成確定性的依賴清單pip freeze requirements.txt這樣你未來(lái)重跑、換機(jī)器、給別人復(fù)現(xiàn)都能回到同一起點(diǎn)。這一步必須在第一行模型代碼之前完成。3. 從零寫(xiě)一個(gè)最小 GPT 結(jié)構(gòu)核心組件逐個(gè)拆解當(dāng)環(huán)境穩(wěn)定下來(lái)就可以開(kāi)始寫(xiě)模型代碼了。這個(gè)階段我的建議是不要照抄完整開(kāi)源項(xiàng)目而是用最少的代碼把核心結(jié)構(gòu)寫(xiě)出來(lái)。你可以不用考慮訓(xùn)練效率不用優(yōu)化顯存甚至可以不用考慮 GPU。你只需要一個(gè)能在小規(guī)模數(shù)據(jù)上過(guò)擬合的最小模型。3.1 最簡(jiǎn)結(jié)構(gòu)的“零件清單”在開(kāi)始寫(xiě)代碼前先像列購(gòu)物清單一樣把零件列出來(lái)。下面這個(gè)清單是從零構(gòu)建 GPT 時(shí)至少需要涉及的部分模塊作用常見(jiàn)坑點(diǎn)分詞器文本和 token ID 互相轉(zhuǎn)換詞表大小不一致導(dǎo)致 embedding 維度錯(cuò)位詞嵌入層將 token ID 映射成向量忘記設(shè)置padding_idx或詞表大小參數(shù)位置編碼給模型提供序列順序信息序列長(zhǎng)度和位置編碼長(zhǎng)度不一致多頭自注意力提取上下文關(guān)系mask 形狀錯(cuò)誤、attn_mask廣播問(wèn)題前饋網(wǎng)絡(luò)非線性變換殘差連接維度不匹配層歸一化穩(wěn)定訓(xùn)練歸一化的維度和形狀對(duì)不對(duì)輸出投影層映射到詞表概率分布權(quán)重與嵌入層是否共享不共享也沒(méi)錯(cuò)這些零件組合起來(lái)從結(jié)構(gòu)上看GPT 就是一個(gè)把“嵌入層 N 個(gè) Transformer Decoder Block 輸出層”串起來(lái)的網(wǎng)絡(luò)。Block 里最核心的組件就是 masked multi-head self-attention。3.2 自注意力機(jī)制為什么 GPT 必須要 mask自注意力的公式看起來(lái)簡(jiǎn)單Attention(Q, K, V) softmax(Q K^T / sqrt(d_k)) V但在 GPT 這樣的自回歸模型里Q K^T之后不能直接 softmax。因?yàn)樵谏傻?t 個(gè) token 時(shí)模型不能看到第 t1、t2 等未來(lái) token。這需要在計(jì)算注意力分?jǐn)?shù)后、softmax 之前把未來(lái)位置的值替換成一個(gè)極大的負(fù)數(shù)比如-inf這樣 softmax 之后這些位置的權(quán)重就會(huì)變成 0。如果你用了F.scaled_dot_product_attention它可以通過(guò)is_causalTrue參數(shù)直接實(shí)現(xiàn)因果掩碼非常方便。但為了理解機(jī)制我建議你至少手寫(xiě)一次完整的注意力函數(shù)哪怕它慢一點(diǎn)import torch import torch.nn as nn import torch.nn.functional as F class CausalSelfAttention(nn.Module): def __init__(self, embed_dim, num_heads, dropout0.0): super().__init__() assert embed_dim % num_heads 0 self.embed_dim embed_dim self.num_heads num_heads self.head_dim embed_dim // num_heads self.qkv nn.Linear(embed_dim, 3 * embed_dim) self.out_proj nn.Linear(embed_dim, embed_dim) self.dropout nn.Dropout(dropout) def forward(self, x): B, T, C x.size() qkv self.qkv(x) # [B, T, 3*C] q, k, v qkv.chunk(3, dim-1) # 拆分多頭 q q.view(B, T, self.num_heads, self.head_dim).transpose(1, 2) k k.view(B, T, self.num_heads, self.head_dim).transpose(1, 2) v v.view(B, T, self.num_heads, self.head_dim).transpose(1, 2) # 縮放點(diǎn)積注意力 attn q k.transpose(-2, -1) * (self.head_dim ** -0.5) # 因果掩碼下三角矩陣為 0上三角為 -inf causal_mask torch.tril(torch.ones(T, T, devicex.device, dtypetorch.bool)) attn attn.masked_fill(~causal_mask, float(-inf)) attn F.softmax(attn, dim-1) attn self.dropout(attn) y attn v # [B, num_heads, T, head_dim] y y.transpose(1, 2).contiguous().view(B, T, C) return self.out_proj(y)這段代碼是“示例結(jié)構(gòu)”不是某個(gè)開(kāi)源項(xiàng)目里的原版。但它包含了你理解 GPT 必需的核心邏輯QKV 投影、多頭拆分、縮放、因果掩碼、softmax、attention 加權(quán)、輸出投影。這里有一個(gè)很容易踩的坑causal_mask只在 T 等于當(dāng)前序列長(zhǎng)度時(shí)是對(duì)的。如果訓(xùn)練時(shí)輸入序列長(zhǎng)度固定這沒(méi)問(wèn)題但推理時(shí)如果想生成長(zhǎng)度大于 T 的序列位置編碼和掩碼都需要外推這時(shí)就會(huì)出問(wèn)題。這也是為什么很多 GPT 實(shí)現(xiàn)會(huì)使用相對(duì)位置編碼或 RoPE。3.3 從一個(gè)小模型跑通到過(guò)擬合這才是真正的“從零構(gòu)建”寫(xiě)完結(jié)構(gòu)以后不要直接去找大型語(yǔ)料。先用一個(gè)很小的文本文件比如幾千個(gè)字的莎士比亞作品片段或者你自己寫(xiě)的一段日志把它切成 token然后用一個(gè)小模型去過(guò)擬合這一段數(shù)據(jù)。你可以用一個(gè)非常小的配置config { vocab_size: 256, # 比如用字節(jié)級(jí)分詞詞表就是 0-255 block_size: 128, # 最大上下文長(zhǎng)度 n_embd: 64, # 嵌入維度 n_head: 4, # 注意力頭數(shù) n_layer: 2, # Transformer Block 數(shù)量 batch_size: 4, learning_rate: 3e-4, }這種規(guī)模的模型在 CPU 上也能跑。關(guān)鍵目標(biāo)是讓訓(xùn)練 loss 持續(xù)下降最后在訓(xùn)練集上過(guò)擬合到非常小的數(shù)值。如果過(guò)擬合都做不到說(shuō)明你的模型代碼或數(shù)據(jù)管道有問(wèn)題。這是最好的調(diào)試方式。一個(gè)常見(jiàn)經(jīng)驗(yàn)是如果你連一小段文本都無(wú)法過(guò)擬合問(wèn)題大概率出在輸入 ID 和標(biāo)簽的對(duì)齊上。檢查一下你生成的訓(xùn)練樣本中輸入序列和標(biāo)簽序列是不是錯(cuò)位了一個(gè) token。GPT 訓(xùn)練時(shí)通常輸入是第 i 到 T-1 個(gè) token標(biāo)簽是第 i1 到 T 個(gè) token。4. 訓(xùn)練一個(gè)迷你 GPT數(shù)據(jù)、損失與采樣流程模型代碼跑通后就要進(jìn)入訓(xùn)練階段。訓(xùn)練過(guò)程就像把零件組裝好的汽車第一次點(diǎn)火。很多新手在這一步會(huì)發(fā)現(xiàn)模型不是“不能跑”而是“跑得非常詭異”loss 不下降、loss 變成 NaN、模型生成的內(nèi)容全是重復(fù) token。這些問(wèn)題的原因往往不只在模型結(jié)構(gòu)上而是在數(shù)據(jù)準(zhǔn)備和訓(xùn)練配置上。4.1 大語(yǔ)言模型下載下來(lái)是什么先弄清數(shù)據(jù)和權(quán)重的區(qū)別熱搜詞里有一句“大語(yǔ)言模型下載下來(lái)是什么”非常能代表新手的困惑。很多人以為下載一個(gè)模型就像下載一個(gè)軟件雙擊就能打開(kāi)。但實(shí)際上你下載的是一個(gè)權(quán)重文件里面全是浮點(diǎn)數(shù)它必須配合模型結(jié)構(gòu)代碼和分詞器文件才能運(yùn)行。從零構(gòu)建 GPT 時(shí)你也會(huì)碰到同樣的問(wèn)題。你的模型訓(xùn)練完之后需要把權(quán)重保存下來(lái)。通常做法是torch.save(model.state_dict(), mini_gpt.pt)這不是一個(gè)完整的模型包。它只是把模型參數(shù)以字典形式保存了。如果別人拿到這個(gè).pt文件但沒(méi)有你的model.py他根本無(wú)法把權(quán)重加載回去。所以如果你的最終目標(biāo)是分享一個(gè)別人能用的模型不僅要保存權(quán)重還要保存配置文件、分詞器文件和一份加載腳本。在 PyTorch 生態(tài)里更推薦的是用.pt或.pth保存完整的模型 checkpoint包括優(yōu)化器狀態(tài)、訓(xùn)練步數(shù)、loss 曲線等。如果你只是保存權(quán)重那就把它視為“推理權(quán)重”加載時(shí)要注意構(gòu)建完全相同的模型結(jié)構(gòu)。4.2 訓(xùn)練過(guò)程中的 loss 曲線就是你的儀表盤(pán)GPT 訓(xùn)練時(shí)你關(guān)注的核心指標(biāo)通常有三個(gè)訓(xùn)練集 loss反映模型對(duì)訓(xùn)練數(shù)據(jù)的擬合程度。驗(yàn)證集 loss反映模型的泛化能力。生成效果語(yǔ)言模型特有的評(píng)估方式直接看模型在給定前綴后能生成什么。如果訓(xùn)練集 loss 一直不下降先檢查學(xué)習(xí)率是否合適再檢查輸入數(shù)據(jù)是否存在大量噪聲。如果是訓(xùn)練集 loss 下降但驗(yàn)證集 loss 升高那就是過(guò)擬合可以考慮增加數(shù)據(jù)、減小模型或者加 dropout。如果生成結(jié)果是亂碼或無(wú)限重復(fù)可能是分詞器配置錯(cuò)誤、重復(fù)懲罰設(shè)置不當(dāng)或者模型還沒(méi)訓(xùn)練充分。我一般會(huì)建議用一個(gè)小工具來(lái)記錄 loss 曲線比如matplotlib或在CSV文件里記錄。這一個(gè)動(dòng)作雖然簡(jiǎn)單但它能讓你在訓(xùn)練過(guò)程中快速判斷模型狀態(tài)而不是等幾個(gè)小時(shí)后才發(fā)現(xiàn)模型早就跑偏了。4.3 從“訓(xùn)練完成”到“模型能生成文字”還有最后一步寫(xiě)到這里很多教程會(huì)到此為止——損失下降了模型保存了任務(wù)“完成”了。但真正讓 GPT 有可用價(jià)值的是生成過(guò)程。生成過(guò)程也是自回歸的把當(dāng)前 token 序列輸入模型取最后一個(gè)位置的輸出用 softmax 得到下一個(gè) token 的概率分布然后從中采樣一個(gè) token接入序列繼續(xù)循環(huán)。最基礎(chǔ)的采樣方法是貪心解碼def generate(model, idx, max_new_tokens, block_size): model.eval() for _ in range(max_new_tokens): idx_cond idx[:, -block_size:] # 只保留最近的 block_size 個(gè) token logits model(idx_cond) logits logits[:, -1, :] # 只取最后一個(gè)位置 probs F.softmax(logits, dim-1) next_token torch.argmax(probs, dim-1, keepdimTrue) idx torch.cat([idx, next_token], dim1) return idx貪心解碼每次選概率最高的 token結(jié)果往往非常平淡而且容易重復(fù)。更自然的方法是引入溫度參數(shù)和 top-k 采樣。這些策略在真正使用模型時(shí)幾乎必須掌握。但在從零構(gòu)建階段先跑通貪心解碼就好不要一開(kāi)始就上復(fù)雜采樣否則你會(huì)分不清問(wèn)題是出在模型沒(méi)訓(xùn)練好還是采樣策略不對(duì)。注意生成時(shí)序列長(zhǎng)度超過(guò)block_size會(huì)導(dǎo)致問(wèn)題。最常見(jiàn)的是位置編碼越界或因果掩碼維度錯(cuò)誤。這個(gè)坑非常隱蔽很多人調(diào)了半天最后發(fā)現(xiàn)輸入序列超過(guò)了訓(xùn)練時(shí)的最大上下文長(zhǎng)度。5. 從“能跑”到“能用來(lái)做事”你離生產(chǎn)還差幾塊拼圖當(dāng)你成功訓(xùn)練完一個(gè)小型 GPT并且它能根據(jù)前綴生成看起來(lái)有點(diǎn)意思的文本之后你很容易產(chǎn)生一個(gè)錯(cuò)覺(jué)我已經(jīng)會(huì)構(gòu)建大語(yǔ)言模型了。從學(xué)習(xí)和鍛煉工程能力的角度看確實(shí)有很大收獲但距離真正“可用”還有很長(zhǎng)的路。5.1 工程化缺失項(xiàng)數(shù)據(jù)質(zhì)量、訓(xùn)練效率、服務(wù)化一個(gè)真實(shí)的大語(yǔ)言模型從訓(xùn)練到上線涉及的東西遠(yuǎn)不止模型結(jié)構(gòu)本身。熱搜詞里很多人關(guān)注的“本地部署大語(yǔ)言模型”“大語(yǔ)言模型界面”就對(duì)應(yīng)了這條鏈路。從工程視角看把訓(xùn)練代碼跑通只是一小步。后續(xù)你還需要處理數(shù)據(jù)清洗與配比從原始語(yǔ)料到高質(zhì)量訓(xùn)練數(shù)據(jù)需要去重、過(guò)濾垃圾文本、控制各類數(shù)據(jù)比例。這一步對(duì)模型最終效果的影響往往比模型結(jié)構(gòu)和訓(xùn)練參數(shù)還大。訓(xùn)練加速與顯存優(yōu)化梯度累積、混合精度、分布式訓(xùn)練、模型并行、ZeRO 優(yōu)化等。你訓(xùn)練的小模型用不上但這是從小模型走向大模型的必經(jīng)之路。評(píng)估體系不能只看 loss 下降還要有評(píng)估集評(píng)測(cè)、人類反饋、對(duì)齊等。推理服務(wù)把模型部署成 API 接口做顯存管理、并發(fā)控制、請(qǐng)求排隊(duì)、流式輸出。這些內(nèi)容看起來(lái)和“從零構(gòu)建 GPT”無(wú)關(guān)但其實(shí)是同一個(gè)命題。因?yàn)橐坏┠愦_定以后要長(zhǎng)期在這條路上走從第一天就應(yīng)該清楚模型代碼只是一張門(mén)票完整的大語(yǔ)言模型工程還有全景圖和路線圖。越早意識(shí)到這一點(diǎn)你就越不會(huì)把“訓(xùn)練了一個(gè)小模型”當(dāng)成最終的終點(diǎn)。5.2 如何繼續(xù)深入一個(gè)可復(fù)用的進(jìn)階路線如果你已經(jīng)完成了文章前面所有步驟下一個(gè)階段可以按下面的路徑繼續(xù)往前探索。這也是我比較推薦的一個(gè)“三步延伸法”復(fù)現(xiàn)一個(gè)開(kāi)源的中型 GPT 結(jié)構(gòu)比如 1 億參數(shù)左右的模型。找一個(gè)公開(kāi)的教程或代碼庫(kù)自己照著思路寫(xiě)一遍先不追求完全一致重點(diǎn)是理解每個(gè)組件為什么這樣設(shè)計(jì)。自己構(gòu)造一個(gè)真實(shí)任務(wù)不要只用莎士比亞文本做學(xué)習(xí)玩具找一個(gè)你能拿到的、有明確領(lǐng)域結(jié)構(gòu)的數(shù)據(jù)集比如代碼補(bǔ)全、GitHub Issue 摘要、技術(shù)問(wèn)答等訓(xùn)練一個(gè)針對(duì)特定任務(wù)的 GPT。從單機(jī)訓(xùn)練切到分布式訓(xùn)練哪怕你只有一臺(tái)機(jī)器、兩張顯卡也可以體驗(yàn)DistributedDataParallelDDP。這會(huì)讓你對(duì)“大語(yǔ)言模型為什么需要多卡”和“數(shù)據(jù)并行”有真正的直覺(jué)。這三步看起來(lái)每一步都不復(fù)雜但它能推動(dòng)你從一個(gè)“會(huì)用 PyTorch 寫(xiě)模型的人”變成一個(gè)“能判斷技術(shù)方案、能做實(shí)驗(yàn)設(shè)計(jì)、能排查訓(xùn)練鏈路問(wèn)題”的人。這才是從零構(gòu)建 GPT 真正值得訓(xùn)練的能力。6. 常見(jiàn)問(wèn)題排查遇到錯(cuò)誤先修思想和環(huán)境再扣代碼最后整理一份適合放在手邊的排查思路。不針對(duì)某一段代碼而是對(duì)整個(gè)從零構(gòu)建 GPT 的過(guò)程。如果你在實(shí)驗(yàn)過(guò)程中卡住按照下面的順序逐層排查大概率能比盲目搜報(bào)錯(cuò)信息更快定位問(wèn)題。先確認(rèn)報(bào)錯(cuò)來(lái)自哪一層是數(shù)據(jù)管道、模型構(gòu)造、前向傳播、loss 計(jì)算、梯度回傳還是采樣生成不同層的報(bào)錯(cuò)完全指向不同原因。再確認(rèn)環(huán)境是否對(duì)齊Python 版本、PyTorch 版本、CUDA 版本、transformers版本、tiktoken版本。版本不一致導(dǎo)致的怪問(wèn)題靠讀代碼是找不出來(lái)的。接著檢查輸入輸出形狀對(duì)每個(gè)關(guān)鍵張量在調(diào)試模式下把.shape打印出來(lái)或者用assert檢查形狀。形狀不一致是最容易發(fā)現(xiàn)也最容易被忽略的錯(cuò)誤。然后核對(duì)掩碼和數(shù)據(jù)對(duì)齊因果掩碼的維度對(duì)不對(duì)訓(xùn)練樣本中輸入和標(biāo)簽是否錯(cuò)位block_size是否覆蓋了所有序列長(zhǎng)度。這一步出問(wèn)題很多情況下模型也能訓(xùn)練但效果極差。最后檢查數(shù)值穩(wěn)定性loss 是否出現(xiàn)nan權(quán)重是否變成nan學(xué)習(xí)率是不是太大梯度是否爆掉。如果是優(yōu)先降低學(xué)習(xí)率或者加入梯度裁剪。這部分如果你已經(jīng)順利跑到生成階段大概率不會(huì)遇到災(zāi)難級(jí)的錯(cuò)誤。但未來(lái)你寫(xiě)完更復(fù)雜的代碼、遷移到其他框架或更高版本的 PyTorch 時(shí)這套排查鏈路可以反復(fù)復(fù)用?；氐阶铋_(kāi)始的那個(gè)判斷。用 PyTorch 從零構(gòu)建 GPT本質(zhì)上是一個(gè)工程訓(xùn)練而不是理論背誦。你可以在一天內(nèi)看完注意力機(jī)制的講解但要自己寫(xiě)出一段既能訓(xùn)練又能生成文本的最小 GPT通常需要幾天甚至更久而且大部分時(shí)間會(huì)花在環(huán)境修復(fù)、形狀調(diào)整、掩碼錯(cuò)誤和數(shù)據(jù)對(duì)齊上。這個(gè)時(shí)間花得值。因?yàn)橹挥姓嬲龑?xiě)過(guò)一遍你才會(huì)理解為什么大語(yǔ)言模型需要海量數(shù)據(jù)、為什么自回歸結(jié)構(gòu)能生成自然語(yǔ)言、為什么一個(gè)看似簡(jiǎn)單的 Transformer Block 能裝下那么多知識(shí)。這些理解比單純跑一個(gè)開(kāi)源代碼能帶來(lái)的收獲要深得多。所以如果你正在準(zhǔn)備用 PyTorch 構(gòu)建自己的第一個(gè) GPT我的建議只有一句話先裝好環(huán)境再把最小模型跑通讓它在小數(shù)據(jù)上過(guò)擬合一次。這一步做到了你的從零構(gòu)建之路就已經(jīng)成功了三分之一。剩下的三分之二都是在學(xué)會(huì)面對(duì)不確定性時(shí)不斷修正自己判斷的過(guò)程。