現(xiàn)gpt4-x-alpaca？Llama 13B全量微調(diào)實操：數(shù)據(jù)集、超參數(shù)與訓(xùn)練全流程)
如何復(fù)現(xiàn)gpt4-x-alpacaLlama 13B全量微調(diào)實操數(shù)據(jù)集、超參數(shù)與訓(xùn)練全流程【免費下載鏈接】gpt4-x-alpaca項目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/gpt4-x-alpacagpt4-x-alpaca 是一個用GPT-4 回答對 Llama-13B 進(jìn)行全量微調(diào)的開源模型。它沒有使用 LoRA而是直接更新全部 130 億參數(shù)訓(xùn)練僅 3 個 epoch、837 步就完成了 58 分鐘訓(xùn)練。本文帶你拆解它的數(shù)據(jù)集來源、關(guān)鍵超參數(shù)和訓(xùn)練全流程幫助你理解并復(fù)現(xiàn)一次完整的 Llama 13B 全量微調(diào)。一、gpt4-x-alpaca 是什么一句話概括以 Stanford Alpaca 微調(diào)過的 Llama-13Balpaca-13b為基礎(chǔ)模型用 GPT-4 生成的指令-回答數(shù)據(jù)做監(jiān)督微調(diào)全程no LoRA全量參數(shù)更新訓(xùn)練 3 個 epoch。項目文件 README.md 中還附帶了該模型在 Open LLM Leaderboard 上的評測結(jié)果平均分46.78其中 HellaSwag常識推理達(dá)到 79.59MMLU多學(xué)科知識48.19整體超越了同期許多 13B 級別模型。想拿完整模型自己復(fù)現(xiàn)推理或繼續(xù)訓(xùn)練可以克隆倉庫git clone https://gitcode.com/hf_mirrors/ai-gitcode/gpt4-x-alpaca二、模型長什么樣13B 配置速覽打開 config.json核心架構(gòu)參數(shù)一目了然配置項數(shù)值新手解讀隱藏層維度 hidden_size5120每個 token 向量的寬度Transformer 層數(shù)40堆疊的深度注意力頭數(shù)40多頭注意力的頭數(shù)最大序列長度2048上下文窗口上限詞表大小32001比原版多 1 個新增的[PAD]詞精度 torch_dtypefloat32全精度訓(xùn)練權(quán)重共約 52GB兩個新手容易忽略的細(xì)節(jié) 詞表為 32001多出來的[PAD]id 32000記錄在 added_tokens.json 中是微調(diào)時補的填充符。?? 權(quán)重以 6 個分片保存pytorch_model-00001-of-00006.bin 等總大小 52GB索引見 pytorch_model.bin.index.json。float32 下加載完整模型至少需要一張 80GB 大顯存卡或換用 bf16 量化加載。三、數(shù)據(jù)集GPT-4 的標(biāo)準(zhǔn)答案這是復(fù)現(xiàn)的關(guān)鍵前提訓(xùn)練數(shù)據(jù)來自GPT-4 對指令的回答——即指令 → GPT-4 高質(zhì)量回答的成對語料本質(zhì)是斯坦福 Alpaca 風(fēng)格的 52K 指令數(shù)據(jù)集變體。為什么用 GPT-4 的回答做監(jiān)督因為 GPT-4 的回答在事實性、結(jié)構(gòu)完整性上明顯優(yōu)于早期模板化回答模型模仿的上限也就更高。從訓(xùn)練日志 trainer_state.json 可以反推數(shù)據(jù)規(guī)模全程837 步3 個 epoch即每個 epoch 約 279 步吞吐約 15.47 樣本/秒換算得全局批量global batch size≈64數(shù)據(jù)集約1.8 萬條指令樣本/epoch。 復(fù)現(xiàn)提示數(shù)據(jù)集本身不在本倉庫中需要自行準(zhǔn)備 Alpaca 風(fēng)格指令數(shù)據(jù)JSONL 格式含instruction、output字段。四、全量微調(diào)的關(guān)鍵超參數(shù)清單以下超參數(shù)均可從訓(xùn)練日志 trainer_state.json 中直接讀出是復(fù)現(xiàn)時最值得照抄的一組超參數(shù)取值說明訓(xùn)練輪數(shù) epochs3指令微調(diào)的甜點輪數(shù)再多易過擬合峰值學(xué)習(xí)率2e-5全量微調(diào) 13B 的經(jīng)典安全值學(xué)習(xí)率調(diào)度線性 warmup 余弦衰減前 25 步從 7.7e-07 升到 2e-5再逐步降到 0序列長度2048與 config.json 保持一致優(yōu)化器AdamW配合 cosine 調(diào)度loss 平滑下降批量策略全局 batch ≈ 64每 epoch 約 279 次優(yōu)化新手特別注意全量微調(diào)不要用更大的學(xué)習(xí)率。2e-5 是 13B 級別模型在 FP32/混合精度下的經(jīng)驗上限調(diào)大很容易讓 loss 震蕩甚至發(fā)散。五、訓(xùn)練全流程58 分鐘跑完 3 個 epoch從日志末尾的匯總記錄看這次訓(xùn)練的真實開銷? 訓(xùn)練總耗時3465 秒約 58 分鐘 最終 step loss0.1123平均 train_loss0.4548? 總 FLOPs 約 9.88×101?約 0.242 步/秒loss 曲線呈現(xiàn)典型的三段式warmup 階段step 1~25loss 從 1.25 上下波動著快速下探余弦衰減主體step 26~700穩(wěn)定從 0.9 區(qū)間滑向 0.3 區(qū)間收尾階段step 700~837學(xué)習(xí)率趨近 0loss 收斂到 0.11 附近。 硬件參考FP32 全量微調(diào) 13B除了 52GB 權(quán)重Adam 優(yōu)化器狀態(tài)還要額外約 1 倍顯存加上激活值建議2×80GB如 A100/H100起步用 bf16 混合精度 8-bit Adam 可顯著降低門檻。六、復(fù)現(xiàn)效果榜單成績一覽基準(zhǔn)得分考察能力平均分46.78綜合水平HellaSwag (10-shot)79.59常識推理Winogrande (5-shot)70.17指代消解MMLU (5-shot)48.19多學(xué)科知識ARC (25-shot)52.82科學(xué)常識TruthfulQA (0-shot)48.88真實性DROP (3-shot)24.99閱讀理解GSM8K (5-shot)2.81數(shù)學(xué)推理可以看到用 GPT-4 回答微調(diào)后模型的常識推理和知識類任務(wù)明顯受益數(shù)學(xué)GSM8K這類強推理任務(wù)提升有限——這也符合模仿式 SFT的能力邊界值得復(fù)現(xiàn)時留意。七、加載與使用3 個必踩的坑大小寫坑原 Llama 代碼中部分文件路徑/名稱寫作LLaMa大寫 L而本模型的 model_type 是llama、架構(gòu)類是LlamaForCausalLM。README 明確提醒把 LLaMa 改成 Llama注意大小寫否則加載報錯。精度坑config.json 聲明 float32加載時可顯式指定torch_dtype為 bf16 以節(jié)省一半顯存。詞表坑詞表 32001 與原版 32000 不同加載 tokenizer 時請使用倉庫內(nèi)的 tokenizer.model 和 tokenizer_config.json切勿混用原版。最簡驗證方式確認(rèn)模型能正常出話from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(本地路徑, torch_dtypebfloat16, device_mapauto) tokenizer AutoTokenizer.from_pretrained(本地路徑)八、復(fù)現(xiàn)總結(jié)清單 ?準(zhǔn)備 Alpaca 風(fēng)格指令數(shù)據(jù)約 1.8 萬條含 GPT-4 回答以 alpaca-13b 為底座FP32 或 BF16 精度學(xué)習(xí)率 2e-5線性 warmup 余弦衰減序列長度 2048全局批量 643 個 epoch約 837 步單卡 80GB×2 起訓(xùn)練完檢查 loss 是否收斂到 0.1~0.5 區(qū)間按照這份清單你用不到一小時就能跑完一輪 13B 全量微調(diào)——而 gpt4-x-alpaca 正是這樣一個配方透明、日志完整的絕佳參考樣本所有超參數(shù)、loss 曲線和榜單分?jǐn)?shù)都留在倉庫文件里復(fù)現(xiàn)與驗證兩不誤?！久赓M下載鏈接】gpt4-x-alpaca項目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/gpt4-x-alpaca創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何復(fù)現(xiàn)gpt4-x-alpaca？Llama 13B全量微調(diào)實操：數(shù)據(jù)集、超參數(shù)與訓(xùn)練全流程
如何復(fù)現(xiàn)gpt4-x-alpacaLlama 13B全量微調(diào)實操數(shù)據(jù)集、超參數(shù)與訓(xùn)練全流程【免費下載鏈接】gpt4-x-alpaca項目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/gpt4-x-alpacagpt4-x-alpaca 是一個用GPT-4 回答對 Llama-13B 進(jìn)行全量微調(diào)的開源模型。它沒有使用 LoRA而是直接更新全部 130 億參數(shù)訓(xùn)練僅 3 個 epoch、837 步就完成了 58 分鐘訓(xùn)練。本文帶你拆解它的數(shù)據(jù)集來源、關(guān)鍵超參數(shù)和訓(xùn)練全流程幫助你理解并復(fù)現(xiàn)一次完整的 Llama 13B 全量微調(diào)。一、gpt4-x-alpaca 是什么一句話概括以 Stanford Alpaca 微調(diào)過的 Llama-13Balpaca-13b為基礎(chǔ)模型用 GPT-4 生成的指令-回答數(shù)據(jù)做監(jiān)督微調(diào)全程no LoRA全量參數(shù)更新訓(xùn)練 3 個 epoch。項目文件 README.md 中還附帶了該模型在 Open LLM Leaderboard 上的評測結(jié)果平均分46.78其中 HellaSwag常識推理達(dá)到 79.59MMLU多學(xué)科知識48.19整體超越了同期許多 13B 級別模型。想拿完整模型自己復(fù)現(xiàn)推理或繼續(xù)訓(xùn)練可以克隆倉庫git clone https://gitcode.com/hf_mirrors/ai-gitcode/gpt4-x-alpaca二、模型長什么樣13B 配置速覽打開 config.json核心架構(gòu)參數(shù)一目了然配置項數(shù)值新手解讀隱藏層維度 hidden_size5120每個 token 向量的寬度Transformer 層數(shù)40堆疊的深度注意力頭數(shù)40多頭注意力的頭數(shù)最大序列長度2048上下文窗口上限詞表大小32001比原版多 1 個新增的[PAD]詞精度 torch_dtypefloat32全精度訓(xùn)練權(quán)重共約 52GB兩個新手容易忽略的細(xì)節(jié) 詞表為 32001多出來的[PAD]id 32000記錄在 added_tokens.json 中是微調(diào)時補的填充符。?? 權(quán)重以 6 個分片保存pytorch_model-00001-of-00006.bin 等總大小 52GB索引見 pytorch_model.bin.index.json。float32 下加載完整模型至少需要一張 80GB 大顯存卡或換用 bf16 量化加載。三、數(shù)據(jù)集GPT-4 的標(biāo)準(zhǔn)答案這是復(fù)現(xiàn)的關(guān)鍵前提訓(xùn)練數(shù)據(jù)來自GPT-4 對指令的回答——即指令 → GPT-4 高質(zhì)量回答的成對語料本質(zhì)是斯坦福 Alpaca 風(fēng)格的 52K 指令數(shù)據(jù)集變體。為什么用 GPT-4 的回答做監(jiān)督因為 GPT-4 的回答在事實性、結(jié)構(gòu)完整性上明顯優(yōu)于早期模板化回答模型模仿的上限也就更高。從訓(xùn)練日志 trainer_state.json 可以反推數(shù)據(jù)規(guī)模全程837 步3 個 epoch即每個 epoch 約 279 步吞吐約 15.47 樣本/秒換算得全局批量global batch size≈64數(shù)據(jù)集約1.8 萬條指令樣本/epoch。 復(fù)現(xiàn)提示數(shù)據(jù)集本身不在本倉庫中需要自行準(zhǔn)備 Alpaca 風(fēng)格指令數(shù)據(jù)JSONL 格式含instruction、output字段。四、全量微調(diào)的關(guān)鍵超參數(shù)清單以下超參數(shù)均可從訓(xùn)練日志 trainer_state.json 中直接讀出是復(fù)現(xiàn)時最值得照抄的一組超參數(shù)取值說明訓(xùn)練輪數(shù) epochs3指令微調(diào)的甜點輪數(shù)再多易過擬合峰值學(xué)習(xí)率2e-5全量微調(diào) 13B 的經(jīng)典安全值學(xué)習(xí)率調(diào)度線性 warmup 余弦衰減前 25 步從 7.7e-07 升到 2e-5再逐步降到 0序列長度2048與 config.json 保持一致優(yōu)化器AdamW配合 cosine 調(diào)度loss 平滑下降批量策略全局 batch ≈ 64每 epoch 約 279 次優(yōu)化新手特別注意全量微調(diào)不要用更大的學(xué)習(xí)率。2e-5 是 13B 級別模型在 FP32/混合精度下的經(jīng)驗上限調(diào)大很容易讓 loss 震蕩甚至發(fā)散。五、訓(xùn)練全流程58 分鐘跑完 3 個 epoch從日志末尾的匯總記錄看這次訓(xùn)練的真實開銷? 訓(xùn)練總耗時3465 秒約 58 分鐘 最終 step loss0.1123平均 train_loss0.4548? 總 FLOPs 約 9.88×101?約 0.242 步/秒loss 曲線呈現(xiàn)典型的三段式warmup 階段step 1~25loss 從 1.25 上下波動著快速下探余弦衰減主體step 26~700穩(wěn)定從 0.9 區(qū)間滑向 0.3 區(qū)間收尾階段step 700~837學(xué)習(xí)率趨近 0loss 收斂到 0.11 附近。 硬件參考FP32 全量微調(diào) 13B除了 52GB 權(quán)重Adam 優(yōu)化器狀態(tài)還要額外約 1 倍顯存加上激活值建議2×80GB如 A100/H100起步用 bf16 混合精度 8-bit Adam 可顯著降低門檻。六、復(fù)現(xiàn)效果榜單成績一覽基準(zhǔn)得分考察能力平均分46.78綜合水平HellaSwag (10-shot)79.59常識推理Winogrande (5-shot)70.17指代消解MMLU (5-shot)48.19多學(xué)科知識ARC (25-shot)52.82科學(xué)常識TruthfulQA (0-shot)48.88真實性DROP (3-shot)24.99閱讀理解GSM8K (5-shot)2.81數(shù)學(xué)推理可以看到用 GPT-4 回答微調(diào)后模型的常識推理和知識類任務(wù)明顯受益數(shù)學(xué)GSM8K這類強推理任務(wù)提升有限——這也符合模仿式 SFT的能力邊界值得復(fù)現(xiàn)時留意。七、加載與使用3 個必踩的坑大小寫坑原 Llama 代碼中部分文件路徑/名稱寫作LLaMa大寫 L而本模型的 model_type 是llama、架構(gòu)類是LlamaForCausalLM。README 明確提醒把 LLaMa 改成 Llama注意大小寫否則加載報錯。精度坑config.json 聲明 float32加載時可顯式指定torch_dtype為 bf16 以節(jié)省一半顯存。詞表坑詞表 32001 與原版 32000 不同加載 tokenizer 時請使用倉庫內(nèi)的 tokenizer.model 和 tokenizer_config.json切勿混用原版。最簡驗證方式確認(rèn)模型能正常出話from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(本地路徑, torch_dtypebfloat16, device_mapauto) tokenizer AutoTokenizer.from_pretrained(本地路徑)八、復(fù)現(xiàn)總結(jié)清單 ?準(zhǔn)備 Alpaca 風(fēng)格指令數(shù)據(jù)約 1.8 萬條含 GPT-4 回答以 alpaca-13b 為底座FP32 或 BF16 精度學(xué)習(xí)率 2e-5線性 warmup 余弦衰減序列長度 2048全局批量 643 個 epoch約 837 步單卡 80GB×2 起訓(xùn)練完檢查 loss 是否收斂到 0.1~0.5 區(qū)間按照這份清單你用不到一小時就能跑完一輪 13B 全量微調(diào)——而 gpt4-x-alpaca 正是這樣一個配方透明、日志完整的絕佳參考樣本所有超參數(shù)、loss 曲線和榜單分?jǐn)?shù)都留在倉庫文件里復(fù)現(xiàn)與驗證兩不誤?！久赓M下載鏈接】gpt4-x-alpaca項目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/gpt4-x-alpaca創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考