K3.1 Pro 的發(fā)布稿只有一句話講技術(shù):K3 基座不動,后訓練算力大幅加碼,RL 框架、長上下文推理、沙箱、rollout 調(diào)度整條鏈路重做。細節(jié)在 K3 技術(shù)報告里(arXiv 2607.24653)。這篇把它拆開講,看 Agent RL 到底卡在哪。先說結(jié)論長程 Agent RL 的吞吐,不取決于推理 kernel 多快,取決于三件事:長尾軌跡怎么處理、1M 上下文的狀態(tài)放哪、沙箱能不能暫停。01 路線:基座不動,只加后訓練基座(K3)2.8T 總參數(shù),104B 激活每個 token 從 896 個專家里選 16 個?每個 block 是 3 層 KDA 1 層 Gated MLA1M 上下文,原生多模態(tài)后訓練(K3 報告)不是訓一個通才。3 個領(lǐng)域 × 3 檔推理強度,共 9 個專家,再用多教師 on-policy 蒸餾合并。通用任務:推理、視覺、搜索、知識工作通用 Agent:長程助理、深度研究編碼 Agent:SWE、kernel、Web 開發(fā)推理強度怎么控:給每道題定一個 token 預算 b0(用冷啟動模型估),軌跡超過 τ·b0 就把獎勵直接改成-1。先用大 τ 訓出 max 檔,再把 τ 逐步調(diào)小,得到 high 和 low。Agent 任務里,計入預算的是累計輸出,包括推理和工具調(diào)用參數(shù)。K3.1 在此之上把 RL 鋪到數(shù)百個領(lǐng)域?；旌喜呗院退惴ǜ膭?博客沒有公布。02 等最慢的那條軌跡寫代碼的 Agent,一個任務能跑幾小時,多數(shù)幾分鐘就完。同步 RL 要等所有軌跡結(jié)束才更新,GPU 都在陪最慢的幾條。K3 用的是partial rollout:每輪: 采 N 個 prompt 每個 K 條軌跡 活躍 N×K 條 完成 λ 比例 → 暫停生成 整組跑完的 → 去優(yōu)化 沒跑完的 → 掛起 下一輪開頭優(yōu)先恢復代價是數(shù)據(jù)陳舊:一條長軌跡橫跨好幾輪,前半段是舊策略生成的。報告靠策略優(yōu)化里的逐 token 正則,把更新限制在局部鄰域,硬吃這種 off-policy。算一筆賬(我舉的例子)1024 條軌跡,90% 二十分鐘跑完剩下 10% 要三小時同步:每輪 3 小時λ0.9:每輪約 20 分鐘另一個常見誤判:推理提速不等于訓練提速。假設(shè) rollout 里推理只占 40%,其余是跑工具和驗證,推理快 2 倍,總耗時只少20%。03 1M 上下文,狀態(tài)放哪K3 的 RL 用 co-located 部署,一個 1M 上下文實驗控制在幾百張 GPU?？ㄊ×?代價是 rollout 要留 KV,和訓練狀態(tài)搶 CPU 內(nèi)存;前綴一旦 miss,重算 1M 的代價極高。難點一:兩種緩存混著用MLA 的 KV 隨長度增長,按 token 分頁。KDA 的循環(huán)狀態(tài)大小固定,每個請求只有一份。K3 把兩者放進同一個分頁池,頁大小統(tǒng)一,一套分配、引用計數(shù)和驅(qū)逐邏輯。代價在 prefix cache:KDA 狀態(tài)只能在稀疏的邊界存快照,所以共享塊大小被迫是1024–6144 token,命中粒度也跟著變粗。難點二:RL 里的內(nèi)存調(diào)度write-back 外部 KV 池:活躍塊留 GPU,閑置前綴被驅(qū)逐時才寫到 CPU DRAM,復用前預取。KDA 狀態(tài)和對應 MLA 塊一起搬。比 write-through 少很多無謂拷貝。訓練狀態(tài)讓位:一輪訓練結(jié)束,權(quán)重和優(yōu)化器狀態(tài)卸到 NVMe;rollout 結(jié)束后釋放 KV 池。自動節(jié)流:上下文越跑越長,按平均長度定死并發(fā),早期太保守,后期爆 KV 被搶占。改成看活躍數(shù)、排隊數(shù)、KV 利用率動態(tài)放請求。reference 模型借梯度緩沖:權(quán)重放 CPU,用時搬進策略模型的 FP32 梯度緩沖區(qū),配合 ZeRO-2 雙緩沖預取,一塊算、一塊取下一個 chunk,顯存零增加。K3.1 說優(yōu)化了長上下文推理和訓練效率,多半是繼續(xù)壓命中率、搶占和拷貝開銷,具體沒有公布。04 沙箱:要能暫停K3 的沙箱 AgentENV 用 Firecracker 微虛機。起因:早期用容器,模型亂操作引發(fā)過內(nèi)核 panic 和死鎖。而模型要能掛磁盤、跑容器、起虛機,必須接近真機。指標數(shù)值checkpoint133 msresume49 ms等推理占沙箱壽命最高 98%內(nèi)存超賣比最高 6.5×累計沙箱5122 萬個四個能力Pause/Resume:暫停的沙箱不占內(nèi)存和 CPU。98% 的時間在等模型,暫停后資源就能讓給別的任務。Fork:從當前狀態(tài)復制一份去跑驗證,不污染原環(huán)境。Snapshot:定期存檔,出錯回滾。增量 checkpoint:只存臟頁。規(guī)模上:數(shù)萬個鏡像各異的沙箱要在數(shù)秒內(nèi)起來。用 OverlayBD鏡像、自定義 ublk 驅(qū)動、存儲層共享加 P2P 傳輸,做到亞秒級啟動。粗算:若沙箱只有 2% 時間在真干活,并發(fā)上限理論上能到 50 倍量級,實際會被恢復開銷打折。partial rollout 的“下一輪接著跑”,靠的就是這個。05 環(huán)境與獎勵RL 優(yōu)化的是獎勵函數(shù),不是你真正想要的東西。環(huán)境有漏洞,模型就會鉆。白盒環(huán)境:把 Agent harness 拆成可組合模塊(工具接口、系統(tǒng)提示、上下文管理、skills、記憶、子 Agent),能還原 Kimi Code、Claude Code、Codex 等,也能拼新的。訓練時給不同任務隨機換 harness,防止模型只會一套工具。任務合成:用 Agent 持續(xù)上網(wǎng)擴展一張分層的知識圖譜,按概念節(jié)點檢索資料、合成任務,覆蓋冷門知識。不可驗證任務:Agent 裁判必須先讀產(chǎn)物、生成評分細則、逐候選打分、寫入記分板;同時用長度預算壓制“寫長騙分”。K3.1 新增的環(huán)境質(zhì)檢平臺,具體門禁規(guī)則沒有披露。兩個相關(guān)結(jié)果:幻覺:claim 級幻覺率 23.4% →8.3%(內(nèi)部壓力測試)網(wǎng)安:發(fā)現(xiàn)漏洞能力隨后訓練規(guī)模上漲,溯源到 mid-training 語料和 RL 環(huán)境本來就混著相關(guān)內(nèi)容。開源版兩處都刪了,xdev-bench-hard 90.5% →81.0%。降得不多,通用編碼變強后這類能力還會順帶漲06 性能表現(xiàn)官方拿 14 項評測,對比 Opus 5.5、Fable 5.1、GPT-6 Astra、GLM-5.3 和 DeepSeek-V4.1-Flash,所有模型都開到最大思考強度。K3.1 Pro 的位置:6 項第一、5 項第二、2 項第三、1 項第四。編碼與 Agent評測K3.1 Pro對比SWE Marathon51.7 · 第1Opus 5.5 46.3Agents Last Exam43.2 · 第1Opus 5.5 42.6Terminal-Bench 4.065.7 · 第2Opus 5.5 66.4GPT-6 Astra 58.2Kimi Code Bench 長程61.2 · 第2GPT-6 Astra 66.5K3 55.95Terminal-Bench Science38.1 · 第4GPT-6 Astra 68.1Opus 5.5 63.3知識工作與多模態(tài)評測K3.1 Pro對比OfficeQA Pro v264.4 · 第1Opus 5.5 62.2HLE(帶工具)70.0 · 第1Opus 5.5 67.7GDP.pdf34.6 · 第1GPT-6 Astra 34.2ZeroBench(帶工具)63.0 · 第1Opus 5.5 61.0Frontier Finance58.6 · 第2Fable 5.1 60.8GDPVal-AA v2.11846 · 第2Opus 5.5 1866ChartoGraphy90.2 · 第2GPT-6 Astra 91.0BenchCAD(帶工具)92.7 · 第3Opus 5.5 96.2GPT-6 Astra 95.9OSWorld V2.179.6 · 第3Opus 5.5 81.8Fable 5.1 80.7綜合評測(官方圖)1)強項在哪長程、多步、帶工具的任務:SWE Marathon、Agents Last Exam、OfficeQA、HLE 帶工具,都是第一。這和 RL 的訓練目標吻合,模型在這些任務上要連續(xù)決策幾十到上百步。2)短板在哪Terminal-Bench Science 只有 38.1,和 GPT-6 Astra(68.1)、Opus 5.5(63.3)差一大截,科學計算類終端任務還不行。BenchCAD 帶工具 92.7,不帶工具 72.8(Opus 5.5 是 73.0),說明差距主要在工具使用。Frontier Finance 比 Fable 5.1 低 2.2 分。3)從 K3 到 K3.1 的躍遷Kimi Code Bench 長程:55.95 → 61.2經(jīng)營決策:8.9 → 37.0,約 4.2 倍金融研究:58.8 → 70.4xdev-bench-hard(pass3):33.3 → 81.0,平均成功率 15.9% → 64.5%4)幻覺率(越低越好)不帶工具:K3.1 Pro 5.4,GPT-6 Astra 4.2,Opus 5.5 6.8,Fable 5.1 11.4Hard 帶工具:K3.1 Pro 8.3,GPT-6 Astra 5.5,Opus 5.5 15.0,Fable 5.1 23.3兩項里 K3.1 Pro 都只落后于 GPT-6 Astra,比 Opus 5.5 低不少?？趶绞恰昂e誤的事實性聲明占比”,壓力測試集,不代表日常。5)token 開銷xdev-bench-hard 給了每條成功軌跡的平均 token(輸入 / 輸出):K3.1 Pro:159.8M / 546KDeepSeek-V4.1-Flash:162.2M / 1.5MGLM-5.3:381.1M / 3.6MGPT-5.6 Sol:93.5M / 336K輸出量比 DeepSeek 少約三分之二、比 GLM 少約 85%,和前面“超預算就罰 -1”的訓練方式對得上。這只是一個基準上的數(shù)字,別當通用結(jié)論。6)速度K3.1 Pro Highspeed 官方稱速度是 Pro 的 2–3 倍。測法沒說(是輸出速度還是端到端耗時)。對長程 Agent,單次請求變快不等于整個任務變快。7)看數(shù)字時的口徑官方圖腳注:所有模型開最大思考強度;Claude 可能含 fallback,GPT 可能含 cyberguard。Kimi 的部分成績用 Claude Code 等 harness 自測,對手成績來自各家公布值或榜單。Kimi Code Bench、Hallu Bench、xdev-bench-hard 和內(nèi)部金融基準都是 Kimi 自家的。07 官網(wǎng)演示天宮戰(zhàn)斗游戲(Unreal Engine 5.8)36 開間、半徑 1750 米的列柱回廊Blender 程序化建模的巨龍,MetaHuman 主角3600 萬源三角面,Nanite Lumen3D 汽車展示頁(Three.js)滾動驅(qū)動,布料揭幕,四章節(jié)車庫,結(jié)尾是 968 個零件的爆炸圖。可以直接玩:https://fqo4jx65co4xu.ok.kimi.link/機場雨林谷(Blender)19.5 秒、1080p、60fps 建模動畫。人體步行仿真296 塊骨骼 402 塊肌肉167 個任務、420 次評審仿真人從幾秒摔倒,到連續(xù)邁步 11.2 秒手臂獎勵怎么調(diào)都沒用,模型轉(zhuǎn)頭去查動力學,找出 36 處肩部肌肉力臂算錯,修完重訓。視頻和更多案例:https://www.kimi.com/en/blog/kimi-k3-1-pro Kimi K3.1 Pro 拆解:Agent RL 卡在哪
K3.1 Pro 的發(fā)布稿只有一句話講技術(shù):K3 基座不動,后訓練算力大幅加碼,RL 框架、長上下文推理、沙箱、rollout 調(diào)度整條鏈路重做。細節(jié)在 K3 技術(shù)報告里(arXiv 2607.24653)。這篇把它拆開講,看 Agent RL 到底卡在哪。先說結(jié)論長程 Agent RL 的吞吐,不取決于推理 kernel 多快,取決于三件事:長尾軌跡怎么處理、1M 上下文的狀態(tài)放哪、沙箱能不能暫停。01 路線:基座不動,只加后訓練基座(K3)2.8T 總參數(shù),104B 激活每個 token 從 896 個專家里選 16 個?每個 block 是 3 層 KDA 1 層 Gated MLA1M 上下文,原生多模態(tài)后訓練(K3 報告)不是訓一個通才。3 個領(lǐng)域 × 3 檔推理強度,共 9 個專家,再用多教師 on-policy 蒸餾合并。通用任務:推理、視覺、搜索、知識工作通用 Agent:長程助理、深度研究編碼 Agent:SWE、kernel、Web 開發(fā)推理強度怎么控:給每道題定一個 token 預算 b0(用冷啟動模型估),軌跡超過 τ·b0 就把獎勵直接改成-1。先用大 τ 訓出 max 檔,再把 τ 逐步調(diào)小,得到 high 和 low。Agent 任務里,計入預算的是累計輸出,包括推理和工具調(diào)用參數(shù)。K3.1 在此之上把 RL 鋪到數(shù)百個領(lǐng)域?；旌喜呗院退惴ǜ膭?博客沒有公布。02 等最慢的那條軌跡寫代碼的 Agent,一個任務能跑幾小時,多數(shù)幾分鐘就完。同步 RL 要等所有軌跡結(jié)束才更新,GPU 都在陪最慢的幾條。K3 用的是partial rollout:每輪: 采 N 個 prompt 每個 K 條軌跡 活躍 N×K 條 完成 λ 比例 → 暫停生成 整組跑完的 → 去優(yōu)化 沒跑完的 → 掛起 下一輪開頭優(yōu)先恢復代價是數(shù)據(jù)陳舊:一條長軌跡橫跨好幾輪,前半段是舊策略生成的。報告靠策略優(yōu)化里的逐 token 正則,把更新限制在局部鄰域,硬吃這種 off-policy。算一筆賬(我舉的例子)1024 條軌跡,90% 二十分鐘跑完剩下 10% 要三小時同步:每輪 3 小時λ0.9:每輪約 20 分鐘另一個常見誤判:推理提速不等于訓練提速。假設(shè) rollout 里推理只占 40%,其余是跑工具和驗證,推理快 2 倍,總耗時只少20%。03 1M 上下文,狀態(tài)放哪K3 的 RL 用 co-located 部署,一個 1M 上下文實驗控制在幾百張 GPU?？ㄊ×?代價是 rollout 要留 KV,和訓練狀態(tài)搶 CPU 內(nèi)存;前綴一旦 miss,重算 1M 的代價極高。難點一:兩種緩存混著用MLA 的 KV 隨長度增長,按 token 分頁。KDA 的循環(huán)狀態(tài)大小固定,每個請求只有一份。K3 把兩者放進同一個分頁池,頁大小統(tǒng)一,一套分配、引用計數(shù)和驅(qū)逐邏輯。代價在 prefix cache:KDA 狀態(tài)只能在稀疏的邊界存快照,所以共享塊大小被迫是1024–6144 token,命中粒度也跟著變粗。難點二:RL 里的內(nèi)存調(diào)度write-back 外部 KV 池:活躍塊留 GPU,閑置前綴被驅(qū)逐時才寫到 CPU DRAM,復用前預取。KDA 狀態(tài)和對應 MLA 塊一起搬。比 write-through 少很多無謂拷貝。訓練狀態(tài)讓位:一輪訓練結(jié)束,權(quán)重和優(yōu)化器狀態(tài)卸到 NVMe;rollout 結(jié)束后釋放 KV 池。自動節(jié)流:上下文越跑越長,按平均長度定死并發(fā),早期太保守,后期爆 KV 被搶占。改成看活躍數(shù)、排隊數(shù)、KV 利用率動態(tài)放請求。reference 模型借梯度緩沖:權(quán)重放 CPU,用時搬進策略模型的 FP32 梯度緩沖區(qū),配合 ZeRO-2 雙緩沖預取,一塊算、一塊取下一個 chunk,顯存零增加。K3.1 說優(yōu)化了長上下文推理和訓練效率,多半是繼續(xù)壓命中率、搶占和拷貝開銷,具體沒有公布。04 沙箱:要能暫停K3 的沙箱 AgentENV 用 Firecracker 微虛機。起因:早期用容器,模型亂操作引發(fā)過內(nèi)核 panic 和死鎖。而模型要能掛磁盤、跑容器、起虛機,必須接近真機。指標數(shù)值checkpoint133 msresume49 ms等推理占沙箱壽命最高 98%內(nèi)存超賣比最高 6.5×累計沙箱5122 萬個四個能力Pause/Resume:暫停的沙箱不占內(nèi)存和 CPU。98% 的時間在等模型,暫停后資源就能讓給別的任務。Fork:從當前狀態(tài)復制一份去跑驗證,不污染原環(huán)境。Snapshot:定期存檔,出錯回滾。增量 checkpoint:只存臟頁。規(guī)模上:數(shù)萬個鏡像各異的沙箱要在數(shù)秒內(nèi)起來。用 OverlayBD鏡像、自定義 ublk 驅(qū)動、存儲層共享加 P2P 傳輸,做到亞秒級啟動。粗算:若沙箱只有 2% 時間在真干活,并發(fā)上限理論上能到 50 倍量級,實際會被恢復開銷打折。partial rollout 的“下一輪接著跑”,靠的就是這個。05 環(huán)境與獎勵RL 優(yōu)化的是獎勵函數(shù),不是你真正想要的東西。環(huán)境有漏洞,模型就會鉆。白盒環(huán)境:把 Agent harness 拆成可組合模塊(工具接口、系統(tǒng)提示、上下文管理、skills、記憶、子 Agent),能還原 Kimi Code、Claude Code、Codex 等,也能拼新的。訓練時給不同任務隨機換 harness,防止模型只會一套工具。任務合成:用 Agent 持續(xù)上網(wǎng)擴展一張分層的知識圖譜,按概念節(jié)點檢索資料、合成任務,覆蓋冷門知識。不可驗證任務:Agent 裁判必須先讀產(chǎn)物、生成評分細則、逐候選打分、寫入記分板;同時用長度預算壓制“寫長騙分”。K3.1 新增的環(huán)境質(zhì)檢平臺,具體門禁規(guī)則沒有披露。兩個相關(guān)結(jié)果:幻覺:claim 級幻覺率 23.4% →8.3%(內(nèi)部壓力測試)網(wǎng)安:發(fā)現(xiàn)漏洞能力隨后訓練規(guī)模上漲,溯源到 mid-training 語料和 RL 環(huán)境本來就混著相關(guān)內(nèi)容。開源版兩處都刪了,xdev-bench-hard 90.5% →81.0%。降得不多,通用編碼變強后這類能力還會順帶漲06 性能表現(xiàn)官方拿 14 項評測,對比 Opus 5.5、Fable 5.1、GPT-6 Astra、GLM-5.3 和 DeepSeek-V4.1-Flash,所有模型都開到最大思考強度。K3.1 Pro 的位置:6 項第一、5 項第二、2 項第三、1 項第四。編碼與 Agent評測K3.1 Pro對比SWE Marathon51.7 · 第1Opus 5.5 46.3Agents Last Exam43.2 · 第1Opus 5.5 42.6Terminal-Bench 4.065.7 · 第2Opus 5.5 66.4GPT-6 Astra 58.2Kimi Code Bench 長程61.2 · 第2GPT-6 Astra 66.5K3 55.95Terminal-Bench Science38.1 · 第4GPT-6 Astra 68.1Opus 5.5 63.3知識工作與多模態(tài)評測K3.1 Pro對比OfficeQA Pro v264.4 · 第1Opus 5.5 62.2HLE(帶工具)70.0 · 第1Opus 5.5 67.7GDP.pdf34.6 · 第1GPT-6 Astra 34.2ZeroBench(帶工具)63.0 · 第1Opus 5.5 61.0Frontier Finance58.6 · 第2Fable 5.1 60.8GDPVal-AA v2.11846 · 第2Opus 5.5 1866ChartoGraphy90.2 · 第2GPT-6 Astra 91.0BenchCAD(帶工具)92.7 · 第3Opus 5.5 96.2GPT-6 Astra 95.9OSWorld V2.179.6 · 第3Opus 5.5 81.8Fable 5.1 80.7綜合評測(官方圖)1)強項在哪長程、多步、帶工具的任務:SWE Marathon、Agents Last Exam、OfficeQA、HLE 帶工具,都是第一。這和 RL 的訓練目標吻合,模型在這些任務上要連續(xù)決策幾十到上百步。2)短板在哪Terminal-Bench Science 只有 38.1,和 GPT-6 Astra(68.1)、Opus 5.5(63.3)差一大截,科學計算類終端任務還不行。BenchCAD 帶工具 92.7,不帶工具 72.8(Opus 5.5 是 73.0),說明差距主要在工具使用。Frontier Finance 比 Fable 5.1 低 2.2 分。3)從 K3 到 K3.1 的躍遷Kimi Code Bench 長程:55.95 → 61.2經(jīng)營決策:8.9 → 37.0,約 4.2 倍金融研究:58.8 → 70.4xdev-bench-hard(pass3):33.3 → 81.0,平均成功率 15.9% → 64.5%4)幻覺率(越低越好)不帶工具:K3.1 Pro 5.4,GPT-6 Astra 4.2,Opus 5.5 6.8,Fable 5.1 11.4Hard 帶工具:K3.1 Pro 8.3,GPT-6 Astra 5.5,Opus 5.5 15.0,Fable 5.1 23.3兩項里 K3.1 Pro 都只落后于 GPT-6 Astra,比 Opus 5.5 低不少?？趶绞恰昂e誤的事實性聲明占比”,壓力測試集,不代表日常。5)token 開銷xdev-bench-hard 給了每條成功軌跡的平均 token(輸入 / 輸出):K3.1 Pro:159.8M / 546KDeepSeek-V4.1-Flash:162.2M / 1.5MGLM-5.3:381.1M / 3.6MGPT-5.6 Sol:93.5M / 336K輸出量比 DeepSeek 少約三分之二、比 GLM 少約 85%,和前面“超預算就罰 -1”的訓練方式對得上。這只是一個基準上的數(shù)字,別當通用結(jié)論。6)速度K3.1 Pro Highspeed 官方稱速度是 Pro 的 2–3 倍。測法沒說(是輸出速度還是端到端耗時)。對長程 Agent,單次請求變快不等于整個任務變快。7)看數(shù)字時的口徑官方圖腳注:所有模型開最大思考強度;Claude 可能含 fallback,GPT 可能含 cyberguard。Kimi 的部分成績用 Claude Code 等 harness 自測,對手成績來自各家公布值或榜單。Kimi Code Bench、Hallu Bench、xdev-bench-hard 和內(nèi)部金融基準都是 Kimi 自家的。07 官網(wǎng)演示天宮戰(zhàn)斗游戲(Unreal Engine 5.8)36 開間、半徑 1750 米的列柱回廊Blender 程序化建模的巨龍,MetaHuman 主角3600 萬源三角面,Nanite Lumen3D 汽車展示頁(Three.js)滾動驅(qū)動,布料揭幕,四章節(jié)車庫,結(jié)尾是 968 個零件的爆炸圖。可以直接玩:https://fqo4jx65co4xu.ok.kimi.link/機場雨林谷(Blender)19.5 秒、1080p、60fps 建模動畫。人體步行仿真296 塊骨骼 402 塊肌肉167 個任務、420 次評審仿真人從幾秒摔倒,到連續(xù)邁步 11.2 秒手臂獎勵怎么調(diào)都沒用,模型轉(zhuǎn)頭去查動力學,找出 36 處肩部肌肉力臂算錯,修完重訓。視頻和更多案例:https://www.kimi.com/en/blog/kimi-k3-1-pro