10 月 20 日DeepSeek 把自家線上服務(wù)用的推理框架 DeepInfer 開源了Apache 2.0 協(xié)議可以商用。同步放出來的還有 deepseek-recipe一個 MIT 協(xié)議的 token 編解碼組件官方說它的處理邏輯和 DeepSeek API 對得上。這條消息在知乎和 Reddit 的 r/LocalLLaMA 上都掛了幾天討論集中在兩件事顯存占用、部署成本以及“跟 vLLM、SGLang 比到底誰快”。先把冷水潑在前面這個框架普通開發(fā)者基本用不起來。它只支持 DeepSeek-V4.1-Flash 一個模型只支持離線推理硬件只認 NVIDIA SM100Blackwell和華為昇騰 950官方給出的最小高效生產(chǎn)單元是 64 張 prefill 卡加 64 張 decode 卡。沒有一個個人開發(fā)者或者小團隊會為跑一個模型去湊這個配置。那為什么還值得看因為它是一份罕見的、前沿實驗室真實服務(wù)棧的完整剖面。這種東西平時只在論文的“實現(xiàn)細節(jié)”一節(jié)里出現(xiàn)三句話。一、開源了什么沒開源什么開源的部分模型權(quán)重、TileLang 算子庫、推理引擎本體、編解碼組件。這條鏈路是完整的——從權(quán)重到算子到框架到 tokenizer 層一家公司線上服務(wù)需要的東西基本都在。沒開源的部分官方說得也挺直白KV cache 存儲系統(tǒng)、Prefill/Decode 分離P/D disaggregation、跨數(shù)據(jù)并行副本的負載均衡這三塊和內(nèi)部基礎(chǔ)設(shè)施耦合太深沒放出來。這意味著什么意味著你拿到的是一個能跑的引擎不是一個能直接對外提供服務(wù)的服務(wù)。想做成 OpenAI 兼容的在線 API還得自己補 KV cache 管理、請求調(diào)度和網(wǎng)關(guān)。這些活 vLLM 和 SGLang 已經(jīng)替你干完了。所以看到“DeepSeek 開源推理框架vLLM 要完了”這類標題可以直接跳過。README 里寫得很清楚它最初就是基于 vLLM 起步的借鑒了 SGLang 和 TensorRT-LLM 的思路。它是站在這些項目肩膀上做極致優(yōu)化的產(chǎn)物不是替代品。二、真正的技術(shù)增量在哪我把官方 QA 和技術(shù)解讀看了一遍值得記的有三塊。第一塊Wide-EP 的工程結(jié)論。Attention 層用數(shù)據(jù)并行MoE 層用專家并行加一個專家負載均衡器EPLB。decode 階段在超節(jié)點內(nèi)跑 EP64 到 EP128prefill 階段用顯存夠用的最小 EP通常是 EP2 到 EP8。官方的性能曲線里有一張 EP8 對 EP64 的對比圖結(jié)論是 EP64 在每個 batch size 下都領(lǐng)先。這個結(jié)論對做 MoE 部署的人有參考價值專家并行的寬度不是夠用就行寬了確實更快代價是要有超節(jié)點。第二塊DSpark按置信度調(diào)度的投機解碼。常規(guī)投機解碼是草稿模型每步猜 N 個 token然后全部送去驗證。DSpark 加了一個 Confidence Head預(yù)測每個草稿 token 的接受概率調(diào)度器只驗證最有價值的那段前綴。官方數(shù)據(jù)是驗證的草稿 token 量減少約 30%從 5.00 降到 3.2 到 4.4 之間浮動而實際接受長度幾乎沒變3.29 對 3.20。翻譯成人話同樣的產(chǎn)出少算了三成的驗證量。這個思路不復(fù)雜但把“驗證預(yù)算”當成可調(diào)度資源來做是個挺實用的角度。第三塊SWA bounded replay?；瑒哟翱谧⒁饬Φ臓顟B(tài)在緩存命中時只需要重算最后 128 個 token重算成本和上下文長度解耦。官方說在 decoder 層這能讓 prefill 的總計算量接近減半。長上下文場景里這是個硬收益。131072 上下文的 benchmark 里prefill 在 4 張 SM100 上、每 rank 4096 token 時大約 6 萬非緩存 token/s/GPU到 65536 token 時接近 9 萬每步約 730 毫秒。decode 側(cè)的官方數(shù)字是EP64DP64、每 rank 256 個請求時單卡超過 25000 輸出 token/s單用戶接近 100 token/s請求數(shù)降到 8 時單用戶速度超過 300 token/s。單集群日處理 155 萬億 token。這些數(shù)字都是自報的官方也標了是自報看的時候心里打個折。三、對普通開發(fā)者意味著什么分三種人說實話。個人開發(fā)者、小團隊繼續(xù)用 vLLM 或 SGLang。不是 DeepInfer 不好是它壓根沒打算服務(wù)你。一個模型、兩種卡、離線推理這三條里任何一條都夠把你擋在外面。手上有一張 4090 想本地跑模型的這篇新聞跟你無關(guān)別被標題帶著去折騰。有昇騰集群的團隊這是這次最實際的價值。國產(chǎn)卡跑大模型的軟件棧一直是短板能同時支持 NVIDIA SM100 和昇騰 950 的生產(chǎn)級框架不多。雖然門檻高構(gòu)建要求 Linux、GCC 13 以上、Python 3.12、CUDA 13 或 CANN 9.2但至少多了一個可評估的選項而且是 DeepSeek 自己在線上跑過的。做推理優(yōu)化的工程師值得把代碼讀一遍。三個點可以重點看wide-EP 下的專家負載均衡怎么做的、投機解碼的驗證預(yù)算怎么調(diào)度、SWA 的 bounded replay 怎么把重算成本做成常數(shù)。這三個問題不分模型換成別的 MoE 一樣存在。官方還提了一句開源版的 FlashMLA decode 算子比內(nèi)部版慢 5% 到 10%端到端差距在 5% 以內(nèi)——這個差距本身也說明框架層的優(yōu)化空間和算子層的優(yōu)化空間是兩回事。四、幾個容易踩的坑別指望它替代線上服務(wù)框架。缺 KV cache 系統(tǒng)和 P/D 分離你補這部分的工作量可能超過自己寫業(yè)務(wù)。別拿它和 vLLM 比通用性。一個支持 200 模型架構(gòu)、一個支持 1 個這個比較本身沒有意義。要比就比同一個模型、同一批卡、同樣的并發(fā)下的吞吐和延遲。注意“離線推理”這四個字。它是一批一批跑任務(wù)的形態(tài)不是接在網(wǎng)關(guān)后面等用戶請求的形態(tài)。想清楚你的場景再動手。硬件清單先對照。SM100 和昇騰 950這兩樣都不是能隨便租到的卡。五、收尾這次開源最有意思的地方不在性能數(shù)字在于一個做模型的公司在往基礎(chǔ)設(shè)施層延伸權(quán)重開源了算子開源了現(xiàn)在連跑權(quán)重的引擎也開源了。對生態(tài)來說是好事標準越透明后來者踩的坑越少對同行來說也是壓力以后“我們線上是這么跑的”會變成一個必須回答的問題。至于普通打工人看完這條新聞最該記住的可能是一句老話benchmark 是自報的架構(gòu)選擇是自己的。你怎么看評論區(qū)聊聊。