同樣寫著“512 維潛變量加 64 維位置分支”有人算出 6.75 KiB/Token有人算出 67.5 KiB/Token。兩者相差十倍通常不是算法突然進(jìn)步了而是層數(shù)漏了一位。容量規(guī)劃里最危險(xiǎn)的錯(cuò)誤往往發(fā)生在單位和統(tǒng)計(jì)范圍上。MLA 以低維潛在狀態(tài)保存注意力所需的信息是 DeepSeek-V2 已提出的設(shè)計(jì)并非 2026 年 10 月才出現(xiàn)的新概念。DeepSeek-V2 原論文先寫公式再填配置以一種簡(jiǎn)化 MLA 緩存布局為例每層為每個(gè) Token 保存潛變量與獨(dú)立 RoPE Key 分支。若層數(shù)為 L兩個(gè)維度分別為 dc、dr每元素占 b 字節(jié)未分片的緩存為KV_bytes L × (dc dr) × b × sequence_length × concurrent_sequences這是教學(xué)模型的存儲(chǔ)公式。它沒有包括頁表、對(duì)齊、量化縮放因子、額外狀態(tài)或共享層。真實(shí)引擎可能使用不同布局模型配置也不保證所有層完全相同。取 L60、dc512、dr64、FP16 每元素 2 字節(jié)單層單 Token 為 1152 B全層為 69120 B也就是 67.5 KiB128 KiToken 的單序列全層緩存為 8.4375 GiB。這里明確使用 1 Ki1024、1 GiB10243 B避免把十進(jìn)制 GB 與二進(jìn)制 GiB 混在一張表里。把計(jì)算器寫成可檢查的代碼下面的維度是人為指定的算術(shù)樣例不代表某個(gè)現(xiàn)役模型的完整配置也不是實(shí)測(cè)顯存。保存后用 Python 3 運(yùn)行。from fractions import Fraction def mla_bytes(layers, dc, dr, element_bytes, tokens, sequences1): args (layers, dc, element_bytes, tokens, sequences) if any(x 0 for x in args) or dr 0: raise ValueError(invalid dimension) return layers * (dc dr) * element_bytes * tokens * sequences per_token mla_bytes(60, 512, 64, 2, 1) full mla_bytes(60, 512, 64, 2, 128 * 1024) assert per_token 69120 assert Fraction(full, 1024 ** 3) Fraction(135, 16) # 僅比較兩個(gè)假設(shè)向量的元素?cái)?shù)不是模型能力對(duì)比。 saved 1 - Fraction(576, 8192) print(bytes/token:, per_token) print(GiB/sequence:, float(Fraction(full, 1024 ** 3))) print(element reduction %:, float(saved * 100))最后一行得到約 92.97%不是 85.9%。但“8192 個(gè)元素變成 576 個(gè)元素”只是一組給定維度的比較不能直接拿來宣稱某個(gè)模型相對(duì)另一個(gè)模型省了同樣比例更不能據(jù)此證明精度無損。比較完整 MHA/GQA 緩存時(shí)還要把 Key、Value、KV 頭數(shù)和 head_dim 一起寫出來。TP8 不等于一律除以八一種緩存可能按頭分片另一種潛在狀態(tài)可能被復(fù)制。還有流水線按層分配、跨層共享以及不同 Attention 后端的差別。沒有讀引擎布局與分配日志之前直接把總量除以 TP 數(shù)會(huì)得到一個(gè)看似精確、實(shí)際無法使用的單卡容量。應(yīng)當(dāng)分別記錄邏輯全局字節(jié)數(shù)、每張卡實(shí)際保存的狀態(tài)、物理塊取整后的分配量。權(quán)重、激活、CUDA Graph 和通信緩沖區(qū)另外列賬不能把“KV 放得下”寫成“模型可以運(yùn)行”。10 月 7 日 vLLM 對(duì) DeepSeek-V4.1-Flash 的說明已經(jīng)涉及壓縮狀態(tài)、窗口狀態(tài)及跨層共享。它提醒我們舊版 MLA 的簡(jiǎn)化公式不能自動(dòng)覆蓋新模型的全部緩存。vLLM 官方工程說明這份計(jì)算器只驗(yàn)證整數(shù)與單位未調(diào)用 GPU、未加載模型。落地時(shí)應(yīng)從目標(biāo) checkpoint 的配置和實(shí)際后端入手再用分配日志核對(duì)公式。容量數(shù)字可以精確到字節(jié)前提是每個(gè)因子都有明確含義。