模型參數(shù)能放進顯存不代表還能接下任意數(shù)量的會話。長上下文、并發(fā)生成和運行時緩沖一起增長往往先把“看起來還有空位”的容量計劃推翻。主機 Swap 與 GPU KV 緩存是兩本賬2026年10月5日Kubernetes 的 節(jié)點 Swap 工作負(fù)載分析討論了主機內(nèi)存分頁與不同工作集的取舍。它并不意味著開了節(jié)點 Swap 就能擴充 GPU 上的 KV 緩存?？蚣芸梢蕴峁╋@式 offload但需要單獨驗證傳輸開銷與延遲。Transformers KV cache 文檔介紹不同緩存策略及其內(nèi)存取舍。具體占用受注意力結(jié)構(gòu)、緩存精度、滑動窗口、分頁、共享前綴和并行切分影響。不能只拿模型參數(shù)量乘一個常數(shù)便宣布某張卡可承載多少 Agent。圖中公式計算所有活躍會話的 KV 總量最終準(zhǔn)入仍要扣除權(quán)重、激活、框架工作區(qū)及安全余量。會話數(shù)量也不是唯一控制量輸入長度與生成 token 上限同樣重要。用顯式假設(shè)估一個上界以下代碼限定為常規(guī)注意力、各層緩存長度相同、K/V 同精度且未作量化或前綴共享的教學(xué)模型。kv_heads是 KV 頭數(shù)不一定等于 query 頭數(shù)。GiB 1024 ** 3 def kv_bytes(tokens, layers, kv_heads, head_dim, bytes_per_value2): values (tokens, layers, kv_heads, head_dim, bytes_per_value) if any(type(v) is not int or v 0 for v in values): raise ValueError(positive integer dimensions required) return 2 * tokens * layers * kv_heads * head_dim * bytes_per_value budget 24 * GiB weights, runtime, reserve 12 * GiB, 3 * GiB, 3 * GiB per_session kv_bytes(4096, layers32, kv_heads8, head_dim128) available budget - weights - runtime - reserve admission_limit max(0, available // per_session) assert per_session 512 * 1024 ** 2 assert admission_limit 12 assert kv_bytes(8192, 32, 8, 128) 2 * per_session print({illustrative_session_limit: admission_limit})輸出12只是這些假設(shè)下的算術(shù)結(jié)果不能作為某張24 GiB顯卡的實測承諾。運行時占用可能隨 batch、圖捕獲和模型算子變化預(yù)填充階段的峰值也不一定出現(xiàn)在穩(wěn)態(tài)采樣點。歷史會話量可以幫助預(yù)測高峰需求但預(yù)測不會改變單次請求的顯存預(yù)算。先用實際觀測校準(zhǔn)每種長度組合再決定預(yù)留與擴容本文不把算式稱為顯存預(yù)測模型。讓排隊承受不確定性真實服務(wù)應(yīng)記錄已分配 KV 塊、排隊等待、拒絕率、首 token 延遲與生成吞吐區(qū)分客戶端放棄和服務(wù)端超時。對超長請求可以限制預(yù)算、單獨排隊或要求用戶縮短上下文但不能偷偷截斷后仍聲稱完整回答。調(diào)高準(zhǔn)入前先固定模型與推理框架版本在目標(biāo)硬件上測試長度組合和失敗回收。本文只驗證容量算式及維度校驗沒有加載模型、占用 GPU 或驗證 offload。把假設(shè)寫進準(zhǔn)入策略比把顯存不足包裝成“彈性自愈”更容易排查。