Kimi新論文：把KVCache玩成新商業(yè)模式了

衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

把長上下文做到極致的Kimi又發(fā)新成果！

這一次瞄準的是大模型推理架構(gòu)跨機房調(diào)度沉疴。

他們提出了一套全新范式，Prefill-as-a-Service（簡稱PrFaaS），預(yù)填充即服務(wù)。

其核心突破是讓KV Cache可以跨數(shù)據(jù)中心傳輸，把Prefill和Decode徹底解耦到不同的異構(gòu)集群。

有了PrFaaS，Prefill和Decode之間可以跨越城市、跨地域調(diào)度。

而且，面對長文本場景，上下文越長，它的優(yōu)勢越明顯。

可以說是長上下文場景天生圣體（doge）！

這項工作由月之暗面和清華大學清華大學鄭緯民院士、武永衛(wèi)教授團隊聯(lián)合推出。

在內(nèi)部1T參數(shù)混合注意力模型的實測驗證下，這套PrFaaS-PD架構(gòu)交出了極具說服力的數(shù)據(jù)。

相比傳統(tǒng)同構(gòu)PD部署，吞吐量提升54%，P90延遲大幅降低64%；即便對比未做智能調(diào)度的樸素異構(gòu)方案，吞吐量依然提升32%。

而跨數(shù)據(jù)中心傳輸僅占用13Gbps帶寬，遠低于100Gbps的以太網(wǎng)上限，也就是說普通商用以太網(wǎng)即可穩(wěn)定承載。

這背后是怎么做到的？

為什么必須跨數(shù)據(jù)中心？

Prefill-Decode分離是大模型推理服務(wù)的行業(yè)標配。

但這讓KV Cache傳輸高度依賴RDMA網(wǎng)絡(luò)，牢牢地把Prefill和Decode兩個階段強行綁定在單一集群內(nèi)。

解綁單飛不了，壓根兒解綁單飛不了。

于是，如果最適合做Prefill的算力芯片和最適合做Decode的帶寬芯片不在一個機房，是異地戀的狀態(tài)，就根本沒辦法一起用。

但強行把異構(gòu)硬件塞到一起，必然導(dǎo)致資源配比完全僵死。

大家都知道流量是波動的。配比如果定死，很容易出現(xiàn)一邊忙到飛起，一邊閑成狗的情況出現(xiàn)，算力利用率大打折扣。

導(dǎo)致這個情況的“病灶”，就是就是KV Cache的帶寬墻。

研究團隊在這項工作中給出了量化數(shù)據(jù)。

以MiniMax-M2.5這款典型的dense GQA架構(gòu)模型為例——

在32K上下文時，單實例產(chǎn)生KV Cache的速率達到60Gbps，而跨數(shù)據(jù)中心以太網(wǎng)帶寬通常只有10-100Gbps，相當于后者試圖用家用小水管來扛消防水帶的流量，根本帶不動。

因此，為了保證推理不被卡住、不出現(xiàn)等待延遲，Prefill與Decode 之間必須使用高帶寬、低時延的RDMA網(wǎng)絡(luò)進行通信。

這就是傳統(tǒng)PD分離架構(gòu)只能被限制在RDMA域內(nèi)的根本原因。

不過，新一代混合注意力架構(gòu)帶來了轉(zhuǎn)機。

近期，Kimi Linear、Qwen 3.5、MiMo-V2-Flash、Ring-2.5等模型齊刷刷用上 了線性注意力+全注意力混合架構(gòu)。

在這種混合架構(gòu)下，線性層只產(chǎn)出固定大小的循環(huán)狀態(tài)，不隨上下文變長而膨脹；只有全注意力層才會生成和長度相關(guān)的KV Cache。

它帶來了喜人的效果。在32K上下文下：

• MiMo-V2-Flash的KV吞吐量僅4.66Gbps，比起MiniMax-M2.5來降了13倍；
• Qwen3.5-397B的8.25Gbps相比同規(guī)dense模型的33.35Gbps，降低4倍；
• Ring-2.5-1T的MLA壓縮疊加7:1混合比例，整體KV內(nèi)存節(jié)省約36倍。

“線性注意力+全注意力”混合架構(gòu)把KV吞吐量從RDMA級別降到了以太網(wǎng)級別。

跨數(shù)據(jù)中心做PD分離，終于從不可能變成了可能。

推出破局方案“PrFaaS ”

光有模型架構(gòu)還不夠，想真正落地跨數(shù)據(jù)中心推理，還需要一套能把 “有可能” 變成 “能用” 的系統(tǒng)架構(gòu)。

針對這一點，清華聯(lián)合月之暗面團隊推出了PrFaas。

PrFaaS即Prefill-as-a-Service，翻譯過來叫預(yù)填充即服務(wù)。

它是一種跨數(shù)據(jù)中心的大模型推理服務(wù)架構(gòu)，核心是將長上下文請求的Prefill計算，選擇性卸載到獨立的、算力密集型的專用集群完成，再把生成的KV Cache通過普通以太網(wǎng)傳輸?shù)奖镜豍D集群執(zhí)行Decode。

具體來說，系統(tǒng)會設(shè)一個動態(tài)長度閾值t。

如果是短請求（未緩存長度≤t），就老老實實留在本地PD集群跑完整個流程。

只有長請求（未緩存長度 > t）才會被送到專門的PrFaaS集群做Prefill，生成的KV Cache再通過以太網(wǎng)傳回本地做 Decode。

值得注意的是，閾值t會跟著實時帶寬、請求長度分布自動調(diào)整。

整套架構(gòu)由三大子系統(tǒng)緊密配合。

第一，計算層。

PrFaaS集群上，H200這類高端芯片，只啃長上下文Prefill硬骨頭；而本地PD集群去用H20這類帶寬優(yōu)化芯片，專心做Decode、處理短請求。

術(shù)業(yè)有專攻，兩類硬件各自獨立擴容，不再強行配對。

第二，網(wǎng)絡(luò)層。

集群內(nèi)部用RDMA保證低延遲，跨數(shù)據(jù)中心就用VPC或?qū)＞€，走通用以太網(wǎng)傳KV Cache，以此大幅降低部署難度和成本。

研究人員表示實測環(huán)境是100Gbps VPC。這雖然遠低于RDMA的800Gbps，但足夠用了。

第三，存儲層，這也是最有意思的子系統(tǒng)。

團隊設(shè)計了一個混合前綴緩存池，把KV Cache分成兩類。

一類是prefix-cache塊，另一類是transfer-cache塊。

prefix-cache塊在集群內(nèi)復(fù)用，必須塊對齊才能命中；transfer-cache塊則專門用于跨集群傳輸，傳完即棄，不占用長期存儲。

為什么這樣設(shè)計？

因為混合模型的KV Cache是heterogeneous的。

線性層的recurrent state是request-level，大小固定，必須完全匹配才能復(fù)用；全注意力層的KV Cache是block-level，支持部分前綴匹配。

而統(tǒng)一池化管理，既能高效復(fù)用本地緩存，又能靈活支持跨集群傳輸。

此外，為了穩(wěn)住生產(chǎn)環(huán)境，PrFaaS還設(shè)計了雙時間尺度調(diào)度算法。

簡單理解一下，就是短期毫秒級做帶寬+緩存感知路由，長期分鐘級做流量驅(qū)動的資源重分配。

短期調(diào)度監(jiān)控PrFaaS出口利用率，接近閾值時提高t、減少跨中心流量。

對于帶前綴緩存的請求，調(diào)度器會權(quán)衡緩存命中位置和帶寬可用性。如果帶寬緊張，優(yōu)先用本地緩存；如果帶寬充裕，可以從遠程集群拉緩存來減少重復(fù)計算。

長期調(diào)度觀察各階段的隊列深度和利用率。

當Prefill成為瓶頸時，把PD集群的節(jié)點從Decode角色轉(zhuǎn)為Prefill角色；當Decode成為瓶頸時，反向調(diào)整。

這種動態(tài)重分配讓系統(tǒng)能適應(yīng)流量模式的緩慢變化。

理論可行，同時工程可用

為了驗證跨數(shù)據(jù)中心 KV Cache傳輸與PrFaaS架構(gòu)的真實落地能力，研究團隊基于生產(chǎn)級配置開展了嚴格的對照實驗，完整還原了異構(gòu)硬件、跨域網(wǎng)絡(luò)與真實長上下文流量的組合場景，讓方案從架構(gòu)設(shè)想變?yōu)榭闪炕?、可?fù)用的工程實踐。

實驗選用團隊內(nèi)部自研的1T參數(shù)混合注意力架構(gòu)模型，整體設(shè)計對齊Kimi Linear架構(gòu)，采用線性注意力層與全注意力層7:1的混合配比。

此外，在保持模型能力的同時實現(xiàn)KV Cache的高效壓縮，為跨數(shù)據(jù)中心傳輸?shù)於ɑA(chǔ)。

硬件層面，團隊采用了典型異構(gòu)組合。

專門負責長上下文Prefill的PrFaaS集群配備32張H200，憑借更強算力吞吐處理高負載計算；本地PD集群配備64張H20 GPU，面向Decode階段優(yōu)化內(nèi)存帶寬，兼顧短請求Prefill與全流程推理。

網(wǎng)絡(luò)層面，團隊采用跨數(shù)據(jù)中心通用方案，通過VPC對等連接提供約100Gbps的跨集群帶寬，完全貼合主流云廠商與多數(shù)據(jù)中心部署環(huán)境。

實驗workload采用截斷對數(shù)正態(tài)分布的請求長度，均值約27K tokens，高度貼近線上長上下文服務(wù)的真實流量特征。

實驗結(jié)果證明了PrFaaS-PD架構(gòu)的工程有效性。

在核心性能指標上，相比同等硬件規(guī)模的同構(gòu)PD集群，PrFaaS-PD架構(gòu)將服務(wù)吞吐量提升54%；相比未做智能調(diào)度的簡單異構(gòu)部署，吞吐量仍有32%的提升。

在端到端延遲上，PrFaaS-PD架構(gòu)帶來的優(yōu)化效果更為顯著，P90 TTFT（首詞時延）降低幅度達64%，長請求不再與短請求爭搶本地Prefill資源，排隊阻塞與計算擁堵問題大幅緩解。

更關(guān)鍵的是工程可行性指標。

PrFaaS集群的平均出口帶寬僅13Gbps，在100Gbps的跨集群鏈路中占比僅13%，留有充足的帶寬冗余，完全不會出現(xiàn)擁塞與鏈路搶占。

實驗結(jié)果證實，在混合模型與PrFaaS調(diào)度的協(xié)同下，KV Cache傳輸可以不再依賴 RDMA，普通商用以太網(wǎng)即可穩(wěn)定支撐。

論文團隊成員介紹

這項研究由月之暗面與清華大學聯(lián)合完成。

作者包括Ruoyu Qin、Weiran He、Yaoyu Wang、Zheming Li、Xinran Xu、Yongwei Wu、Weimin Zheng、Mingxing Zhang（通訊作者）。

其中，研究團隊成員中來自月之暗面的，有Ruoyu Qin、Weiran He、Yaoyu Wang、Zheming Li、Xinran Xu五位。

一作Ruoyu Qin（秦若愚），是清華大學計算機科學與技術(shù)系MADSys實驗室在讀博士生，師從本文通訊作者、清華大學計算機系副教授Mingxing Zhang（章明星），后者長期面向KV Cache架構(gòu)與分布式推理。

同時，Qin也在月之暗面工作，還是Mooncake分布式推理系統(tǒng)的一作。

月之暗面工程副總裁Xinran Xu（許欣然）也在作者名單之列。

量子位發(fā)現(xiàn)，作者名單中月之暗面的五位，同樣也是Mooncake架構(gòu)的核心貢獻者。

除上述的教授章明星外，研究團隊中來自清華大學的作者還有Yongwei Wu和Weimin Zheng。

Weimin Zheng（鄭緯民），中國工程院院士，清華大學計算機系教授，長期從事并行/分布處理、大規(guī)模數(shù)據(jù)存儲系統(tǒng)領(lǐng)域的科研與教學工作。

Yongwei Wu（武永衛(wèi)）是清華大學計算機科學與技術(shù)系副主任、教授、博士生導(dǎo)師，此外還擔任AI Infra公司趨境科技的首席科學家。

此前，月之暗面與清華大學MADSys實驗室聯(lián)合主導(dǎo)研發(fā)并開源了Mooncake項目，趨境科技是該項目核心共建單位與深度貢獻者。

參考鏈接：
[1]
https://arxiv.org/abs/2604.15039
[2]
https://madsys.cs.tsinghua.edu.cn/people/