作者 | 章明星，清華大學(xué)副教授，Mooncake 社區(qū)聯(lián)合發(fā)起人、

車漾，阿里云容器服務(wù)高級(jí)技術(shù)專家，F(xiàn)luid 社區(qū)聯(lián)合發(fā)起人

Token 消耗量的結(jié)構(gòu)性轉(zhuǎn)移正在重塑大模型推理服務(wù)基礎(chǔ)設(shè)施的底層邏輯。一個(gè)不容忽視的事實(shí)是：AI Agent 正從人類手中接過 Token 消耗的指揮棒，背后是大模型從 Chatbot 轉(zhuǎn)化為新質(zhì)生產(chǎn)力。這不是量的變化，而是質(zhì)的躍遷——推理基礎(chǔ)設(shè)施的使用者正從”偶爾提問的人類用戶”變?yōu)椤?×24 小時(shí)不間斷工作的 Agent”，其單次任務(wù)需要幾十次工具調(diào)用、輸入輸出比達(dá)到 10:1 甚至 100:1、面向圖像和全模態(tài)的輸入導(dǎo)致上下文窗口常態(tài)性突破 100K，其請(qǐng)求模式、負(fù)載特征與成本考量正在發(fā)生根本性的變化。

AI Agent 時(shí)代的三大范式轉(zhuǎn)變

1. 從”人機(jī)對(duì)話”到”Agent 之間的協(xié)作”

人類用戶的請(qǐng)求是離散、低頻、不可預(yù)測(cè)的；而 AI Agent 產(chǎn)生的請(qǐng)求是持續(xù)、高頻、結(jié)構(gòu)化的。一個(gè)負(fù)責(zé)數(shù)據(jù)分析的 Agent 可能同時(shí)觸發(fā)檢索、計(jì)算、可視化等多個(gè)子 Agent，形成復(fù)雜的計(jì)算圖。這種”機(jī)機(jī)協(xié)作”模式要求基礎(chǔ)設(shè)施能夠處理毫秒級(jí)的級(jí)聯(lián)調(diào)用，而非秒級(jí)的單次響應(yīng)。

2. 從”單次響應(yīng)”到”狀態(tài)化會(huì)話”

AI Agent 的核心價(jià)值在于持續(xù)任務(wù)執(zhí)行。一個(gè)寫論文的 Agent 可能要做文獻(xiàn)搜索，內(nèi)容整理等一系列操作，每個(gè)會(huì)話包含長(zhǎng)達(dá)數(shù)萬(wàn)輪的上下文。這導(dǎo)致 KVCache 不再是臨時(shí)緩存，而是需要持久化、可遷移的”數(shù)字記憶體”。早期推理服務(wù)將 KVCache 視為 GPU 上的設(shè)計(jì)，受限于 GPU 的顯存限制，在 Agent 時(shí)代已成為性能枷鎖。

3. 從”規(guī)模經(jīng)濟(jì)”到”效率經(jīng)濟(jì)”

當(dāng) Token 消耗增長(zhǎng) 10 倍、100 倍時(shí)，推理服務(wù)成本不再是次要考量，如何能夠必須實(shí)現(xiàn)”超賣”與”混部”?？紤]到實(shí)際上 Agent 需要使用 LLM 和多模態(tài)的不同模型，應(yīng)對(duì) Agent 的不同模型需求流量模式呈現(xiàn)更強(qiáng)的潮汐效應(yīng)，推理服務(wù)基礎(chǔ)設(shè)施需要像”數(shù)字電網(wǎng)”一樣動(dòng)態(tài)調(diào)度算力。

AI Agent 對(duì)推理基礎(chǔ)設(shè)施的

五大核心需求

基于上述范式轉(zhuǎn)變，面向 AI Agent 的推理基礎(chǔ)設(shè)施必須具備以下能力：

需求一：拓?fù)涓兄慕巧幣?/strong>

AI Agent 的對(duì)于吞吐有非常高的需求，對(duì)于 TTFT 和 TPOT 的要求更高了。因此 PD 分離和 KVCache 外置成為了默認(rèn)的部署架構(gòu)：Prefill 需要計(jì)算密集型資源，Decode 需要內(nèi)存密集型資源，KVCache 訪問需要低延遲網(wǎng)絡(luò)。傳統(tǒng) Deployment 將不同角色混部在同一 Pod，導(dǎo)致資源錯(cuò)配。因此要求推理基礎(chǔ)設(shè)施能將推理服務(wù)拆解為拓?fù)浠慕巧袡C(jī)體，實(shí)現(xiàn) Prefill/Decode/KVCache 等角色的獨(dú)立調(diào)度、彈性伸縮與協(xié)同策略。

需求二：KVCache 為中心的架構(gòu)

Agent 的長(zhǎng)上下文特性使得 KVCache 命中率成為性能關(guān)鍵?；A(chǔ)設(shè)施必須實(shí)現(xiàn)跨實(shí)例、跨節(jié)點(diǎn)、甚至跨集群的 KVCache 共享，將離散的記憶碎片整合為全局統(tǒng)一的地址空間。當(dāng) Agent 遷移或擴(kuò)縮容時(shí)，KVCache 應(yīng)能透明地跟隨移動(dòng)，避免昂貴的重新計(jì)算。

需求三：智能差異化調(diào)度

不同 Agent 任務(wù)對(duì) SLO（服務(wù)水平目標(biāo)）的需求截然不同：實(shí)時(shí)對(duì)話要求低 TTFT，批處理任務(wù)要求高吞吐量，工具調(diào)用要求確定性延遲。調(diào)度器需要理解請(qǐng)求語(yǔ)義，實(shí)現(xiàn) KVCache 感知、優(yōu)先級(jí)隊(duì)列、PD 分離等差異化調(diào)度，而非簡(jiǎn)單的輪詢或加權(quán)分配。

需求四：生產(chǎn)級(jí)彈性效率

Agent 的規(guī)?？赡軓?10 個(gè)實(shí)例瞬間擴(kuò)展到 1000 個(gè)，又迅速回縮。而對(duì)應(yīng)的推理基礎(chǔ)設(shè)施必須將彈性從”分鐘級(jí)”壓縮到”秒級(jí)”，并配合反碎片化、潮汐混部等精益運(yùn)營(yíng)手段，將 GPU 利用率從 30% 的低位提升至 70% 以上。任何推理服務(wù)的彈性延遲都會(huì)導(dǎo)致 Agent 任務(wù)超時(shí)或資源浪費(fèi)。

需求五：全鏈路可觀測(cè)與自優(yōu)化

當(dāng) Agent 自主決策時(shí)，人類需要理解其”思維過程”。基礎(chǔ)設(shè)施必須提供從 Token 生成到工具調(diào)用的全鏈路追蹤，并能基于歷史數(shù)據(jù)自動(dòng)優(yōu)化 PD 比例、批處理策略與緩存預(yù)取。配置決策應(yīng)從”人工調(diào)參”轉(zhuǎn)向”數(shù)據(jù)驅(qū)動(dòng)”。

這些痛點(diǎn)如同”最后一公里”鴻溝，阻礙著 AI 技術(shù)向業(yè)務(wù)價(jià)值的轉(zhuǎn)化。

AI Serving Stack：

為AI Agent量身打造的推理基礎(chǔ)設(shè)施

為此，SGLang 社區(qū)、龍蜥社區(qū)、Mooncake 社區(qū)、清華大學(xué) MADSys 實(shí)驗(yàn)室、南京大學(xué)顧榮老師團(tuán)隊(duì)、小紅書、算秩未來、科大訊飛 MaaS 團(tuán)隊(duì)和阿里云容器服務(wù)團(tuán)隊(duì)聯(lián)合打造了AI Serving Stack，**填補(bǔ)開源社區(qū)在”生產(chǎn)級(jí) LLM 推理編排”領(lǐng)域的空白。**

與傳統(tǒng)"全家桶"式方案不同，AI Serving Stack 采用模塊化設(shè)計(jì)，將部署管理、智能路由、彈性伸縮、深度可觀測(cè)等能力解耦為獨(dú)立組件。用戶可按需靈活組裝，在避免強(qiáng)制綁定某個(gè)特定組件的同時(shí)，也有效控制技術(shù)棧復(fù)雜度。無論是剛剛起步還是已經(jīng)擁有大規(guī)模 AI 業(yè)務(wù)，AI Serving Stack都能輕松駕馭復(fù)雜的云原生 AI 推理場(chǎng)景。

AI Serving Stack 的獲獎(jiǎng)絕非偶然，其價(jià)值恰在于精準(zhǔn)命中了 AI Agent 時(shí)代的五大需求。這并非簡(jiǎn)單的技術(shù)堆砌，而是一次從”面向人類”到”面向智能體”的架構(gòu)演進(jìn)。

1. RoleBasedGroup 重新定義推理編排

AI Serving Stack 的重點(diǎn)在于LLM 推理的 Kubernetes 標(biāo)準(zhǔn) API——RoleBasedGroup（RBG），實(shí)現(xiàn)從”離散 Deployment 集合”到”拓?fù)浠袡C(jī)體”的范式躍遷。

• 角色原子化將單體 Pod 拆解為 Router、Prefill、Decode、KVCache 等標(biāo)準(zhǔn)角色，每類角色擁有獨(dú)立的生命周期與策略。

• 協(xié)同策略化引擎通過聲明式定義四大協(xié)同能力：部署協(xié)同確保 Prefill 與 Decode 成對(duì)調(diào)度；升級(jí)協(xié)同實(shí)現(xiàn)”比例協(xié)議”式原子更新；故障協(xié)同觸發(fā)跨角色聯(lián)動(dòng)自愈；伸縮協(xié)同基于流量動(dòng)態(tài)調(diào)整角色配比。

• 管理統(tǒng)一化將分散的 5-8 個(gè) YAML 文件收斂為單一 CR，鏡像與配置一處修改、全局生效，運(yùn)維效率大幅提升。

• 配置智能化結(jié)合 AIConfigurator 根據(jù)模型 - 硬件特性自動(dòng)生成最優(yōu)配置，Benchmark 一鍵評(píng)測(cè)，讓架構(gòu)選擇從"經(jīng)驗(yàn)驅(qū)動(dòng)"轉(zhuǎn)向"數(shù)據(jù)驅(qū)動(dòng)"。

基于 RBG 的SCOPE 五大核心能力（Stable/Coordination/Orchestration/Performance/Extensible），推理服務(wù)被視作”拓?fù)浠?、有狀態(tài)、可協(xié)同的角色有機(jī)體”。以小紅書的實(shí)際落地為例，新模型的運(yùn)維耗時(shí)從天級(jí)大幅縮短至分鐘級(jí)，顯著降低線上運(yùn)維復(fù)雜度；同時(shí)，成功支撐 PD 分離的分布式推理架構(gòu)規(guī)?；渴穑瑢?shí)現(xiàn)資源成本節(jié)省超 50%。

2. 智能調(diào)度：SMG 網(wǎng)關(guān)實(shí)現(xiàn)差異化負(fù)載優(yōu)化

在 RBG 編排層之上，AI Serving Stack 引入SMG 推理網(wǎng)關(guān)（SGLang Model Gateway ），專為 LLM 負(fù)載特性設(shè)計(jì)的高級(jí)調(diào)度能力：

• KVCache 感知調(diào)度：支持近似與精準(zhǔn)兩種前綴緩存感知模式。基準(zhǔn)測(cè)試顯示，全局近似模式下可實(shí)現(xiàn)響應(yīng)速度顯著提升（TTFT 降低 50% 以上）、吞吐量翻番。

• 請(qǐng)求排隊(duì)與優(yōu)先級(jí)調(diào)度：多維度狀態(tài)評(píng)估下自動(dòng)排隊(duì)防過載，顯著提升不同長(zhǎng)度請(qǐng)求的響應(yīng)速度，保障服務(wù)穩(wěn)定性和 SLO；

• 分離感知調(diào)度：支持 PD 分離和 DPLB 負(fù)載均衡，智能將預(yù)填充與解碼分配至不同 pod，協(xié)同提升吞吐、降低延遲，bucket 調(diào)度策略下實(shí)現(xiàn) TTFT 降低 20% 以上。

SMG 讓推理調(diào)度從"無感知"走向"推理負(fù)載感知"，將 RBG 的編排能力轉(zhuǎn)化為業(yè)務(wù)級(jí)性能優(yōu)勢(shì)。

3. 以 KVCache 為中心的 PD 分離和以存換算架構(gòu)

AI Serving Stack 深度融合 Mooncake 項(xiàng)目，實(shí)現(xiàn)了以 KVCache 為中心的 PD 分離架構(gòu)。Mooncake 通過計(jì)算與存儲(chǔ)解耦，將 KVCache 池化共享，結(jié)合 eRDMA、GPUDirect 等高性能傳輸技術(shù)，實(shí)現(xiàn)跨實(shí)例資源復(fù)用。

三大創(chuàng)新點(diǎn)助力性能突破：

• Transfer Engine：全鏈路零拷貝、多網(wǎng)卡聚合 (8x400Gbps)，支持多傳輸路徑 RDMA/eRDMA/NVLink/CXL/TCP，動(dòng)態(tài)拓?fù)涓兄⒅С秩蒎e(cuò)。

• KVCache Store：利用閑置 GPU 顯存 / 內(nèi)存，通過 RDMA 實(shí)現(xiàn)透明多級(jí)緩存，支持?jǐn)?shù)據(jù)下沉到廉價(jià)存儲(chǔ)。

• 生態(tài)整合：與 vLLM/SGLang 等主流框架深度適配，TPOT 下降 20%，成本低至 0.2$/1M Token。

在長(zhǎng)文本閱讀等多輪對(duì)話場(chǎng)景中，該架構(gòu)使推理吞吐量提升 6 倍，響應(yīng)時(shí)間降低 69.1%，KVCache 命中率最高達(dá) 90%。

4. 性能突破：從資源固化到精益彈性

在實(shí)際測(cè)試中，基于 input:ouput=3500:1500 的數(shù)據(jù)集，Qwen3-235B 模型單組 PD 分離支持 2.74 QPS，P99 延遲穩(wěn)定在 80ms 以內(nèi)；Decode 階段吞吐量較傳統(tǒng)方案提升 3-5 倍。動(dòng)態(tài) P/D 比例調(diào)整使 GPU 利用率穩(wěn)定在 65%-75%，配合潮汐混部與反碎片化裝箱優(yōu)化，用戶 GPU 成本減少 30%-40%，年度節(jié)約近千萬(wàn)元。

與此同時(shí)，工程效率也實(shí)現(xiàn)了飛躍式提升：一鍵部署時(shí)間<5 分鐘，發(fā)布失敗率從 23% 降至 5%，MTTR 從數(shù)十分鐘級(jí)降至 2 分鐘內(nèi)，服務(wù)升級(jí)中斷時(shí)間從 15 分鐘縮短至 10 秒。

5. 生態(tài)協(xié)同：從開源項(xiàng)目到標(biāo)準(zhǔn)推進(jìn)

AI Serving Stack 秉持全棧開源理念，100% 開源架構(gòu)讓企業(yè)零成本落地，徹底規(guī)避商業(yè)鎖定。多框架兼容支持 SGLang、vLLM、TensorRT-LLM、NVIDIA Dynamo、Chitu 等國(guó)內(nèi)外主流推理引擎，并已完成多個(gè)國(guó)產(chǎn)算力適配。

清華大學(xué) MADSys 實(shí)驗(yàn)室章明星老師指出：

“AI Serving Stack 通過將智能配置算法與 KVCache 彈性存儲(chǔ)能力深度集成至 RBG 項(xiàng)目，實(shí)現(xiàn)了從 SLA 需求到大規(guī)模推理系統(tǒng)配置的‘一鍵轉(zhuǎn)化’，有效彌合了 AI 基礎(chǔ)設(shè)施在 PD 比例、彈性伸縮、資源分配與并行策略等方面的‘配置鴻溝’。該方案已在真實(shí)業(yè)務(wù)場(chǎng)景中驗(yàn)證成效，是產(chǎn)學(xué)研協(xié)同創(chuàng)新、高效落地的典范。其開放、可組合、可拆分的架構(gòu)，也更能適應(yīng)大模型技術(shù)快速演進(jìn)的需求?！?/p>

AI Serving Stack 由多家產(chǎn)學(xué)研機(jī)構(gòu)共同維護(hù)，采用開放治理模式：

• 技術(shù)委員會(huì)由核心貢獻(xiàn)者組成，定期召開會(huì)議，共同決策技術(shù)路線；

• 保持 每?jī)蓚€(gè)月發(fā)布一個(gè) Minor 版本 的快速迭代節(jié)奏；

• 與清華大學(xué)、南京大學(xué)等高校深度合作，持續(xù)將智能配置和調(diào)度、動(dòng)態(tài)彈性擴(kuò)縮容等前沿研究成果融入工程實(shí)踐。

前不久，在 InfoQ 攜手模力工場(chǎng)發(fā)起的「中國(guó)技術(shù)力量年度榜單」中，AI Serving Stack 參考架構(gòu)，憑借其創(chuàng)新性的架構(gòu)設(shè)計(jì)，優(yōu)秀的工程實(shí)踐和廣泛的實(shí)用價(jià)值，獲評(píng)“2025 年度 AI 工程與部署卓越獎(jiǎng)”。

展望：共同定義下一代 AI 基礎(chǔ)設(shè)施

AI Serving Stack 的獲獎(jiǎng)，標(biāo)志著開源協(xié)作模式在生產(chǎn)級(jí) AI 基礎(chǔ)設(shè)施領(lǐng)域的潛力。其價(jià)值不在于"顛覆"，而在于通過標(biāo)準(zhǔn)化 API 和模塊化設(shè)計(jì)，將學(xué)術(shù)界的前沿成果與工業(yè)界的工程實(shí)踐有效結(jié)合。

當(dāng) AI Native 成為企業(yè)核心戰(zhàn)略，AI Serving Stack 正以其全棧開源、架構(gòu)普適、生產(chǎn)就緒、性能保障、易于集成、生態(tài)協(xié)同六大核心亮點(diǎn)，為產(chǎn)業(yè)提供從”能跑通”到”高可用、高吞吐、高彈性”的躍遷。

未來已來，隨著云原生 AI 推理平臺(tái)的需求不斷變化，AI Serving Stack 也會(huì)隨之持續(xù)迭代，以滿足開發(fā)需求。

項(xiàng)目地址：

SGLang：https://github.com/sgl-project/sglang

RBG： https://github.com/sgl-project/rbg

Mooncake：https://github.com/kvcache-ai/Mooncake

會(huì)議推薦

InfoQ 2026 全年會(huì)議規(guī)劃已上線！從 AI Infra 到 Agentic AI，從 AI 工程化到產(chǎn)業(yè)落地，從技術(shù)前沿到行業(yè)應(yīng)用，全面覆蓋 AI 與軟件開發(fā)核心賽道！集結(jié)全球技術(shù)先鋒，拆解真實(shí)生產(chǎn)案例、深挖技術(shù)與產(chǎn)業(yè)落地痛點(diǎn)，探索前沿領(lǐng)域、聚焦產(chǎn)業(yè)賦能，獲取實(shí)戰(zhàn)落地方案與前瞻產(chǎn)業(yè)洞察，高效實(shí)現(xiàn)技術(shù)價(jià)值轉(zhuǎn)化。把握行業(yè)變革關(guān)鍵節(jié)點(diǎn)，搶占 2026 智能升級(jí)發(fā)展先機(jī)！

今日薦文

你也「在看」嗎？