智東西
作者 陳駿達
編輯 云鵬

智東西4月30日報道，今天，智譜發(fā)布了一篇名為《Scaling Pain：超大規(guī)模Coding Agent推理實踐》的技術報告，披露了GLM-5系列模型在Coding Agent場景下遇到的推理基礎設施挑戰(zhàn)與對應解法。

報告透露，在每日數(shù)億次Coding Agent調(diào)用壓力下，部分用戶遭遇了GLM-5系列模型亂碼、復讀和生僻字等異常，這些現(xiàn)象在表面上與長上下文場景下常見的“降智”相似，但智譜并未進行降低模型精度的優(yōu)化，相關問題主要由高并發(fā)、長上下文的極端條件觸發(fā)。

通過數(shù)周排查，智譜鎖定了兩個底層競態(tài)問題：PD分離架構下的KV Cache異步Abort引發(fā)顯存寫入沖突，以及HiCache加載流水線缺少同步約束導致“數(shù)據(jù)未就緒即被讀取”。針對性修復后，相關異常發(fā)生率從約萬分之十幾降至萬分之三以下。

報告還公開了智譜自研的KV Cache分層存儲方案LayerSplit，在Context Parallel場景下將單卡KV Cache顯存壓力大幅降低，實測系統(tǒng)吞吐提升10%至132%，且上下文越長收益越大。

一、本地無法復現(xiàn)，高壓才露頭：投機采樣指標成“照妖鏡”

從今年3月起，智譜GLM-5出現(xiàn)了三類異常：亂碼、復讀、生僻字。排查初期，智譜對線上異常案例做了本地回放，但未能復現(xiàn)，說明大概率不是模型問題。進一步模擬線上高壓環(huán)境后，在每萬次請求中穩(wěn)定復現(xiàn)3-5次異常。這種“與內(nèi)容無關、與壓力相關的特征”，將問題指向高負載下的推理狀態(tài)管理。

三類異常中，復讀較易檢測，亂碼和生僻字則難以用正則或模型判別高效覆蓋。分析推理日志后，智譜發(fā)現(xiàn)投機采樣指標可作為重要參考：

投機采樣本為性能優(yōu)化而設計：草稿模型生成draft token，目標模型校驗后決定是否接受，并記錄spec_accept_length與spec_accept_rate，從而在不改變最終輸出分布的前提下提升解碼效率。

針對亂碼/生僻字問題，智譜發(fā)現(xiàn)spec_accept_length極低，draft token幾乎全被拒絕，表明KV Cache狀態(tài)存在顯著偏差。

針對復讀問題，智譜發(fā)現(xiàn)spec_accept_rate偏高，損壞的KV Cache使注意力退化，陷入重復循環(huán)。

據(jù)此，智譜團隊建立了在線監(jiān)控策略。將投機采樣從一項單純的性能優(yōu)化技術，拓展為質(zhì)量監(jiān)控信號。

二、鎖定時序漏洞，兩個競態(tài)Bug如何導致輸出異常

定位問題后，智譜進一步分析其原因。通過對請求生命周期以及推理引擎中PD分離執(zhí)行時序的分析，智譜發(fā)現(xiàn)該問題源于請求生命周期與KV Cache回收與復用時序之間的不一致，從而引發(fā)的KV Cache復用沖突。

為消除上述問題，智譜在推理引擎中引入了更嚴格的時序約束，在請求終止與KV Cache寫入完成之間建立顯式同步關系。

這一問題的具體修復方案是在Decode觸發(fā)Abort后通知Prefill側(cè)，僅在RDMA未開始或已完成時才允許回收復用，確保KV寫入不跨越顯存復用邊界。修復后，異常發(fā)生率從萬分之十幾降至萬分之三以下。

智譜面臨的第二個bug與Coding Agent場景的特性有關。Coding Agent場景輸入長、前綴復用率高，HiCache成為關鍵優(yōu)化。但KV Cache換入與計算重疊執(zhí)行時，未保證數(shù)據(jù)加載完成后再使用。

為修復這一問題，智譜在Indexer算子啟動前引入同步點，確保數(shù)據(jù)就緒后才啟動計算。修復后，相關問題完全消失，相關修復已提交至SGLang社區(qū)。

三、Prefill吞吐成瓶頸，LayerSplit讓吞吐最高漲132%

上述兩個問題揭示了一個共同的系統(tǒng)瓶頸：在長上下文的Coding Agent服務場景中，Prefill階段主導了系統(tǒng)性能。修復狀態(tài)一致性問題后，核心挑戰(zhàn)回歸瓶頸本身，也就是如何提升Prefill吞吐、降低KV Cache顯存占用。為此，智譜團隊設計并實現(xiàn)了KV Cache分層存儲方案LayerSplit。

Coding Agent負載具有上下文長、Prefix Cache命中率高的特征，使得Context Parallel（CP，上下文并行）成為Prefill節(jié)點的主要并行策略。然而，SGLang開源實現(xiàn)中每張GPU保存全部層的KV Cache，冗余存儲導致顯存容量成為計算資源利用率的瓶頸。

LayerSplit方案的核心思路是：每張GPU僅持有部分層的KV Cache，從而顯著降低單卡顯存占用。計算時，持有某一層Cache的CP rank會在Attention計算前將其廣播給其他rank。

為進一步減少開銷，智譜設計了KV Cache廣播與Indexer計算的重疊機制，使二者在時間上相互掩蓋。整個流程僅額外引入約為KV Cache體量1/8的Indexer Cache廣播，通信成本對性能影響可忽略。

實驗結果表明，在Cache命中率90%的條件下，請求長度從40k到120k區(qū)間內(nèi)，系統(tǒng)吞吐量提升幅度在10%至132%之間，且上下文越長收益越顯著。

該優(yōu)化從架構層面緩解了Prefill側(cè)的顯存瓶頸，與此前兩項BugFix共同構成了一套完整的推理基礎設施優(yōu)化方案，提升了智譜GLM-5在Coding Agent場景下的服務能力。

結語：輸出質(zhì)量成高并發(fā)長上下文場景新痛點

高并發(fā)長上下文場景下，推理基礎設施的挑戰(zhàn)已不止于吞吐和延遲，輸出質(zhì)量同樣不可忽視。智譜此次公開的技術細節(jié)，從異常識別方法、兩個競態(tài)Bug的定位與修復，到LayerSplit顯存優(yōu)化，構成了一套相對完整的排查與優(yōu)化鏈路。

對于同樣在大規(guī)模部署推理服務的團隊而言，這份報告在故障復現(xiàn)、指標選型、架構層面的時序一致性等方面提供了可參考的實踐經(jīng)驗。智譜將這些經(jīng)驗公開分享，客觀上為社區(qū)填補了部分長上下文推理場景下的工程資料空白。