一個保險理賠，用戶申請50塊，系統(tǒng)花了12塊4才批下來。LLM（大型語言模型）把同一個數(shù)據(jù)庫查了7遍，對話上下文重新總結(jié)了4遍，還幻覺出一個不存在的工具，重試，報錯，再試。最終響應(yīng)到達時，用戶已經(jīng)走了8.3秒。

這不是極端案例。這是常態(tài)。

作者審計了8個生產(chǎn)級agent部署，發(fā)現(xiàn)35%-45%的token消耗根本與用戶意圖無關(guān)——無限循環(huán)、重復(fù)計算、幻覺調(diào)用。他給這筆錢起了個名字：隨機稅（Stochastic Tax）。

為什么你的agent在"空轉(zhuǎn)"

LLM本質(zhì)是概率推理器，不是可靠執(zhí)行器。它不知道自己什么時候該停，不記錄已經(jīng)試過什么，也記不住超出當前窗口的上下文。每個決策都是從概率分布里采樣出來的。

這在第三步之后必然崩。

作者觀察到一個典型模式：用GPT-4或Claude Sonnet做意圖路由，相當于用1750億參數(shù)的模型干70億參數(shù)就能干的活。成本差100倍。

「前沿模型成本是小模型的100倍，」作者寫道，「你在為175B+參數(shù)推理付費，實際只需要7B參數(shù)分類。」

更隱蔽的損耗是上下文重處理。每次步驟推進，naive架構(gòu)會把整段對話歷史喂給模型重新總結(jié)。5步工作流下來，70%的token花在重復(fù)咀嚼已經(jīng)知道的信息。

三層止血方案

作者給出的解法不是更好的提示詞，是架構(gòu)層面的確定性控制。

第一層：分級模型路由

3B模型做意圖分類，8B模型調(diào)用工具，70B模型做綜合推理，前沿模型只負責最后潤色。1萬次日請求的成本對比：純GPT-4路線每年燒掉284萬，分級路由壓到50萬出頭。首月省下的錢就夠付工程師工資。

第二層：硬編碼退出條件

永遠別讓agent無限循環(huán)。作者建議的guardrail包括：工具調(diào)用失敗≥2次立即轉(zhuǎn)人工；token消耗超過閾值強制終止；檢測到循環(huán)模式自動降級。

第三層：增量上下文快照

用結(jié)構(gòu)化快照替代全歷史重傳。只傳遞自上次步驟以來的delta（增量），token消耗直降70%。

從F1分數(shù)到token效率

作者拋出一個反直覺觀點：別再優(yōu)化F1分數(shù)了。生產(chǎn)環(huán)境該盯的是token-to-action比率（每個動作消耗多少token）、錯誤恢復(fù)成本（搞砸一次要花多少token補救）、以及模型升級彈性（換模型時架構(gòu)是否扛得住）。

他算了一筆賬：某保險公司日處理1萬筆理賠，實施這套方案后年省284萬，工程投入10萬，5周交付。ROI 28.4倍，回本周期13天。

實施路徑也給了：第一周審計現(xiàn)狀，跑1000條生產(chǎn)請求算浪費基線；第二三周搭分級路由；第四周上監(jiān)控guardrail；第五周替換上下文機制；第六周驗證token-to-action<2500。

作者最后補了一句：「第一月的收益就夠付工程師工資。」