生產(chǎn)環(huán)境里，LLM調(diào)用失敗只有兩種結(jié)局：要么服務(wù)掛掉，要么用戶看到報(bào)錯(cuò)。但很多人直到第一次踩坑才意識(shí)到——單模型架構(gòu)本身就是單點(diǎn)故障。

這篇技術(shù)文檔展示了一套基于Kubernetes網(wǎng)關(guān)的自動(dòng)降級(jí)方案。核心思路不復(fù)雜：在主模型不可用時(shí)，網(wǎng)關(guān)自動(dòng)把流量切到備用模型，整個(gè)過(guò)程對(duì)上游應(yīng)用透明。

先搭基礎(chǔ)架構(gòu)。需要三個(gè)組件：Gateway負(fù)責(zé)流量入口，AgentgatewayBackend定義后端模型，HTTPRoute做路由規(guī)則。以Anthropic的Claude Opus為例，先把API Key存成K8s Secret，再創(chuàng)建Gateway對(duì)象監(jiān)聽(tīng)8080端口，允許同命名空間流量。Backend里指定模型名稱claude-opus-4-6，并關(guān)聯(lián)認(rèn)證Secret。最后用HTTPRoute把/v1路徑的請(qǐng)求全部轉(zhuǎn)發(fā)到這個(gè)Backend。

到這里只是單模型配置。災(zāi)備的關(guān)鍵在Backend的擴(kuò)展能力——同一個(gè)HTTPRoute可以綁定多個(gè)Backend，并設(shè)置優(yōu)先級(jí)和觸發(fā)條件。當(dāng)Opus返回429（限流）或5xx（服務(wù)異常）時(shí)，網(wǎng)關(guān)自動(dòng)嘗試下一個(gè)Backend。備用選項(xiàng)可以是同廠商的輕量模型，也可以是其他廠商的API，比如把Claude 3 Haiku或GPT-3.5作為降級(jí)方案。

這種設(shè)計(jì)解決兩個(gè)真實(shí)痛點(diǎn)。一是成本突發(fā)：業(yè)務(wù)高峰時(shí)頂級(jí)模型token耗盡，自動(dòng)降級(jí)到便宜模型保證服務(wù)可用。二是廠商故障：某家LLM API區(qū)域性宕機(jī)時(shí)，流量秒級(jí)切換到備用線路，無(wú)需人工改配置發(fā)版。

實(shí)現(xiàn)細(xì)節(jié)上有幾個(gè)權(quán)衡。降級(jí)策略需要定義清楚——是嚴(yán)格按優(yōu)先級(jí)順序嘗試，還是根據(jù)錯(cuò)誤類型智能選擇？超時(shí)時(shí)間設(shè)多長(zhǎng)？備用模型和主模型的輸出格式是否兼容？這些沒(méi)有標(biāo)準(zhǔn)答案，取決于業(yè)務(wù)對(duì)延遲、成本、質(zhì)量的容忍度。

最后提醒一個(gè)常見(jiàn)坑：很多團(tuán)隊(duì)會(huì)把災(zāi)備模型配置成"永遠(yuǎn)不用"，結(jié)果真 failover 時(shí)發(fā)現(xiàn)備用模型早已下線或API Key過(guò)期。建議把降級(jí)流量常態(tài)化，比如把5%的請(qǐng)求隨機(jī)打到備用模型，既驗(yàn)證鏈路健康，又能持續(xù)對(duì)比模型效果。