去年Q3，Lovai的翻譯功能掛了47分鐘。不是模型翻得爛，是三個反引號把整件事搞砸了。

用戶刷著日料帖子，突然滿屏空白。監(jiān)控報(bào)警炸鍋，根因定位花了11分鐘——模型"貼心"地給JSON包了一層Markdown代碼圍欄。```json開頭，```結(jié)尾。JSON.parse()當(dāng)場窒息，整個翻譯鏈路陪葬。

這事發(fā)生在OpenRouter上。我用它跑日英雙向翻譯，處理用戶生成的菜譜標(biāo)題、摘要和多段正文。生產(chǎn)環(huán)境跑了大半年，第一次真正理解什么叫"結(jié)構(gòu)化輸出"的脆弱性。

本文按故障發(fā)生順序，還原我堆的三層防御。JSON格式問題是主戰(zhàn)場，重試降級和語言檢測順帶提，但工程時(shí)間大頭全花在讓JSON不崩上。

第一層：response_format是底線，不是可選項(xiàng)

最初實(shí)現(xiàn)根本沒開JSON Mode。系統(tǒng)提示寫得很隨意："請返回JSON格式"。沒加response_format參數(shù)，純靠模型自覺。

這事在輕負(fù)載時(shí)跑得挺順。直到某天模型靜默更新，或者OpenRouter流量洪峰觸發(fā)了某種行為漂移——沒人知道具體是哪邊變的——響應(yīng)突然開始帶代碼圍欄。

實(shí)際返回長這樣：

```json
{"__title": "Built Translation with OpenRouter"}
```

前端拿到這串東西，JSON.parse()直接拋異常。用戶看到空白塊，以為是翻譯失敗，其實(shí)是解析失敗。質(zhì)量差還能忍，功能下線忍不了。

修復(fù)第一步：強(qiáng)制加response_format: { type: 'json_object' }。這行代碼約束模型輸出合法JSON，去掉Markdown包裝。OpenRouter文檔里寫得明白，但不是所有模型都支持，得去模型詳情頁查兼容性矩陣。

關(guān)鍵認(rèn)知：生產(chǎn)環(huán)境跑LLM輸出進(jìn)JSON.parse()，不開json_object或json_schema等于裸奔。提示詞指令會在模型更新或服務(wù)負(fù)載變化時(shí)無聲斷裂，你甚至收不到告警。

第二層：response-healing是補(bǔ)丁，不是萬能藥

開了JSON Mode之后，我以為高枕無憂。兩周后又崩了一次，這次是被max_tokens截?cái)嗟陌虢豃SON。

OpenRouter有個叫response-healing的插件，自動修復(fù)格式問題。接入方式很直白：

plugins: [{ id: 'response-healing' }]

它和json_object/json_schema疊加使用，能處理不少邊緣情況。但文檔里埋了兩個限制：只支持非流式響應(yīng)，且修不了token上限導(dǎo)致的截?cái)唷?/p>

第二次故障就是踩了第二個坑。用戶發(fā)了一篇超長菜譜，正文拆成6個block，模型翻完第4個就撞墻了。返回的JSON缺了右大括號和后半截?cái)?shù)組，response-healing搖頭說修不了。

這個插件是保險(xiǎn)絲，不是發(fā)電機(jī)。它能兜住格式漂移，兜不住資源硬限制。我后來給長內(nèi)容加了分段策略，但那是另一個話題。

第三層：應(yīng)用層解析器是最后一張底牌

即便疊了JSON Mode和response-healing，我還是在應(yīng)用層留了防御性解析器。代碼不復(fù)雜，但邏輯很硬：

遇到不完整或畸形數(shù)據(jù)，直接拒絕，不進(jìn)業(yè)務(wù)邏輯。不嘗試"智能修復(fù)"，不猜用戶意圖，不返回半成品。失敗就觸發(fā)降級流程，走備用模型或標(biāo)記人工復(fù)核。

這個設(shè)計(jì)來自第三次驚嚇。某次OpenRouter的API響應(yīng)頭里Content-Type是對的，但body里混進(jìn)了調(diào)試日志的HTML片段。概率極低，但一旦發(fā)生，沒有這層過濾就會污染數(shù)據(jù)庫。

三層防御的優(yōu)先級很明確：協(xié)議層約束（response_format）→ 服務(wù)層修復(fù)（response-healing）→ 應(yīng)用層熔斷（自定義解析器）。越往上成本越低，越往下兜底能力越強(qiáng)。

整個系統(tǒng)現(xiàn)在跑在日英雙向翻譯上，日均處理1.2萬條用戶內(nèi)容。JSON解析失敗率從早期的3.7%壓到0.02%，剩下的全是模型不支持結(jié)構(gòu)化輸出的邊緣機(jī)型，正在逐步下線。

最后留個細(xì)節(jié)：response-healing的修復(fù)日志默認(rèn)不開，得在OpenRouter dashboard里手動啟用審計(jì)。我第一次排查故障時(shí)，花了20分鐘才發(fā)現(xiàn)這個開關(guān)?，F(xiàn)在它是我檢查列表的第二項(xiàng)，排在"確認(rèn)模型支持JSON Mode"之后。

你的生產(chǎn)環(huán)境里，LLM輸出進(jìn)解析器之前，有幾層過濾？