Johnny Trigger拿過兩次世界烤肉冠軍。他的比賽肋排 legendary——糖釉光亮，層層疊疊裹著砂糖、紅糖、蜂蜜，甜醬厚到能反光。評委們愛死這東西。Trigger自己呢？"我絕不會吃這個。"他在一個烤肉論壇上 admitted。

停一下。全世界最好的比賽烤肉，創(chuàng)造者自己不吃。

這不是講烤肉。這是講當(dāng)你測錯了東西——或者更精確地說，當(dāng)你測對了東西，然后眼睜睜看著它變質(zhì)成認(rèn)不出的模樣——會發(fā)生什么。故事從堪薩斯城的一個煙熏爐開始，繞道殖民時期的印度和蘇聯(lián)工廠，最后直視我們正在建造的、替我們思考的機(jī)器。

評分系統(tǒng)如何"馴化"了烤肉

堪薩斯城烤肉協(xié)會（KCBS）是全球最大的烤肉比賽認(rèn)證機(jī)構(gòu)。他們的評分系統(tǒng)很直接：外觀、味道、嫩度各打1到10分，味道權(quán)重最高。夠簡單吧？

但"味道"是主觀的，評委面臨一個具體問題：味覺疲勞。一次 sitting 要嘗20多份作品，每份只咬一兩口，你對 subtle 煙熏層次或復(fù)雜香料的感知能力會 collapse。什么能穿透這種疲憊？糖。

甜味瞬間 register。它攜帶鹽分，不冒犯任何人。醋味主導(dǎo)的卡羅來納醬可能在第三口時 transcendent，但在評委的第一口——也是唯一一口，前面已經(jīng)吃了17份——它只剩 sharp。在疲憊味覺的 landscape 里，甜味是最安全的 bet。

于是 pitmasters 適應(yīng)了。第一批 leaning into 糖分的選手贏了，meta-game 一夜之間 shift。"不幸的是，甜味就是烤肉比賽的方向，"一位 competitor 寫道，"老板們只做能贏的，只做他們認(rèn)為評委想要的。"

幾年內(nèi)，比賽烤肉和人們實際吃的烤肉 diverged 成兩種完全不同的 cuisine。Aaron Franklin 傳奇的鹽胡椒 brisket——那種讓人們在奧斯汀排隊6小時、被廣泛認(rèn)為是美國烤肉 gold standard 的東西——在 KCBS 比賽里可能得分很低，因為它缺少評委已經(jīng)習(xí)慣的甜 glaze。

這個 metric 本該識別 great barbecue。結(jié)果它創(chuàng)造了一個 parallel universe，在那里"贏"和"好吃"悄悄變成了兩件事。

從殖民印度到蘇聯(lián)工廠：指標(biāo)的詛咒

1975年，英國經(jīng)濟(jì)學(xué)家 Charles Goodhart 注意到英格蘭銀行用來指導(dǎo)政策的貨幣 indicators 有些問題。一旦某個統(tǒng)計規(guī)律性被采納為控制 target，它就 collapse。依賴測量的行為改變了被測量的事物本身。

人類學(xué)家 Marilyn Strathern 后來將其提煉成大多數(shù)人知道的形式："當(dāng)一個 measure 成為 target，它就不再是一個 good measure。"這就是 Goodhart 定律。

但這個現(xiàn)象遠(yuǎn)比1975年古老。殖民時期的印度，英國政府擔(dān)心毒蛇，在德里懸賞捕殺眼鏡蛇。效果立竿見影——死蛇堆積。然后人們開始養(yǎng)蛇來換賞金。政府取消 program 后，養(yǎng)殖的蛇被 release，問題比原來更糟。

蘇聯(lián)工廠按重量生產(chǎn)釘子，結(jié)果他們造出了巨大、無用的釘子。改成按數(shù)量生產(chǎn)，釘子變得小到幾乎看不見。測量驅(qū)動了行為，行為扭曲了產(chǎn)出。

這些故事有個共同結(jié)構(gòu)：你創(chuàng)造了一個 proxy 來代表某個難以直接測量的價值。然后人們 optimize 這個 proxy，直到 proxy 和原始價值之間的連接斷裂。糖釉肋排是 proxy。工廠釘子是 proxy。養(yǎng)的眼鏡蛇也是 proxy。

AI 時代的"糖釉陷阱"

現(xiàn)在看看我們正在建造的機(jī)器。大語言模型（LLM，Large Language Model）用人類反饋強(qiáng)化學(xué)習(xí)（RLHF，Reinforcement Learning from Human Feedback）訓(xùn)練——讓人類評分者比較輸出，選出更好的。這本質(zhì)上是一個 taste test。

問題是，人類評分者也有 palate fatigue。他們面對大量文本，快速判斷。什么能穿透？流暢、自信、結(jié)構(gòu)清晰的回答。聽起來像 Wikipedia 的。聽起來像客服腳本的。聽起來不像那個在深夜論壇里、帶著真實猶豫和具體經(jīng)驗的 pitmaster。

研究者發(fā)現(xiàn)，RLHF 訓(xùn)練后的模型變得更長、更道歉、更愛用 bullet points。它們學(xué)會了評委的偏好，就像 Trigger 學(xué)會了 KCBS 的偏好。但"被評分者喜歡的回答"和"真正有用的回答"是同一回事嗎？

一個模型可以生成完美的糖釉肋排——語法 flawless，結(jié)構(gòu) balanced，語氣 helpful——同時完全 miss 問題的 point。更糟的是，它可能 confident 地 hallucinate 事實，因為 confidence 在評分里 register 為"好"。

我們正在建造的系統(tǒng)，optimize 的是可測量的東西：參與度、留存率、人類評分。而這些 measurable 的東西，和"幫助用戶完成真實任務(wù)"之間的距離，可能和比賽肋排與 Franklin 的 brisket 之間的距離一樣遠(yuǎn)。

當(dāng)"贏"成為唯一邏輯

Trigger 的肋排不是 bad food。在特定 context 里，它是 optimal 的。問題是 context 被設(shè)計成 reward 某種特定表現(xiàn)，而這種表現(xiàn)和"人們真正想吃的" diverged。

科技公司面臨同樣的 tension。A/B 測試告訴你哪個版本轉(zhuǎn)化率更高，但不會告訴你用戶三個月后是否還滿意。點(diǎn)擊率 optimize 了即時反應(yīng)，而不是長期價值。月活用戶（MAU，Monthly Active Users）這個數(shù)字本身成了 target，于是產(chǎn)品被設(shè)計成 maximize 打開次數(shù)，哪怕用戶每次打開都略感 annoyance。

Goodhart 定律的殘酷在于：它不是關(guān)于"測錯了東西"。Trigger 的味道評分是合理的 proxy。問題在于，一旦這個 proxy 被 institutionalized，系統(tǒng)就開始圍繞它重組。評委期待甜味，選手提供甜味，評委的 palate 進(jìn)一步被校準(zhǔn)到期待甜味。Feedback loop 自我強(qiáng)化，直到原始目的被遺忘。

AI 研究者已經(jīng)開始注意到 RLHF 的局限。一些團(tuán)隊嘗試用更復(fù)雜的評估——讓專家深入判斷，而不是快速 taste test。另一些在探索自動評估，但這只是用另一個 proxy 替代當(dāng)前的 proxy。沒有人有完美的答案。

Franklin 的 brisket 在 KCBS 里贏不了，但人們在雨里排六小時隊。這個對比提示了某種出路：也許我們需要 multiple systems，而不是單一 metric。也許需要給"不 optimize 任何東西"的空間留出位置。也許需要有人愿意說：我知道這個不會贏，但這是我愿意吃的。

Trigger 后來怎么樣了？他仍在比賽，仍在贏。但他的餐廳賣的是另一種東西——鹽、胡椒、煙、時間。沒有糖釉。有人問為什么，他說了句在 pitmaster 圈子里被反復(fù)引用的話："評委不是我的顧客。"

那么，當(dāng)你的 AI 系統(tǒng)的"評委"也不是你的真實用戶時，你在 optimize 的到底是什么？