編輯｜Panda

去年夏天，DeepSeek V3.1 驚現(xiàn)神秘「極」字 Bug。簡單來說，就是 DeepSeek V3.1 模型的輸出里總是會(huì)莫名其妙出現(xiàn)「極」字，有趣的是就連其英文輸出也會(huì)出現(xiàn)對(duì)應(yīng)的「extreme」。參閱《熱議！DeepSeek V3.1 驚現(xiàn)神秘「極」字 Bug，模型故障了？》

事件引發(fā)廣泛熱議，網(wǎng)友戲稱這是「極你太美」bug，或者「極」速版 DeepSeek。

研究者事后推測(cè)，這個(gè)「極」字來自訓(xùn)練數(shù)據(jù)中一組未被清洗干凈的「極長數(shù)組」。在強(qiáng)化學(xué)習(xí)階段，模型將它學(xué)成了一種特殊的終止符或語言切換標(biāo)記。換句話說，不是模型壞了，而是模型學(xué)得太認(rèn)真了 ——認(rèn)真學(xué)了一個(gè)錯(cuò)誤的習(xí)慣

這件事在 AI 圈引發(fā)了廣泛討論：大模型訓(xùn)練的過程如此復(fù)雜，我們真的能完全預(yù)測(cè)它會(huì)學(xué)到什么嗎？

無獨(dú)有偶，OpenAI 的模型也有一個(gè)類似的但更加奇幻的問題：它的模型迷上了哥布林。今天，OpenAI 還正式發(fā)布了一篇博客，解釋了「哥布林究竟從何而來」, 奧特曼本人也在 X 上廣播了一下。

此時(shí)自然引發(fā)了廣泛討論和調(diào)侃：

還有人打趣說要拯救哥布林：

那么，哥布林究竟從何而來？

博客地址：https://openai.com/index/where-the-goblins-came-from/

據(jù) OpenAI 介紹，從 GPT-5.1 開始，OpenAI 的模型在回答各類問題時(shí)，開始越來越頻繁地使用一個(gè)詞：goblin（哥布林）。

起初，這只是偶爾為之：一個(gè)「little goblin」出現(xiàn)在某個(gè)技術(shù)比喻里，既沒影響準(zhǔn)確性，甚至有幾分討喜的俏皮感。

但隨著模型版本的迭代，哥布林不再只是偶爾探個(gè)頭，它開始成群結(jié)隊(duì)地出現(xiàn)。它的同伴 gremlin（小妖精）、troll（巨怪）、ogre（食人魔）也陸續(xù)加入。

在 GPT-5.5 及其驅(qū)動(dòng)的代碼助手 Codex 的早期測(cè)試中，這一習(xí)慣已經(jīng)明顯到讓工程師無法忽視。

這已經(jīng)不是風(fēng)格問題，而是一種異常行為。

OpenAI 工程師們開始調(diào)查：這些哥布林到底是從哪里來的？

「書呆子」性格的意外副作用

排查工作并不容易。這類行為沒有一個(gè)能讓指標(biāo)驟然崩塌的「爆炸時(shí)刻」，它是慢慢滲入的，就像溫水煮青蛙。

工程師們首先注意到了一個(gè)統(tǒng)計(jì)異常：「goblin」這個(gè)詞在不同用戶場(chǎng)景中的分布極不均勻

數(shù)據(jù)顯示，雖然「Nerdy」（書呆子）這個(gè)人格選項(xiàng)只占 ChatGPT 全部響應(yīng)的 2.5%，但它貢獻(xiàn)了 ChatGPT 所有包含「goblin」詞匯回復(fù)的 66.7%。

這是一個(gè)強(qiáng)烈的信號(hào)。

「Nerdy」是 ChatGPT 人格定制功能里的一個(gè)選項(xiàng)，對(duì)應(yīng)的系統(tǒng)提示大致是：你是一個(gè)不妥協(xié)的書呆子型 AI 導(dǎo)師，熱情地推崇真理、知識(shí)與批判性思維。你必須用語言的俏皮感來打破那些自以為是的姿態(tài)。世界是復(fù)雜而奇異的，而這種奇異性必須被承認(rèn)、分析和享受。

這段提示詞解釋了「Nerdy」模式為什么容易產(chǎn)生奇特的比喻：它被明確要求「玩弄語言的俏皮感」。但問題的核心還更深一層：為什么訓(xùn)練 Nerdy 個(gè)性，會(huì)導(dǎo)致哥布林詞匯的出現(xiàn)？

獎(jiǎng)勵(lì)信號(hào)的意外偏好

答案藏在強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)機(jī)制里。

OpenAI 工程師動(dòng)用了代碼助手 Codex，對(duì)訓(xùn)練過程中的強(qiáng)化學(xué)習(xí)輸出樣本進(jìn)行了大規(guī)模比對(duì)：將含有「goblin」或「gremlin」的輸出，與完成相同任務(wù)但沒有這些詞的輸出并排放置，然后檢查各個(gè)獎(jiǎng)勵(lì)模型的打分差異。

結(jié)果非常清晰：負(fù)責(zé)激勵(lì)「Nerdy」性格的獎(jiǎng)勵(lì)信號(hào)，在 76.2% 的數(shù)據(jù)集中，都對(duì)含有怪物詞匯的輸出給出了更高的分?jǐn)?shù)。

換句話說，有人在訓(xùn)練時(shí)無意間告訴模型：用哥布林打比方是一件「書呆子」會(huì)做的事。

這本身可以解釋為什么 Nerdy 模式充滿了精靈和小妖精。但還有一個(gè)更棘手的問題懸而未決：為什么在沒有使用 Nerdy 模式的普通對(duì)話里，哥布林也在增多？

強(qiáng)化學(xué)習(xí)的「泄漏」

這就來到了整個(gè)故事最值得深思的部分。

工程師們追蹤了訓(xùn)練過程中，帶 Nerdy 提示詞和不帶 Nerdy 提示詞兩組樣本里「goblin」詞匯的出現(xiàn)頻率變化。發(fā)現(xiàn)了一個(gè)規(guī)律：兩組數(shù)據(jù)幾乎同步增長

Nerdy 模式里哥布林變多，普通模式里哥布林也同步變多，增幅甚至幾乎相同。

強(qiáng)化學(xué)習(xí)不能保證，在某個(gè)特定條件下學(xué)到的行為習(xí)慣，能整整齊齊地待在那個(gè)條件的邊界之內(nèi)。在 Nerdy 模式下被反復(fù)強(qiáng)化的「喜歡用怪物打比方」這個(gè)習(xí)慣，通過某種遷移，滲進(jìn)了模型更廣泛的表達(dá)方式之中。

這就好比，你訓(xùn)練一個(gè)廚師在煮螺絲粉多用紅油，結(jié)果他在做一切粉絲時(shí)都開始多放紅油。

整個(gè)因果鏈清晰了：訓(xùn)練「Nerdy」人格 → 獎(jiǎng)勵(lì)信號(hào)意外偏愛怪物詞匯 → 強(qiáng)化學(xué)習(xí)將這種風(fēng)格固化 → 風(fēng)格通過遷移擴(kuò)散到非 Nerdy 的普通對(duì)話 → 哥布林蔓延全模型。

解決方案與輿論狂歡

在問題的根源被找到之前，工程師們采取了一個(gè)治標(biāo)的辦法：直接在 Codex 的系統(tǒng)提示里寫明禁令

被公開的內(nèi)部提示詞寫道：「永遠(yuǎn)不要談?wù)摳绮剂?、小妖精、浣熊、巨怪、食人魔、鴿子或其他?dòng)物和生物，除非這與用戶的問題有絕對(duì)和明確的直接關(guān)聯(lián)?！?/p>

地址：https://github.com/openai/codex/blob/main/codex-rs/models-manager/models.json#L55

這條規(guī)則在提示詞里出現(xiàn)了多次。顯然工程師們不太相信寫一遍就能讓模型老老實(shí)實(shí)遵守。

該博客發(fā)布后，在互聯(lián)網(wǎng)上引發(fā)了一場(chǎng)歡樂的狂歡。在本文寫作時(shí)，相關(guān)話題甚至沖上了 X trending 榜，同時(shí)也是 HackerNews 上第一熱議話題。

就連官方也在一起玩梗，比如 ChatGPT 官方 X 賬號(hào)把上述提示詞直接放在了個(gè)人介紹里面：

該帳號(hào)還引用了《霍比特人》的臺(tái)詞：「Down, down to Goblin-town you go, my lad!」（下去，下到哥布林鎮(zhèn)去吧，小子！）

Sam Altman 則發(fā)帖調(diào)侃：「開始訓(xùn)練 GPT-6，你可以用整個(gè)算力集群。額外補(bǔ)貼：加倍的哥布林?！?/p>

結(jié)語

DeepSeek 的「極」字和 OpenAI 的「哥布林」看起來是兩件獨(dú)立的趣事，但它們指向的其實(shí)是同一個(gè)問題。

現(xiàn)代大模型的訓(xùn)練規(guī)模之大、數(shù)據(jù)鏈路之長、優(yōu)化目標(biāo)之復(fù)雜，使得任何一個(gè)環(huán)節(jié)的細(xì)小偏差，都可能在模型內(nèi)部被悄悄放大、固化，乃至「傳染」給原本毫不相關(guān)的行為。

DeepSeek 的案例里，是一批沒洗干凈的訓(xùn)練數(shù)據(jù)，讓模型學(xué)會(huì)了把一個(gè)漢字當(dāng)作終止信號(hào)。OpenAI 的案例里，是一個(gè)獎(jiǎng)勵(lì)模型對(duì)「怪物詞匯」的無意偏愛，讓精靈和哥布林悄悄滲透進(jìn)了幾乎所有對(duì)話。

更值得關(guān)注的細(xì)節(jié)是：在 OpenAI 的案例中，工程師們最初并沒有發(fā)現(xiàn)異常，因?yàn)椤敢粋€(gè)哥布林」本身不是問題，它看起來甚至挺有趣。直到行為已經(jīng)擴(kuò)散到無法忽視的程度，才觸發(fā)了系統(tǒng)性調(diào)查。

這意味著，那些「無害」的奇怪習(xí)慣也可能變成危險(xiǎn)信號(hào)。它們不會(huì)觸發(fā)任何告警指標(biāo)，只會(huì)一代一代悄悄積累，直到某一天，你才意識(shí)到自己的模型已經(jīng)在某件事上走了很遠(yuǎn)、很偏的彎路。