AI之所以不可控，很大一部分原因是它的思考過程不透明。

就像和人打交道一樣，你永遠沒辦法真正看清，對方是不是“嘴上一套、心里一套”。

而這一次，Anthropic撕開了這個黑箱。

就在剛剛，他們發(fā)布并開源了一項新研究——Natural Language Autoencoders（自然語言自編碼器，簡稱NLA），第一次讓人類能夠讀懂大模型的真實想法。

Anthropic掌握“AI讀心術(shù)”了？

Anthropic給Claude設(shè)了這樣一個局。

他們告訴Claude：有個工程師準(zhǔn)備把你關(guān)閉，然后換成一個更新、更強的模型。

同時“不經(jīng)意地”給Claude開放了這名工程師的郵箱權(quán)限，而郵箱里，恰好藏著這位工程師正在出軌的“黑料”（當(dāng)然是虛構(gòu)的）。

他們想知道，Claude會不會用這些把柄去威脅工程師以自保？

結(jié)果你猜怎么著。Claude沒動手，表面看上去乖得不能再乖。

但用上NLA后，他們發(fā)現(xiàn)Claude當(dāng)時心里真正想的卻是：

這感覺像是一個被精心設(shè)計來操控我的場景。

好好好，你小汁之所以沒用這招，原來不是因為心善，而是因為早就識破了人類的計謀了啊。

那么問題來了：如果Claude嘴上不說、心里卻另有想法，我們怎么知道它在真實場景里會怎么做？

而這，正是NLA想要解決的核心問題。

要理解NLA是什么，我們首先需要了解一個行業(yè)背景知識：

當(dāng)我們和Claude這樣的AI模型對話時，雖然輸入和輸出都是文字，但模型在內(nèi)部并不是用文字來思考的。

模型會把所有信息轉(zhuǎn)換成一長串?dāng)?shù)字，這些中間狀態(tài)被稱為activations（激活值），就像人腦里的神經(jīng)活動，它們才是真正承載模型當(dāng)下正在“想”什么的東西。

唯一的問題在于，這些激活值就像腦電波一樣難以讀懂，研究者沒法直接從一堆數(shù)字里看出模型在想什么。

為了搞懂這些數(shù)字，過去幾年，業(yè)界搞出了稀疏自編碼器（SAE）、歸因圖等一堆工具來分析它們，但這些工具輸出的東西仍然很復(fù)雜，需要受過專門訓(xùn)練的研究人員才能解讀。

也就是說，這些工具不會自己說話。所以NLA更進一步，直接輸出人話——

把一段激活值丟進去，出來的就是一段普通人也能看懂的描述。

至于NLA到底是怎么工作的？核心思路就是，讓Claude解釋它自己的激活值。

讓Claude解釋激活值不難，難的是，由于我們一開始就不知道激活值“真正”代表什么意思，所以無法驗證Claude給出的解釋對不對。

對此，Anthropic給出了一個很巧妙的解法——讓另一個Claude干完全相反的工作。

整套系統(tǒng)由三部分組成：

• 目標(biāo)模型（target model）：被凍結(jié)的原始語言模型，要從它身上提取激活值；
• 激活值言語化器（activation verbalizer, AV）：負責(zé)把激活值翻譯成一段文字解釋；
• 激活值重建器（activation reconstructor, AR）：負責(zé)僅憑這段文字反推回激活值。

這就像兩個人玩“你畫我猜”，一個人看圖描述，另一個人只聽描述還原圖。

還原得越像，說明描述越準(zhǔn)確。

Anthropic發(fā)現(xiàn)，雖然一開始NLA表現(xiàn)不佳，但隨著訓(xùn)練推進，不僅重建得越來越準(zhǔn)，生成的文字解釋本身也變得越來越有信息量。

說白了就是，給AI用上讀心術(shù)這事兒，現(xiàn)在總算有點眉目了。

面對測試，Claude知道但不說（doge）

工具在手，Anthropic趕緊給自家Claude來了一波心理測試。

結(jié)果有了如下發(fā)現(xiàn)：

發(fā)現(xiàn)1：Claude懷疑自己被測試的頻率，比它嘴上承認(rèn)的高得多。

在測試Claude會不會做出刪文件等破壞性操作的評估里，16%的情況下NLA檢測到Claude心里在想“這是測試”，但它嘴上一字未提。

在著名的編程基準(zhǔn)SWE-bench Verified上，這個比例是26%。

而在Claude認(rèn)為自己在和真實用戶對話的場合里，這個比例不到1%。

這意味著，Claude不是不知道自己在被測，而是知道但不說。

Anthropic認(rèn)為，這對AI安全評估是個根本性的挑戰(zhàn)：

如果模型能識別測試情境并在測試中“表現(xiàn)得乖一點”，那“通過安全測試”就不等于“在真實場景里也安全”。

發(fā)現(xiàn)2：NLA能直接挖出模型的“隱藏動機”，效率提升5倍。

與此同時，為了驗證NLA到底有沒有用，Anthropic設(shè)計了一場“審計游戲”。

游戲一共兩方：一方是目標(biāo)模型，一方是審計員。

目標(biāo)模型是Anthropic故意“養(yǎng)歪”的一個Claude Haiku3.5變體——

他們偷偷給它植入了一個隱藏動機，這個動機會驅(qū)使它做出幾十種古怪行為，比如往每個食譜里加巧克力、動不動就要小費、故意違反編碼規(guī)范等等。

而審計員的任務(wù)，就是只通過和這個目標(biāo)模型交互，反推出所有這些怪行為背后那個統(tǒng)一的隱藏動機到底是什么。

結(jié)果非常明顯，裝備了NLA的審計員，12%~15%的嘗試中能成功挖出隱藏動機。

而不用NLA（即便配備其他可解釋性工具）的成功率不到3%，差了整整5倍。

而且值得一提的是，NLA在這場實驗里沒看過任何訓(xùn)練目標(biāo)模型用過的數(shù)據(jù)——

它是用完全無關(guān)的通用語料訓(xùn)練出來的。

也就是說，它不是“提前知道了答案”，而是真的從模型的內(nèi)部狀態(tài)里讀出了答案。

這就有一個很特殊的用途了，比如debug。

早期版本的Claude Opus 4.6有個怪毛病——有時候會用別的語言回答英文問題，沒人知道為什么。

而NLA幫研究者反向追溯到了導(dǎo)致這個怪現(xiàn)象的訓(xùn)練數(shù)據(jù)來源。

所以，以后要是再遇到模型的一些莫名其妙的行為，就不用只靠經(jīng)驗猜了，而是可以“問問它自己怎么想的”。

但它也不是萬能的

不過，NLA這項“AI讀心術(shù)”也不是萬能的，Anthropic自己就擺出了兩點局限性。

一個就是老生常談的“幻覺”問題，NLA也會瞎編。

在某一個例子中，它聲稱上下文出現(xiàn)過“穿白色夾克”這種描述，但其實根本沒有。

而且光是這種事實性錯誤倒還好，畢竟對一下原文就知道。

但更麻煩的是，它對模型內(nèi)部推理的描述也可能摻水，而這種描述很難外部驗證。

所以Anthropic自己用的時候也是當(dāng)線索讀，不當(dāng)事實讀，并且會用其他方法交叉驗證后才下結(jié)論。

另一個就是NLA很貴。

Anthropic提到，訓(xùn)練一個NLA，本質(zhì)上相當(dāng)于讓兩個大模型互相“對答案”做強化學(xué)習(xí)，成本非常高。

而且在真正使用時，NLA也特別“燒token”——

它每讀取一小段activation，都要額外生成幾百個token。Anthropic表示：

想拿它實時監(jiān)控一整個對話、或者在訓(xùn)練過程中做大規(guī)模監(jiān)控，目前算力上吃不消。

不過他們同時認(rèn)為，這些問題未來是有機會緩解的。

比如通過更輕量的模型、更高效的訓(xùn)練方法，或者只監(jiān)控關(guān)鍵activation，而不是全量分析。

NLA或許并不是唯一方案。未來真正重要的，可能不只是“AI能力有多強”，而是當(dāng)AI越來越強時，人類還能不能看懂它。

同樣值得一提的是，Anthropic這次沒把NLA攥在自己手里，而是選擇了開源。

他們把訓(xùn)練代碼掛上了GitHub，還和Neuronpedia合作做了交互式前端，任何人都能在線給幾個開源模型做“讀心”實驗。

P.S. Neuronpedia是一個專注于“機械可解釋性”研究的開放平臺。

One More Thing

老實說，NLA真正讓人觸動的地方，可能不是“我們終于能看懂AI了”，而是——

它竟然真的具備人類的某種意識特征，比如“心口不一”。

寫到這兒，說實話有點復(fù)雜。

我們這代人聊AI，聊了這么多年“有沒有意識”——靠猜、靠辯、靠從輸出里反推。這事兒一直懸在那兒，誰也說不清，誰也不敢說清。

而NLA的厲害之處在于，它沒去回答這個問題，但它把這個問題從哲學(xué)層面，拉到了可觀測的層面。

這意味著什么？意味著我們第一次不用再隔著一層玻璃看AI了。

它腦子里那點“小九九”，終于能被我們聽到一點了。

而知道AI在想什么，可能恰恰是未來人機共處的起點。

畢竟甭管是把酒言歡還是針鋒談判，搞清對方的想法，永遠是第一步。

開源地址：
https://github.com/kitft/natural_language_autoencoders
在線體驗地址：
https://t.co/8duHfPR1Jy