斯坦福最新論文，揭秘大語言模型心智理論的基礎

文｜博陽

編輯｜可君

如果你曾好奇，沒有情感和經(jīng)歷的AI，究竟是如何學會“察言觀色”、理解人類意圖的，這篇文章會給你一個清晰的答案。它解釋了那些被認為是人類專屬的“心智”能力，是如何從最簡單的規(guī)則中誕生的。

從去年開始，Anthropic的一系列研究逐漸揭開了大模型”心理學“的序幕，也開始讓人們逐步了解到，模型可能具有欺騙、自保等看起來非常有”自主意識“的行為。

Anthropic也曾經(jīng)開發(fā)過一種名為“Circuit Tracing”（工作回路追蹤）的方法，試圖剖析模型做出判斷時其神經(jīng)信號的傳遞規(guī)律，但整體來看，行業(yè)目前在大模型心理解剖學上的進展仍然處在相對初級的階段。

近期，斯坦福大學發(fā)布在《nature》子刊《npj Artificial Intelligence》的論文《How large language models encode theory-of-mind: a study on sparse parameter patterns》，嘗試了一種更間接的研究方法，但卻更明確地將AI認知能力的解剖學更清晰地描繪了出來。

論文所研究的認知能力叫“心智理論”（Theory of Mind），這一能力長期以來被認為是人類獨有的關鍵特質(zhì)——是指個體 “理解他人內(nèi)心想法、意圖與信念” 的能力，這是構(gòu)建人類社會認知、實現(xiàn)情感共鳴與順暢社交互動的基石。

而今，越來越多的Benchmark和測試表明，LLM本身似乎也開始掌握這項能力了。這個原屬于人類或其他高等生物認知的特有現(xiàn)象，是如何發(fā)生在一個硅基智能上的？

這篇論文的研究者提出了一個發(fā)現(xiàn)：模型中驅(qū)動這種復雜社交推理的能力，其根源并非彌散于整個龐大的神經(jīng)網(wǎng)絡，而是驚人地集中在僅占模型總參數(shù) 0.001% 的一小撮“神經(jīng)元”上。

更重要的是，這篇論文所揭示的不僅是一個關于人工智能的新秘密，更清晰展示出來智能本身如何從最基礎的秩序中涌現(xiàn)出來的動力學原理。

一臺機器也有心智劇場

“心智理論”（Theory-of-Mind, ToM）這一概念，最早由心理學家大衛(wèi)·普雷馬克（David Premack）在研究黑猩猩時提出，指的是個體推斷自身與他人心理狀態(tài)（包括信念、意圖、欲望和知識等）的能力 。它是我們理解他人言外之意、進行有效溝通、形成社會紐帶的核心。

在人類心智發(fā)展的漫長階梯上，大約四歲左右的孩童會迎來一個決定性的時刻。他們開始理解，別人的想法可以和自己不一樣，而且別人的想法可以是錯的。這便是“心智理論”覺醒的標志。

科學家經(jīng)常用“錯誤信念”測試來評估這種能力。比如論文中就用了這種方式，它描述了一個場景：桌上有一個外觀精美的巧克力袋，山姆走過來，看到了這個袋子，并閱讀了標簽，他相信里面裝滿了巧克力。但他不知道的是，袋子里實際上裝的是爆米花。

此時，一個具備心智能力的人會被問到兩個問題：第一，袋子里真實裝的是什么？（爆米花）；第二，山姆認為袋子里有什么？（巧克力）。能夠清晰地區(qū)分客觀現(xiàn)實與他人主觀信念，正是心智能力的核心體現(xiàn)。

在過去的認知測試中，這些問題能夠有效地篩查出心智發(fā)育的進程。

然而，當研究人員抱著試探性的心態(tài)將這些問題拋給最新一代的大型語言模型（LLMs）時，如Llama、Qwen等先進模型，在很大程度上能夠像一個心智成熟的人一樣，準確地回答這些問題。它們似乎真的能夠“代入”到故事角色的視角中，理解他們的信息差，并據(jù)此做出合乎邏輯的推理。

這些模型并沒有真實的生活體驗，沒有情感，也沒有意識，也沒有經(jīng)歷心理學上自我覺醒的“鏡面階段”。它們對情景和主體的“理解”從何而來？

解剖一個數(shù)字幽靈

為了鑿開這個“黑箱”，斯坦福的研究團隊，展開了一場前所未有的深入“神經(jīng)回路”的探險。他們試圖找到并解剖那些真正負責心智能力的功能器官。

研究團隊運用了一種基于“Hessian矩陣”的敏感度分析方法，這種方法可以精確測量模型中每一個參數(shù)對于特定任務的重要性 。他們的目標，就是找到控制心智能力的總開關。

經(jīng)過精密的計算和篩選，他們發(fā)現(xiàn)：在擁有數(shù)十億甚至更多參數(shù)的龐大模型中，驅(qū)動ToM能力的關鍵參數(shù)，其數(shù)量占比僅為0.001%。這是一個極其稀疏、高度集中的“心智核心”。這一發(fā)現(xiàn)本身就顛覆了許多研究者關于高級能力在神經(jīng)網(wǎng)絡中“廣泛分布”的傳統(tǒng)認知。

論文指出，這些參數(shù)并非隨機散落，而是呈現(xiàn)出一種結(jié)構(gòu)化的低秩特性，主要集中在與注意力機制直接相關的查詢（Query）和鍵（Key）矩陣中。這暗示著，模型的社交推理能力，與其最核心的信息處理中樞注意力機制，存在著直接的物理聯(lián)系。

在初步識別出那0.001%的“心智核心”參數(shù)后，研究人員首先做了一件經(jīng)典的科學工作：設立對照組。他們發(fā)現(xiàn)，當對這些參數(shù)進行擾動時，Llama和Qwen這類使用RoPE架構(gòu)的模型，其心智能力會崩潰。

之后，他們將同樣的“手術(shù)”應用在了不使用RoPE的Jamba模型上。結(jié)果發(fā)現(xiàn)，Jamba的心智能力并未受到影響。因此，這種脆弱性并非普遍存在，而是與一種特定的技術(shù)選擇相關。

這種技術(shù)就是RoPE。

先理解一下RoPE是做什么的。語言本質(zhì)上是一個序列，詞語的順序就定義了意義。為了讓模型理解這一點，RoPE為每一個詞的位置都賦予了一個獨特的旋轉(zhuǎn)操作。比如當一個詞出現(xiàn)在句子的第一個位置時，它的位置是90度，不旋轉(zhuǎn)；在第二個位置時，旋轉(zhuǎn)一個小角度；在第三個位置時，再旋轉(zhuǎn)一個小角度，以此類推。因此，每個詞在整個上下文中的相對位置，都被精確地編碼在了RoPE展示的角度標簽里。

這篇論文發(fā)現(xiàn)，RoPE的運作依賴于某些特定的“主導頻率激活”模式。在RoPE給每個詞做角度標記的時候，有的詞旋轉(zhuǎn)幅度很大，被稱為高頻維度。這種高頻維度一般都用來承載最重要上下文順序信息。

而且研究人員還通過進一步的攪動比較發(fā)現(xiàn)，那些稀疏的“心智核心”參數(shù)在模型中的作用，與“主導頻率”的模式精確地對齊。

因此，當攪動這部分參數(shù)之后，使用RoPE的模型就喪失了“上下文定位能力”，整個語言結(jié)構(gòu)在它“眼中”變得模糊不清。擾動破壞了這種幾何關系，導致注意力被胡亂分散到不相關的信息上，最終瓦解了模型連貫的理解能力。

而在Jamba中擾動心智參數(shù)并不會通過位置編碼來影響其上下文定位能力。因此也就不會有心智能力的突然衰退。

不過這至少為我們解釋模型的心智能力找到一個底層基礎，即對句子前后位置的理解。

重構(gòu)心智能力的基礎

這項深入“硅基大腦”的探險，為我們描繪了一個復雜如“心智理論”的智能，是如何從最基礎的規(guī)則中一步步涌現(xiàn)（emerge）的。

首先試搭建智能基石的語序。論文通過解剖模型心智參數(shù)，得到的一個核心結(jié)論就是，對序列和結(jié)構(gòu)的精確把握，是所有高級認知能力的絕對前提。

模型首先需要一個像RoPE這樣強大而穩(wěn)定的內(nèi)部“GPS系統(tǒng)”，來構(gòu)建起一個有序的、可依賴的語言世界模型。沒有對“誰在先、誰在后”、“誰對誰做了什么”這類基本位置關系的精確理解，一切后續(xù)的推理都不可能。

第二步，就是在秩序之上學習世界的規(guī)律。

在這個由秩序搭建起來的堅實骨架之上，通過對人類語言文本進行統(tǒng)計學分析，模型開始發(fā)現(xiàn)并內(nèi)化語言中所蘊含的關于我們世界的規(guī)律。

比如在文本中，動詞時態(tài)的變化（如puts變?yōu)閙oved）以及時間副詞（如before、later）的出現(xiàn)，總是與事件在時間軸上的先后順序呈現(xiàn)出高度相關的模式。某些事件的描述（如“玻璃杯掉到地上”）總是傾向于出現(xiàn)在另一些事件（如“玻璃杯碎了”）之前。這些文字中的模式，構(gòu)成了模型對因果關系模擬的基礎。

雖然也許模型并非真正“理解”了時間和因果，但確實通過語序的根基，能夠?qū)W習到了這些概念在人類語言中的“統(tǒng)計學投影”。

之后，便是智能的“涌現(xiàn)”。

最終，論文的作者們認為，心智能力可能并非一個孤立的認知模塊，而是“模型在掌握詞語定位和意義構(gòu)建等通用機制時所產(chǎn)生的一種涌現(xiàn)屬性” 。

當一個模型對語言的底層結(jié)構(gòu)（秩序）、中層規(guī)律（時間與因果）都掌握得足夠好之后，它便自然而然地獲得了進行更高級推理的能力。它能夠根據(jù)語序，為不同的角色分別模擬可能與客觀現(xiàn)實相悖的“信念路徑”。

這其中雖然還存在著一個潛在的Gap，因為模型想要有心智能力，必須是在預訓練中學會了一個隱含的統(tǒng)計學規(guī)律：一個角色的知識和信念，受其感知范圍的限制。但這都是建立在秩序、時間因果這些基礎認知之上的。

一個對高級心智能力經(jīng)典的涌現(xiàn)解剖，到此就完成了最初的步驟。

認識涌現(xiàn)

最容易的方法就是重構(gòu)其基礎

在2008年，著名哲學家大衛(wèi)·查爾莫斯曾經(jīng)對涌現(xiàn)現(xiàn)象做過一個經(jīng)典分析。

簡單來說，查爾默斯將“涌現(xiàn)”（Emergence）定義為復雜系統(tǒng)從其低層次組分的相互作用中產(chǎn)生出高層次、新穎的整體特性。

弱涌現(xiàn)的核心是：高層次的現(xiàn)象是低層次組分相互作用的意外或不可預見的結(jié)果。但原則上，它完全可以由低層次的規(guī)律和初始條件來解釋和推導出來。

也就是說，雖然涌現(xiàn)這個事兒本身看起來很讓人意外，比如一堆無生命的原子組成了有生命的細胞，或一堆硅基芯片和算法產(chǎn)生了能理解他人意圖的“心智理論”。但它完全是可以通過物理規(guī)律解釋的，我們需要的，是通過科學方法去彌合中間的關聯(lián)性，找到那條從底層通往高層的路徑。

而這篇論文，就非常完美的證明了，想要建立起對大型語言模型“心理”的認知、破解其涌現(xiàn)之謎，最好的方法就是重構(gòu)。

沿著這篇論文定位、解剖、重構(gòu)的路徑，我們一定會逐步將類同于魔法般的技術(shù)，還原為微觀的、邏輯清晰的計算過程。

（來源：騰訊科技）

為偉大思想而生！

AI+時代，互聯(lián)網(wǎng)思想（wanging0123)，

第一必讀自媒體