當(dāng)我們看到一只貓時(shí)，除了注意到它的外形和顏色，腦海里可能還會(huì)浮現(xiàn)出“貓”這個(gè)詞、出現(xiàn)的語境、聯(lián)想到它愛吃肉和喵喵叫等特性。這個(gè)看似自然又輕松的過程，其實(shí)背后，是大腦視覺等感知系統(tǒng)與語言系統(tǒng)之間正在進(jìn)行的一場(chǎng)高速、無聲的對(duì)話。

近日，北京大學(xué)朱毅鑫教授課題組、北京大學(xué)畢彥超教授課題組和山西醫(yī)科大學(xué)第一醫(yī)院王效春團(tuán)隊(duì)通過結(jié)合 AI 模型和大腦損傷患者的數(shù)據(jù)，發(fā)現(xiàn)語言其實(shí)是一副無形的智能眼鏡，時(shí)刻在悄悄修飾著我們看到的世界。我們可能以為視覺就是眼睛看到什么就是什么，但是這項(xiàng)成果說明了視覺從來都不是孤立的。事實(shí)上，當(dāng)我們?cè)诳磮D片的時(shí)候，其實(shí)不只是在看，而是在進(jìn)行被語言調(diào)制過的看。

朱毅鑫告訴 DeepTech：“這項(xiàng)工作的獨(dú)特之處在于結(jié)合了三類方法：一是腦成像技術(shù)，讓我們能夠觀測(cè)正常人的大腦活動(dòng)；二是腦損傷病人研究，提供了因果推斷的可能；三是 AI 模型幫助我們解釋觀察到的現(xiàn)象。這是第一次將這三個(gè)學(xué)科視角融合在一起，為一個(gè)經(jīng)典爭(zhēng)議提供了實(shí)證依據(jù)。過去大家多是寫論文辯論，而現(xiàn)在我們有了數(shù)據(jù)、模型和病人證據(jù)，這是一個(gè)范式上的進(jìn)步。”

畢彥超補(bǔ)充稱：“我們最近牽頭了一項(xiàng)國(guó)家重點(diǎn)研發(fā)項(xiàng)目，希望在此基礎(chǔ)上開展更大規(guī)模的研究，結(jié)合更豐富的行為學(xué)數(shù)據(jù)，不僅限于特定任務(wù)?！?/p>

圖 | 從左到右：朱毅鑫、畢彥超、王曉莎、陳昊揚(yáng)（來源：受訪者）

AI 是否擁有人腦某些關(guān)鍵特征？

據(jù)了解，語言至少可以通過兩種方式來參與視覺加工：第一種是貼標(biāo)簽，當(dāng)我們知道某個(gè)物體叫做蘋果的時(shí)候，這個(gè)詞匯會(huì)幫助我們快速地歸類，并針對(duì)蘋果和梨做出區(qū)分；第二種是編織關(guān)系網(wǎng)，一些句子級(jí)別的描述比如螞蟻搬著面包屑會(huì)把物體放入情境和關(guān)系之中，這種關(guān)系網(wǎng)絡(luò)也會(huì)影響視覺皮層對(duì)于圖像的處理。

這項(xiàng)成果證明了人類的視覺不是被動(dòng)的攝像，而是主動(dòng)的、與語言系統(tǒng)實(shí)時(shí)互動(dòng)的構(gòu)建過程。我們看到的，不僅是光線和形狀，還有大腦使用語言和經(jīng)驗(yàn)潤(rùn)色之后的理解。這也解釋了為什么不同語言文化背景的人對(duì)于顏色、空間的感知可能略有不同。

目前的 AI 依然強(qiáng)大，但依然是一個(gè)黑箱，我們很難理解它們內(nèi)部的決策過程，而這次成果提供了一種新思路：通過比較 AI 與大腦的響應(yīng)模式，并借助腦損傷患者的自然實(shí)驗(yàn)，即可判斷一個(gè) AI 是否真的具備了人腦的某些關(guān)鍵特征。未來，我們或許能夠設(shè)計(jì)出更像人腦的 AI，它們不僅能看能說，還能像人一樣使用語言來思考所看見的世界。

同時(shí)，此次成果還可以促進(jìn)腦損傷患者的康復(fù)，即理解語言與視覺的交互機(jī)制，也有助于為中風(fēng)患者或者腦損傷患者設(shè)計(jì)更加有效的認(rèn)知康復(fù)方案。如果我們知道哪些連接影響了患者的視覺理解，就可以有針對(duì)性地進(jìn)行訓(xùn)練，幫助他們重建大腦內(nèi)部的對(duì)話。

而未來的教育、設(shè)計(jì)和人機(jī)交互等領(lǐng)域，也可以從本次成果中獲得受益。如果知道語言是如何塑造視覺的，那么就可以設(shè)計(jì)更加符合大腦處理習(xí)慣的信息呈現(xiàn)方式，比如在教育中使用圖文并茂且語境豐富的材料，以此來促進(jìn)更深層次的理解與記憶。

人類所謂的看見，從來都不是孤獨(dú)的感官體驗(yàn)，實(shí)際上是一場(chǎng)大腦多部門聯(lián)手的大合唱，這能為人類對(duì)于大腦的認(rèn)知帶來的新見解，也為開發(fā)更加接近人腦的智能機(jī)器提供了關(guān)鍵線索。

（來源：https://www.nature.com/articles/s41562-025-02357-5）

朱毅鑫說道：“從 AI 角度看，這項(xiàng)研究為我們提供了一種與腦科學(xué)結(jié)合的新思路。以前很多跨學(xué)科合作停留在數(shù)據(jù)層面，AI 充當(dāng)數(shù)據(jù)分析工具。這次則是讓 AI 模型進(jìn)入循環(huán)，與人腦實(shí)驗(yàn)相互反饋，共同解構(gòu)一個(gè)科學(xué)問題。”

畢彥超則表示：“從基礎(chǔ)科研角度，我們一直希望把機(jī)制搞清楚，從而更好地服務(wù)應(yīng)用。如果語言對(duì)認(rèn)知的影響比我們想象的更深，那么我們可以通過語言更有效地進(jìn)行教育、促進(jìn)智能發(fā)展，甚至干預(yù)情緒障礙。

此外，與臨床團(tuán)隊(duì)的合作讓我們看到，腦損傷后除了運(yùn)動(dòng)障礙，認(rèn)知障礙比如理解困難和語言障礙同樣會(huì)嚴(yán)重影響患者生活。理解語言與感知的關(guān)系，可能為認(rèn)知障礙的診斷與康復(fù)提供新思路。”

用 AI 解析人腦，再用人腦實(shí)驗(yàn)驗(yàn)證 AI

研究中，本次團(tuán)隊(duì)使用了 OpenAI 此前打造的 CLIP 模型，這是一種基于對(duì)比學(xué)習(xí)的多模態(tài)預(yù)訓(xùn)練模型，可以將圖像與文本語義進(jìn)行對(duì)齊。它和我們熟悉的圖像識(shí)別 AI 有所不同，它不僅學(xué)習(xí)識(shí)別圖片中的物體比如貓和狗，還同時(shí)學(xué)習(xí)與這些圖片配對(duì)的文字描述，也就是說 CLIP 是在圖文并茂的環(huán)境中訓(xùn)練出來的。

研究中，本次團(tuán)隊(duì)將 CLIP 和 ResNet 以及 MoCo 這兩種模型進(jìn)行的對(duì)比。ResNet 是一個(gè)只能學(xué)習(xí)給圖片打標(biāo)簽比如貓或者狗的模型，是一個(gè)傳統(tǒng)的圖像分類模型；MoCo 是一個(gè)可以完全自學(xué)的模型，只需通過比較圖片之間的相似度即可完成學(xué)習(xí)，無需文字描述的幫助。

他們讓這幾款模型去猜測(cè)人類大腦視覺皮層在看到圖片時(shí)的活動(dòng)模式。結(jié)果發(fā)現(xiàn)，與另外兩種模型相比，引入句子描述的 CLIP 模型能額外解釋人腦視覺區(qū)域的神經(jīng)響應(yīng)。這種優(yōu)勢(shì)在左腦更加明顯，而左腦正是人類語言功能的主要區(qū)域。這意味著，像 CLIP 這樣融合了語言訓(xùn)練的 AI，其內(nèi)部處理信息的方式可能更加接近人腦，人腦在觀看東西的時(shí)候并非單純地照相，而是同步調(diào)用了語言知識(shí)和經(jīng)驗(yàn)來理解視覺信息。

畢彥超表示，一般人很難理解自己的思維是如何工作的，因?yàn)槲覀兘邮盏男畔⒒祀s，主觀感受不一定可靠。通過腦成像技術(shù)，學(xué)界過去二三十年可以直接觀測(cè)大腦；通過腦損傷病人，本次團(tuán)隊(duì)則可以看系統(tǒng)一部分損壞后，其余功能是如何變化的；再借助像 CLIP 這樣的視覺-語言模型則可以剝離哪些是純視覺處理，哪些受到語言影響。這就形成了一個(gè)科學(xué)閉環(huán)：用 AI 解析人腦，再用人腦實(shí)驗(yàn)驗(yàn)證 AI。

（來源：https://www.nature.com/articles/s41562-025-02357-5）

語言確實(shí)會(huì)影響視覺理解

朱毅鑫表示，關(guān)于語言與其他認(rèn)知能力比如思維、視覺之間的關(guān)系。傳統(tǒng)上分為兩派：一派認(rèn)為語言與視覺等認(rèn)知功能完全獨(dú)立，語言可能是后期發(fā)展的，與思維并不耦合；另一派認(rèn)為二者緊密相關(guān)。2025 年，《Nature》的一篇綜述代表了當(dāng)前的主流共識(shí)：語言更多只是交流工具，而非影響我們?nèi)绾慰词澜缗c思考問題的關(guān)鍵因素。我們的研究表明，這一認(rèn)識(shí)可能需要被重新審視：語言可能正在影響我們的視覺理解。你如何看待事物、大腦如何處理視覺信息，實(shí)際上受到語言的調(diào)節(jié)。而本次研究則提供了相反的證據(jù)，證明語言確實(shí)會(huì)影響視覺理解，你如何看待事物、大腦如何處理視覺信息，實(shí)際上受到語言的調(diào)節(jié)。

畢彥超則表示，從心理學(xué)研究者的視角來看，人們一直關(guān)注這樣一個(gè)本質(zhì)問題：思維究竟受什么影響？語言是否影響思維？這既是心理學(xué)、哲學(xué)的核心問題，也具有廣泛的實(shí)際意義。如果語言深刻影響思維，那么我們?nèi)绾胃玫剡\(yùn)用語言來促進(jìn)思維發(fā)展？如何設(shè)計(jì)更智能的模型？這個(gè)問題的爭(zhēng)議很大，有人認(rèn)為語言只是交流工具，有人則認(rèn)為語言塑造了一切認(rèn)知。

（來源：https://www.nature.com/articles/s41562-025-02357-5）

本次團(tuán)隊(duì)的優(yōu)勢(shì)在于，可以通過實(shí)證方式即觀察大腦活動(dòng)、結(jié)合行為實(shí)驗(yàn)來回答這個(gè)問題，而不只是停留在思辨層面。談及研究過程，畢彥超回憶稱：“本次課題也是我和朱老師都關(guān)注基本科學(xué)問題，且持開放態(tài)度?！?/p>

具體背景是：山西醫(yī)科大學(xué)的一位醫(yī)生此前在畢彥超這里讀博，他們一直認(rèn)為腦損傷病人是研究人腦機(jī)制的重要手段。但要深入剝離語言與視覺在神經(jīng)層面的交互，傳統(tǒng)方法受限。“我和朱老師一直保持交流，都意識(shí)到需要新方法。合作持續(xù)了三年多，中間也有過分析困難、數(shù)據(jù)復(fù)雜的階段，但通過耐心磨合，最終取得了突破。”畢彥超表示。

問到通過這次合作給自己帶來了怎樣的啟發(fā)，朱毅鑫表示首先要糾正一個(gè)誤區(qū)：AI 與心理學(xué)并非無關(guān)。AI 的核心算法比如反向傳播、強(qiáng)化學(xué)習(xí)大多源于認(rèn)知科學(xué)領(lǐng)域的研究。AI 的初衷是模仿人類智能?！斑@次合作再次提示我們，AI 與心理學(xué)本質(zhì)同源，應(yīng)更緊密地結(jié)合。對(duì)于領(lǐng)域來說，這是一個(gè)重要的觀念沖擊。”他表示。

畢彥超補(bǔ)充稱，AI 對(duì)心理學(xué)不僅是工具，更是幫助我們外化、厘清人類認(rèn)知機(jī)制的方式。心理學(xué)研究大腦如何產(chǎn)生心理過程，這本身就是一個(gè)計(jì)算過程。以前兩個(gè)學(xué)科關(guān)注點(diǎn)不同，科學(xué)語言也不同，現(xiàn)在時(shí)機(jī)成熟，應(yīng)該更深入融合。這實(shí)際上是一種逆向工程人腦的過程，最終希望能制造出更接近人類智能的模型。

（來源：https://www.nature.com/articles/s41562-025-02357-5）

談及未來計(jì)劃，畢彥超表示其和合作者計(jì)劃將這一框架拓展，系統(tǒng)研究語言在人類發(fā)展、智能成長(zhǎng)過程中如何與視覺、運(yùn)動(dòng)系統(tǒng)交互。最終目標(biāo)是理解人腦多模態(tài)整合的機(jī)制，并將其應(yīng)用于機(jī)器人系統(tǒng)，實(shí)現(xiàn)真正意義上的具身智能。目前機(jī)器人運(yùn)動(dòng)笨拙，大模型無法與之有效結(jié)合，而人腦的語言-運(yùn)動(dòng)交互是無縫的。其希望揭示這種交互機(jī)制，推動(dòng)機(jī)器人智能的發(fā)展。

朱毅鑫則指出，從 AI 角度看，當(dāng)前多模態(tài)研究缺乏機(jī)制理解，單純堆數(shù)據(jù)難以實(shí)現(xiàn)突破。人腦能夠從小樣本中快速學(xué)習(xí)，語言提供的抽象概念可能是關(guān)鍵。因此，他希望能夠探索人腦如何利用語言實(shí)現(xiàn)高效學(xué)習(xí)，并將這一機(jī)制用于 AI 訓(xùn)練范式，實(shí)現(xiàn)小樣本下的復(fù)雜概念學(xué)習(xí)。

參考資料：

相關(guān)論文 https://www.nature.com/articles/s41562-025-02357-5

運(yùn)營(yíng)/排版：何晨龍