PsyBrain 腦心前沿 | 公眾號(hào) PSY-Brain_Frontier

一鍵關(guān)注，點(diǎn)亮星標(biāo) ??

不錯(cuò)過(guò)每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息：

Title:Linguistic coupling between neural systems for speech production and comprehension during real-time dyadic conversations

發(fā)表時(shí)間：2025.12.17

Journal:Neuron

影響因子：15.0

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究動(dòng)機(jī)與背景

人類(lèi)語(yǔ)言的核心用途是在大腦間傳遞思想，在日常對(duì)話中，理解（聽(tīng)）與產(chǎn)生（說(shuō)）是交織在一起的，但以往的研究通常將這兩個(gè)功能隔離開(kāi)來(lái)，使用受控的、非交互的任務(wù)進(jìn)行觀察。雖然已有證據(jù)表明兩者之間存在共享的表征和機(jī)制，但由于缺乏對(duì)語(yǔ)言特征的顯式建模以及對(duì)實(shí)時(shí)互動(dòng)對(duì)話的研究，科學(xué)界一直無(wú)法精確測(cè)試這兩個(gè)系統(tǒng)在真實(shí)溝通中的重疊程度。此外，傳統(tǒng)的對(duì)比法或內(nèi)容無(wú)關(guān)的分析方法（如ISC）無(wú)法告知我們大腦間究竟“共享了什么內(nèi)容”。因此，作者試圖通過(guò)結(jié)合fMRI超掃描技術(shù)與大語(yǔ)言模型（LLM）的顯式特征建模，解決在自然互動(dòng)中語(yǔ)言產(chǎn)生與理解系統(tǒng)如何對(duì)齊這一關(guān)鍵科學(xué)問(wèn)題，這對(duì)于理解人類(lèi)溝通的神經(jīng)本質(zhì)具有重要意義。

實(shí)驗(yàn)設(shè)計(jì)與方法邏輯

作者提出了三個(gè)核心假設(shè)：

1. 語(yǔ)言產(chǎn)生和理解過(guò)程在語(yǔ)言網(wǎng)絡(luò)的中高層區(qū)域（如STG, IFG）會(huì)在功能調(diào)諧上實(shí)質(zhì)性重疊，而在早期的感知和運(yùn)動(dòng)區(qū)域重疊最少（Figure 1B）；

2. 雖然被動(dòng)聽(tīng)故事與對(duì)話中的主動(dòng)聽(tīng)存在共享的神經(jīng)調(diào)諧，但實(shí)時(shí)對(duì)話會(huì)依賴(lài)于一些聽(tīng)故事模型無(wú)法完全捕捉的獨(dú)特語(yǔ)言特征；

3. 第三，在大腦間的耦合分析中，預(yù)計(jì)語(yǔ)言區(qū)域會(huì)出現(xiàn)耦合，但耦合最強(qiáng)的區(qū)域可能是與社會(huì)認(rèn)知相關(guān)的區(qū)域。

Figure 1. Data collection and modeling framework

為了解決實(shí)時(shí)互動(dòng)中的語(yǔ)言對(duì)齊問(wèn)題，作者設(shè)計(jì)了一套基于fMRI超掃描的實(shí)驗(yàn)范式，同時(shí)記錄30對(duì)被試（共60人）進(jìn)行自由對(duì)話時(shí)的全腦活動(dòng)。作者引入了GPT-2大語(yǔ)言模型來(lái)提取對(duì)話文本的上下文詞嵌入（embeddings），將其作為顯式的語(yǔ)言特征空間，通過(guò)帶狀嶺回歸（banded ridge regression）建立從模型特征到BOLD信號(hào)的線性映射模型（即編碼模型）。這種方法的邏輯在于：通過(guò)LLM捕獲的高維語(yǔ)言結(jié)構(gòu)，可以量化語(yǔ)言產(chǎn)生和理解過(guò)程中神經(jīng)調(diào)諧（functional tuning）的相似性，從而超越簡(jiǎn)單的激活區(qū)對(duì)比。此外，作者還引入了被試被動(dòng)聽(tīng)故事的任務(wù)作為對(duì)照，用以區(qū)分“主動(dòng)交互”與“被動(dòng)理解”在神經(jīng)表征上的異同，并利用交叉驗(yàn)證和方差劃分（variance partitioning）等手段，確保LLM特征捕捉的是獨(dú)特的語(yǔ)言學(xué)信息，而非聲學(xué)或運(yùn)動(dòng)混淆項(xiàng)。

核心發(fā)現(xiàn)

語(yǔ)言產(chǎn)生與理解在全腦范圍內(nèi)高度重疊

Figure 2A可以看出，LLM特征在核心語(yǔ)言網(wǎng)絡(luò)（STG, IFG, MFG）以及高層區(qū)域（TPJ, PMC）均表現(xiàn)出顯著的預(yù)測(cè)性能。Figure 2B進(jìn)一步量化發(fā)現(xiàn)，各ROI中約80%的編碼性能可歸因于共享的功能調(diào)諧（Shared weights），證明了兩者共用一套統(tǒng)一的語(yǔ)言處理機(jī)制。

Figure 2. Within-subject speaking and listening encoding performance

對(duì)話環(huán)境能顯著提升神經(jīng)表征的預(yù)測(cè)力：

對(duì)比Figure 3發(fā)現(xiàn)，雖然從被動(dòng)聽(tīng)故事訓(xùn)練的模型可以部分推廣到對(duì)話任務(wù)中，但訓(xùn)練于對(duì)話數(shù)據(jù)的模型表現(xiàn)明顯更優(yōu)（理解提升41%，產(chǎn)生提升49%）。這表明實(shí)時(shí)對(duì)話中存在獨(dú)特的語(yǔ)言處理需求，如預(yù)測(cè)、響應(yīng)準(zhǔn)備和共同基準(zhǔn)（common ground）的建立。

Figure 3. Encoding models trained on passive listening partially generalize to neural responses during conversations

LLM上下文嵌入優(yōu)于傳統(tǒng)聲學(xué)或語(yǔ)音特征

Figure 4的方差劃分分析顯示，LLM捕獲的“上下文語(yǔ)義”在雙側(cè)大腦區(qū)域提供了超越聲學(xué)（Acoustic）和音位（Phonemic）特征的獨(dú)特解釋力，尤其是在高階腦區(qū)。

Figure 4. Model comparison and variance partitioning

大腦間的耦合主要由社會(huì)認(rèn)知腦區(qū)驅(qū)動(dòng)

Figure 5B展示了模型驅(qū)動(dòng)的大腦間耦合（Speaker-Listener coupling），發(fā)現(xiàn)最顯著的對(duì)齊出現(xiàn)在右側(cè)顳下回（pSTG）、顳頂節(jié)點(diǎn)（TPJ）和雙側(cè)前楔葉（PMC）。這些區(qū)域通常與心理理論和社交認(rèn)知相關(guān)，暗示了成功對(duì)話不僅依賴(lài)語(yǔ)言對(duì)齊，更依賴(lài)社交表征的對(duì)齊。

Figure 5. Model-based speaker-listener coupling

省流總結(jié)

本文探討了實(shí)時(shí)互動(dòng)對(duì)話中語(yǔ)言產(chǎn)生（說(shuō)）與理解（聽(tīng)）在神經(jīng)層面如何共存的問(wèn)題。作者利用fMRI超掃描技術(shù)實(shí)時(shí)記錄對(duì)話雙方的腦活動(dòng)，并創(chuàng)新性地利用大語(yǔ)言模型（GPT-2）作為語(yǔ)言中介特征空間。研究發(fā)現(xiàn)，說(shuō)與聽(tīng)在人類(lèi)語(yǔ)言網(wǎng)絡(luò)中共享了約80%的神經(jīng)調(diào)諧，證明了兩者共用一套統(tǒng)一的內(nèi)部表征。此外，研究揭示了實(shí)時(shí)對(duì)話比被動(dòng)聽(tīng)講更能激發(fā)深層的神經(jīng)處理，且對(duì)話雙方的大腦耦合主要發(fā)生在負(fù)責(zé)社交認(rèn)知和意圖理解的腦區(qū)。這一成果不僅深化了我們對(duì)語(yǔ)言神經(jīng)機(jī)制的理解，也強(qiáng)調(diào)了社交大腦在自然溝通中的核心作用。

AI銳評(píng)

該研究的亮點(diǎn)在于其卓越的“生態(tài)效度”，它跳出了實(shí)驗(yàn)室高度受控但死板的任務(wù)范式，直接在自由對(duì)話的動(dòng)態(tài)場(chǎng)景下捕捉大腦信號(hào)，并巧妙利用LLM解決了復(fù)雜語(yǔ)境下語(yǔ)言特征難以量化的難題。這種從“單腦受控”到“雙腦互動(dòng)”的跨越是神經(jīng)科學(xué)的重要趨勢(shì)。然而，研究也存在一定局限：fMRI較低的時(shí)間分辨率（1.5s TR）可能掩蓋了對(duì)話中快速切換的微觀神經(jīng)動(dòng)力學(xué)；此外，由于掃描環(huán)境限制，被試無(wú)法面對(duì)面交流且需按鍵切換麥克風(fēng)，這在一定程度上削弱了對(duì)話的自然性。盡管如此，這篇論文依然是計(jì)算神經(jīng)語(yǔ)言學(xué)領(lǐng)域的一項(xiàng)里程碑式工作。

請(qǐng)打分

這篇?jiǎng)倓偟巧?strong>Neuron的研究，是否實(shí)至名歸？我們邀請(qǐng)您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評(píng)論區(qū)分享您的深度見(jiàn)解。

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細(xì)節(jié)、統(tǒng)計(jì)結(jié)果與討論見(jiàn)原文及其拓展數(shù)據(jù)。

分享人：天天

審核：PsyBrain 腦心前沿編輯部