從模仿父母揮手，到觀看視頻學(xué)會(huì)一道新菜，人們似乎天生就擁有一種“看樣學(xué)樣”的神奇能力。這背后隱藏著大腦的一項(xiàng)深刻機(jī)制，而它的發(fā)現(xiàn)，要從一個(gè)關(guān)于猴子和花生的故事說(shuō)起。上世紀(jì)90年代，鏡像神經(jīng)元這一偶然發(fā)現(xiàn)，揭示了生物智能的深刻奧秘：“看別人”與“自己做”并非各自為營(yíng)，而是通過(guò)一個(gè)鏡像系統(tǒng)被緊密地聯(lián)系在一起。然而，當(dāng)前的人工智能卻常常忽略這一點(diǎn)，割裂了動(dòng)作理解與具身執(zhí)行的內(nèi)在聯(lián)系。我們不禁要問(wèn)：在深度神經(jīng)網(wǎng)絡(luò)內(nèi)部，這種“看”與“做”的神經(jīng)表征之間，是否也存在著類似鏡像神經(jīng)元的“自發(fā)默契”？更進(jìn)一步地，我們能否設(shè)計(jì)一種機(jī)制來(lái)主動(dòng)加強(qiáng)這種聯(lián)系，讓 AI 的理解與行動(dòng)像生物一樣相互啟迪、協(xié)同進(jìn)化？

論文標(biāo)題： Embodied Representation Alignment with Mirror Neurons 論文鏈接： https://arxiv.org/abs/2509.21136

上世紀(jì)90年代，神經(jīng)科學(xué)家在研究獼猴大腦時(shí)有了一個(gè)偶然卻意義深遠(yuǎn)的發(fā)現(xiàn)：他們觀察到，當(dāng)猴子伸手抓取花生時(shí)，其大腦運(yùn)動(dòng)皮層的特定神經(jīng)元會(huì)放電；而當(dāng)它僅僅是看著研究人員做同樣的動(dòng)作時(shí)，這些神經(jīng)元竟然也同樣活躍起來(lái)。這便是鏡像神經(jīng)元（Mirror Neurons）的首次發(fā)現(xiàn)。隨后的研究在人類大腦中也發(fā)現(xiàn)了類似的系統(tǒng)。這一發(fā)現(xiàn)意義非凡，科學(xué)家們進(jìn)一步猜想，這套鏡像系統(tǒng)可能正是我們模仿學(xué)習(xí)、理解他人意圖甚至產(chǎn)生共情能力的基礎(chǔ)。它構(gòu)成了連接感知與行動(dòng)的天然橋梁，使我們得以設(shè)身處地、感同身受。

圖1. 鏡像神經(jīng)元的經(jīng)典圖示：無(wú)論是自己做（左），還是看著別人做（右），猴子大腦的同一區(qū)域都表現(xiàn)出相似的神經(jīng)活動(dòng)。

這一生物機(jī)制是具身認(rèn)知（Embodied Cognition）理論的有力佐證，它揭示了一個(gè)核心思想：認(rèn)知并非獨(dú)立于身體的抽象計(jì)算，而是深深根植于身體與環(huán)境的物理交互之中，簡(jiǎn)而言之，我們的理解源自于我們行動(dòng)的能力。然而，當(dāng)前的人工智能研究常常并非如此，將用于觀察的動(dòng)作理解（Action Understanding）與用于行動(dòng)的具身執(zhí)行（Embodied Execution）作為兩個(gè)獨(dú)立的任務(wù)來(lái)處理，從而忽視了它們之間潛在的協(xié)同作用。這種分離忽視了它們之間深刻的相互依存關(guān)系：理解為行動(dòng)提供藍(lán)圖，指導(dǎo)技能學(xué)習(xí)；而行動(dòng)則通過(guò)第一手的實(shí)踐經(jīng)驗(yàn)，反過(guò)來(lái)修正和深化理解。實(shí)際上，二者本應(yīng)構(gòu)成一個(gè)不斷強(qiáng)化的良性循環(huán)：就像學(xué)徒需要觀察師傅（理解）來(lái)指導(dǎo)實(shí)踐，也需要通過(guò)親手實(shí)踐（執(zhí)行）中獲得的感悟，反過(guò)來(lái)更深刻地看懂師傅的門(mén)道。

圖2. 鏡像神經(jīng)元的核心作用：它提供了一套共通的神經(jīng)表征，使得“觀察”他人動(dòng)作（左）與“執(zhí)行”自身動(dòng)作（右）之間建立了深刻的內(nèi)在聯(lián)系。

正是這種現(xiàn)狀與生物智能的割裂，促使我們提出了兩個(gè)核心的研究問(wèn)題：

• 首先，在沒(méi)有顯式引導(dǎo)的情況下，為觀察和行動(dòng)而獨(dú)立訓(xùn)練的模型，其內(nèi)部神經(jīng)表征是否會(huì)自發(fā)地產(chǎn)生對(duì)齊？

• 其次，如果存在這種對(duì)齊，我們能否設(shè)計(jì)一種機(jī)制來(lái)主動(dòng)加強(qiáng)它，并借此反過(guò)來(lái)提升兩個(gè)任務(wù)的性能？

我們首先進(jìn)行了一項(xiàng)探索性實(shí)驗(yàn)。我們分別獨(dú)立訓(xùn)練兩個(gè)模型：一個(gè)用于從視頻中理解動(dòng)作，另一個(gè)用于控制機(jī)器人執(zhí)行指令。我們通過(guò)對(duì)齊探測(cè)（Alignment Probing）方法分析它們?cè)谔幚硐嗤蝿?wù)時(shí)的內(nèi)部神經(jīng)表征，等價(jià)于估計(jì)兩者的互信息。

圖3. 我們首先凍結(jié)兩個(gè)獨(dú)立訓(xùn)練的動(dòng)作理解和具身執(zhí)行模型，并測(cè)量其表征對(duì)齊程度。

我們觀察到一些有趣的現(xiàn)象：

• 發(fā)現(xiàn)1：我們發(fā)現(xiàn)，即使沒(méi)有經(jīng)過(guò)任何協(xié)同訓(xùn)練，這兩個(gè)模型在處理語(yǔ)義上相同的任務(wù)時(shí)，其神經(jīng)表征會(huì)自然地表現(xiàn)出一定的相似性。

• 發(fā)現(xiàn)2：我們進(jìn)一步發(fā)現(xiàn)，這種默契的程度與任務(wù)表現(xiàn)直接相關(guān)。對(duì)于兩個(gè)模型而言，其任務(wù)成功集合的表征相似度顯著更高。

圖4. 模型表征對(duì)齊探測(cè)結(jié)果。 左圖： 對(duì)齊程度在模型訓(xùn)練過(guò)程中的變化趨勢(shì)。右圖： 針對(duì)兩個(gè)預(yù)訓(xùn)練模型，分別在其任務(wù)成功和失敗的子集上計(jì)算出的對(duì)齊程度。

這些發(fā)現(xiàn)驗(yàn)證了我們的初步猜想：觀察與行動(dòng)之間確實(shí)存在著深刻的內(nèi)在聯(lián)系。這也促使我們思考，如何將這種自發(fā)的聯(lián)系轉(zhuǎn)化為一種有目的的設(shè)計(jì)。

三、鏡像神經(jīng)元啟發(fā)的表征對(duì)齊

基于上述洞察，我們?cè)O(shè)計(jì)了一個(gè)統(tǒng)一的學(xué)習(xí)框架，其核心是表征對(duì)齊（Representation Alignment），也就是讓兩個(gè)模型在學(xué)習(xí)時(shí)，學(xué)會(huì)用一種更共通的內(nèi)部語(yǔ)言來(lái)描述同一個(gè)動(dòng)作。

圖5. 受鏡像神經(jīng)元啟發(fā)，我們讓 AU 與 EE 模型在優(yōu)化各自任務(wù)的同時(shí)，通過(guò)兩個(gè)線性層對(duì)齊內(nèi)部表征。

為此，我們?cè)趧?dòng)作理解（AU）和具身執(zhí)行（EE）兩個(gè)模型之間，加入了一個(gè)由兩個(gè)線性層構(gòu)成的輕量級(jí)對(duì)齊模塊，將其內(nèi)部表征映射到一個(gè)共享的特征空間。然后采用對(duì)比學(xué)習(xí)（Contrastive Learning），在處理相同動(dòng)作時(shí)（例如“把杯子放在架子上”）鼓勵(lì)它們的內(nèi)部表征在特征空間中相互靠近，而不同動(dòng)作的表征則互相遠(yuǎn)離。我們將這個(gè)對(duì)齊目標(biāo)與兩個(gè)模型各自的原始任務(wù)目標(biāo)結(jié)合，進(jìn)行端到端的聯(lián)合訓(xùn)練。從信息論的視角來(lái)看，我們證明這個(gè)對(duì)齊過(guò)程等價(jià)于最大化兩個(gè)模型表征之間的互信息（Mutual Information）。通過(guò)這種方式，我們的框架促使觀察到的視覺(jué)信息與執(zhí)行該動(dòng)作所需的物理知識(shí)相互印證和補(bǔ)充，從而學(xué)習(xí)到更魯棒、更全面的動(dòng)作表征。

四、實(shí)驗(yàn)成果：雙任務(wù)性能協(xié)同提升

圖6. 鏡像神經(jīng)元設(shè)計(jì)讓 AI 的動(dòng)作更精準(zhǔn)，尤其是在復(fù)雜的精細(xì)操作上，效果明顯優(yōu)于傳統(tǒng)基線模型。

實(shí)驗(yàn)結(jié)果證明了所提出框架的有效性：

• 動(dòng)作理解更精準(zhǔn)：得益于具身執(zhí)行經(jīng)驗(yàn)的引入，動(dòng)作理解模型的識(shí)別準(zhǔn)確率從71.6%提升到74.9%。

• 機(jī)器人執(zhí)行更可靠：在包含18個(gè)任務(wù)的復(fù)雜機(jī)器人操控基準(zhǔn)測(cè)試中，把基線方法平均成功率從85.3%提升到88.8%，尤其在需要精細(xì)操作的任務(wù)上改進(jìn)更為明顯。

• 表征質(zhì)量更高：通過(guò)可視化分析，我們發(fā)現(xiàn)經(jīng)過(guò)對(duì)齊訓(xùn)練后，不同動(dòng)作的表征在特征空間中形成了更清晰、有序的聚類，證明我們的方法能學(xué)習(xí)到更好的特征解耦，從而提升了模型的泛化能力。

圖7. 鏡像神經(jīng)元對(duì)齊后的模型，相同任務(wù)（同色點(diǎn)）的內(nèi)部表征聚類更緊密，不同任務(wù)間的界限也更清晰。 五、總結(jié)

在這項(xiàng)工作中，我們受鏡像神經(jīng)元的啟發(fā)，提出了一個(gè)連接 AI 感知與行動(dòng)的統(tǒng)一表征學(xué)習(xí)框架。我們的研究表明，這兩項(xiàng)能力并非孤立的，而是可以通過(guò)共享表征實(shí)現(xiàn)相互協(xié)同、共同進(jìn)化。我們相信這項(xiàng)工作為構(gòu)建更接近生物智能的具身認(rèn)知系統(tǒng)提供了有價(jià)值的參考。

作者：朱文韜 來(lái)源：公眾號(hào)【北京大學(xué)前沿計(jì)算研究中心】

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門(mén)創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門(mén)”

將門(mén)是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門(mén)成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門(mén)”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈