導(dǎo)語

人工智能在許多科學(xué)和工程應(yīng)用中取得了巨大的進展。在這篇綜述中，作者梳理了近年來大腦-行為聯(lián)合建模，重點在方法的創(chuàng)新、科學(xué)與工程的動機、以及未來突破的關(guān)鍵領(lǐng)域。作者討論了這些工具如何揭示大腦與行為之間的共享結(jié)構(gòu)，以及它們?nèi)绾斡糜诳茖W(xué)和工程目的。文章強調(diào)了目標(biāo)各異的三大類范式——判別式、生成式和對比式——正在塑造聯(lián)合建模的方法。此外，作者討論了行為學(xué)分析方法的最新進展，包括姿勢估計、分層行為分析以及多模態(tài)語言模型，這些方法能夠影響下一代聯(lián)合模型。最后，作者提出在推動聯(lián)合建模方法發(fā)展的過程中，不應(yīng)只關(guān)注模型性能，還應(yīng)系統(tǒng)性地考慮模型的可信度與可解釋性指標(biāo)。

關(guān)鍵詞：聯(lián)合建模（Joint model）、神經(jīng)-行為動力學(xué)（Neural-behavioral dynamics）、人工智能（Artificial intelligence）、生成模型（Generative model）、行為分析（Behavioral analysis）、可解釋性（interpretabality）

周驍俊丨作者

趙思怡丨審校

論文題目：Joint modelling of brain and behaviour dynamics with artificial intelligence 論文鏈接：https://www.nature.com/articles/s41583-025-00996-1 發(fā)表時間：2025年12月3日 論文來源：Nature review Neuroscience

神經(jīng)科學(xué)為什么需要聯(lián)合建模

過去十多年，神經(jīng)科學(xué)經(jīng)歷了一場前所未有的數(shù)據(jù)革命。一方面，大規(guī)模電生理、鈣成像等技術(shù)，使研究者可以同時記錄成百上千甚至上百萬個神經(jīng)元的活動；另一方面，高分辨率視頻、姿態(tài)估計和自動化行為分析方法，也讓行為不再只是幾個粗略標(biāo)簽，而成為可以被連續(xù)測量、精細(xì)刻畫的動態(tài)過程。

然而，數(shù)據(jù)的豐富并沒有自動帶來理解的飛躍。神經(jīng)活動本身高度高維、時變且噪聲復(fù)雜，而自然行為則連續(xù)、多尺度、層級化，很難用少數(shù)變量加以概括。長期以來，這兩類數(shù)據(jù)往往被分開分析：要么研究神經(jīng)群體活動的統(tǒng)計結(jié)構(gòu)，要么在預(yù)先定義好的行為標(biāo)簽上進行解碼。這種割裂式研究，越來越難以回答一個核心問題——大腦究竟是如何在時間上組織神經(jīng)活動，從而生成連貫、復(fù)雜的行為？

正是在這一背景下，大腦—行為聯(lián)合建模（joint brain–behaviour modelling）逐漸成為神經(jīng)科學(xué)中的一個關(guān)鍵方向。它試圖在同一統(tǒng)計與計算框架中，同時刻畫神經(jīng)活動與行為動態(tài)，從而揭示二者背后的共享結(jié)構(gòu)。

從“解碼行為”到“理解共享結(jié)構(gòu)”：聯(lián)合建模的思想轉(zhuǎn)變

在聯(lián)合建模的早期階段，研究目標(biāo)往往相當(dāng)直接：從神經(jīng)活動中預(yù)測行為。這一思路在腦機接口（Brain-machine interfaces, BMIs）等工程應(yīng)用中極為成功，也直觀地證明了神經(jīng)群體活動中確實包含豐富的行為相關(guān)信息。

但隨著模型能力不斷增強，一個問題逐漸顯現(xiàn)：預(yù)測得準(zhǔn)，并不等于理解得深。某些模型可以通過高度復(fù)雜、甚至生物學(xué)上并不合理的變換實現(xiàn)極高的解碼精度，卻很難告訴我們神經(jīng)系統(tǒng)內(nèi)部真正發(fā)生了什么計算。這也促使研究者開始重新思考聯(lián)合建模的目標(biāo)——與其只問“能不能預(yù)測行為”，不如進一步追問：神經(jīng)活動和行為是否共享某種可解釋的潛在結(jié)構(gòu)？

注意，作者在此之前特意澄清了一個前提：在聯(lián)合建模語境下，多層感知機、卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)、Transformer，乃至傳統(tǒng)的狀態(tài)空間模型，本質(zhì)上都只是實現(xiàn)建模目標(biāo)的工具，它們本身并不預(yù)設(shè)科學(xué)立場。真正決定模型科學(xué)含義的，并不是網(wǎng)絡(luò)結(jié)構(gòu)的外形，而是模型被要求學(xué)習(xí)什么樣的關(guān)系。

圖 1. 通常的神經(jīng)網(wǎng)絡(luò)架構(gòu)。a. 多層感知機（MLP），全連接層構(gòu)成的神經(jīng)網(wǎng)絡(luò)，可以學(xué)習(xí)輸入與輸出之間的復(fù)雜非線性映射關(guān)系，但代價需要大量參數(shù)。b. 卷積神經(jīng)網(wǎng)絡(luò)（CNN），通過在空間維度上應(yīng)用可學(xué)習(xí)的濾波器來處理網(wǎng)格結(jié)構(gòu)數(shù)據(jù)。c. 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），循環(huán)連接充當(dāng)網(wǎng)絡(luò)的記憶，使 RNN 能夠捕獲序列輸入數(shù)據(jù) x(t) 中的時間依賴性和模式，從而生成輸出 y(t)。d. Transformer 通過用自注意力機制取代循環(huán)連接，徹底改變了序列建模。這些機制同時計算序列中所有位置之間的關(guān)系，從而能夠在保持計算并行性的同時捕獲長程時間依賴性。e. 狀態(tài)空間模型通過將數(shù)據(jù)建模為具有隱藏狀態(tài)的連續(xù)時間動態(tài)系統(tǒng)，為序列處理提供了一種替代方法h(t)

人工智能方法如何重塑腦—行為建模框架

在上述基礎(chǔ)下，作者并沒有按照模型架構(gòu)對現(xiàn)有方法進行分類，而是根據(jù)模型在訓(xùn)練過程中被優(yōu)化的目標(biāo)，將當(dāng)前腦—行為聯(lián)合建模方法概括為三種基本路徑。

1. 判別模型：核心目標(biāo)是直接從神經(jīng)活動中解碼行為變量。模型將神經(jīng)放電模式映射到行為輸出，并通過均方誤差或交叉熵等損失函數(shù)進行訓(xùn)練。隨著 Transformer 等模型被引入神經(jīng)數(shù)據(jù)分析，這類方法在建模長時間依賴和復(fù)雜時序結(jié)構(gòu)方面取得了顯著進展，在腦機接口等工程應(yīng)用中表現(xiàn)尤為突出。但作者同時指出，這類模型的內(nèi)部表示高度依賴具體任務(wù)目標(biāo)，盡管預(yù)測性能很高，卻難以被解釋為神經(jīng)系統(tǒng)的內(nèi)在計算狀態(tài)。

1. 生成模型：試圖從另一個方向刻畫神經(jīng)—行為關(guān)系。通過引入潛在變量，并要求模型能夠從這些潛在表示中重建神經(jīng)活動，生成式模型將神經(jīng)群體活動理解為由某種低維動力系統(tǒng)生成的結(jié)果。LFADS 是這一方向的代表性工作，它能夠從單次試驗中推斷潛在神經(jīng)軌跡，并將其與行為或?qū)嶒灄l件聯(lián)系起來。然而，作者強調(diào)，生成式方法的核心張力在于其訓(xùn)練目標(biāo)：重建誤差所度量的相似性，并不一定對應(yīng)科學(xué)上真正關(guān)心的結(jié)構(gòu)。

1. 對比模型：對比學(xué)習(xí)為聯(lián)合建模提供了一條新路徑，它不再要求模型預(yù)測行為或重建神經(jīng)活動，而是通過構(gòu)造“相似”和“不相似”的樣本對，讓模型在潛在空間中自動組織數(shù)據(jù)結(jié)構(gòu)。在神經(jīng)數(shù)據(jù)中，時間鄰近性本身就為這種對比提供了天然信號。當(dāng)行為變量或其他模態(tài)被引入作為輔助約束時，模型可以直接學(xué)習(xí)與行為相關(guān)、且在數(shù)學(xué)上具有一致性的潛在表示。作者以 CEBRA 為例，指出這類方法在跨實驗、跨個體對齊神經(jīng)表示時具有獨特優(yōu)勢，并推動“可識別性”成為聯(lián)合建模中的核心概念。

圖 2. 三大類神經(jīng)行為動力學(xué)模型的架構(gòu)及原理。a. 判別類方法。b. 生成類方法。c. 對比類方法。

行為不再是標(biāo)簽：精細(xì)行為建模帶來的結(jié)構(gòu)性變化

聯(lián)合建模的另一半，是行為本身的表示方式。作者明確指出，如果行為變量仍然停留在少數(shù)離散標(biāo)簽層面，再復(fù)雜的神經(jīng)模型也難以揭示真正的腦—行為關(guān)系。

圖 3. 層級行為分析。a. 問題設(shè)定和解決方案：定位、姿態(tài)、動作理解、重新識別(和)場景級標(biāo)注。b. 小鼠行為的層級分解，涵蓋三個層次：活動、動作和運動基元。

在自然環(huán)境中，行為并不是孤立事件，而是呈現(xiàn)出清晰的層級結(jié)構(gòu)：從較長時間尺度的活動（activity），到中間層級的動作（action），再到最基本的運動基元（motion primitive）。目前的分析系統(tǒng)在將動物行為轉(zhuǎn)化為豐富、結(jié)構(gòu)化的數(shù)據(jù)流方面存在相對局限性，難以通過簡單的、人類可理解的查詢進行直接探究。近年來，基于深度學(xué)習(xí)的姿態(tài)估計和無監(jiān)督行為分析方法，使研究者能夠從視頻中提取連續(xù)、精細(xì)的運動軌跡，并在此基礎(chǔ)上自動發(fā)現(xiàn)行為結(jié)構(gòu)。這種從“標(biāo)簽行為”向“結(jié)構(gòu)化行為”的轉(zhuǎn)變，為腦—行為聯(lián)合建模提供了更高分辨率的參照系。

超越性能指標(biāo)：聯(lián)合模型真正的科學(xué)價值在哪里？

最后，作者討論從“如何建模”推進到“如何評估”。他們強調(diào)，在聯(lián)合建模中，僅僅比較解碼精度或重建誤差，已經(jīng)不足以衡量模型的科學(xué)價值。

表 1. 聯(lián)合腦-行為模型的評分卡

為此，作者提出了一套更全面的評估框架。除了性能指標(biāo)之外，模型在不同訓(xùn)練條件下是否保持一致，其潛在表示是否具有可識別性，對噪聲和數(shù)據(jù)缺失是否魯棒，以及模型內(nèi)部表示是否具有可解釋性，都應(yīng)成為評價的重要維度。這一“評分卡”不僅是技術(shù)層面的建議，也體現(xiàn)了一種研究立場：聯(lián)合建模的目標(biāo)，不應(yīng)只是預(yù)測正確，而應(yīng)是結(jié)構(gòu)可信。

當(dāng)模型開始對齊結(jié)構(gòu)，而不只是追求預(yù)測

聯(lián)合建模的價值，并不在于引入更復(fù)雜的模型，而在于重新校準(zhǔn)研究目標(biāo)：從追求預(yù)測精度，轉(zhuǎn)向理解結(jié)構(gòu)。當(dāng)模型學(xué)到的表示能夠在不同實驗與個體間保持一致，我們才有理由將其視為神經(jīng)系統(tǒng)的內(nèi)在狀態(tài)。理解大腦，最終取決于我們是否問對了問題。

神經(jīng)動力學(xué)模型讀書會

為了促進神經(jīng)科學(xué)、系統(tǒng)科學(xué)以及計算機科學(xué)等多領(lǐng)域?qū)W術(shù)工作者的交流合作，吸引更多朋友共同探索腦科學(xué)與類腦研究，周昌松、臧蘊亮、楊冬平、郭大慶、陳育涵、曹淼、劉泉影、王大輝、劉健、王鑫迪等來自國內(nèi)外多所知名高校的專家學(xué)者在集智俱樂部共同發(fā)起「 」讀書會，歷時四個月研討，近日圓滿結(jié)束。

本季讀書會形成了聚集500+成員的神經(jīng)動力學(xué)社區(qū)，積累了40+小時綜述、解讀、研討的視頻記錄，以及多篇社區(qū)成員總結(jié)的詞條、筆記、翻譯、科普資料等?，F(xiàn)在報名加入讀書會，即可加入社區(qū)交流討論（微信），并解鎖相關(guān)視頻、文本資料。我們對腦的探索才剛剛起航，歡迎你一道參與，共同點亮更多腦科學(xué)研究的島嶼！

詳情請見：

1.

2.

3.

4.

5.

6.

7.