作者丨論文團隊

編輯丨ScienceAI

上海人工智能實驗室（上海 AI 實驗室）聯(lián)合清華大學(xué)、劍橋大學(xué)等合作單位，正式發(fā)布 BrainOmni—— 全球首個統(tǒng)一 腦電（EEG）與腦磁（MEG）的大腦基礎(chǔ)模型。BrainOmni 通過一種新注意力機制，模擬了腦科學(xué)中源重構(gòu)算法的前向過程，并且首次利用傳感器的真實物理屬性（坐標、方向、類型）替代通道命名，從而實現(xiàn)跨設(shè)備、跨模態(tài)兼容。通過 1997 小時 EEG 和 656 小時 MEG 的大規(guī)模自監(jiān)督預(yù)訓(xùn)練，BrainOmni 在 9 項下游任務(wù)上超越現(xiàn)有基礎(chǔ)模型與專用模型，并在未見過的設(shè)備上展現(xiàn)強零樣本泛化能力。工作自發(fā)布以來，收到了來自牛津大學(xué)、劍橋大學(xué)、法國國家科學(xué)研究中心、荷蘭 Radboud 大學(xué)、美國著名可穿戴腦磁圖企業(yè)等的關(guān)注與合作邀請。

論文鏈接：https://arxiv.org/abs/2505.18185

開源鏈接：https://github.com/OpenTSLab/BrainOmni

BrainOmni: 統(tǒng)一 EEG-MEG 的腦基礎(chǔ)模型

神經(jīng)元活動是大腦功能的主要載體，對其精確的測量與理解對探究大腦思考過程、多模態(tài)刺激下的信息解碼、神經(jīng)疾病診斷等任務(wù)至關(guān)重要。腦電圖（EEG）和腦磁圖（MEG）通過記錄神經(jīng)電流引發(fā)的二次電流及磁場，間接測量大腦內(nèi)部的活動，是兩種相對安全便利的非侵入式測量手段，具有廣闊的拓展與應(yīng)用前景。

盡管 EEG 與 MEG 同源于神經(jīng)電流激發(fā)的電磁場，二者長期以來多被分開建模。且由于腦電磁設(shè)備的異構(gòu)特性（通道數(shù)、布局、朝向、傳感器類型），過往的模型往往只能應(yīng)用于特定的數(shù)據(jù)集 / 設(shè)備 / 任務(wù)，難以學(xué)習(xí)跨設(shè)備跨數(shù)據(jù)集的泛化知識。近來，一些 EEG 基礎(chǔ)模型對腦電信號的大規(guī)模預(yù)訓(xùn)練進行了探索，然而這些模型大多仍依賴特定的通道命名系統(tǒng)，無法真正兼容全部的腦電數(shù)據(jù)。同時盡管 MEG 有比 EEG 更高的時空精度，因復(fù)雜性高且公開數(shù)據(jù)稀缺，還缺少基礎(chǔ)模型的探索。

BrainOmni 首次在統(tǒng)一特征空間內(nèi)對 EEG 與 MEG 進行聯(lián)合預(yù)訓(xùn)練，兼容不同腦電磁設(shè)備，實現(xiàn)跨模態(tài)、跨設(shè)備、跨任務(wù)、跨被試的通用表征學(xué)習(xí)，在多種下游任務(wù)上表現(xiàn)優(yōu)越。該工作配套提出 BrainTokenizer，把連續(xù)的腦活動壓縮并量化為離散神經(jīng)詞元，為大規(guī)模 “腦信號語言建?！?奠定基礎(chǔ)。

更強跨被試下游性能與零樣本跨設(shè)備泛化

• 下游性能領(lǐng)先：跨被試實驗設(shè)置下，BrainOmni 在運動想象、情緒識別、異常檢測、抑郁檢測、阿爾茨海默癥檢測、帕金森檢測、 自閉癥檢測等 9 個下游任務(wù)上，取得了優(yōu)于領(lǐng)域?qū)＜夷Ｐ鸵约爸暗?EEG 基礎(chǔ)模型的性能。

表：八個 EEG 數(shù)據(jù)集上 BrainOmni 與 baseline 的比較。

表：MEG 和 EMEG 數(shù)據(jù)集上 BrainOmni 與 Baseline 的比較。

• 零樣本跨設(shè)備泛化能力：在訓(xùn)練期間未接觸的 EEG/MEG 設(shè)備上，BrainTokenizer 保持穩(wěn)定的信號重建效果，體現(xiàn)了模型跨設(shè)備的強大泛化能力。

表：BrainTokenizer在零樣本設(shè)備數(shù)據(jù)的重建結(jié)果。

• 腦電磁模態(tài)互增益：相比于單模態(tài)預(yù)訓(xùn)練，EEG/MEG 的聯(lián)合預(yù)訓(xùn)練帶來了穩(wěn)定的性能提升，體現(xiàn)了將同源的腦電磁信號聯(lián)合建模的優(yōu)勢。

表：聯(lián)合EEG/MEG預(yù)訓(xùn)練與單獨進行EEG或MEG訓(xùn)練的比較。

“潛在源變量” 建模與神經(jīng)詞元離散，實現(xiàn)異構(gòu)數(shù)據(jù)統(tǒng)一與上下文建模

BrainTokenizer：研究團隊創(chuàng)新性提出了 Sensor Encoder 模塊對腦電磁傳感器的物理特性進行可學(xué)習(xí)建模，通過設(shè)備信息的顯式注入使得模型實現(xiàn)對多樣化設(shè)備的兼容。同時團隊受腦科學(xué)領(lǐng)域源活動估計方法的啟發(fā)，假定異構(gòu)的電磁信號由同構(gòu)的一組神經(jīng)活動源變量激發(fā)，將腦外電磁信號映射到統(tǒng)一特征空間，并將連續(xù)的源變量特征離散化，將腦信號轉(zhuǎn)化為神經(jīng)詞元序列。

圖：BrainTokenizer架構(gòu)

BrainOmni：基于 BrainTokenizer 的得到的神經(jīng)詞元，使用掩碼語言建模的無監(jiān)督范式進行自監(jiān)督學(xué)習(xí)，使模型學(xué)習(xí)高層次語義特征，顯著提升對神經(jīng)活動的理解能力。

圖：BrainOmni架構(gòu)

國家 “十五五” 規(guī)劃已將腦機接口列為未來新經(jīng)濟增長點之一，其戰(zhàn)略價值正日益凸顯。要實現(xiàn)這一目標，算法、硬件與臨床的深度融合至關(guān)重要。腦電磁信號因具備無侵入、可穿戴、高時空精度、低延遲等優(yōu)勢，具備廣泛的普適性和應(yīng)用潛力，是拓展腦機接口人群與場景、提升產(chǎn)業(yè)價值的關(guān)鍵方向。

BrainOmni 系列基礎(chǔ)模型從 AI 角度破解了電磁信號融合、跨設(shè)備通用等長期技術(shù)瓶頸，并為高價值 MEG 數(shù)據(jù)稀缺這一行業(yè)痛點提供了新的解決途徑。上海 AI 實驗室正與國內(nèi)外機構(gòu)緊密合作，從 “通專融合” 的技術(shù)路線持續(xù)演進 BrainOmni 系列，在提升性能的同時拓展更多應(yīng)用領(lǐng)域，進一步融入侵入式腦電、神經(jīng)影像等更多模態(tài)信息。

未來，該系列模型將與上海人工智能實驗室的『書生』通專融合基礎(chǔ)大模型 Intern-S1與 科學(xué)發(fā)現(xiàn)平臺 Intern Discovery 深度融合，發(fā)展為面向腦機接口研究與臨床應(yīng)用、覆蓋全模態(tài)的 AGI4Science 關(guān)鍵組件之一。