PsyBrain 腦心前沿 | 公眾號 PSY-Brain_Frontier

一鍵關(guān)注，點亮星標(biāo) ??

不錯過每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Towards decoding individual words from non-invasive brain recordings

發(fā)表時間：2025.11.26

發(fā)表期刊:Nature Communications

影響因子：15.7

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

“讀心術(shù)”曾是科幻小說中遙不可及的幻想，而今，腦機(jī)接口（BCI）技術(shù)正一步步將這一幻想拉入現(xiàn)實。近年來，基于侵入性電極的研究在語言解碼領(lǐng)域取得了令人矚目的突破，能夠高精度地將大腦運動皮層的神經(jīng)活動轉(zhuǎn)化為語音或文本 。然而，這種“開顱植入”的方式伴隨著巨大的手術(shù)風(fēng)險和設(shè)備維護(hù)難題，極大限制了其在普通人群中的推廣應(yīng)用 。

反觀非侵入性技術(shù)，如腦電圖（EEG）和腦磁圖（MEG），雖然安全便捷，卻長期受困于低信噪比、低空間分辨率等技術(shù)瓶頸 。傳統(tǒng)的非侵入性BCI（如P300拼寫器）往往依賴于緩慢的視覺注意任務(wù)，難以實現(xiàn)自然語言的實時流暢交流 。

雖然近期有研究嘗試?yán)霉δ艽殴舱瘢╢MRI）結(jié)合大語言模型進(jìn)行語義重建，但fMRI的時間分辨率過低（秒級），難以捕捉毫秒級的單詞加工過程 。因此，能否利用具有高時間分辨率的非侵入性手段（EEG/MEG），在自然語言流中精準(zhǔn)解碼出“單個單詞”，一直是神經(jīng)科學(xué)與人工智能交叉領(lǐng)域的重大挑戰(zhàn)。

研究核心總結(jié)

本研究介紹了一種新型深度學(xué)習(xí)流程（Deep Learning Pipeline），旨在解決從非侵入性M/EEG信號中解碼自然語言個體詞匯的開放性挑戰(zhàn)，并在空前大規(guī)模的數(shù)據(jù)集上展示了狀態(tài)最優(yōu)（SOTA）性能 。

Fig. 1 | Approach.

創(chuàng)新架構(gòu)與大規(guī)模驗證

研究團(tuán)隊構(gòu)建的深度學(xué)習(xí)流程結(jié)合了針對 M/EEG 信號的 BrainModule CNN 和用于處理上下文信息的句級Transformer架構(gòu)。這種混合架構(gòu)通過對比學(xué)習(xí)目標(biāo)進(jìn)行訓(xùn)練，旨在將M/EEG活動窗口直接映射到預(yù)訓(xùn)練語言模型提取的語義詞嵌入空間。相比僅使用BrainModule，集成Transformer后，平均性能提升了約50%，這一顯著提升證明了在詞級解碼任務(wù)中，利用句子上下文信息的重要性。

Fig. 4 | Examples of top-10 predictions for two MEG datasets.

該工作的一大核心貢獻(xiàn)在于其前所未有的驗證規(guī)模。研究者整合了九個M/EEG研究，構(gòu)建了跨設(shè)備、跨任務(wù)和跨語言（英語、荷蘭語、法語）的大規(guī)模整合數(shù)據(jù)集，覆蓋723名參與者和超過500萬個詞匯的記錄。最終，該管道實現(xiàn)了高達(dá)37%的平衡Top-10準(zhǔn)確率（基于250詞檢索集），顯著超越了線性模型和現(xiàn)有深度學(xué)習(xí)基線，并在所有受試者中均實現(xiàn)了顯著高于機(jī)會水平的解碼性能。

Fig. 2 | Decoding performance across model architectures and datasets.

泛化能力與多模態(tài)表征

該模型展現(xiàn)出對訓(xùn)練集當(dāng)中未出現(xiàn)詞匯的零樣本解碼能力，準(zhǔn)確率顯著高于隨機(jī)水平。這一關(guān)鍵發(fā)現(xiàn)證實了模型學(xué)習(xí)到的映射關(guān)系具有強大的語義泛化性，能夠捕捉 M/EEG 信號與抽象語義特征之間的內(nèi)在聯(lián)系，而非簡單地記憶特定的神經(jīng)活動模式。

Fig. 5 | Impact of sublexical and syntactic features on decoding.

對解碼錯誤的定量分析揭示了神經(jīng)編碼的復(fù)雜性：解碼器不僅依賴語義，還顯著地捕捉了非語義特征，如詞匯的詞性和詞長。數(shù)據(jù)顯示，預(yù)測失敗的詞匯與真實詞匯匹配這些特征的比例，均顯著高于隨機(jī)水平。特別地，在閱讀任務(wù)中，解碼器對低級視覺感知特征（如詞長）的依賴性更高，而在聽力任務(wù)中，則更依賴句法特征（如詞性）。這一結(jié)果揭示了M/EEG信號中包含了一個多維度的表征，同時編碼了詞匯的語義、句法和感知特征。

Fig. 6 | Impact of various word properties on decoding performance.

實驗范式對性能的量化洞察

研究通過對九個數(shù)據(jù)集的對比分析，提供了關(guān)于實驗架構(gòu)對解碼性能影響的量化洞察：

1. 設(shè)備效應(yīng)：腦磁圖（MEG）的解碼性能顯著優(yōu)于腦電圖（EEG），統(tǒng)計顯著性極高。這一結(jié)果主要歸因于MEG天然優(yōu)越的信噪比，印證了非侵入性語言解碼的性能瓶頸主要受限于信號質(zhì)量。

2. 任務(wù)效應(yīng)：閱讀任務(wù)（特別是RSVP快速呈現(xiàn)范式）的解碼性能顯著優(yōu)于聽力任務(wù)，統(tǒng)計差異顯著。這暗示了視覺呈現(xiàn)中低級特征（如詞長）的易于提取性，以及RSVP范式在時間上對單個詞匯神經(jīng)活動的有效隔離。

3. 縮放律與數(shù)據(jù)策略：解碼準(zhǔn)確率隨著訓(xùn)練數(shù)據(jù)總量呈近似對數(shù)線性增長，顯示出該技術(shù)具有強大的可擴(kuò)展性。同時，研究發(fā)現(xiàn)性能更傾向于從個體深度數(shù)據(jù)集（Deep datasets，即每位受試者記錄時長久）中獲益，而非廣譜數(shù)據(jù)集（Broad datasets，即大量受試者短時記錄），這為未來BCI數(shù)據(jù)采集的設(shè)計提供了重要的指導(dǎo)方針。

Fig. 3 | Scaling laws for decoding performance.

Abstract

While deep learning has enabled the decoding of language from intracranial brain recordings, achieving this with non-invasive recordings remains an open challenge. We introduce a deep learning pipeline to decode individual words from electro- (EEG) and magneto-encephalography (MEG) signals. We evaluate our approach on seven public datasets and two datasets which we collect ourselves, amounting to a total of 723 participants reading or listening to five million words in three languages. Our model outperforms existing methods consistently across participants, devices, languages, and tasks, and can decode words absent from the training set. Our analyses highlight the importance of the recording device and experimental protocol: MEG and reading are easier to decode than EEG and listening, and decoding performance consistently increases with the amount of data used for training and for averaging during testing. Overall, our findings delineate the path and remaining challenges towards building non-invasive brain decoders for natural language.

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細(xì)節(jié)、統(tǒng)計結(jié)果與討論見原文及其拓展數(shù)據(jù)。

分享人：飯哥

審核：PsyBrain 腦心前沿編輯部