北京
認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享
基本信息
Title:Reverse predictivity for bidirectional comparison of neural networks and biological brains
發(fā)表時(shí)間:2026-03-25
發(fā)表期刊:Nature Machine Intelligence
獲取原文:
1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本
研究背景
過去十多年，視覺人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks, ANNs）常被拿來和靈長類視覺系統(tǒng)比較，尤其是獼猴下顳皮層（inferior temporal cortex, IT）這類與核心物體識(shí)別密切相關(guān)的腦區(qū)。常見評(píng)估指標(biāo)是前向預(yù)測(cè)力（forward predictivity）：用模型特征經(jīng)線性回歸映射去預(yù)測(cè)神經(jīng)反應(yīng)，再用解釋方差百分比（percentage explained variance, %EV）衡量效果。
這篇論文指出，前向預(yù)測(cè)力本質(zhì)上只檢驗(yàn)一個(gè)方向：模型能否預(yù)測(cè)神經(jīng)元；它并不回答神經(jīng)活動(dòng)能否反過來預(yù)測(cè)模型內(nèi)部單元。如果一個(gè)模型在當(dāng)前記錄分辨率和線性框架下確實(shí)接近 IT 表征，那么這種對(duì)應(yīng)關(guān)系至少應(yīng)表現(xiàn)出更強(qiáng)的雙向性。作者因此提出一個(gè)更保守的診斷問題：當(dāng)很多模型的前向分?jǐn)?shù)都接近平臺(tái)時(shí)，是否仍有大量模型維度其實(shí)不在 IT 可線性恢復(fù)的共享子空間內(nèi)？
需要先劃清邊界。論文討論的是獼猴 IT 與視覺模型之間的表征對(duì)齊，不是整個(gè)視覺系統(tǒng)，也不是對(duì)人類全部高層視覺表征的直接判斷。反向預(yù)測(cè)力低，也不等于某種模型特征在生物腦中“根本不存在”；正文明確強(qiáng)調(diào)，它只表示這些維度在當(dāng)前 IT 采樣和線性映射條件下不可恢復(fù)。
實(shí)驗(yàn)設(shè)計(jì)與方法邏輯
作者基于已有的大規(guī)模獼猴 IT 記錄數(shù)據(jù)，比較多類視覺模型與 IT 的雙向線性對(duì)應(yīng)關(guān)系。具體來說，先為每個(gè)模型選取與 IT 最對(duì)齊的高層表征層，用線性回歸計(jì)算從模型到神經(jīng)元的前向預(yù)測(cè)力；再把方向反過來，用 IT 群體活動(dòng)逐個(gè)預(yù)測(cè)模型單元激活，定義反向預(yù)測(cè)力（reverse predictivity），并以模型單元上的中位數(shù) %EV 概括該模型的反向表現(xiàn)。
論文先用 DenseNet-161 和 VGG16 做直觀對(duì)照：兩者前向預(yù)測(cè)力非常接近，但內(nèi)部單元對(duì)神經(jīng)預(yù)測(cè)的貢獻(xiàn)模式不同。隨后，作者把比較擴(kuò)展到 CNN、Transformer、自監(jiān)督學(xué)習(xí)模型和對(duì)抗魯棒模型，并引入猴到猴映射作為經(jīng)驗(yàn)參照。如果同樣的線性雙向框架在腦到腦比較中更接近對(duì)稱，而在腦到模型比較中明顯失衡，那么這種不對(duì)稱更可能反映真實(shí)的表征錯(cuò)配，而不是分析方法本身的產(chǎn)物。
為排除簡單解釋，作者還做了幾類驗(yàn)證：包括將模型特征降維到與記錄神經(jīng)元數(shù)量相當(dāng)后重復(fù)分析、比較跨猴的一致性、考察最低反向預(yù)測(cè)力單元是否只是采樣不足造成，以及比較這些單元能否被模型內(nèi)部其他單元預(yù)測(cè)。最后，他們按反向預(yù)測(cè)力把單元?jiǎng)澐譃?common units 和 unique units，再比較這兩類單元對(duì)物體辨別行為簽名的預(yù)測(cè)一致性，檢驗(yàn)其功能相關(guān)性。
核心發(fā)現(xiàn)
發(fā)現(xiàn)一：前向預(yù)測(cè)力接近的模型，內(nèi)部與 IT 的共享程度仍可明顯不同
DenseNet-161 和 VGG16 對(duì)獼猴 IT 的前向預(yù)測(cè)力幾乎相當(dāng)，正文報(bào)告的中位數(shù)分別約為 54% 和 53% %EV。僅看這個(gè)結(jié)果，很容易把它們都視為“差不多像腦”的模型。可一旦把單元層面的貢獻(xiàn)拆開，DenseNet-161 中持續(xù)參與神經(jīng)預(yù)測(cè)的單元更多，VGG16 則有更多接近零貢獻(xiàn)的單元；進(jìn)一步看反向預(yù)測(cè)力，DenseNet-161 也有更大范圍的模型單元能被 IT 活動(dòng)線性預(yù)測(cè)，而 VGG16 的分布更偏向零。這說明，前向分?jǐn)?shù)相近并不意味著模型內(nèi)部與 IT 共享的表征子空間同樣接近；前向預(yù)測(cè)力會(huì)掩蓋這種隱藏差異。
Fig. 1 中，作者先展示了 DenseNet-161 與 VGG16 對(duì) IT 神經(jīng)元的前向 %EV 分布，以及兩者模型單元回歸權(quán)重的差異；Fig. 2c、2d 又把這兩個(gè)模型的前向與反向預(yù)測(cè)分布并排放在一起。幾張圖合起來說明：表面上都能預(yù)測(cè) IT，但內(nèi)部可被 IT“讀回來”的程度并不一樣，這正對(duì)應(yīng)了“發(fā)現(xiàn)一”。發(fā)現(xiàn)二：腦到模型常常明顯不對(duì)稱，而猴到猴 IT 映射更接近對(duì)稱
在更大范圍的模型比較里，作者發(fā)現(xiàn)反向預(yù)測(cè)力整體顯著低于對(duì)應(yīng)的前向預(yù)測(cè)力，而且跨模型時(shí)二者并不穩(wěn)定正相關(guān)。換句話說，不少模型已經(jīng)能較好預(yù)測(cè) IT 神經(jīng)反應(yīng)，但 IT 并不能以相近程度恢復(fù)這些模型的內(nèi)部單元。相比之下，猴到猴的 IT 映射在同樣線性框架下更接近 unity line，呈現(xiàn)更高雙向?qū)ΨQ性。這一對(duì)照支持作者的核心判斷：ANN 與獼猴 IT 之間存在真實(shí)的表征錯(cuò)配，而不只是噪聲、采樣數(shù)量或特征維度差異帶來的表面現(xiàn)象。正文同時(shí)強(qiáng)調(diào)，這里說的是“當(dāng)前線性框架下的錯(cuò)配”，并不排除其他腦區(qū)、其他測(cè)量尺度或非線性關(guān)系。
Fig. 3 把多類模型的前向預(yù)測(cè)力和反向預(yù)測(cè)力放在同一坐標(biāo)系里，模型點(diǎn)大多偏離 unity line，而綠色的猴到猴點(diǎn)更靠近對(duì)角線；Fig. 5a 顯示單元級(jí)反向預(yù)測(cè)力在兩只猴之間高度相關(guān)，F(xiàn)ig. 5c 則說明最難被 IT 預(yù)測(cè)的 unique units 仍可被模型內(nèi)其他單元較好預(yù)測(cè)。這幾張圖一起支撐了“發(fā)現(xiàn)二”。發(fā)現(xiàn)三：反向預(yù)測(cè)力能篩出更接近 IT 共享子空間、也更具行為相關(guān)性的單元
作者進(jìn)一步發(fā)現(xiàn)，IT 對(duì)齊層的特征數(shù)越多、有效維度（effective dimensionality）越高，反向預(yù)測(cè)力通常越低；而對(duì)抗魯棒訓(xùn)練的模型，反向預(yù)測(cè)力往往更高，參數(shù)總量本身則不是顯著因素。更重要的是，按反向預(yù)測(cè)力篩出的 common units，在物體辨別行為簽名上，比 unique units 更能對(duì)齊其他模型以及猴和人的行為預(yù)測(cè)。這表明，反向預(yù)測(cè)力不只是一個(gè)“找不對(duì)稱”的幾何指標(biāo)，也能幫助定位那些更接近 IT 共享表征、并與跨物種行為更相關(guān)的模型單元。不過這并不意味著 common units 就是大腦真實(shí)使用的全部表征；它只是在本文數(shù)據(jù)和分析框架下，更接近 IT 可共享的那部分子空間。
Fig. 4 展示了反向預(yù)測(cè)力與特征寬度、有效維度及對(duì)抗魯棒性的關(guān)系，說明哪些模型設(shè)計(jì)因素與隱藏錯(cuò)配相關(guān)；Fig. 6 則比較了 common units 與 unique units 的行為一致性，顯示前者在跨模型、跨物種行為預(yù)測(cè)上更占優(yōu)，這也對(duì)應(yīng)了“發(fā)現(xiàn)三”。
總結(jié)
這篇論文不是在否定高分視覺模型，而是在提醒：前向預(yù)測(cè)力高，只能說明模型能預(yù)測(cè)獼猴 IT，不能直接推出模型內(nèi)部也被 IT 充分覆蓋。作者提出的反向預(yù)測(cè)力顯示，許多高前向分模型仍含有 IT 難以線性恢復(fù)的 unique units；相對(duì)更“共同”的 common units，則與跨模型、跨物種行為更一致。結(jié)論目前限于獼猴 IT 與線性映射框架。
請(qǐng)打分
這篇?jiǎng)倓偟巧?strong>Nature Machine Intelligence的研究，是否實(shí)至名歸？我們邀請(qǐng)您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評(píng)論區(qū)分享您的深度見解。
分享人：BQ
審核：PsyBrain 腦心前沿編輯部
你好，這里是「PsyBrain 腦心前沿」
專注追蹤全球認(rèn)知神經(jīng)科學(xué)的最尖端突破
視野直擊 Nature, Science, Cell 正刊 及核心子刊與頂級(jí)大刊
每日速遞「深度解讀」與「前沿快訊」
科研是一場(chǎng)探索未知的長跑，但你無需獨(dú)行。歡迎加入PsyBrain 學(xué)術(shù)社群，和一群懂你的同行，共同丈量腦與心智的無垠前沿。
點(diǎn)擊卡片進(jìn)群，歡迎你的到來
一鍵關(guān)注，點(diǎn)亮星標(biāo) ? 前沿不走丟！
一鍵分享，讓更多人了解前沿
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
