認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Human hippocampal ripples prioritize model-based learning

發(fā)表時(shí)間:2026-4-9

發(fā)表期刊:Neuron

影響因子:15.0

獲取原文:

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

人類大腦有一種驚人的能力：能從極其稀疏的經(jīng)驗(yàn)中高效學(xué)習(xí)。想象你偶然在一條偏僻的山谷里發(fā)現(xiàn)了一座金礦，你不僅會(huì)記住剛剛走過的那條路，還會(huì)立刻意識(shí)到，其他那些你從未走過、但同樣通向這個(gè)山谷的路線也變得極具價(jià)值。

在強(qiáng)化學(xué)習(xí)領(lǐng)域，這種能力被稱為“基于模型的學(xué)習(xí)”（model-based learning）。大腦利用對(duì)環(huán)境的內(nèi)部模型，將直接獲得的局部經(jīng)驗(yàn)，推斷并泛化到未曾經(jīng)歷的非局部選項(xiàng)上。然而，現(xiàn)實(shí)世界極其復(fù)雜，如果大腦要在每次獲得獎(jiǎng)勵(lì)后更新所有未經(jīng)歷的路線，計(jì)算量將是災(zāi)難性的。因此，強(qiáng)化學(xué)習(xí)理論提出大腦必須進(jìn)行“優(yōu)先級(jí)排序”，優(yōu)先更新那些最有用、最迫切的非局部經(jīng)驗(yàn)。

那么，大腦究竟是如何在神經(jīng)層面實(shí)現(xiàn)這種優(yōu)先級(jí)排序的？

嚙齒類動(dòng)物研究表明，海馬體在組織經(jīng)驗(yàn)重放中起著關(guān)鍵作用，尤其是伴隨出現(xiàn)的一種短暫的高頻腦電活動(dòng)：尖波漣漪（sharp-wave ripples）。同時(shí)，人類的功能磁共振成像（fMRI）研究也發(fā)現(xiàn)，前額葉皮層在表征任務(wù)結(jié)構(gòu)和評(píng)估備選項(xiàng)時(shí)不可或缺。但是，由于fMRI的時(shí)間分辨率限制，我們一直不清楚海馬尖波漣漪在人類基于模型的學(xué)習(xí)中具體扮演什么角色，以及它如何與前額葉皮層在毫秒級(jí)別上協(xié)同工作來完成復(fù)雜的信用分配。

為了回答這個(gè)問題，研究團(tuán)隊(duì)招募了34名植入顱內(nèi)深度電極（iEEG）的癲癇患者，讓他們完成一項(xiàng)精心設(shè)計(jì)的強(qiáng)化學(xué)習(xí)任務(wù)，以此直接觀察大腦在獲得獎(jiǎng)勵(lì)后，是如何將價(jià)值更新傳播到未走過的路線上，并揭示其背后的跨腦區(qū)協(xié)調(diào)機(jī)制。

研究核心總結(jié)

這項(xiàng)研究巧妙地設(shè)計(jì)了一個(gè)“三臂老虎機(jī)”任務(wù)。每條機(jī)械臂固定連接兩條路線，而每條路線最終通向兩個(gè)可能產(chǎn)生獎(jiǎng)勵(lì)的終點(diǎn)之一。這種結(jié)構(gòu)使得研究者能夠?qū)?strong>“局部學(xué)習(xí)”（更新剛走過的路線）與“非局部學(xué)習(xí)”（更新通向同一終點(diǎn)的其他未走路線）分離開來。

一、行為學(xué)證據(jù)：人類會(huì)根據(jù)“優(yōu)先級(jí)”更新未歷經(jīng)驗(yàn)

研究首先在行為層面上證實(shí)了非局部學(xué)習(xí)的存在。當(dāng)受試者在某個(gè)終點(diǎn)獲得獎(jiǎng)勵(lì)后，他們?cè)谙乱换睾喜粌H更傾向于選擇剛走過的路線，也更傾向于選擇那些同樣通向該終點(diǎn)但剛才沒走過的路線。

然而，非局部學(xué)習(xí)的效率低于局部學(xué)習(xí)，存在一個(gè)“效率鴻溝”。計(jì)算模型分析表明，受試者并非盲目地更新所有未走過的路線，而是根據(jù)“優(yōu)先級(jí)”來分配學(xué)習(xí)資源。這里的優(yōu)先級(jí)由“需求”（這條路線出現(xiàn)的頻率有多高）和“收益”（預(yù)測誤差有多大）共同決定。模型擬合結(jié)果顯示，受試者對(duì)高優(yōu)先級(jí)的非局部路線具有顯著更高的學(xué)習(xí)率。

Fig 1. 實(shí)驗(yàn)設(shè)計(jì)與行為學(xué)表現(xiàn)。受試者需要利用學(xué)習(xí)到的任務(wù)結(jié)構(gòu)，將直接獲得的獎(jiǎng)勵(lì)價(jià)值推導(dǎo)并更新到未曾走過的其他路線上。

Fig 2. 行為學(xué)模型表明，受試者對(duì)高優(yōu)先級(jí)的非局部路線具有更高的學(xué)習(xí)率，且結(jié)構(gòu)利用能力越差的受試者，局部與非局部學(xué)習(xí)的效率鴻溝越大。

在明確了行為模式后，研究者將目光轉(zhuǎn)向了神經(jīng)信號(hào)。顱內(nèi)腦電數(shù)據(jù)顯示，在受試者獲得獎(jiǎng)勵(lì)后的2.5秒內(nèi)，海馬體同時(shí)編碼了獎(jiǎng)勵(lì)預(yù)測誤差和非局部路線的優(yōu)先級(jí)。

更關(guān)鍵的發(fā)現(xiàn)隱藏在海馬尖波漣漪中。研究者發(fā)現(xiàn)，在獲得獎(jiǎng)勵(lì)后的420到740毫秒這個(gè)特定時(shí)間窗內(nèi)，海馬尖波漣漪的發(fā)生率不僅與預(yù)測誤差相關(guān)，更與優(yōu)先級(jí)緊密掛鉤。特別值得注意的是，漣漪的持續(xù)時(shí)間（duration）特異性地反映了優(yōu)先級(jí)信息：當(dāng)非局部路線的優(yōu)先級(jí)較高時(shí)，長時(shí)程漣漪的持續(xù)時(shí)間會(huì)顯著增加，而短時(shí)程漣漪則沒有這種變化。這意味著，海馬尖波漣漪不僅僅是在宣告“有獎(jiǎng)勵(lì)發(fā)生”，更是在計(jì)算“哪些未經(jīng)歷的路線最值得更新”。

Fig 3. 顱內(nèi)腦電記錄顯示，外側(cè)額極皮層（LFPC）和海馬在基于模型的決策與獎(jiǎng)勵(lì)處理中發(fā)揮核心作用。

Fig 4. 獲得獎(jiǎng)勵(lì)后，海馬尖波漣漪（尤其是長時(shí)程漣漪）顯著編碼了非局部路線的更新優(yōu)先級(jí)。

如果海馬尖波漣漪確實(shí)在指導(dǎo)優(yōu)先級(jí)的分配，那么大腦皮層中應(yīng)該能觀察到相應(yīng)經(jīng)驗(yàn)的重現(xiàn)。研究者利用獨(dú)立數(shù)據(jù)訓(xùn)練了針對(duì)不同路線圖像的神經(jīng)解碼器，并在主任務(wù)中檢測這些路線的自發(fā)重現(xiàn)（reactivation）。

結(jié)果證實(shí)了這一猜想。在獎(jiǎng)勵(lì)接收階段，大腦皮層對(duì)高優(yōu)先級(jí)非局部路線的重現(xiàn)強(qiáng)度顯著高于低優(yōu)先級(jí)路線。更重要的是，這種重現(xiàn)強(qiáng)度的分化極其依賴于海馬尖波漣漪的時(shí)間窗口。在漣漪發(fā)生前，高低優(yōu)先級(jí)路線的重現(xiàn)沒有差異；而恰恰是在漣漪發(fā)生的瞬間（前后100毫秒內(nèi)），高優(yōu)先級(jí)路線的皮層重現(xiàn)被顯著增強(qiáng)。這表明海馬尖波漣漪開啟了一個(gè)短暫的時(shí)間窗口，引導(dǎo)皮層選擇性地重放最有價(jià)值的替代方案。

Fig 5. 在海馬尖波漣漪發(fā)生的窗口期，大腦皮層對(duì)高優(yōu)先級(jí)非局部路線的神經(jīng)重現(xiàn)顯著增強(qiáng)。

基于模型的學(xué)習(xí)不僅需要海馬的重放，還需要準(zhǔn)確調(diào)用內(nèi)部的任務(wù)結(jié)構(gòu)。研究發(fā)現(xiàn)，位于前額葉最高層級(jí)的外側(cè)額極皮層（LFPC）在這一過程中扮演了關(guān)鍵角色。

在獎(jiǎng)勵(lì)后的漣漪窗口期，LFPC的活動(dòng)顯著增強(qiáng)，并且專門編碼了優(yōu)先級(jí)信息。有趣的是，如果脫離了海馬尖波漣漪的同步，LFPC就不再編碼優(yōu)先級(jí)。此外，受試者在漣漪期間LFPC的激活越強(qiáng)，他們?cè)谛袨樯蠈?duì)任務(wù)結(jié)構(gòu)的利用就越準(zhǔn)確。

為了驗(yàn)證這種神經(jīng)同步是否真的影響了學(xué)習(xí)，研究者構(gòu)建了一個(gè)混合學(xué)習(xí)模型。結(jié)果顯示，只有當(dāng)LFPC活動(dòng)與海馬尖波漣漪精準(zhǔn)對(duì)齊時(shí)，才會(huì)特異性地提高非局部學(xué)習(xí)的學(xué)習(xí)率。相比之下，腹內(nèi)側(cè)前額葉（VMPFC）和外側(cè)眶額皮層（LOFC）在漣漪期間只編碼預(yù)測誤差，不編碼優(yōu)先級(jí)。這種雙重分離表明，海馬與LFPC的協(xié)同是實(shí)現(xiàn)復(fù)雜模型學(xué)習(xí)的專屬機(jī)制。

Fig 6. 只有當(dāng)LFPC活動(dòng)與海馬尖波漣漪精準(zhǔn)對(duì)齊時(shí)，才會(huì)特異性地促進(jìn)基于模型的非局部價(jià)值學(xué)習(xí)。

研究意義

這項(xiàng)研究為我們理解人類如何從稀疏經(jīng)驗(yàn)中學(xué)習(xí)提供了細(xì)胞尺度的機(jī)制解釋。它不僅證實(shí)了海馬尖波漣漪在人類高級(jí)認(rèn)知功能中的核心地位，還揭示了漣漪的異質(zhì)性：長時(shí)程漣漪在編碼復(fù)雜優(yōu)先級(jí)信息時(shí)承擔(dān)了更重要的計(jì)算任務(wù)。

在理論層面上，該研究修正了我們對(duì)前額葉功能的傳統(tǒng)認(rèn)知。它表明，外側(cè)額極皮層（LFPC）參與基于模型的價(jià)值更新，并不是孤立進(jìn)行的，而是必須在海馬尖波漣漪開啟的特定時(shí)間窗口內(nèi)，通過精準(zhǔn)的跨腦區(qū)節(jié)律同步來實(shí)現(xiàn)。這種“海馬-前額葉”的動(dòng)態(tài)耦合，構(gòu)成了大腦進(jìn)行高效信用分配的神經(jīng)基礎(chǔ)。

同時(shí)，這項(xiàng)工作也明確了其研究邊界。由于任務(wù)中多條路線確定性地指向同一終點(diǎn)，研究尚無法完全剝離純粹基于模型的預(yù)測誤差與初級(jí)獎(jiǎng)勵(lì)反應(yīng)。此外，受限于人類宏觀電極的空間分辨率，未來仍需要借助更高密度的記錄手段或因果調(diào)控技術(shù)，進(jìn)一步探究這些節(jié)律同步背后的微觀環(huán)路基礎(chǔ)。

分享人：飯鴿兒

審核：PsyBrain 腦心前沿編輯部

你好，這里是「PsyBrain 腦心前沿」

專注追蹤全球認(rèn)知神經(jīng)科學(xué)的最尖端突破

視野直擊 Nature, Science, Cell 正刊 及核心子刊與頂級(jí)大刊

每日速遞「深度解讀」與「前沿快訊」

科研是一場探索未知的長跑，但你無需獨(dú)行。歡迎加入PsyBrain 學(xué)術(shù)社群，和一群懂你的同行，共同丈量腦與心智的無垠前沿。

點(diǎn)擊卡片進(jìn)群，歡迎你的到來

一鍵關(guān)注，點(diǎn)亮星標(biāo) ? 前沿不走丟！

一鍵分享，讓更多人了解前沿