PsyBrain 腦心前沿 | 公眾號(hào) PSY-Brain_Frontier

一鍵關(guān)注，點(diǎn)亮星標(biāo) ??

不錯(cuò)過每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Prefrontal cortex temporally multiplexes slow and fast dynamics in value learning and memory

發(fā)表時(shí)間：2025.12.11

發(fā)表期刊:Nature Communications

影響因子：15.7

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

在我們的日常生活中，"習(xí)慣難改"是一個(gè)普遍存在的現(xiàn)象。無論是戒煙時(shí)的復(fù)吸，還是在面對(duì)熟悉事物發(fā)生變化時(shí)的適應(yīng)困難，都指向了一個(gè)核心的認(rèn)知困境：大腦如何在維持長(zhǎng)期記憶的穩(wěn)定性（Stability）與適應(yīng)環(huán)境變化的靈活性（Flexibility）之間取得平衡？

一方面，為了生存，我們需要快速學(xué)習(xí)新規(guī)則（例如，原本喜歡的餐廳突然變難吃了，需要立刻停止光顧）；另一方面，有用的價(jià)值記憶需要緩慢遺忘，以保留那些長(zhǎng)期穩(wěn)定的關(guān)聯(lián)（例如，父母的飯菜總是好吃的）。這種張力被稱為“穩(wěn)定性與靈活性的困境”（stability vs. flexibility dilemma）。

現(xiàn)有的強(qiáng)化學(xué)習(xí)（RL）理論通常假設(shè)一個(gè)單一的過程來學(xué)習(xí)和更新價(jià)值。然而，這種單速率模型難以解釋為什么我們?cè)诮?jīng)歷了一段時(shí)間的“反轉(zhuǎn)學(xué)習(xí)”后，往往會(huì)自發(fā)地恢復(fù)到最初的偏好，即自發(fā)恢復(fù)（Spontaneous Recovery）現(xiàn)象。此前的研究發(fā)現(xiàn)基底神經(jīng)節(jié)中的不同區(qū)域（尾狀核頭部和尾部）分別負(fù)責(zé)快速和慢速學(xué)習(xí)，但在皮層層面，大腦究竟是如何整合這兩套截然不同的時(shí)間尺度，尤其是在同一個(gè)腦區(qū)內(nèi)如何處理這種沖突，仍是一個(gè)未解之謎。本研究聚焦于腹外側(cè)前額葉皮層（vlPFC），通過一項(xiàng)設(shè)計(jì)精巧的獼猴價(jià)值反轉(zhuǎn)實(shí)驗(yàn)，試圖揭示大腦解決這一困境的神經(jīng)計(jì)算機(jī)制。

研究核心總結(jié)

本研究結(jié)合了計(jì)算建模、電生理記錄和行為實(shí)驗(yàn)，揭示了腹外側(cè)前額葉皮層（vlPFC）通過時(shí)間多路復(fù)用（Temporal Multiplexing）機(jī)制，在單神經(jīng)元水平上同時(shí)編碼了價(jià)值學(xué)習(xí)中的慢速（穩(wěn)定）和快速（靈活）動(dòng)態(tài)。

Fig. 1 | Value reversal paradigm, model predictions, and behavioral results.

1. 行為學(xué)證據(jù)：雙速率模型優(yōu)于單速率模型

研究團(tuán)隊(duì)首先通過獼猴的價(jià)值反轉(zhuǎn)任務(wù)發(fā)現(xiàn)，動(dòng)物在經(jīng)歷價(jià)值反轉(zhuǎn)（好刺激變壞，壞刺激變好）并經(jīng)過一段無反饋的“遺忘期”后，表現(xiàn)出了顯著的自發(fā)恢復(fù)現(xiàn)象，即重新偏向最初的高價(jià)值刺激。

通過對(duì)比單速率和雙速率強(qiáng)化學(xué)習(xí)模型，研究表明只有包含“快過程”（高學(xué)習(xí)率、高遺忘率）和“慢過程”（低學(xué)習(xí)率、低遺忘率）的雙速率模型（Two-rate Model）才能準(zhǔn)確預(yù)測(cè)這一行為。快過程負(fù)責(zé)快速適應(yīng)環(huán)境突變，而慢過程則維持長(zhǎng)期的價(jià)值記憶。

Fig. 2 | Example neuron and average population response in value probes.

1. 神經(jīng)機(jī)制：vlPFC的時(shí)間多路復(fù)用

通過對(duì)vlPFC進(jìn)行單細(xì)胞記錄，研究者發(fā)現(xiàn)這種“快慢雙流”并非由不同的神經(jīng)元群體分別負(fù)責(zé)，而是由同一群神經(jīng)元在不同時(shí)間窗口交替編碼實(shí)現(xiàn)的，這被稱為時(shí)間多路復(fù)用機(jī)制：

• 早期成分（刺激呈現(xiàn)后100-300ms）：編碼慢速過程。即使在價(jià)值反轉(zhuǎn)后，這部分神經(jīng)活動(dòng)仍頑固地保留了對(duì)初始價(jià)值的偏好（即最初的“好”刺激仍引起更強(qiáng)反應(yīng)），體現(xiàn)了記憶的穩(wěn)定性。

• 晚期成分（刺激呈現(xiàn)后300-600ms）：編碼快速過程。這部分活動(dòng)能夠迅速跟隨價(jià)值反轉(zhuǎn)發(fā)生極性逆轉(zhuǎn)，反映了當(dāng)前的最新價(jià)值，體現(xiàn)了學(xué)習(xí)的靈活性。

Fig. 3 | Value responses in individual neurons in early and late epochs across value probes.

隨著時(shí)間的推移（如反轉(zhuǎn)20分鐘后），代表快過程的晚期成分迅速衰退，而代表慢過程的早期成分依然保留。這完美地在神經(jīng)層面解釋了為何會(huì)出現(xiàn)“自發(fā)恢復(fù)”：當(dāng)快速適應(yīng)的覆蓋層消退后，底層的長(zhǎng)期記憶便再次顯現(xiàn)。此外，局部場(chǎng)電位（LFP）的高伽馬波段（High-gamma）功率也顯示出了完全一致的時(shí)序動(dòng)態(tài)。

Fig. 4 | 2D projection of population responses using partial-PCA across value probes.

1. 理論與臨床意義

該研究具有重要的理論貢獻(xiàn)：它證實(shí)了大腦通過在同一神經(jīng)基質(zhì)上疊加不同時(shí)間尺度的計(jì)算過程來解決“穩(wěn)定性-靈活性”難題，而不是單純依賴解剖上的分離。對(duì)于理解成癮和復(fù)發(fā)行為，這一發(fā)現(xiàn)具有深刻的啟示：消退訓(xùn)練（Extinction）往往只是通過“快過程”暫時(shí)抑制了行為，而并未擦除由“慢過程”編碼的長(zhǎng)期價(jià)值記憶，這正是習(xí)慣難改和復(fù)吸的神經(jīng)計(jì)算根源。vlPFC作為整合這兩類信息的關(guān)鍵樞紐，可能成為干預(yù)適應(yīng)不良行為的重要靶點(diǎn)。

Fig. 5 | LFP response to good and bad objects across value probes and correlations with behavior.

Abstract

Balancing stability and flexibility is a fundamental challenge in value-based learning: how does the brain maintain long-term value memories while adapting to new environmental contingencies? To address this, we propose a reinforcement learning model composed of two distinct processes with fast and slow dynamics for updating and forgetting object values. Using a combined theoretical and experimental approach in male macaque monkeys, we validate a key behavioral prediction of this two-rate system—spontaneous recovery of prior value memories following value reversal. At the neural level, we show that single neurons in the ventrolateral prefrontal cortex (vlPFC) temporally multiplex these dynamics, with distinct firing components reflecting fast and slow learning processes. Together, these findings suggest that reward learning and memory are supported by a two-rate system that enables both flexibility and stability, and identify the vlPFC as a critical neural substrate for this mechanism.

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細(xì)節(jié)、統(tǒng)計(jì)結(jié)果與討論見原文及其拓展數(shù)據(jù)。

分享人：飯哥

審核：PsyBrain 腦心前沿編輯部