獎勵預(yù)測誤差（RPE）假說認為，腹側(cè)被蓋區(qū)（VTA）中的多巴胺（DA）神經(jīng)元的短暫活動編碼了預(yù)期獎勵與實際獎勵之間的差異，從而驅(qū)動強化學(xué)習(xí)。然而，新興證據(jù)表明，多巴胺可能反而在調(diào)節(jié)行為表現(xiàn)。

基于此，2025年10月13日，杜克大學(xué)心理學(xué)與神經(jīng)科學(xué)系Henry H. Yin研究團隊在Nature communications雜志發(fā)表了“Dopamine dynamics during stimulus-reward learning in mice can be explained by performance rather than learning”揭示了小鼠在刺激-獎勵學(xué)習(xí)過程中的多巴胺動態(tài)變化可以用行為表現(xiàn)來解釋，而非學(xué)習(xí)本身。

在此研究中，作者在對頭部固定自由活動小鼠進行經(jīng)典條件反射刺激-獎勵任務(wù)的同時測量其細微的運動，并記錄和操控VTA中多巴胺的活動。作者識別出兩類不同的多巴胺神經(jīng)元群體，分別對向前和向后的力量施加敏感。這些神經(jīng)元在自發(fā)行為和條件行為期間均表現(xiàn)出活性且這種活性獨立于學(xué)習(xí)過程或獎勵的可預(yù)測性。該研究發(fā)現(xiàn)，力量和舔舐動作的變化足以解釋傳統(tǒng)上歸因于獎賞預(yù)測誤差（RPE）的多巴胺動態(tài)變化，包括對獎勵大小、概率及獎賞缺失的響應(yīng)。通過光遺傳學(xué)操控進一步證實，多巴胺可實時調(diào)節(jié)行為的力量輸出與動作轉(zhuǎn)換，影響反應(yīng)潛伏期、方向和強度但并不參與學(xué)習(xí)過程。這些結(jié)果挑戰(zhàn)了經(jīng)典的RPE假說，提示VTA多巴胺神經(jīng)元并非編碼預(yù)測誤差，而是作為調(diào)控動機性行為的“增益”信號，在行為執(zhí)行中動態(tài)控制其力度與時機。

圖一 兩個不同的多巴胺神經(jīng)元群體對力量方向的拮抗性信號編碼

作者通過訓(xùn)練小鼠執(zhí)行經(jīng)典條件反射任務(wù)并結(jié)合使用測力頭固定裝置，來研究力量與VTA多巴胺神經(jīng)元活動之間的關(guān)系。

在條件刺激后，小鼠施加向前力量，體現(xiàn)預(yù)期性趨近行為，同時測力傳感器檢測到試次間歇期持續(xù)存在的穩(wěn)定自發(fā)性微小運動。

在攜帶可移動光探針的小鼠中，記錄到VTA多巴胺神經(jīng)元活動并通過光遺傳學(xué)鑒定細胞類型。研究發(fā)現(xiàn)約半數(shù)多巴胺神經(jīng)元分為兩類：向前型和向后型，其活動分別領(lǐng)先于對應(yīng)方向的力量產(chǎn)生。向前型神經(jīng)元在向前運動前放電上升、向后時下降；向后型則相反，兩類神經(jīng)元均對力量方向具有調(diào)諧性。為探究多巴胺在運動控制中的因果作用，研究基于多巴胺釋放與再攝取參數(shù)建立生物物理模型，假設(shè)兩類神經(jīng)元投射至調(diào)控相反方向的紋狀體區(qū)域。模型顯示，多巴胺濃度與力量成正比，力量方向由不同目標區(qū)多巴胺濃度差決定。無需參數(shù)擬合或濾波，該模型即準確預(yù)測了力量方向及其動態(tài)變化。

圖二 多巴胺對厭惡性氣流刺激的激活反應(yīng)可由雙向力量變化來解釋

根據(jù)獎勵預(yù)測誤差（RPE）假說，意外的厭惡性刺激應(yīng)產(chǎn)生負向預(yù)測誤差，表現(xiàn)為VTA多巴胺神經(jīng)元活動的下降或暫停。如果多巴胺活動反映的是力量的施加，那么無論結(jié)果是獎勵性還是厭惡性，多巴胺與力量之間的關(guān)系應(yīng)當(dāng)保持一致。

為了檢驗這一可能性，作者在獨立的實驗環(huán)節(jié)中施加了厭惡性的氣流刺激。意外的氣流刺激引發(fā)小鼠產(chǎn)生向后的運動，遠離氣流來源，隨后出現(xiàn)反彈式的向前運動。這種運動模式在所有小鼠中均被觀察到。

潛伏期測量證實，向后運動成分的潛伏期短于隨后的向前反彈運動成分。具有方向選擇性的多巴胺神經(jīng)元反映了在厭惡性氣流刺激期間力量變化的時間模式。向后型多巴胺神經(jīng)元群體在初始向后運動階段首先被激活，隨后向前型多巴胺神經(jīng)元在向前運動開始前被激活。向前型和向后型多巴胺神經(jīng)元在放電率上沒有顯著差異。

作者的研究結(jié)果與以往研究一致，即多巴胺神經(jīng)元既會對厭惡性刺激產(chǎn)生激活，也會對獎勵性刺激產(chǎn)生激活。但進一步表明，以往觀察到的現(xiàn)象可以通過不同類型多巴胺神經(jīng)元分別編碼不同方向的力量活動來解釋。

圖三 獎勵缺失后多巴胺活動的下降源于力量施加的變化

獎勵缺失后放電減少被認為編碼了負向預(yù)測誤差（實際獎勵小于預(yù)期）。在訓(xùn)練充分的小鼠中，作者在條件刺激呈現(xiàn)后也省略了獎勵。

多巴胺神經(jīng)元群體在獎勵缺失后表現(xiàn)出活動降低。有趣的是，在獎勵缺失后，小鼠突然終止了力量的施加，并未產(chǎn)生通常在獲得獎勵后出現(xiàn)的后續(xù)力量輸出。因此，獎勵缺失后的力量變化為負值。多巴胺神經(jīng)元活動在獎勵缺失后出現(xiàn)的典型“下降”現(xiàn)象，恰好與力量施加的顯著減少同時發(fā)生。

綜合來看，這些結(jié)果表明，獎勵之后的多巴胺活動與多巴胺介導(dǎo)行為向攝食階段的轉(zhuǎn)換及其持續(xù)性有關(guān)。當(dāng)沒有獎勵出現(xiàn)時，多巴胺信號水平較低，非條件反應(yīng)提前終止。這種多巴胺活動的下降有助于暫停正在進行的行為。

圖四 在無條件刺激獎勵呈現(xiàn)后立即出現(xiàn)的多巴胺活動可以預(yù)測向攝食行為轉(zhuǎn)換

多巴胺在無條件刺激（US）呈現(xiàn)時的激活通常被視為獎勵信號，但研究發(fā)現(xiàn)其活動更緊密關(guān)聯(lián)于行為反應(yīng)的啟動而非US本身。

在訓(xùn)練初期，當(dāng)非條件反應(yīng)（力量與舔舐）延遲時，若以US時間對齊，多巴胺活動看似減弱；但若以實際舔舐起始時間對齊，其活動恢復(fù)，表明多巴胺反映的是攝食行為的啟動。隨著訓(xùn)練US后的力量變化減小，但多巴胺活動并未減弱，且始終伴隨細微的舔舐和力量調(diào)整。

獎勵到來時，小鼠短暫產(chǎn)生向后力量以終止趨近行為，隨后增強向前力量并加快舔舐。多巴胺活動與力量方向轉(zhuǎn)換同步，并先于舔舐增加。US后的多巴胺信號能預(yù)測舔舐頻率，而非力量大小。此時，原本在預(yù)期階段表現(xiàn)出方向特異性調(diào)諧的向前型和向后型多巴胺神經(jīng)元均短暫共激活，提示其功能從調(diào)節(jié)趨近行為的“準備性增益”轉(zhuǎn)向調(diào)控攝食行為的“執(zhí)行性增益”。

總結(jié)

該研究揭示小鼠在刺激-獎賞學(xué)習(xí)中的多巴胺動態(tài)主要反映行為執(zhí)行（如力量施加和舔舐）的實時調(diào)控，而非傳統(tǒng)認為的學(xué)習(xí)相關(guān)獎賞預(yù)測誤差，表明VTA多巴胺神經(jīng)元通過調(diào)節(jié)動機性行為的“增益”來控制行為的啟動、方向和強度，從而重新定義了多巴胺在學(xué)習(xí)與行為中的功能角色。

文章來源

https://doi.org/10.1038/s41467-025-64132-4