PsyBrain 腦心前沿 | 公眾號 PSY-Brain_Frontier

一鍵關(guān)注，點亮星標(biāo) ??

不錯過每日前沿資訊

認知神經(jīng)科學(xué)前沿文獻分享

基本信息

Title:Shared sensitivity to data distribution during learning in humans and transformer networks

發(fā)表時間：2025.12.23

發(fā)表期刊:Nature Human Behaviour

影響因子：16.0

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

在認知科學(xué)與人工智能的交叉領(lǐng)域，關(guān)于“記憶”與“推理”關(guān)系的探討從未停歇。早在20世紀(jì)40年代，Cattell就提出了晶體智力（Crystallized Intelligence，基于知識和經(jīng)驗）與流體智力（Fluid Intelligence，解決新穎問題的推理能力）的二分法。這一經(jīng)典的二元論在當(dāng)今的大語言模型（LLM）時代再次成為了焦點：人類和現(xiàn)代神經(jīng)網(wǎng)絡(luò)似乎都面臨著兩種截然不同的學(xué)習(xí)路徑。

一種是權(quán)重學(xué)習(xí)（In-weights Learning, IWL），即通過漫長的訓(xùn)練，將特定樣本的統(tǒng)計規(guī)律 “刻” 在神經(jīng)突觸或模型的參數(shù)權(quán)重中，這類似于我們的死記硬背或長時記憶。

另一種則是上下文學(xué)習(xí)（In-context Learning, ICL），這是Transformer架構(gòu)帶來的驚人涌現(xiàn)能力，即模型無需更新參數(shù)，僅憑當(dāng)前輸入的上下文提示（Prompt）就能迅速歸納規(guī)則并解決新問題，這酷似人類的歸納推理和流體智力。

然而，一個核心的科學(xué)問題至今懸而未決：究竟是什么決定了大腦或AI會選擇“死記硬背”還是“舉一反三”？不僅如此，既然Transformer在許多任務(wù)上表現(xiàn)出了類人的能力，那么它們對訓(xùn)練數(shù)據(jù)分布的敏感性是否也與人類一致？本研究由牛津大學(xué)的Jacques Pesnot Lerousseau和Christopher Summerfield領(lǐng)銜，2025年12月23日發(fā)表于Nature Human Behaviour，通過精巧的實驗設(shè)計，對比了人類與Transformer在面對不同數(shù)據(jù)分布時的學(xué)習(xí)策略選擇，揭示了兩者在統(tǒng)計學(xué)習(xí)上的驚人共性與關(guān)鍵差異。

研究核心總結(jié)

本研究通過一系列圖像-標(biāo)簽聯(lián)想任務(wù)，系統(tǒng)探究了訓(xùn)練數(shù)據(jù)的多樣性（Diversity）與冗余性（Redundancy）如何調(diào)節(jié)人類與Transformer的學(xué)習(xí)策略。

Fig. 1 | Paradigm.

核心發(fā)現(xiàn)一：數(shù)據(jù)分布決定的權(quán)衡（Trade-off）策略

研究發(fā)現(xiàn)，人類和Transformer在學(xué)習(xí)策略的選擇上表現(xiàn)出高度的一致性，且均受到數(shù)據(jù)分布偏度 α 的強烈調(diào)控。

• 多樣性驅(qū)動推理：當(dāng)訓(xùn)練數(shù)據(jù)呈現(xiàn)均勻分布（α = 0，即樣本極具多樣性、幾乎不重復(fù)）時，人類和Transformer都傾向于發(fā)展出上下文學(xué)習(xí)（ICL）策略，即學(xué)會抽象的規(guī)則（如“順時針移動3步”），從而能夠處理從未見過的測試樣本。

• 冗余性驅(qū)動記憶：相反，當(dāng)訓(xùn)練數(shù)據(jù)高度傾斜（α = 1，即少數(shù)樣本高頻重復(fù)）時，兩者都轉(zhuǎn)向權(quán)重學(xué)習(xí)（IWL），直接記憶具體的圖像-標(biāo)簽配對，而失去了泛化能力。

• 臨界點：有趣的是，兩者都在α ≈ 1附近展現(xiàn)出了策略轉(zhuǎn)換的臨界點，表明生物智能與人工神經(jīng)網(wǎng)絡(luò)在利用數(shù)據(jù)統(tǒng)計結(jié)構(gòu)方面存在共享的敏感性。

Fig. 2 | Transformers and humans trade off in-context and in-weights learning depending on the training data distribution (Experiment 1).

核心發(fā)現(xiàn)二：復(fù)合分布支持“雙重學(xué)習(xí)”

既然單一的極端分布只能誘導(dǎo)一種策略，能否“魚與熊掌兼得”？結(jié)果顯示，通過構(gòu)建一種包含“罕見樣本（提供多樣性）”與“高頻樣本（提供冗余性）”的復(fù)合分布（Composite Distribution），人類和Transformer均能同時習(xí)得兩種策略。這表明，理想的學(xué)習(xí)環(huán)境應(yīng)當(dāng)混合新穎的探索與重復(fù)的練習(xí)，從而支持模型和大腦同時利用推理與記憶回路。

Fig. 3 | Transformers and humans can learn both in-context and in-weights when trained on a composite, non-Zipfian distribution (Experiment 2).

核心發(fā)現(xiàn)三：人類在課程學(xué)習(xí)（Curriculum）中的獨特優(yōu)勢

這是本研究最引人深思的差異點。研究者設(shè)計了動態(tài)的訓(xùn)練課程，對比了“先多樣后重復(fù)”（Diversity-first）與“先重復(fù)后多樣”的效果。

• 人類的靈活性：人類被試在先接觸多樣化樣本（學(xué)習(xí)規(guī)則）后，即使后續(xù)轉(zhuǎn)入高頻重復(fù)訓(xùn)練，依然能保留推理能力，同時習(xí)得記憶能力。這表明早期接觸多樣性對人類形成抽象概念至關(guān)重要。

• Transformer的災(zāi)難性干擾：相比之下，Transformer無法從課程中獲益。一旦訓(xùn)練數(shù)據(jù)從多樣轉(zhuǎn)為單一，模型會發(fā)生災(zāi)難性干擾（Catastrophic Interference），迅速遺忘之前的推理策略，退化為純粹的記憶模式。這一結(jié)果深刻揭示了當(dāng)前神經(jīng)網(wǎng)絡(luò)在連續(xù)學(xué)習(xí)和知識固化方面的局限性。

Fig. 4 | Humans, but not transformers, benefit from a training curriculum promoting in-context learning first (Experiment 3).

核心發(fā)現(xiàn)四：機制層面的算法趨同

在探究“如何實現(xiàn)”層面，通過對比Transformer的注意力頭（Attention Heads）激活模式與人類的眼動/鼠標(biāo)追蹤數(shù)據(jù)，研究發(fā)現(xiàn)兩者都采用了一種“綁定與搜索（Binding and Searching）”的算法機制。即先在工作記憶中搜索目標(biāo)刺激，再將其與特定位置的標(biāo)簽信息進行綁定（Induction Head機制），這一微觀層面的計算相似性為理解人類歸納推理提供了新的計算視角。

Fig. 5 | Transformers and humans use an induction mechanism for in-context learning (Experiment 4).

總而言之，該研究不僅證實了Transformer與人類在利用數(shù)據(jù)統(tǒng)計特征上的高度趨同，更強調(diào)了早期多樣性在人類教育中的核心地位：先學(xué)會“怎么學(xué)（Learning to learn）”，再進行知識固化，這或許是人類智能目前仍優(yōu)于機器的關(guān)鍵所在。

Abstract

Do humans learn like transformers? We trained both humans (n?=?530) and transformer networks on a rule learning task where they had to respond to a query in a sequence. At test, we measured ‘in-context’ learning (generalize the rule to novel queries) and ‘in-weights’ learning (recall past experiences from memory). Manipulating the diversity and redundancy of examples in the training distribution, we found that humans and transformer networks respond in very similar ways. In both types of learner, redundancy and diversity trade off in driving in-weights and in-context learning, respectively, whereas a composite distribution with a balanced mix of redundancy and diversity allows the two strategies to be used in tandem. However, we also found that while humans benefit from dynamic training schedules that emphasize diverse examples early, transformers do not. So, while the same data-distributional properties promote learning in humans and transformer networks, only people benefit from curricula.

請打分

這篇剛剛登上Nature Human Behaviour的研究，是否實至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區(qū)分享您的深度見解。

前沿交流|歡迎加入認知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細節(jié)、統(tǒng)計結(jié)果與討論見原文及其拓展數(shù)據(jù)。

分享人：飯哥

審核：PsyBrain 腦心前沿編輯部