這項(xiàng)由滑鐵盧大學(xué)領(lǐng)導(dǎo)的研究發(fā)表于2026年2月的計(jì)算機(jī)科學(xué)期刊arXiv，論文編號(hào)為arXiv:2602.20122v1。有興趣深入了解的讀者可以通過(guò)該編號(hào)查詢完整論文。

想象一下，你的朋友突然說(shuō)出了一個(gè)你從未教過(guò)他的知識(shí)點(diǎn)，你肯定會(huì)好奇："你是從哪里學(xué)會(huì)的？"對(duì)于人工智能大模型來(lái)說(shuō)，同樣存在這個(gè)謎題。當(dāng)ChatGPT或其他AI助手回答你的問(wèn)題時(shí)，它們展現(xiàn)出驚人的知識(shí)儲(chǔ)備，但這些知識(shí)究竟來(lái)自哪里？是從訓(xùn)練數(shù)據(jù)中"死記硬背"學(xué)來(lái)的，還是通過(guò)某種"推理"能力獲得的？更有趣的是，當(dāng)我們給AI提供額外信息時(shí)，它們是完全依賴這些外部信息，還是會(huì)將其與自己"記憶"中的知識(shí)相結(jié)合？

長(zhǎng)期以來(lái)，研究人員就像面對(duì)一個(gè)巨大的黑盒子，無(wú)法真正了解AI大模型的知識(shí)來(lái)源。這種情況就好比你想知道一本菜譜是否真的好用，但廚師從不告訴你他用了哪些食材，也不讓你看他的購(gòu)物清單。訓(xùn)練數(shù)據(jù)通常是保密的，研究人員根本無(wú)法追蹤模型學(xué)到的知識(shí)到底源自何處。

最近，這種局面終于發(fā)生了改變。滑鐵盧大學(xué)的研究團(tuán)隊(duì)抓住了一個(gè)千載難逢的機(jī)會(huì)：一個(gè)名為nanochat的小型AI模型家族公開(kāi)了所有訓(xùn)練數(shù)據(jù)。這些模型完全基于FineWeb-Edu語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，這個(gè)語(yǔ)料庫(kù)包含1000億個(gè)來(lái)自教育網(wǎng)站的詞匯，就像一個(gè)完全透明的圖書館，每本書、每個(gè)章節(jié)都清清楚楚。

基于這個(gè)透明的環(huán)境，研究團(tuán)隊(duì)開(kāi)發(fā)了NanoKnow——一個(gè)專門用于追蹤AI知識(shí)來(lái)源的"偵探工具包"。這個(gè)工具包的工作原理就像一位經(jīng)驗(yàn)豐富的圖書管理員，能夠準(zhǔn)確地告訴你某個(gè)問(wèn)題的答案是否曾經(jīng)出現(xiàn)在圖書館的某本書中。

NanoKnow的核心創(chuàng)新在于將問(wèn)題分為兩大類：一類是"見(jiàn)過(guò)答案"的問(wèn)題，也就是答案確實(shí)存在于訓(xùn)練數(shù)據(jù)中；另一類是"沒(méi)見(jiàn)過(guò)答案"的問(wèn)題，答案在訓(xùn)練數(shù)據(jù)中找不到蹤跡。通過(guò)這種分類，研究人員終于可以科學(xué)地研究AI模型在不同情況下的表現(xiàn)差異。

創(chuàng)建這個(gè)分類系統(tǒng)并不簡(jiǎn)單，就像一個(gè)偵探破案需要多重驗(yàn)證一樣。研究團(tuán)隊(duì)首先使用BM25搜索算法在整個(gè)語(yǔ)料庫(kù)中尋找可能包含答案的文檔，這就像用關(guān)鍵詞在圖書館中初步篩選相關(guān)書籍。然后，他們檢查這些文檔中是否真的包含問(wèn)題的答案，這個(gè)過(guò)程類似于逐頁(yè)翻閱，尋找確切的信息。最后，也是最關(guān)鍵的一步，他們使用另一個(gè)AI模型來(lái)驗(yàn)證找到的答案是否真正回答了問(wèn)題，而不僅僅是巧合出現(xiàn)了相同的詞匯。

這種三重驗(yàn)證機(jī)制確保了分類的準(zhǔn)確性。比如，對(duì)于問(wèn)題"2018年美國(guó)職業(yè)棒球大聯(lián)盟賽季什么時(shí)候開(kāi)始和結(jié)束？"，系統(tǒng)不僅要在文檔中找到"3月29日"和"10月31日"這些日期，還要確認(rèn)這些日期確實(shí)是在回答關(guān)于2018年棒球賽季的問(wèn)題，而不是在討論其他年份或其他體育賽事。

通過(guò)這種方法，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)令人驚訝的事實(shí)：在自然問(wèn)題數(shù)據(jù)集中，有66.2%的問(wèn)題在訓(xùn)練數(shù)據(jù)中都能找到答案；在閱讀理解數(shù)據(jù)集SQuAD中，這個(gè)比例更高，達(dá)到70.9%。這意味著大部分我們認(rèn)為需要"智能推理"的問(wèn)題，其實(shí)AI早就在訓(xùn)練時(shí)"見(jiàn)過(guò)"答案了。

一、記憶力與頻率的神奇關(guān)系

有了這個(gè)"偵探工具包"，研究團(tuán)隊(duì)開(kāi)始探索一個(gè)關(guān)鍵問(wèn)題：AI模型是否像人類一樣，見(jiàn)過(guò)的次數(shù)越多，記得越牢？為了回答這個(gè)問(wèn)題，他們統(tǒng)計(jì)了每個(gè)答案在訓(xùn)練數(shù)據(jù)中出現(xiàn)的頻率，并將問(wèn)題按照答案出現(xiàn)頻率分為四個(gè)等級(jí)：罕見(jiàn)（1-5次）、較少（6-20次）、中等（21-50次）和頻繁（51次以上）。

實(shí)驗(yàn)結(jié)果證實(shí)了一個(gè)直觀的猜想：AI模型的"記憶力"確實(shí)與見(jiàn)過(guò)的次數(shù)密切相關(guān)。當(dāng)研究人員讓模型在沒(méi)有任何外部提示的情況下回答問(wèn)題時(shí)，答案在訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率高的問(wèn)題，模型答對(duì)的概率要比罕見(jiàn)問(wèn)題高出一倍多。這就好比你在準(zhǔn)備考試時(shí)，反復(fù)練習(xí)的題目在考場(chǎng)上更容易答對(duì)，而只看過(guò)一遍的題目就容易忘記。

更有趣的是，這種"頻率效應(yīng)"不僅存在于純記憶場(chǎng)景中。即使研究人員為模型提供了包含答案的外部文檔（就像開(kāi)卷考試一樣），那些在訓(xùn)練時(shí)見(jiàn)過(guò)更多次的問(wèn)題仍然表現(xiàn)更好。這說(shuō)明AI模型的"記憶"和外部信息并不是簡(jiǎn)單的替代關(guān)系，而是會(huì)相互增強(qiáng)。就像一個(gè)學(xué)生即使可以查閱資料，但對(duì)熟悉知識(shí)點(diǎn)的理解和運(yùn)用仍然更加得心應(yīng)手。

不過(guò)，研究也發(fā)現(xiàn)了一個(gè)重要的限制：只有參數(shù)量達(dá)到一定規(guī)模的模型才表現(xiàn)出明顯的"頻率記憶"現(xiàn)象。最小的模型（約5.6億參數(shù)）幾乎沒(méi)有表現(xiàn)出這種規(guī)律，這提示我們AI的"記憶能力"需要足夠的"大腦容量"作為基礎(chǔ)。

二、開(kāi)卷與閉卷的智慧較量

在傳統(tǒng)教育中，開(kāi)卷考試通常比閉卷考試容易得多。AI模型是否也遵循這個(gè)規(guī)律呢？研究團(tuán)隊(duì)設(shè)計(jì)了一系列對(duì)比實(shí)驗(yàn)，讓同一個(gè)模型分別在"閉卷"（僅憑記憶回答）和"開(kāi)卷"（提供相關(guān)文檔）兩種條件下回答相同問(wèn)題。

結(jié)果顯示，外部信息的加入確實(shí)能顯著提升AI的表現(xiàn)。在沒(méi)有任何外部提示的情況下，最強(qiáng)的模型在SQuAD數(shù)據(jù)集上的準(zhǔn)確率約為23%，但當(dāng)研究人員為其提供包含答案的訓(xùn)練文檔時(shí)，準(zhǔn)確率躍升至59%。這種提升幅度就像學(xué)生從閉卷考試的及格邊緣一躍成為優(yōu)等生。

然而，更有趣的發(fā)現(xiàn)是，不同規(guī)模的模型從外部信息中獲益的程度并不相同。較小的模型從外部信息中獲得的提升更加顯著——這些模型的準(zhǔn)確率提升了4.4倍，而大模型的提升幅度相對(duì)較小，約為2.6倍。這個(gè)現(xiàn)象類似于基礎(chǔ)薄弱的學(xué)生更需要參考資料的幫助，而基礎(chǔ)扎實(shí)的學(xué)生即使不查資料也能表現(xiàn)不錯(cuò)。

研究還對(duì)比了兩種不同的"開(kāi)卷"方式：一種是提供訓(xùn)練數(shù)據(jù)中的原始文檔，另一種是提供專門為問(wèn)題定制的標(biāo)準(zhǔn)答案文檔。結(jié)果發(fā)現(xiàn)，定制的答案文檔總是比原始訓(xùn)練文檔效果更好。這就像考試時(shí)，專門的答案解析比教科書原文更容易幫助學(xué)生找到正確答案。

三、見(jiàn)過(guò)與沒(méi)見(jiàn)過(guò)的知識(shí)鴻溝

一個(gè)更深層的問(wèn)題是：當(dāng)AI模型面對(duì)完全陌生的問(wèn)題時(shí)，外部信息能否有效彌補(bǔ)這種知識(shí)空白？為了探索這個(gè)問(wèn)題，研究團(tuán)隊(duì)比較了模型在"見(jiàn)過(guò)答案"和"沒(méi)見(jiàn)過(guò)答案"兩類問(wèn)題上的表現(xiàn)差異。

即使在提供相同外部信息的情況下，模型在"見(jiàn)過(guò)答案"的問(wèn)題上仍然表現(xiàn)更好。這個(gè)現(xiàn)象非常引人深思：它表明AI模型的內(nèi)在記憶和外部信息之間存在某種協(xié)同效應(yīng)，而不是簡(jiǎn)單的信息替換。就像一個(gè)對(duì)某個(gè)領(lǐng)域有基礎(chǔ)了解的人，即使面對(duì)相同的參考資料，也能比完全外行的人更好地理解和運(yùn)用這些信息。

這種差異在所有規(guī)模的模型中都存在，而且隨著模型規(guī)模的增大而變得更加明顯。最大規(guī)模的模型在"見(jiàn)過(guò)答案"問(wèn)題上的準(zhǔn)確率比"沒(méi)見(jiàn)過(guò)答案"問(wèn)題高出約4個(gè)百分點(diǎn)，這個(gè)差距看似不大，但在AI應(yīng)用中已經(jīng)是相當(dāng)顯著的改進(jìn)。

四、干擾信息的微妙影響

在現(xiàn)實(shí)應(yīng)用中，AI系統(tǒng)往往需要從大量信息中篩選出有用的內(nèi)容，其中難免混雜著一些無(wú)關(guān)信息。研究團(tuán)隊(duì)專門設(shè)計(jì)實(shí)驗(yàn)來(lái)考察這種"信息污染"對(duì)AI性能的影響。

他們構(gòu)建了幾種不同的信息呈現(xiàn)方式：將正確答案文檔放在最遠(yuǎn)離問(wèn)題的位置（模擬信息被"埋沒(méi)"的情況）、放在中間位置（被無(wú)關(guān)信息包圍）、放在最靠近問(wèn)題的位置（最容易被注意到），以及完全不提供正確信息而只給出干擾信息。

實(shí)驗(yàn)結(jié)果揭示了AI模型的一個(gè)重要弱點(diǎn)：即使模型在訓(xùn)練時(shí)"見(jiàn)過(guò)"正確答案，干擾信息仍會(huì)顯著影響其表現(xiàn)。當(dāng)只提供干擾信息而不給出正確答案時(shí)，模型的準(zhǔn)確率竟然比完全依靠記憶回答還要低。這就像一個(gè)本來(lái)知道答案的學(xué)生，看到錯(cuò)誤的參考資料后反而變得困惑了。

更令人擔(dān)憂的是，隨著干擾信息數(shù)量的增加，模型的表現(xiàn)會(huì)急劇惡化。從提供1個(gè)干擾文檔到提供4個(gè)干擾文檔，準(zhǔn)確率下降了約23%。這種現(xiàn)象被研究人員稱為"迷失在中間"效應(yīng)——當(dāng)有用信息被大量無(wú)關(guān)信息包圍時(shí)，AI模型就像在信息海洋中迷失了方向。

正確信息的位置也至關(guān)重要。當(dāng)答案文檔緊鄰問(wèn)題時(shí)，模型表現(xiàn)最佳；當(dāng)答案被夾在干擾信息中間時(shí)，表現(xiàn)最差。這個(gè)發(fā)現(xiàn)對(duì)設(shè)計(jì)實(shí)用的AI系統(tǒng)具有重要啟示：如何組織和呈現(xiàn)信息對(duì)AI的性能有著決定性影響。

五、揭開(kāi)AI知識(shí)迷霧的意義

這項(xiàng)研究的價(jià)值不僅在于回答了"AI如何知道它們知道什么"這個(gè)根本問(wèn)題，更重要的是為未來(lái)的AI研究和應(yīng)用開(kāi)辟了新的道路。通過(guò)NanoKnow這個(gè)"偵探工具包"，研究人員首次能夠系統(tǒng)地分析AI知識(shí)的來(lái)源和運(yùn)用機(jī)制。

研究發(fā)現(xiàn)證實(shí)了學(xué)術(shù)界長(zhǎng)期以來(lái)的多項(xiàng)推測(cè)：AI的"智能"很大程度上依賴于訓(xùn)練數(shù)據(jù)中的頻繁模式，外部信息能夠彌補(bǔ)記憶的不足但無(wú)法完全替代內(nèi)在知識(shí)，干擾信息會(huì)顯著損害AI的判斷能力。這些發(fā)現(xiàn)為理解當(dāng)前AI系統(tǒng)的能力邊界提供了科學(xué)依據(jù)。

對(duì)于普通用戶而言，這些發(fā)現(xiàn)也有著實(shí)際意義。當(dāng)我們與AI助手互動(dòng)時(shí)，了解它們更容易在哪些類型的問(wèn)題上出錯(cuò)，如何更好地提供背景信息，以及如何避免信息混淆，都將幫助我們更有效地利用這些工具。

該研究團(tuán)隊(duì)已將NanoKnow的所有組件開(kāi)源發(fā)布，包括問(wèn)題分類數(shù)據(jù)、搜索索引和評(píng)估代碼。這種開(kāi)放態(tài)度將推動(dòng)更多研究人員探索AI知識(shí)機(jī)制的奧秘，也為開(kāi)發(fā)更加可靠、透明的AI系統(tǒng)奠定了基礎(chǔ)。

說(shuō)到底，這項(xiàng)研究就像為AI的"大腦"裝上了一臺(tái)X光機(jī)，讓我們第一次清晰地看到知識(shí)在人工智能中的存儲(chǔ)、檢索和運(yùn)用過(guò)程。雖然我們距離完全理解AI的智能機(jī)制還有很長(zhǎng)的路要走，但這種透明度的提升無(wú)疑是朝著更可信、更可控的AI未來(lái)邁出的重要一步。隨著越來(lái)越多的開(kāi)源AI模型和數(shù)據(jù)集的出現(xiàn)，我們有理由期待在不久的將來(lái)，AI的"思維過(guò)程"將變得像算數(shù)公式一樣透明清晰。

Q&A

Q1：NanoKnow是什么工具？

A：NanoKnow是滑鐵盧大學(xué)開(kāi)發(fā)的AI知識(shí)來(lái)源追蹤工具，能夠準(zhǔn)確識(shí)別AI模型的答案是來(lái)自訓(xùn)練數(shù)據(jù)中的"記憶"還是外部提供的信息。它將問(wèn)題分為"見(jiàn)過(guò)答案"和"沒(méi)見(jiàn)過(guò)答案"兩類，幫助研究人員科學(xué)分析AI的知識(shí)獲取和運(yùn)用機(jī)制。

Q2：AI模型回答問(wèn)題時(shí)主要依靠什么？

A：研究發(fā)現(xiàn)AI模型主要依靠訓(xùn)練時(shí)"見(jiàn)過(guò)"的知識(shí)來(lái)回答問(wèn)題。答案在訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率越高，模型答對(duì)的概率越大。即使提供外部信息，模型在"見(jiàn)過(guò)"的問(wèn)題上仍然表現(xiàn)更好，說(shuō)明內(nèi)在記憶和外部信息會(huì)相互增強(qiáng)。

Q3：干擾信息會(huì)如何影響AI模型表現(xiàn)？

A：干擾信息會(huì)顯著降低AI模型的準(zhǔn)確率，即使模型訓(xùn)練時(shí)見(jiàn)過(guò)正確答案。隨著干擾信息增加，準(zhǔn)確率會(huì)急劇下降約23%。當(dāng)正確答案被干擾信息包圍在中間位置時(shí)，模型表現(xiàn)最差，這被稱為"迷失在中間"效應(yīng)。