本研究系統(tǒng)追蹤了大規(guī)模語(yǔ)言模型在持續(xù)預(yù)訓(xùn)練階段知識(shí)回路的動(dòng)態(tài)演化，由宏觀表現(xiàn)到微觀拓?fù)渑c組件逐層解析，揭示出若干關(guān)鍵規(guī)律。我們認(rèn)為，大語(yǔ)言模型并非不可解釋的黑箱，而是由海量知識(shí)回路構(gòu)成的精密系統(tǒng)；深入理解這些回路的演化機(jī)制，或?yàn)闃?gòu)建更可控、更高效且更安全的人工智能奠定理論與技術(shù)基礎(chǔ)。

論文題目： How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training 論文鏈接： https://arxiv.org/abs/2502.11196v2 代碼鏈接： https://github.com/zjunlp/DynamicKnowledgeCircuits

當(dāng)今大語(yǔ)言模型正進(jìn)化得越來(lái)越聰明，展現(xiàn)出強(qiáng)大的“百科全書(shū)”能力，但你是否好奇它們是如何習(xí)得這些知識(shí)的？特別是當(dāng)世界不斷變化，新知識(shí)層出不窮，模型如何“更新”自己的認(rèn)知？究竟是“死記硬背”還是會(huì)在內(nèi)部重新組織結(jié)構(gòu)？

為了探索這些問(wèn)題，本文從“知識(shí)回路”的視角切入，通過(guò)追蹤分析模型內(nèi)部的計(jì)算子圖的動(dòng)態(tài)演化，系統(tǒng)揭示了大語(yǔ)言模型在持續(xù)預(yù)訓(xùn)練期間如何結(jié)構(gòu)性地整合、存儲(chǔ)和優(yōu)化新知識(shí)。

二、核心方法

本文首先構(gòu)建了一個(gè)可控的合成知識(shí)數(shù)據(jù)集，由虛構(gòu)人物及其出生地、大學(xué)、公司等信息構(gòu)成，覆蓋高、中、低頻率知識(shí)，并確保這些知識(shí)在模型的預(yù)訓(xùn)練階段不存在，屬于新知識(shí)的范疇，并同時(shí)涵蓋相關(guān)新知識(shí)和全新知識(shí)兩種類型。隨后對(duì)decoder-only 架構(gòu)的 GPT-2、TinyLLaMA、Phi-1.5 等系列模型在合成構(gòu)建的新知識(shí)語(yǔ)料庫(kù)上進(jìn)行了持續(xù)預(yù)訓(xùn)練。

傳統(tǒng)的分析手段往往將大語(yǔ)言模型中的知識(shí)視為分散的“知識(shí)神經(jīng)元”或“記憶塊”，而本文從新穎的“知識(shí)回路”視角來(lái)進(jìn)行研究。什么是知識(shí)回路？它是模型內(nèi)部一個(gè)稀疏的計(jì)算子圖，由模型完整計(jì)算圖中少部分關(guān)鍵節(jié)點(diǎn)和邊組成，專門(mén)負(fù)責(zé)存儲(chǔ)和處理某一類特定知識(shí)。本文使用現(xiàn)有的回路發(fā)現(xiàn)方法EAP-IG，為模型中的每一條邊分配一個(gè)重要性分?jǐn)?shù)，通過(guò)保留分?jǐn)?shù)絕對(duì)值最高的若干（約7%～15%）邊來(lái)識(shí)別回路。通過(guò)在持續(xù)預(yù)訓(xùn)練期間不同的訓(xùn)練檢查點(diǎn)上運(yùn)行 EAP-IG 方法可以識(shí)別不同階段的知識(shí)回路，進(jìn)一步可以分析它們的演化規(guī)律。本文的分析將由表及里從三個(gè)層面展開(kāi)：

• 性能表現(xiàn)：知識(shí)回路獨(dú)立重現(xiàn)模型行為的表現(xiàn)如何變化？

• 拓?fù)浣Y(jié)構(gòu)：知識(shí)回路的拓?fù)浣Y(jié)構(gòu)如何變化？

• 功能組件：組成知識(shí)回路的結(jié)點(diǎn)與邊如何變化？

通過(guò)分析知識(shí)回路在持續(xù)預(yù)訓(xùn)練期間的性能變化，本文發(fā)現(xiàn)模型對(duì)于新知識(shí)的習(xí)得遵從知識(shí)相關(guān)性原則（Knowledge Relevance Principle），即模型更容易學(xué)習(xí)與已有知識(shí)相關(guān)的新知識(shí)（如已知實(shí)體新的屬性），而對(duì)完全陌生的知識(shí)更難吸收，表明說(shuō)大語(yǔ)言模型更擅長(zhǎng)在已有認(rèn)知框架內(nèi)進(jìn)行擴(kuò)展。更擅長(zhǎng)在已有認(rèn)知框架內(nèi)進(jìn)行擴(kuò)展。

知識(shí)回路拓?fù)浞治?/strong>

在知識(shí)回路的拓?fù)浣Y(jié)構(gòu)層面，本文首先檢查每個(gè)中間檢查點(diǎn)上的知識(shí)回路與最終回路之間的相似度，通過(guò)回路中的邊構(gòu)成的集合的交集除以并集所得的比例來(lái)衡量。實(shí)驗(yàn)發(fā)現(xiàn)，在所有的模型上，回路的相似度都呈現(xiàn)出一個(gè)穩(wěn)定的上升趨勢(shì)，表明隨著知識(shí)習(xí)得的進(jìn)行，知識(shí)回路與最終回路越來(lái)越相似，檢查點(diǎn)之間不存在很大幅度的調(diào)整。

根據(jù)觀察到的趨勢(shì)，本文進(jìn)一步提出了假設(shè)：在模型的知識(shí)習(xí)得過(guò)程中，知識(shí)回路會(huì)逐步獲取特定的知識(shí)，回路會(huì)越來(lái)越高效和精確，其中一小部分關(guān)鍵節(jié)點(diǎn)和邊緣會(huì)變得越來(lái)越重要，影響也越來(lái)越大。為了驗(yàn)證這一假設(shè)，本文借鑒信息論設(shè)計(jì)了回路熵指標(biāo)，并探索知識(shí)回路演化過(guò)程中的熵變化。實(shí)驗(yàn)發(fā)現(xiàn)，在持續(xù)預(yù)訓(xùn)練期間，知識(shí)回路的熵呈現(xiàn)穩(wěn)定下降趨勢(shì)，表明知識(shí)回路的拓?fù)浣Y(jié)構(gòu)變得越來(lái)越集中，特定邊的重要性在不斷增加。

同時(shí)實(shí)驗(yàn)還發(fā)現(xiàn)，回路相似度的上升趨勢(shì)和回路熵的下降趨勢(shì)在訓(xùn)練達(dá)到某一步之后明顯放緩，本文將這一有趣現(xiàn)象總結(jié)為知識(shí)回路的雙階段演化（Biphasic Circuit Evolution），即知識(shí)回路的演化先經(jīng)歷形成階段，快速鎖定基礎(chǔ)結(jié)構(gòu)，關(guān)鍵邊和節(jié)點(diǎn)逐漸凸顯，回路結(jié)構(gòu)變化大；再進(jìn)入優(yōu)化階段，結(jié)構(gòu)趨于穩(wěn)定，在已有結(jié)構(gòu)上不斷提升表現(xiàn)，性能繼續(xù)增長(zhǎng)直至收斂。

知識(shí)回路組件分析

在知識(shí)回路的組件層級(jí)，本文主要關(guān)注回路中的關(guān)鍵結(jié)點(diǎn)即注意力頭的行為變化。實(shí)驗(yàn)發(fā)現(xiàn)，位于知識(shí)回路的中到深層的注意力頭先學(xué)會(huì)從模型參數(shù)中提取特定的知識(shí)，而位于知識(shí)回路較淺層的注意力頭在訓(xùn)練期間持續(xù)豐富特定知識(shí)的表征。

四、總結(jié)

本文通過(guò)對(duì)大語(yǔ)言模型在持續(xù)預(yù)訓(xùn)練過(guò)程中的知識(shí)回路的動(dòng)態(tài)變化進(jìn)行追蹤，由表及里地對(duì)知識(shí)回路的表現(xiàn)、拓?fù)浜徒M件進(jìn)行了全面分析，揭示了幾個(gè)關(guān)鍵發(fā)現(xiàn)。我們相信大語(yǔ)言模型并非黑盒，而是由無(wú)數(shù)知識(shí)回路組成的精密系統(tǒng)，理解這些回路的演化規(guī)律，也許是邁向更可控、更高效、更安全人工智能的關(guān)鍵步驟。

作者：歐翌昕 來(lái)源：知識(shí)引擎實(shí)驗(yàn)室-ZJU

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門(mén)創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門(mén)”

將門(mén)是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門(mén)成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門(mén)”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈