始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel推出邀請(qǐng)注冊(cè)獎(jiǎng)勵(lì)活動(dòng)，最高可得算力券+token包380元獎(jiǎng)勵(lì)，歡迎參與和支持！

你是否想過，我們是如何“修正”大模型（LLM）的記憶的？這個(gè)過程叫做“模型編輯”（Model Editing）。它就像是給大模型“打補(bǔ)丁”或“更新記憶” ，比如告訴它一個(gè)新事實(shí)，或者糾正一個(gè)它的“幻覺”。

但一個(gè)核心問題是：你今天剛教會(huì)它“拜登是第46任總統(tǒng)”，明天它可能就忘了“特朗普是第45任”；你剛給它更新了最新的醫(yī)療知識(shí)，它在回答通用問題時(shí)就開始“胡言亂語”。對(duì)大模型進(jìn)行持續(xù)的知識(shí)更新，是否必然導(dǎo)致“災(zāi)難性遺忘”（catastrophic forgetting）？是不是模型一編輯，就必然“性能崩潰”（model collapse）？

來自國防科技大學(xué) PDL的研究團(tuán)隊(duì)，在發(fā)表于NeurIPS 2025 的最新論文中，從生物大腦中汲取靈感，給出了一個(gè)顛覆性的答案：給大模型裝上“海馬體”！

研究團(tuán)隊(duì)受人腦海馬體處理記憶的“三突觸回路”啟發(fā)，提出了一種全新的類海馬體序列編輯（HSE）框架。該框架通過三大核心機(jī)制，徹底改變了模型編輯的“游戲規(guī)則”。當(dāng)其他模型在連續(xù)編輯數(shù)百次后性能就“雪崩”至零時(shí)，HSE在連續(xù)編輯1000次后，通用能力不僅毫發(fā)無損，甚至還超越了原始模型！已上線始智AI-wisemodel開源社區(qū)，歡迎體驗(yàn)。

代碼地址

https://wisemodel.cn/codes/SquareGroupsky/Hippocampal-like-Sequential-Editing

01.

揭秘HSE的“海馬體”三部曲

為什么大模型會(huì)遺忘？因?yàn)樗鼈內(nèi)狈θ四X的精妙機(jī)制。HSE框架則模擬了海馬體的三大法寶：

1.機(jī)制一：主動(dòng)遺忘(Active Forgetting)

靈感來源：人腦會(huì)通過長時(shí)程抑制（LTD）機(jī)制主動(dòng)忘記過時(shí)或沖突的信息。

HSE做法：引入“機(jī)器遺忘”（Machine Unlearning）策略。在學(xué)習(xí)新知識(shí)過程中，“主動(dòng)忘記”那些即將過時(shí)的舊知識(shí)，為新記憶騰出“神經(jīng)空間”，從根源上解決新舊沖突。

2.機(jī)制二：領(lǐng)域分離(Knowledge Separation)

靈感來源：海馬體的齒狀回（DG）具有“模式分離”（Pattern Separation）功能，能將相似的輸入信息映射到完全不同的神經(jīng)元上，互不干擾。

HSE做法：使用“Fisher Information Matrix” （FIM）來指導(dǎo)參數(shù)更新。FIM能識(shí)別出對(duì)不同知識(shí)領(lǐng)域最重要的參數(shù)，在編輯時(shí)“精準(zhǔn)控制”更新幅度，確保編輯“醫(yī)療知識(shí)”時(shí)，不會(huì)干擾到“藝術(shù)知識(shí)”，防止跨域干擾。

3.機(jī)制三：參數(shù)回放(Parameter Replay)

靈感來源：人腦在休息時(shí)，海馬體會(huì)“回放”（Replay）白天的經(jīng)歷（SWRs），將短期記憶固化為長期記憶。

HSE做法：設(shè)計(jì)了一種高效的“參數(shù)回放”機(jī)制。它以一種輕量化的參數(shù)形式，不斷“鞏固”所有編輯過的歷史知識(shí)，最終推導(dǎo)出嚴(yán)謹(jǐn)?shù)拈]式解（closed-form solution），在數(shù)學(xué)上保證了長期記憶的穩(wěn)定。

02.

為什么HSE在數(shù)學(xué)上更優(yōu)？

這篇成果的亮點(diǎn)絕不僅在于“仿生”，更在于其堅(jiān)實(shí)的理論貢獻(xiàn)：

1.更緊的泛化界(Tighter Generalization Bound):

研究者從數(shù)學(xué)上證明，其“主動(dòng)遺忘”模塊（MAF Loss）相比傳統(tǒng)的交叉熵?fù)p失（CE Loss），能帶來更緊的泛化誤差上界（Corollary 1） 。

2.可證明的收斂性(Provable Convergence):

研究者證明了其“參數(shù)回放”模塊（LEM）的更新范數(shù)（Frobenius norm）是收斂的。

3.AlphaEdit只是一個(gè)特例：

AlphaEdit 是模型編輯領(lǐng)域一個(gè)強(qiáng)力的基線。但HSE從理論上指出，AlphaEdit的知識(shí)正交化方法，在數(shù)學(xué)上只是HSE所提出的“參數(shù)回放”公式的一個(gè)特例。實(shí)驗(yàn)也表明，HSE的效果顯著優(yōu)于AlphaEdit 。

4.F-Norm洞察：

模型的“抗編輯性”論文還揭示了一個(gè)關(guān)鍵洞察：原始模型的F-Norm（Frobenius Norm）越大，模型越能“抗編輯”。Llama3和Mistral的F-Norm遠(yuǎn)小于GPT-J ，這導(dǎo)致它們對(duì)編輯更敏感，也更容易“崩潰” 。而HSE的LEM模塊，正是通過約束F-Norm的增長，才成功駕馭了這些敏感模型 。

03.

不僅沒遺忘，通用能力還變強(qiáng)了？

堅(jiān)實(shí)的理論帶來了驚人的實(shí)驗(yàn)效果。研究團(tuán)隊(duì)在Llama3等多個(gè)主流模型上，進(jìn)行了多達(dá)1000次的序列編輯實(shí)驗(yàn) 。驚人現(xiàn)象出現(xiàn)了：

1.終結(jié)“模型崩潰”

在評(píng)估通用能力的GLUE基準(zhǔn)測(cè)試上，現(xiàn)有的方法（如MEND、MEMIT、PRUNE）在經(jīng)歷幾百次編輯后，性能無一例外地急劇下降至接近零，模型徹底“崩潰” 。

而HSE框架，在經(jīng)歷了1000次編輯后，性能曲線幾乎紋絲不動(dòng)，甚至在使用ZsRE數(shù)據(jù)集編輯后，平均性能還提升了1.67%！這意味著HSE不僅修復(fù)了知識(shí)，還順便提升了模型的通用理解能力。

2.編輯性能遙遙領(lǐng)先

在CounterFact和ZsRE兩個(gè)標(biāo)準(zhǔn)的模型編輯基準(zhǔn)上，HSE的編輯效果也全面占優(yōu)。與最佳基線相比，HSE在泛化性上平均提升20.6%，特異性上提升21.9%。

3.解決真實(shí)世界難題

研究者還在三大實(shí)際應(yīng)用中驗(yàn)證了HSE的威力：

緩解幻覺：在HalluEdit數(shù)據(jù)集上，HSE在9個(gè)不同領(lǐng)域均能有效緩解模型幻覺。

醫(yī)療知識(shí)注入：成功為專業(yè)醫(yī)療大模型注入新大的醫(yī)療知識(shí)，且不破壞原有專業(yè)性。

減少社會(huì)偏見：在SafeEdit數(shù)據(jù)集上，HSE能有效“遺忘”有害和歧視性內(nèi)容，顯著提升模型安全性 。

這項(xiàng)研究不再滿足于模型編輯的“小修小補(bǔ)”，而是從生物機(jī)制出發(fā)，首次提出了一套完整的、受海馬體啟發(fā)的序列編輯框架HSE 。

通過“主動(dòng)遺忘”、“領(lǐng)域分離”和“參數(shù)回放”三大機(jī)制，HSE在理論上被證明具有更緊的泛化界和更穩(wěn)定的收斂性，在實(shí)踐中則首次實(shí)現(xiàn)在大規(guī)模序列編輯后，通用能力不降反升的驚人效果。這為大模型實(shí)現(xiàn)“終身學(xué)習(xí)”和“持續(xù)進(jìn)化”提供了一條極具潛力的技術(shù)路徑。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運(yùn)營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核⒋笮突ヂ?lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動(dòng)查看