新智元報(bào)道

編輯：編輯部

【新智元導(dǎo)讀】深夜，梁文鋒署名的DeepSeek新論文又來了。這一次，他們提出全新的Engram模塊，解決了Transformer的記憶難題，讓模型容量不再靠堆參數(shù)！

剛剛 ，DeepSeek新論文發(fā)布了，梁文鋒署名！

這一次，他們聯(lián)手北大直接瞄準(zhǔn)了「記憶」，是Transformer最致命的關(guān)鍵難題。

如今，MoE成為大模型主流架構(gòu)，但本質(zhì)仍是Transformer，因其缺少原生「知識(shí)查找」機(jī)制，很多檢索能力被迫用大量計(jì)算去模擬。

33頁(yè)論文中，團(tuán)隊(duì)提出了 MoE 互補(bǔ)的「條件記憶」稀疏軸，并通過一種全新的Engram模塊去實(shí)現(xiàn)：

將經(jīng)典哈希N-gram嵌入現(xiàn)代化，提供近似O(1)的確定性知識(shí)查找。

論文地址：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

通過「稀疏分配」（Sparsity Allocation）建模，他們意外發(fā)現(xiàn)MoE與Engram之間，存在「U形scaling law」。

這意味著，需調(diào)整兩者之間資源比例，讓計(jì)算與靜態(tài)記憶間找到最優(yōu)權(quán)衡。

沿著這個(gè)規(guī)律，將Engram擴(kuò)展到27B參數(shù)后，并在嚴(yán)格等參數(shù)、等FLOPs下優(yōu)于MoE基線。

直白講，MoE只解決「怎么少算」，Engram直接解決「別瞎算」。

它把該查的交給 O(1)記憶，把注意力從局部瑣碎中解救出來，結(jié)果不只是更會(huì)背知識(shí)，同時(shí)推理、代碼、數(shù)學(xué)一起變強(qiáng)。

這可能成為稀疏LLM下一條主流路線，更重要的是，下一代V4或?qū)⒓蛇@一新方法。

不再苦算，給Transfomer插入「電子腦」

當(dāng)前，LLM越做越大已成為「鐵律」，一條熟悉的路徑是——

把參數(shù)做大，把計(jì)算做「稀疏」。

混合專家模型（MoE）就是典型代表，每個(gè)token只需激活少量專家，用「條件計(jì)算」讓參數(shù)規(guī)模飆升，F(xiàn)LOPs還能控住。

從Artifical Analysis榜單中可以看出，現(xiàn)有的稀疏大模型，主流都是MoE。

但問題在于，Transformer缺少一種「原生的知識(shí)查找」能力，所以很多本該像檢索一樣 O(1)解決的事，被迫用一堆計(jì)算去「模擬檢索」，效率很不劃算。

北大和DeepSeek新論文帶來一個(gè)很有意思的觀點(diǎn)：稀疏化不只服務(wù)「計(jì)算」，也可以服務(wù)「記憶」。

由此，團(tuán)隊(duì)提出了Engram，把語(yǔ)言建模中大量「固定、局部、刻板」的模式，交給一個(gè)可擴(kuò)展的查表模塊去承擔(dān)。

這樣一來，可以讓Transformer主干把注意力和深度用在更需要「組合與推理」的地方。

語(yǔ)言建模，兩類任務(wù)

論文中，作者明確將語(yǔ)言建模拆成兩類子任務(wù)：

• 一部分任務(wù)需「組合與推理」：上下文關(guān)系、長(zhǎng)程依賴、邏輯推理、鏈?zhǔn)酵评怼?/p>

• 另一部分任務(wù)更像「模式檢索」：實(shí)體名、固定搭配、常見短語(yǔ)、語(yǔ)法片段、重復(fù)出現(xiàn)的局部結(jié)構(gòu)

后者的一個(gè)共同點(diǎn)很明顯，即它們往往局部、穩(wěn)定、重復(fù)出現(xiàn)。

若是用多層注意力和FFN去「算」他們，模型做得到，但成本極高，還會(huì)擠占早期層的表達(dá)空間。

為了識(shí)別實(shí)體「戴安娜，威爾士王妃」（Diana，Princess of Wales），LLM必須消耗多層注意力和FFN來逐步組合特征，這個(gè)過程理論上是可以通過一次知識(shí)查找操作來完成的。

而Engram想做的事情很直接——

把這類「局部靜態(tài)模式」轉(zhuǎn)移到一個(gè)廉價(jià)的知識(shí)查找原語(yǔ)。

它用確定性的查表快速給出候選信息，再由上下文決定是否采納。

Engram核心架構(gòu)：暴力查表+記憶開關(guān)

Engram一詞源于神經(jīng)學(xué)，本意為「記憶痕跡」，是一種可擴(kuò)展、可檢索的記憶單元。

它可以用于存儲(chǔ)LLM在推理過程中，可能已接觸過的模式、信息片段。

可以將Engram理解為，把經(jīng)典「哈希N-gram嵌入」現(xiàn)代化，做成插在Transformer中間層的一個(gè)「可擴(kuò)展查表模塊」。

如圖1所示，Engram是一個(gè)條件記憶模塊，旨在通過從結(jié)構(gòu)上將靜態(tài)模式存儲(chǔ)與動(dòng)態(tài)計(jì)算分離開來，從而增強(qiáng)Transformer骨干網(wǎng)絡(luò)。

形式化地說，給定輸入序列X=(x_1,...,x_T)和第l層的隱藏狀態(tài)H^(l)∈R^Txd，該模塊分兩個(gè)功能階段來處理每個(gè)位置t：檢索和融合。

接下來，一起看看Engram的關(guān)鍵設(shè)計(jì)點(diǎn)。

基于哈希N-gram的稀疏檢索

第一階段主要負(fù)責(zé)將局部上下文映射到靜態(tài)的記憶條目中，這通過分詞器壓縮（tokenizer compression）和確定性哈希檢索嵌入來實(shí)現(xiàn)。

分詞器壓縮

為了最大化語(yǔ)義密度，作者引入了一個(gè)詞表投影層。

他們預(yù)先計(jì)算了一個(gè)滿射函數(shù)P:V→V'，利用歸一化的文本等價(jià)性（比如NFKC、小寫化等手段）將原始Token ID坍縮成規(guī)范標(biāo)識(shí)符。

這個(gè)過程能讓128k大小的分詞器有效詞表大小減少23%。

多頭哈希

要想直接參數(shù)化所有可能的N-grams組合空間，計(jì)算上是行不通的。作者采用了一種基于哈希的方法。

為了減少?zèng)_突，給每個(gè)N-gram階數(shù)n分配了K個(gè)不同的哈希頭。

每個(gè)頭k通過一個(gè)確定性函數(shù)φ_n,k,將壓縮后的上下文映射到嵌入表E_n,k中的一個(gè)索引：

上下文感知門控

檢索到的嵌入e_t充當(dāng)?shù)氖巧舷挛臒o關(guān)的先驗(yàn)信息。不過，它們?nèi)菀资艿焦_突或多義詞帶來的噪聲干擾。

為了增強(qiáng)表達(dá)力并解決這種歧義，作者采用了一套受注意力機(jī)制啟發(fā)的上下文感知門控機(jī)制。

他們利用當(dāng)前的隱藏狀態(tài)h_t作為動(dòng)態(tài)的Query，而檢索到的記憶e_t則作為Key和Value投影的來源：

其中W_K，W_V是可學(xué)習(xí)的投影矩陣。

為了保證梯度穩(wěn)定性，他們?cè)谟?jì)算標(biāo)量門α_t∈(0,1)之前，先對(duì)Query和Key進(jìn)行RMSNorm處理：

最后，為了擴(kuò)大感受野并增強(qiáng)模型的非線性，作者還引入了一個(gè)短的深度因果卷積：

門控可視化

為了實(shí)證驗(yàn)Engram是否按預(yù)期行為，作者在圖7中可視化了Engram-27B在各種樣本上的門控標(biāo)量α_t。

結(jié)果展示了，明顯的選擇性模式。門控機(jī)制在完成局部、靜態(tài)模式時(shí)一致地激活（顯示為紅色）。

在英文中，觀察到在多Token命名實(shí)體（如Alexander the Great、the Milky Way）和固定短語(yǔ)（如By the way，Princess of Wales）上有強(qiáng)烈的激活。

關(guān)鍵是，這種行為有效地跨語(yǔ)言泛化。

在中文demo中，Engram識(shí)別并檢索獨(dú)特的習(xí)語(yǔ)表達(dá)和歷史實(shí)體，比如「四大發(fā)明」和「張仲景」。

這些定性結(jié)果證實(shí)，Engram成功識(shí)別并處理了固定的語(yǔ)言依賴關(guān)系，有效地將Transformer骨干網(wǎng)絡(luò)從記憶這些靜態(tài)關(guān)聯(lián)中解放出來。

系統(tǒng)效率：計(jì)算與存儲(chǔ)解耦

擴(kuò)展記憶增強(qiáng)型模型往往受限于GPU高帶寬內(nèi)存（HBM）的容量。

然而，Engram的確定性檢索機(jī)制天生就支持將參數(shù)存儲(chǔ)與計(jì)算資源解耦。

與依賴運(yùn)行時(shí)隱藏狀態(tài)進(jìn)行動(dòng)態(tài)路由的混合專家模型（MoE）不同，Engram的檢索索引僅取決于輸入的Token序列。

這種可預(yù)測(cè)性為訓(xùn)練和推理提供了專門的優(yōu)化策略，如圖2所示。

訓(xùn)練階段，為了容納大規(guī)模嵌入表，他們采用標(biāo)準(zhǔn)的模型并行策略，將表分片存儲(chǔ)在可用的GPU上。

推理階段，這種確定性特性使得「預(yù)取和重疊」策略成為可能。

U型Scaling Law，揭秘最優(yōu)分配比

Engram作為條件記憶的一種實(shí)現(xiàn)形式，在結(jié)構(gòu)上與MoE專家提供的條件計(jì)算是互補(bǔ)的。

這里，主要研究了以下兩個(gè)關(guān)鍵問題：

1. 有限約束下的分配

2. 無限內(nèi)存場(chǎng)景

作者通過三個(gè)參數(shù)指標(biāo)來分析MoE和Engram之間的權(quán)衡：

• P_tot:總可訓(xùn)練參數(shù)，不包括詞表嵌和LM頭。

• P_act：每個(gè)Token的激活參數(shù)量。這個(gè)數(shù)值決定了訓(xùn)練成本（FLOPs）。

• P_sparse?P_tot-P_act：非激活參數(shù)，這代表了「免費(fèi)」的參數(shù)預(yù)算，可用于在不增加計(jì)算成本的情況下擴(kuò)展模型規(guī)模。

作者將分配比例ρ∈[0,1]定義為分配給MoE專家容量的非激活參數(shù)預(yù)算的比例：

直觀來說：

• ρ=1對(duì)應(yīng)純MoE模型（所有非激活參數(shù)都是參與路由的專家）。

• ρ＜1則減少路由專家的數(shù)量，并將釋放出來的參數(shù)重新分配給Engram嵌入槽位。

結(jié)果與分析

圖3（左）展示了驗(yàn)證損失與分配比例ρ之間存在一致的U型關(guān)系。

這種U型關(guān)系證實(shí)了兩個(gè)模塊之間的結(jié)構(gòu)互補(bǔ)性：

• MoE主導(dǎo)（ρ→100）：模型缺乏用于存儲(chǔ)靜態(tài)模式的專用內(nèi)存，迫使它只能通過增加深度和計(jì)算量來低效地重建這些模式。

• Engram主導(dǎo)（ρ→0%）：模型失去了條件計(jì)算能力，從而損害了那些需要?jiǎng)討B(tài)、上下文依賴推理的任務(wù)；在這種場(chǎng)景下，記憶無法替代計(jì)算。

接下來，作者探索了一種互補(bǔ)的設(shè)置：激進(jìn)的內(nèi)存擴(kuò)展。

圖3（右）表明，擴(kuò)展內(nèi)存槽位的數(shù)量能帶來清晰且一致的驗(yàn)證損失改善。

在探索的范圍內(nèi)，曲線遵循嚴(yán)格的冪律，這表明Engram提供了一種可預(yù)測(cè)的擴(kuò)展調(diào)節(jié)手段：更大的內(nèi)存能持續(xù)帶來收益，而無需額外的計(jì)算量。

關(guān)于擴(kuò)展效率關(guān)鍵的一點(diǎn)是：雖然OverEncoding的直接平均方法也能受益于更大的內(nèi)存表，但Engram在相同的內(nèi)存預(yù)算下解鎖了更大的擴(kuò)展?jié)摿Α?/p>

結(jié)合分配定律，這些結(jié)果驗(yàn)證了——

條件記憶可以作為稀疏容量的一個(gè)獨(dú)特且可擴(kuò)展的維度，與MoE的條件計(jì)算相輔相成。

爆殺傳統(tǒng)MoE，知識(shí)推理數(shù)學(xué)全面漲

基于Engram架構(gòu)以及實(shí)驗(yàn)得出的分配定律，作者將Engram擴(kuò)展到了數(shù)十億參數(shù)的級(jí)別，以此來驗(yàn)證其在現(xiàn)實(shí)世界LLM預(yù)訓(xùn)練中的有效性。

他們訓(xùn)練了以下四個(gè)模型：

·Dense-4B （總參數(shù)4.1B）

·MoE-27B （總參數(shù)26.7B）

·Engram-27B （總參數(shù)26.7B）

·Engram-40B （總參數(shù)39.5B）

實(shí)驗(yàn)結(jié)果

首先，與先前的文獻(xiàn)結(jié)論一致，稀疏架構(gòu)表現(xiàn)出了優(yōu)于密集模型的擴(kuò)展定律。

在相同的訓(xùn)練計(jì)算預(yù)算下，所有三個(gè)稀疏變體（MoE-27B，Engram-27B/40B）在所有基準(zhǔn)測(cè)試中都顯著擊敗了等FLOPs的Dense-4B基線。

更重要的是，Engram-27B始終優(yōu)于等參數(shù)且等FLOPs的MoE-27B基線。

有趣的是，這些收益并不僅限于知識(shí)密集型任務(wù)（MMLU：+3.0，MMLU-Pro：+1.8，CMMLU：+4.0）。

在通用推理領(lǐng)域（BBH：+5.0，ARC-Challenge：+3.7，DROP：+3.3），以及代碼和數(shù)學(xué)推理（HumanEval：+3.0，MBPP：+1.6，GSM8K：+2.2，MATH：+2.4）中，提升更為顯著。

這些結(jié)果支持了他們的假設(shè)：引入一個(gè)專用的知識(shí)查找原語(yǔ)所帶來的表示效率提升，要超過將所有稀疏預(yù)算都分配給條件計(jì)算的效果。

最后，擴(kuò)展到Engram-40B進(jìn)一步降低了預(yù)訓(xùn)練損失，并在大多數(shù)基準(zhǔn)測(cè)試中提升了性能。

可以觀察到，Engram-40B與基線之間的訓(xùn)練損失差距在訓(xùn)練后期仍在持續(xù)擴(kuò)大，這表明擴(kuò)大的內(nèi)存容量在當(dāng)前的Token預(yù)算內(nèi)尚未完全飽和。

注意力徹底解放，32k上下文性能狂飆

通過將局部依賴建模的任務(wù)卸載給靜態(tài)查找，Engram架構(gòu)保留了寶貴的注意力容量來管理全局上下文。

通過長(zhǎng)上下文擴(kuò)展訓(xùn)練，作者證明了Engram在長(zhǎng)程檢索和推理任務(wù)上帶來了顯著的提升。

實(shí)驗(yàn)結(jié)果

1. 超越注意力機(jī)制的長(zhǎng)上下文能力

雖然注意力機(jī)制和位置編碼提供了處理上下文的結(jié)構(gòu)基礎(chǔ)，但結(jié)果表明，長(zhǎng)上下文性能并非僅由架構(gòu)先驗(yàn)決定。

軌跡可見，長(zhǎng)上下文性能與基座模型的通用建模能力本質(zhì)上是掛鉤的。

因此，嚴(yán)格的架構(gòu)比較必須通過對(duì)齊基座模型的Loss來控制這一干擾變量，而不僅僅是簡(jiǎn)單地對(duì)齊訓(xùn)練步數(shù)。

2. 受控設(shè)定下的架構(gòu)優(yōu)越性

在上述原則的指導(dǎo)下，作者將Engram與MoE 基線進(jìn)行了對(duì)比。當(dāng)控制了基座能力后，Engram模塊的效率增益就變得非常明顯：

• 等Loss設(shè)定（46k vs. 基線）：當(dāng)對(duì)比預(yù)訓(xùn)練Loss對(duì)齊的Engram-27B（46k）和完全訓(xùn)練的MoE-27B（50k）時(shí)，Engram 展現(xiàn)出了顯著的增益。

• 等FLOPs設(shè)定（50k vs. 基線）：在標(biāo)準(zhǔn)的等計(jì)算預(yù)算下，Engram-27B（50k）進(jìn)一步拉大了這一差距，確立了全面的最佳性能。

• 極端設(shè)定（≈82%計(jì)算量）：即便是提前停止訓(xùn)練的Engram-27B（41k），在面對(duì)完全訓(xùn)練的MoE-27B（50k）時(shí)依然極具競(jìng)爭(zhēng)力。這凸顯了Engram架構(gòu)內(nèi)在的優(yōu)越性。

計(jì)算+記憶雙軸時(shí)代，直接融入V4？

DeepSeek最新論文，打開了稀疏化的第二條路，是一條非常具有啟發(fā)性的路線：

稀疏化模型進(jìn)入了「計(jì)算+記憶」雙軸時(shí)代。

• MoE繼續(xù)負(fù)責(zé)動(dòng)態(tài)計(jì)算與推理

• Engram負(fù)責(zé)存儲(chǔ)與檢索靜態(tài)知識(shí)與局部模式

如上的U型scaling law證明了，稀疏預(yù)算全部給MoE，不是全局最優(yōu)，留出一部分給Engram整體更強(qiáng)。

1. 稀疏化目標(biāo)變得更豐富了

條件計(jì)算解決了FLOPs，條件記憶解決了容量與模式檢索，兩線均可互補(bǔ)。

2. Engram收益帶有結(jié)構(gòu)性

它讓LLM知識(shí)能力暴漲同時(shí)，也間接提升了推理、數(shù)學(xué)、代碼的性能，因?yàn)門ransfomer主干的深度和注意力計(jì)算效用更「值錢」了。

3. 確定性查表，很適合系統(tǒng)優(yōu)化

模型預(yù)取和卸載很大，為「更大參數(shù)、同等吞吐」提供了一種可行的工程路線。

如今，全網(wǎng)都在猜測(cè)，春節(jié)檔的V4有很大概率會(huì)把Engram融入主干架構(gòu)。

回看此前DeepSeek路線：

DeepSeek V2曾引入MLA，大幅提升了推理效率和KV緩存友好度；

DeepSeek V3持續(xù)優(yōu)化MoE，實(shí)現(xiàn)無損負(fù)載均衡，訓(xùn)練更穩(wěn)定，成本更低。

若是V4真的把Engram落地，那將不僅是參數(shù)規(guī)模的提升，更是架構(gòu)范式的又一次躍遷。

再加上，此前爆出，V4代碼實(shí)力可能趕超Claude、ChatGPT系列。

今年的春節(jié)大禮，真是讓人期待。

作者介紹

Xin Cheng

Xin Cheng目前在北京大學(xué)讀博，主攻自然語(yǔ)言處理方向，研究重點(diǎn)是大語(yǔ)言模型和檢索增強(qiáng)生成。

作為一名學(xué)術(shù)新秀，他在圈內(nèi)已經(jīng)做出了不少成績(jī)，尤其是在NeurIPS、ACL和EMNLP這些頂會(huì)上，發(fā)了多篇一作論文。

參考資料：HYZ

https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

https://x.com/karminski3/status/2010858438814023740

https://x.com/LearnWithScribe/status/2010783721410981930?s=20