★ 設為星標 | 只講人話，帶你玩轉AIGC。

DeepSeek 真的不打算讓人休息啊。

最近圈子里瘋傳：DeepSeek V4 即將在未來幾周（春節(jié)前后）發(fā)布。

雖然官方沒說話，但看這架勢，大概率是真的。你們看這幾周 DeepSeek 有多“反?！保?/p>

• 元旦當天： 剛扔出 mHC 論文，試圖拆掉 ResNet 的地基。

• 上周： 悄悄更新了那篇著名的 DeepSeek-R1 論文。

• 今天： 還沒等大家消化完，又是一篇重磅論文——Engram。

這密集的動作，顯然是在為后面的大招清掃障礙。

這種“暴風雨前的狂歡”，讓我對傳說中的 V4 更加期待了。

這篇論文又是 CEO 梁文鋒親自署名，看樣子，這事兒又不簡單。

如果說上一篇 mHC 是在動深度學習的“地基”，那這一篇 Engram，就是在試圖繞開英偉達昂貴的“硬件壁壘”。

01｜英偉達的無奈：算力夠了，但腦子裝不下了

要看懂 DeepSeek 這次有多狠，我們得先看一眼英偉達（NVIDIA） 最近的動作。

前不久，老黃發(fā)布了下一代核彈顯卡 Rubin。

參數確實炸裂：推理算力提升了 5 倍，帶寬提升了 2.8 倍。

但請注意一個極其尷尬的數據：HBM（高帶寬顯存）的容量，僅僅提升了 1.5 倍。

圖：英偉達 Rubin NVL72 參數提升表

這就是目前 AI 行業(yè)的死穴：“顯存墻”。

HBM 顯存不僅產能被海力士和三星鎖死，價格更是貴得離譜（是普通內存的 6-8 倍），關鍵是容量增長完全跟不上模型變大的速度。

你想把模型做大？不好意思，你得買更多昂貴的顯卡，不是因為你需要算力，僅僅是因為你需要把模型塞進去。

這時候，DeepSeek 的“摳門”天賦又爆發(fā)了。

他們提出了一個靈魂拷問：誰說大模型的記憶必須塞在昂貴的 HBM 里？我們能不能用便宜的內存條解決問題？

02｜明人的“笨功夫”：復活 N-gram

為了省錢，哦不，為了高效，DeepSeek 的工程師把目光投向了二十年前那個被淘汰的“笨小孩”——N-gram（N元語法）。

在深度學習還沒火的“遠古時代”，N-gram 是統治 NLP 屆的王者。

這玩意兒的原理，說白了就是“成語接龍”加上“死記硬背”。

想象一下，你給電腦看了一萬本中文書，然后問它：“白日依山盡”后面是什么？

N-gram 不懂什么叫詩情畫意，它只會去它的小本本里查統計概率：“哦，以前這五個字后面 99% 跟著‘黃河入海流’?！?/p>

它的優(yōu)點是： 查得飛快，不需要動腦子算。

它的缺點是： 沒腦子，只能看眼前，不懂邏輯。

后來，聰明的 Transformer 出現了，N-gram 就被掃進了歷史的垃圾堆。

但今天，DeepSeek 又把它撿回來了。

03｜給 AI 掛個“外掛硬盤”

DeepSeek 發(fā)現，現在的 Transformer 雖然聰明，但也得了一種“富貴病”。

比如你問它：“東漢末年的張仲景是誰？”

模型那昂貴的神經網絡大腦開始瘋狂運轉，動用幾百億參數，經過幾十層的向量計算，最后告訴你：“他是醫(yī)圣”。

這太浪費了！ 這就像你雇了一個年薪百萬的數學天才，結果你天天讓他背誦《新華字典》。

DeepSeek 的 Engram 架構，就是給大模型裝了一個“超級外掛字典”：

圖：DeepSeek 的 Engram 架構，右側那個黃色的支路就是傳說中的“外掛字典”

移花接木： 他們把“張仲景”、“四大發(fā)明”這些固定的知識點，通過 N-gram 機制做成了一個巨大的索引表。

降維打擊：重點來了！ 因為查表這個動作非常簡單確定的，DeepSeek 直接把這個巨大的表（幾百億甚至上千億參數）丟到了便宜量大的 CPU 內存（RAM）里。

圖：紅得發(fā)紫的地方，就是模型在讀到“四大發(fā)明”時，正在瘋狂翻字典（查表），而不是在動腦子計算

當模型需要用到這些知識時，CPU 會悄悄把數據預取過來，喂給 GPU。

結果炸裂：即使掛載了一個 1000億參數 的超級字典在 CPU 內存里，利用 DeepSeek 極致的工程優(yōu)化，整個推理速度的損耗竟然不到 3%。

這意味著，在 HBM 價格上天的今天，DeepSeek 搞出了一種“用白菜價的內存條，干黃金價的顯存活兒”的黑科技。

04｜不止是省錢，智商還漲了

如果只是省錢，那也就是個工程優(yōu)化。

但 DeepSeek 最可怕的地方在于：它還順便把模型變聰明了。

實驗數據非常不講道理：這個裝了“外掛硬盤”的模型，不僅記性好了，邏輯推理能力也暴漲。

• 數學能力（MATH）： 提升了 2.4 分。

• 邏輯推理（BBH）： 竟然暴漲了 5.0 分！

為什么？

這就回到了我們剛才的那個比喻。

因為 Engram 把那些死記硬背的“臟活累活”都攬走了，模型深層的神經網絡就被解放出來了。

那個“數學天才”終于不用背字典了，可以全心全意地去思考復雜的微積分和邏輯推理題了。

寫在最后：算力經濟學的新解法

看完這篇論文，我最大的感觸是：DeepSeek 正在試圖重寫大模型的“解剖學”。

在過去的一年里，整個 AI 行業(yè)都被 HBM 的產能危機掐住了脖子。

為了搶那幾塊顯存，大廠們不惜溢價 30% 甚至更多。

而 DeepSeek 卻冷靜地走了一條“少有人走的路”：與其被硬件廠商收“過路費”，不如用算法重新定義硬件。

Engram 的出現證明了，通過極致的算法設計，廉價的 CPU 內存完全可以成為大模型算力的一部分。

這不僅是技術的勝利，更是“算力經濟學”的勝利。

如果春節(jié)前后發(fā)布的 DeepSeek V4 真的集成了 mHC 的高速通路和 Engram 的外掛記憶，那它對行業(yè)的沖擊，恐怕比我們想象的還要大。

對于這種“反向操作”的技術創(chuàng)新，你怎么看？歡迎在評論區(qū)聊聊。

(覺得文章有啟發(fā)？點個“贊”，點個??，假裝自己看懂了)

論文地址：https://github.com/deepseek-ai/Engram