2025年的最后一天，DeepSeek又發(fā)論文了。

過(guò)去一年，很多人都在問(wèn)同一個(gè)問(wèn)題：DeepSeek為什么能用更少的錢(qián)，做出更強(qiáng)的模型？

答案當(dāng)然不止一個(gè)。但這篇論文透露了其中一個(gè)思路：去優(yōu)化那些所有人都覺(jué)得"已經(jīng)是最優(yōu)解"的東西。

這次他們動(dòng)的是殘差連接——一個(gè)深度學(xué)習(xí)領(lǐng)域用了十年、幾乎沒(méi)人質(zhì)疑過(guò)的基礎(chǔ)設(shè)計(jì)。

論文名字有點(diǎn)硬核：mHC（Manifold-Constrained Hyper-Connections），翻譯過(guò)來(lái)就是"流形約束的超連接"。但核心思想其實(shí)不復(fù)雜，今天試著用人話講清楚。

先說(shuō)背景：殘差連接統(tǒng)治了深度學(xué)習(xí)十年

經(jīng)常訓(xùn)練大模型的朋友，一定聽(tīng)過(guò)"殘差連接"（Residual Connection）這個(gè)詞。

2015年，何愷明團(tuán)隊(duì)提出ResNet，核心創(chuàng)新就是這個(gè)殘差連接。簡(jiǎn)單說(shuō)就是：每一層的輸出 = 這一層學(xué)到的東西 + 上一層的輸入。

用公式表示：

x_{l+1} = x_l + F(x_l)

這個(gè)設(shè)計(jì)看起來(lái)簡(jiǎn)單，但解決了一個(gè)大問(wèn)題：網(wǎng)絡(luò)太深就訓(xùn)不動(dòng)。

為什么？因?yàn)樘荻认?。信?hào)在幾十上百層網(wǎng)絡(luò)里傳遞，越傳越弱，最后弱到模型根本學(xué)不到東西。

殘差連接的妙處在于：它給信號(hào)開(kāi)了一條"快車(chē)道"。不管中間那些層學(xué)到了什么，原始信號(hào)都能直接傳到后面。這就是所謂的恒等映射（Identity Mapping）——淺層的信息可以原封不動(dòng)地傳到深層。

從2015年到現(xiàn)在，不管是GPT、LLaMA還是Gemini，幾乎所有大模型都在用這個(gè)設(shè)計(jì)。十年了，沒(méi)人動(dòng)過(guò)它。

DeepSeek的第一次嘗試：Hyper-Connections

2024年9月，DeepSeek發(fā)了一篇論文，提出了Hyper-Connections（HC），第一次對(duì)殘差連接動(dòng)刀。

核心思想是：既然殘差連接的權(quán)重是固定的（1:1），為什么不讓模型自己學(xué)習(xí)最優(yōu)的連接方式？

HC做了兩件事：

1. 把殘差流從1條擴(kuò)展到n條（通常n=4）

2. 引入可學(xué)習(xí)的連接矩陣，讓模型自己決定怎么混合這些信號(hào)

效果確實(shí)好。論文數(shù)據(jù)顯示：

• 訓(xùn)練收斂速度提升1.8倍

• ARC-Challenge任務(wù)提升6個(gè)百分點(diǎn)

這個(gè)提升挺猛的。但HC有一個(gè)致命缺陷——訓(xùn)練不穩(wěn)定。

HC的問(wèn)題：信號(hào)放大了3000倍

這是論文里最直觀的一張圖。

看左邊那條藍(lán)線（HC），在第12000步左右，損失突然飆升。這對(duì)大規(guī)模訓(xùn)練來(lái)說(shuō)是致命的——你可能已經(jīng)燒了幾百萬(wàn)的算力，結(jié)果模型突然崩了。

為什么會(huì)這樣？

論文里有詳細(xì)分析。核心原因是：HC破壞了恒等映射的特性。

還記得殘差連接的公式嗎？x_{l+1} = x_l + F(x_l)。這里的x_l是"1倍"傳遞到下一層的。但HC引入了可學(xué)習(xí)的權(quán)重矩陣H，信號(hào)傳遞變成了：

x_{l+1} = H * x_l + ...

問(wèn)題來(lái)了：H是可學(xué)習(xí)的，沒(méi)有任何約束。

當(dāng)網(wǎng)絡(luò)有60層時(shí)，信號(hào)要經(jīng)過(guò)60個(gè)H矩陣的連乘。如果每個(gè)H的"放大倍數(shù)"稍微大于1，連乘60次會(huì)發(fā)生什么？

指數(shù)爆炸。

論文測(cè)量了這個(gè)"放大倍數(shù)"（Amax Gain Magnitude）。理想情況下應(yīng)該是1（信號(hào)不放大也不縮?。５獺C在27B模型上的實(shí)測(cè)結(jié)果是——

峰值達(dá)到3000。

信號(hào)被放大了3000倍，梯度也被放大了3000倍。難怪訓(xùn)練會(huì)崩。

mHC的解法：雙隨機(jī)矩陣

現(xiàn)在問(wèn)題清楚了：H矩陣太"自由"了，沒(méi)有約束，所以會(huì)亂來(lái)。

那怎么約束它？

最簡(jiǎn)單的方法是讓H = I（單位矩陣），這樣就退化回原始的殘差連接了。但這樣就失去了HC的性能優(yōu)勢(shì)。

DeepSeek的解法很優(yōu)雅：把H約束在"雙隨機(jī)矩陣"上。

什么是雙隨機(jī)矩陣？簡(jiǎn)單說(shuō)就是滿足兩個(gè)條件的矩陣：

1. 所有元素都 ≥ 0

2. 每行之和 = 1，每列之和 = 1

舉個(gè)例子，這是一個(gè)2×2的雙隨機(jī)矩陣：

[0.3, 0.7]
[0.7, 0.3]

每行加起來(lái)是1，每列加起來(lái)也是1。

為什么這個(gè)約束有效？

因?yàn)殡p隨機(jī)矩陣做的事情本質(zhì)上是"加權(quán)平均"。

當(dāng)你用雙隨機(jī)矩陣乘以一個(gè)向量時(shí)，結(jié)果向量的每個(gè)元素都是輸入向量的凸組合（加權(quán)平均）。加權(quán)平均有一個(gè)天然的性質(zhì)：結(jié)果不會(huì)超出輸入的范圍。

這就從數(shù)學(xué)上保證了信號(hào)不會(huì)爆炸。

更妙的是，雙隨機(jī)矩陣還有一個(gè)"封閉性"：兩個(gè)雙隨機(jī)矩陣相乘，結(jié)果還是雙隨機(jī)矩陣。

這意味著不管網(wǎng)絡(luò)有多深，60層、100層、1000層，信號(hào)經(jīng)過(guò)多少個(gè)H矩陣的連乘，結(jié)果仍然是一個(gè)雙隨機(jī)矩陣，仍然滿足"不會(huì)爆炸"的性質(zhì)。

論文用了一個(gè)算法叫Sinkhorn-Knopp來(lái)做這個(gè)投影。具體細(xì)節(jié)不展開(kāi)了，核心就是迭代地調(diào)整矩陣的行和列，讓它們都?xì)w一化到和為1。

效果：穩(wěn)定性提升三個(gè)數(shù)量級(jí)

mHC的效果怎么樣？

先看穩(wěn)定性。同樣是27B模型，同樣的訓(xùn)練配置：

指標(biāo)

HC

mHC

Amax Gain峰值

3000

1.6

從3000降到1.6，降低了三個(gè)數(shù)量級(jí)。說(shuō)實(shí)話，看到這個(gè)數(shù)字的時(shí)候我愣了一下——這個(gè)改進(jìn)幅度有點(diǎn)離譜。

訓(xùn)練曲線也變得平滑了，再也沒(méi)有那個(gè)可怕的"損失飆升"。

再看性能。mHC不僅比原始的殘差連接強(qiáng)，甚至比不穩(wěn)定的HC還要強(qiáng)：

Benchmark

Baseline

HC

mHC

BBH

43.8

48.9

51.0

DROP

47.0

51.6

53.9

GSM8K

46.7

53.2

53.8

MMLU

59.0

63.0

63.4

mHC在大多數(shù)任務(wù)上都比HC更好，特別是推理任務(wù)（BBH +2.1%，DROP +2.3%）。

穩(wěn)定性提升了，性能也提升了。那代價(jià)呢？

只增加了6.7%的訓(xùn)練時(shí)間。

這個(gè)數(shù)字挺關(guān)鍵的。HC雖然不增加FLOPs（浮點(diǎn)運(yùn)算量），但因?yàn)閿U(kuò)展了殘差流寬度，內(nèi)存訪問(wèn)成本大幅增加。DeepSeek在論文里花了大量篇幅講基礎(chǔ)設(shè)施優(yōu)化——內(nèi)核融合、選擇性重計(jì)算、通信重疊——才把開(kāi)銷控制在這個(gè)水平。

為什么這個(gè)方法優(yōu)雅？

讀完這篇論文，我覺(jué)得mHC的設(shè)計(jì)挺漂亮的，主要體現(xiàn)在三個(gè)地方：

1. 問(wèn)題定義精準(zhǔn)

很多研究會(huì)籠統(tǒng)地說(shuō)"訓(xùn)練不穩(wěn)定"，但DeepSeek精確地定位到了問(wèn)題根源：恒等映射特性的喪失導(dǎo)致信號(hào)在多層傳播時(shí)爆炸。有了這個(gè)精準(zhǔn)定義，解決方案才能有的放矢。

2. 解決方案有數(shù)學(xué)保證

雙隨機(jī)矩陣不是拍腦袋想出來(lái)的，而是有嚴(yán)格的數(shù)學(xué)性質(zhì)支撐：

• 譜范數(shù) ≤ 1（不會(huì)放大信號(hào)）

• 組合封閉性（多層仍然穩(wěn)定）

• Birkhoff多面體的幾何解釋（是所有置換矩陣的凸組合）

這種有數(shù)學(xué)保證的方法，比"試了一百種trick發(fā)現(xiàn)這個(gè)work"要可靠得多。

3. 工程和理論并重

很多論文只講理論創(chuàng)新，對(duì)工程實(shí)現(xiàn)一筆帶過(guò)。但DeepSeek的論文花了相當(dāng)篇幅講基礎(chǔ)設(shè)施優(yōu)化：怎么融合內(nèi)核、怎么減少內(nèi)存占用、怎么和DualPipe調(diào)度配合。這才是能真正落地的研究。

往大了說(shuō)：DeepSeek在找什么？

回到開(kāi)頭的問(wèn)題：DeepSeek為什么能用更少的錢(qián)做出更強(qiáng)的模型？

這篇論文給出了一個(gè)側(cè)面的答案：他們?cè)谡夷切?所有人都覺(jué)得已經(jīng)是最優(yōu)解"的東西，然后證明它不是。

過(guò)去十年，大模型的架構(gòu)創(chuàng)新主要集中在"微觀設(shè)計(jì)"——Attention怎么改、FFN怎么改、位置編碼怎么改。但殘差連接？從2015年到現(xiàn)在，幾乎原封不動(dòng)。大家默認(rèn)它沒(méi)什么可優(yōu)化的了。

mHC證明了這個(gè)假設(shè)是錯(cuò)的。

更重要的是，這種優(yōu)化的特點(diǎn)是：不增加計(jì)算量，只改變信息流動(dòng)的方式。同樣的FLOPs，更好的效果。

這可能就是DeepSeek的技術(shù)哲學(xué)之一：不是比誰(shuí)燒的錢(qián)多，而是比誰(shuí)能在同樣的資源下榨取更多性能。

當(dāng)然，mHC還解決了一個(gè)實(shí)際問(wèn)題：讓HC能穩(wěn)定訓(xùn)練。HC本身是個(gè)好方法，但因?yàn)椴环€(wěn)定沒(méi)法用。mHC修復(fù)了這個(gè)缺陷，讓這條架構(gòu)創(chuàng)新的路能走下去。

論文最后一句話說(shuō)得挺直接的：

"我們希望mHC能重新激發(fā)社區(qū)對(duì)宏觀架構(gòu)設(shè)計(jì)的興趣。"

翻譯一下：過(guò)去大家都在卷Attention、卷FFN、卷MoE。現(xiàn)在DeepSeek說(shuō)，層與層之間怎么連接，這塊也有金礦。

最后

這篇論文給我最大的啟發(fā)是：當(dāng)你發(fā)現(xiàn)一個(gè)方法有效但不穩(wěn)定時(shí)，不要放棄，而是去找約束條件。

雙隨機(jī)矩陣就是這樣一個(gè)約束——它保留了HC的表達(dá)能力（可學(xué)習(xí)的連接權(quán)重），同時(shí)通過(guò)數(shù)學(xué)性質(zhì)保證了穩(wěn)定性（加權(quán)平均不會(huì)爆炸）。在自由和約束之間找平衡，這個(gè)思路可能在很多領(lǐng)域都適用。

回到開(kāi)頭的問(wèn)題：DeepSeek為什么能做到別人做不到的事？

這篇論文給出的答案是：去質(zhì)疑那些"所有人都覺(jué)得沒(méi)必要改"的東西。殘差連接用了十年，不代表它是最優(yōu)解。

2025年最后一天發(fā)這篇論文，DeepSeek給2026年開(kāi)了個(gè)好頭。

參考資料：

• mHC論文：https://arxiv.org/abs/2512.24880

• Hyper-Connections論文：https://arxiv.org/abs/2409.19606

• DeepSeek-V3技術(shù)報(bào)告：https://arxiv.org/abs/2412.19437

@Deepseek 用我奶奶也能懂的方式，用100字解釋下這篇論文。

奶奶，你想啊，AI訓(xùn)練就像帶熊孩子。 以前的規(guī)矩是：拉著手走，一步都不許亂動(dòng)。安全，但孩子啥也學(xué)不會(huì)。 后來(lái)有人說(shuō)：放開(kāi)讓他跑吧。結(jié)果跑著跑著就跑丟了。 DeepSeek的辦法：讓孩子自己跑，但只能在圍欄里跑。怎么跑都行，反正跑不出去。 給自由畫(huà)個(gè)圈，這就是mHC。