DeepSeek 在 2026 年第一篇論文，梁文峰署名

讓「多流殘差」這個好想法，能真正在大模型上跑起來

私底下，某巨佬評價道：“牛逼”

https://arxiv.org/abs/2512.24880

要理解這篇論文，得先知道 Transformer 里的信息是怎么傳的

Transformer 里的信息流

你問 ChatGPT 一個問題：今天天氣怎么樣，它怎么回答你的？

問題拆成一個個小單元，比如「今天」「天氣」「怎么樣」這樣的片段

，可以點(diǎn)擊下面的 svg，模擬交互

然后，每個片段會被轉(zhuǎn)成一組向量，進(jìn)入 Transformer，開始進(jìn)行處理

數(shù)字從第一層進(jìn)去，經(jīng)過處理，傳到第二層，再處理，再傳到第三層...一直傳到最后一層

最后一層輸出的數(shù)字，決定了模型接下來要生成哪個詞

大概就是這樣

這個過程會循環(huán)往復(fù)，直到所有文字都生成完畢

你看到 ChatGPT 一個字一個字往外蹦，就是這個過程

所以中間這幾十層的傳遞很關(guān)鍵。傳到最后的數(shù)字如果不對，生成的內(nèi)容就會跑偏

問題來了：層數(shù)一多，數(shù)字在傳遞過程中會越來越小，甚至趨近于零
傳到后面，前面的信息就丟了

2015 年，ResNet 提出了一個辦法：殘差連接

做法很簡單。每一層在輸出的時候，把「這一層算出來的新數(shù)字」和「上一層傳過來的原始數(shù)字」加在一起，再傳給下一層

一個簡單的示意圖

這樣，不管網(wǎng)絡(luò)有多深，最開始的信息都能一路傳到底

過去十年，幾乎所有大模型都在用

字節(jié)的想法：一條路不夠，搞四條

2024 年，字節(jié)發(fā)了一篇論文叫 Hyper-Connections（HC），入選了 ICLR 2025

他們說，一條殘差通道不夠用，要把這條路拓寬成四條，還得并行

同時的，這四條通道之間，可以互相交換信息，通過一個可學(xué)習(xí)的矩陣來混合

三種連接方式對比：左邊是傳統(tǒng)殘差，中間是 HC，右邊是 DeepSeek 的 mHC

聽起來很合理，小模型上的實(shí)驗(yàn)效果也確實(shí)好

但...

boom 問題：信號爆炸

那個用來混合信息的矩陣，完全可學(xué)習(xí)，沒有任何約束

一層沒事，兩層也還行

但層數(shù)一多，矩陣一乘，信號就飛了

信息每過一層，都要被這個矩陣處理一次。矩陣乘矩陣，再乘矩陣...

DeepSeek 在 27B 模型上復(fù)現(xiàn)了這個問題

訓(xùn)練到 12000 步左右，loss 突然飆升，梯度劇烈震蕩，訓(xùn)練崩了

27B 模型訓(xùn)練曲線，HC 在 12k 步附近崩了

論文里給了一個指標(biāo)，衡量信號在傳遞過程中被放大了多少倍

HC 在 27B 模型上，這個數(shù)能到多少？
3000 倍（理想情況下，不應(yīng)該放大）

HC 的信號增益能飆到 3000 mHC：加一個約束

DeepSeek 的思路很直接
問題出在矩陣沒有約束，那就加約束

加什么約束？
雙隨機(jī)矩陣

這個矩陣有個特點(diǎn)：
所有元素加起來，每一行的和等于 1，每一列的和也等于 1

換句話說，信息經(jīng)過這個矩陣，可以在四條通道之間重新分配，但總量不變

信息可以流動，但總量守恒

不管模型有多少層，信號都不會爆炸，也不會消失

用了這個約束之后，27B 模型上的信號放大倍數(shù)從 3000 降到了 1.6

mHC 的信號增益穩(wěn)定在 1 附近性

這就是 mHC
m 代表 Manifold，流形約束

工程優(yōu)化

四條通道，意味著四倍的數(shù)據(jù)讀寫量

DeepSeek 做了一系列工程優(yōu)化：內(nèi)核融合、重計(jì)算策略、流水線調(diào)度...

細(xì)節(jié)不展開了

最終結(jié)果：
額外的訓(xùn)練時間開銷只有 6.7%

實(shí)驗(yàn)效果

27B 模型，mHC 對比傳統(tǒng)殘差連接，loss 下降 0.021

下游任務(wù)上，推理能力（BBH）提升 2.1%，閱讀理解（DROP）提升 2.3%

訓(xùn)練全程穩(wěn)定

mHC 穩(wěn)定下降，沒崩 說回這篇論文

字節(jié)的 HC 提出了一個好想法：把殘差通道變寬
但沒解決大規(guī)模訓(xùn)練的穩(wěn)定性問題

DeepSeek 給出了數(shù)學(xué)上干凈的解法，然后在工程上把開銷壓到了可接受的范圍

這篇論文透露的信息：DeepSeek 在認(rèn)真搞架構(gòu)層的優(yōu)化

下一代模型，DeepSeek 會不會用 mHC？不知道

但顯然，他們在這個方向有投入