2025 年 12 月 31 日，DeepSeek 發(fā)布了論文《mHC：流形約束的超連接》（Manifold-Constrained Hyper-Connections），提出了一種新的殘差連接設(shè)計(jì)，用于解決超連接（HC）在大模型擴(kuò)展下的不穩(wěn)定性和難以擴(kuò)展的問(wèn)題。

這是一篇跨年論文，引發(fā)AI圈子內(nèi)外不少人在元旦節(jié)去啃這篇“每個(gè)字都看得懂，但就是不知道啥意思”的研究。

（來(lái)源，DeepSeek）

先說(shuō)下超連接這個(gè)提法，并非DeepSeek首創(chuàng)。這一思路最早來(lái)自字節(jié)跳動(dòng)Seed團(tuán)隊(duì)，在2024年底提出，擴(kuò)展了傳統(tǒng)的殘差連接，隨后被ICLR 2025接收。

殘差連接，是一個(gè)個(gè)經(jīng)典的深度學(xué)習(xí)問(wèn)題：隨著網(wǎng)絡(luò)深度增加，信號(hào)和梯度可能會(huì)消失或爆炸，使得深層網(wǎng)絡(luò)難以訓(xùn)練。2015 年，在微軟的研究員何愷明提出了 ResNet（殘差網(wǎng)絡(luò)），通過(guò)在每一層引入恒等路徑：

這樣可以保證信息“恒等映射”，始終可以向前傳播，但也付出了代價(jià)。

• Pre-Norm 殘差能穩(wěn)定訓(xùn)練，但往往過(guò)于強(qiáng)化恒等映射，導(dǎo)致不同層的表示變得過(guò)于相似；

• Post-Norm 殘差能提升表示多樣性，卻在大規(guī)模訓(xùn)練時(shí)更難優(yōu)化。

字節(jié)Seed團(tuán)隊(duì)提出了一個(gè)有趣的問(wèn)題：如果一條殘差通路不夠用呢？那就用超級(jí)連接。

于是，超級(jí)連接將殘差路徑從單一路徑擴(kuò)展為多條并行通路，并通過(guò)可學(xué)習(xí)的連接矩陣來(lái)決定這些通路在不同深度上混合方式。

在實(shí)踐中，這帶來(lái)了非常快的收斂速度——論文中某些設(shè)置下訓(xùn)練速度提升接近 80%。然而，它很難擴(kuò)展到大模型規(guī)模（這或許也是它沒(méi)有被廣泛討論的原因之一）。當(dāng)模型規(guī)模增大時(shí)，超級(jí)連接的訓(xùn)練變得極其不穩(wěn)定。

不穩(wěn)定性的根源，在于這些可學(xué)習(xí)的殘差混合矩陣會(huì)在層與層之間相乘，它們的連乘結(jié)果可能迅速放大。這與何愷明的殘差設(shè)計(jì)完全不同，最初它是非擴(kuò)張（non-expansive）的。

DeepSeek在論文中顯示：在一個(gè)270億參數(shù)（27B）模型中，超級(jí)連接會(huì)導(dǎo)致跨深度方向約3000倍的信號(hào)放大，從而引發(fā)嚴(yán)重的不穩(wěn)定性。

于是，DeepSeek提出了mHC的改進(jìn)。這里面的m是指流形（manifold）。

流形是一個(gè)數(shù)學(xué)幾何概念，大意就是在多維發(fā)散熵增的空間，存在著有限壓縮、有跡可循的模式。

DeepSeek提出了流形約束超連接 (mHC)。將超級(jí)連接（HC）的殘差連接空間投影到一個(gè)特定的流形上, 以恢復(fù)恒等映射屬性, 同時(shí)結(jié)合了嚴(yán)格的基礎(chǔ)設(shè)施優(yōu)化來(lái)保證效率。

將殘差混合矩陣約束在“雙隨機(jī)矩陣流形”上——即矩陣的每一行和每一列之和都等于1，這樣做帶來(lái)幾個(gè)關(guān)鍵效果：

• 不會(huì)放大或衰減信號(hào)（保持非擴(kuò)張性）；

• 即使在數(shù)百層深的網(wǎng)絡(luò)中也能保持穩(wěn)定；

• 恢復(fù)了殘差連接中“恒等路徑”的性質(zhì)；

• 同時(shí)仍然允許模型學(xué)習(xí)不同殘差通路之間的混合方式。

實(shí)證結(jié)果，是在相同設(shè)置下：

• 原本約 3000× 的信號(hào)放大降至約1.6×；

• 訓(xùn)練過(guò)程如理論預(yù)期一樣變得平穩(wěn)；

• 通過(guò)進(jìn)一步的工程優(yōu)化（DeepSeek 一貫的風(fēng)格），在僅增加約 6.7% 計(jì)算量 的情況下，性能顯著提升：BBH（抽象、多步、跨層推理的）得分，從43.8提升到51；DROP（長(zhǎng)文本中的精確離散推理），從47提升到53.9，等等。

DeepSeek在用這篇論文預(yù)告DeepSeek-V4嗎？可能。它最起碼可以說(shuō)明，DeepSeek在追求真正的下一代大模型，在基礎(chǔ)架構(gòu)上實(shí)現(xiàn)明顯的創(chuàng)新。

這篇論文在殘差連接這一“老問(wèn)題”上做了一個(gè)非常扎實(shí)的結(jié)構(gòu)性修正，使超級(jí)連接在大模型時(shí)代真正可用、可擴(kuò)展、可穩(wěn)定，成為基礎(chǔ)架構(gòu)的一部分。