一個(gè)數(shù)學(xué)公式的巧妙調(diào)整，讓AI訓(xùn)練穩(wěn)定性實(shí)現(xiàn)質(zhì)的飛躍，中國團(tuán)隊(duì)在全球AI架構(gòu)競賽中再下一城。

2026年元旦清晨，當(dāng)大多數(shù)人還沉浸在節(jié)日氛圍中時(shí)，中國AI領(lǐng)域傳來重磅消息——DeepSeek團(tuán)隊(duì)在arXiv上發(fā)布了一篇題為《mHC: Manifold-Constrained Hyper-Connections》的論文，創(chuàng)始人梁文鋒親自署名。

這篇論文提出的新架構(gòu)，直指困擾AI領(lǐng)域十年的殘差連接瓶頸問題，為大規(guī)模模型訓(xùn)練開辟了新路徑。

01 元旦驚喜

新年第一天，當(dāng)時(shí)鐘剛過零點(diǎn)，AI研究社區(qū)卻異?；钴S。一篇來自DeepSeek團(tuán)隊(duì)的論文悄然出現(xiàn)在arXiv上，迅速引發(fā)全球AI研究者的關(guān)注。

論文標(biāo)題中的“mHC”迅速成為技術(shù)圈熱門詞匯。這篇由Zhenda Xie、Yixuan Wei、Huanqi Cao共同完成，梁文鋒親自署名的研究，瞄準(zhǔn)了Transformer架構(gòu)中一個(gè)基礎(chǔ)但關(guān)鍵的問題。

選擇在元旦發(fā)布，這一時(shí)機(jī)意味深長。對中國AI界而言，這無疑是一份最好的新年禮物。

02 十年瓶頸

要理解這項(xiàng)突破的價(jià)值，我們需要回到AI模型的基礎(chǔ)架構(gòu)。過去十年中，Transformer的殘差連接結(jié)構(gòu)x + F(x)一直是AI模型的“骨干神經(jīng)”。

這種設(shè)計(jì)簡單而優(yōu)雅，通過“恒等映射”保證信號無損傳輸，確保了訓(xùn)練的穩(wěn)定性。但隨著模型規(guī)模不斷擴(kuò)大，這一架構(gòu)逐漸暴露出局限性。

近期，字節(jié)跳動Seed團(tuán)隊(duì)提出的Hyper-Connections嘗試通過擴(kuò)展殘差流寬度來突破瓶頸，確實(shí)帶來了性能提升，但也帶來了新問題。

信號在傳播過程中會“爆炸”或“消失”，破壞恒等映射特性，模型越深越難訓(xùn)練。同時(shí)，通道變寬意味著顯存開銷成倍增加，形成了所謂的“顯存墻”。

03 核心突破

DeepSeek團(tuán)隊(duì)提出的mHC架構(gòu)，核心在于“流形約束”這一概念。研究團(tuán)隊(duì)將傳統(tǒng)HC的殘差連接空間投影到一個(gè)特定的數(shù)學(xué)流形上，巧妙地恢復(fù)了恒等映射屬性。

研究團(tuán)隊(duì)利用Sinkhorn-Knopp算法，將殘差連接矩陣投影到Birkhoff多胞形上。這使得信號傳播變?yōu)樘卣鞯摹巴菇M合”，從數(shù)學(xué)上嚴(yán)格保證了信號范數(shù)的穩(wěn)定性。

簡單來說，就像為信息流動鋪設(shè)了專用軌道，既保持了通道寬度增加帶來的性能優(yōu)勢，又防止了信號失控。

這一設(shè)計(jì)帶來了多重理論優(yōu)勢：學(xué)習(xí)到的映射是非擴(kuò)張的，能有效緩解梯度爆炸問題；譜范數(shù)有界且不超過1，保持范數(shù)穩(wěn)定；同時(shí)具有復(fù)合封閉性，確?？缍鄬尤员３址€(wěn)定。

04 實(shí)戰(zhàn)驗(yàn)證

在27B參數(shù)規(guī)模的實(shí)際訓(xùn)練中，mHC展現(xiàn)出了令人信服的性能。與原始HC相比，mHC有效緩解了訓(xùn)練不穩(wěn)定問題，最終損失降低了0.021。

梯度范數(shù)分析進(jìn)一步證實(shí)了穩(wěn)定性的提升：mHC表現(xiàn)出明顯優(yōu)于HC的行為，保持了與基線模型相當(dāng)?shù)姆€(wěn)定輪廓。

在8個(gè)不同的下游基準(zhǔn)測試中，mHC不僅始終優(yōu)于基線模型，還在大多數(shù)任務(wù)上超越了HC。特別在推理能力方面，mHC在BBH和DROP任務(wù)上分別實(shí)現(xiàn)了2.1%和2.3%的性能增益。

最令人驚喜的是系統(tǒng)開銷。在擴(kuò)展倍率n=4的情況下，mHC僅增加了6.7%的訓(xùn)練時(shí)間開銷，卻換來了顯著的性能提升。

05 可擴(kuò)展優(yōu)勢

研究團(tuán)隊(duì)進(jìn)一步測試了mHC在不同規(guī)模下的表現(xiàn)。從3B、9B到27B參數(shù)規(guī)模的計(jì)算擴(kuò)展曲線表明，即使在更高的計(jì)算預(yù)算下，性能優(yōu)勢依然穩(wěn)健。

圖6展示了mHC與基線模型的擴(kuò)展特性對比。計(jì)算擴(kuò)展曲線中，每個(gè)點(diǎn)代表模型大小與數(shù)據(jù)集大小的最優(yōu)計(jì)算配置，涵蓋不同參數(shù)規(guī)模。

這些實(shí)驗(yàn)結(jié)果驗(yàn)證了mHC在大規(guī)模場景下的有效性。團(tuán)隊(duì)內(nèi)部的更大規(guī)模訓(xùn)練實(shí)驗(yàn)也證實(shí)了這一結(jié)論。

06 背后深意

為什么DeepSeek要在元旦發(fā)布這篇論文？為什么梁文鋒要親自署名？這傳遞的信號遠(yuǎn)比技術(shù)細(xì)節(jié)本身更重要。

在中國AI公司全球競爭的背景下，DeepSeek此舉展示了其在基礎(chǔ)研究領(lǐng)域的決心與實(shí)力。選擇在2026年第一天發(fā)布，更像是一份宣言：中國AI不僅要追趕，更要在基礎(chǔ)架構(gòu)上引領(lǐng)創(chuàng)新。

mHC研究的意義不僅在于解決了一個(gè)具體的技術(shù)問題，更在于為整個(gè)基礎(chǔ)模型的拓?fù)浼軜?gòu)演進(jìn)指明了方向。在AI競賽日益白熱化的今天，架構(gòu)創(chuàng)新遠(yuǎn)比參數(shù)堆砌更具戰(zhàn)略價(jià)值。

當(dāng)我們仔細(xì)審視那些實(shí)驗(yàn)數(shù)據(jù)曲線，會發(fā)現(xiàn)一個(gè)令人振奮的現(xiàn)象：在27B模型訓(xùn)練中，mHC的梯度范數(shù)曲線如平滑山丘般穩(wěn)定延伸，而傳統(tǒng)HC的曲線則像暴風(fēng)雨中的心電圖劇烈震蕩。

在BBH推理任務(wù)上2.1%的性能提升，看似微小卻標(biāo)志著中國團(tuán)隊(duì)在AI基礎(chǔ)架構(gòu)領(lǐng)域已從跟跑者變?yōu)椴⑿姓摺Ａ何匿h的名字出現(xiàn)在作者欄，不僅代表個(gè)人榮譽(yù)，更是中國AI企業(yè)集體沖刺技術(shù)深水區(qū)的象征。

新年鐘聲與論文發(fā)布時(shí)刻重合，這或許是巧合，但中國AI在全球舞臺發(fā)出的聲音，已經(jīng)無法被忽視。

AI眼鏡處于爆發(fā)前夜，有很多值得體驗(yàn)的好產(chǎn)品

歡迎大家進(jìn)群一起交流使用心得！