當(dāng)Transformer架構(gòu)在27B參數(shù)規(guī)模下遭遇訓(xùn)練崩潰時(shí)，DeepSeek團(tuán)隊(duì)正在實(shí)驗(yàn)室驗(yàn)證一個(gè)瘋狂假設(shè)：能否用數(shù)學(xué)中的流形理論重新定義殘差連接？2026年開年公布的mHC（流形約束超連接）架構(gòu)給出了驚艷答案——僅增加6.7%訓(xùn)練時(shí)間開銷，就實(shí)現(xiàn)了信號(hào)傳播穩(wěn)定性與性能增益的兼得。

傳統(tǒng)HC架構(gòu)的"雙生子困境"

傳統(tǒng)超連接（HC）技術(shù)通過拓寬殘差流通道提升模型容量，卻意外觸發(fā)了兩個(gè)致命問題：其一，自由學(xué)習(xí)的連接矩陣會(huì)破壞恒等映射特性，導(dǎo)致深層網(wǎng)絡(luò)出現(xiàn)信號(hào)爆炸或消失；其二，顯存帶寬需求呈指數(shù)級(jí)增長，形成制約擴(kuò)展的"內(nèi)存墻"。這就像給賽車引擎強(qiáng)行增壓，雖獲得瞬時(shí)爆發(fā)力，卻導(dǎo)致傳動(dòng)系統(tǒng)可靠性崩潰。

流形約束的數(shù)學(xué)之美

mHC架構(gòu)的核心創(chuàng)新在于引入雙擬隨機(jī)矩陣流形。通過Sinkhorn-Knopp算法將連接矩陣投影到Birkhoff多胞形上，使信號(hào)傳播轉(zhuǎn)變?yōu)樘卣鞯耐菇M合。這種設(shè)計(jì)在數(shù)學(xué)上嚴(yán)格保證了范數(shù)穩(wěn)定性，相當(dāng)于給神經(jīng)網(wǎng)絡(luò)安裝了"穩(wěn)壓器"。實(shí)驗(yàn)顯示，在同等擴(kuò)展倍率下，mHC架構(gòu)的訓(xùn)練損失波動(dòng)幅度比傳統(tǒng)HC降低83%。

并行計(jì)算的工程突破

為抵消通道拓寬帶來的計(jì)算開銷，DeepSeek團(tuán)隊(duì)開發(fā)了三重優(yōu)化策略：內(nèi)核融合減少顯存讀寫，選擇性重計(jì)算降低冗余操作，DualPipe通信實(shí)現(xiàn)計(jì)算與傳輸重疊。這類似于在芯片設(shè)計(jì)中的超線程技術(shù)，使27B參數(shù)模型的訓(xùn)練吞吐量保持線性增長。值得注意的是，該架構(gòu)對(duì)Transformer原生接口完全兼容，開發(fā)者無需重構(gòu)現(xiàn)有代碼庫。

基座模型的新范式

mHC的價(jià)值不僅在于技術(shù)指標(biāo)提升，更在于其方法論啟示。通過將連接矩陣約束在特定流形，既保留了HC的性能優(yōu)勢，又恢復(fù)了殘差網(wǎng)絡(luò)的本質(zhì)特性。正如論文作者梁文鋒在補(bǔ)充材料中強(qiáng)調(diào)："這標(biāo)志著我們從經(jīng)驗(yàn)式架構(gòu)探索轉(zhuǎn)向了基于微分幾何的理論設(shè)計(jì)。"該成果已應(yīng)用于DeepSeek-R1訓(xùn)練，在BBH、DROP等基準(zhǔn)測試中創(chuàng)造新紀(jì)錄。

行業(yè)觀察家注意到，mHC架構(gòu)的出現(xiàn)恰逢大模型訓(xùn)練進(jìn)入千億參數(shù)深水區(qū)。其展現(xiàn)出的可擴(kuò)展性優(yōu)勢，可能改變當(dāng)前以堆疊算力為主的研發(fā)路徑。不過也有學(xué)者提醒，該技術(shù)對(duì)矩陣分解算法的精度極為敏感，在FP16混合精度訓(xùn)練中仍需進(jìn)一步驗(yàn)證穩(wěn)定性邊界。