大模型就像個復雜的信息處理工廠，殘差連接就是工廠里的傳送帶。

早期的傳送帶是單通道的，靠著“恒等映射”的設計，能保證信息完整傳遞，訓練起來也穩(wěn)定。

可隨著模型規(guī)模越來越大，單通道傳送帶就不夠用了，信息擁堵得厲害。

為了解決這個問題，字節(jié)跳動的團隊之前提出了超連接方案。

這個方案相當于把單通道傳送帶改成了多通道，信息傳輸效率確實提高了，性能也跟著提升。

但新的問題很快出現(xiàn)了。

多通道沒有統(tǒng)一的調度規(guī)則，信息在傳輸中會出現(xiàn)放大或壓制的情況，就像失控的蹺蹺板。

這種情況直接導致訓練過程中梯度爆炸，模型訓練到一半就崩潰了。

本來想簡單說下這個問題的嚴重性，但后來發(fā)現(xiàn)不舉個例子不行。

有頭部AI企業(yè)試過用類似超連接的方案訓練千億級模型，結果訓練進行到一萬多步時就頻繁中斷，損失值突然飆升。

這可不是小問題，大模型訓練一次要耗費大量的算力和資金，中途崩潰意味著之前的投入全打了水漂。

DeepSeek的mHC架構就是沖著這個痛點來的。

從這個陣容能看出來，DeepSeek對這個研究的重視程度。

mHC的核心思路不是廢掉多通道，而是給多通道加一套智能調度系統(tǒng)。

這個系統(tǒng)靠Sinkhorn-Knopp算法實現(xiàn)，能把連接矩陣約束在雙擬隨機矩陣的流形上。

可能有人覺得這話說得太學術，其實簡單理解就是給信息傳輸加了個安全范圍。

雙擬隨機矩陣的行和列之和都是1，還都是非負數(shù)，能保證信息傳播時能量守恒，不會出現(xiàn)突然放大或縮小的情況。

除了這個核心設計，mHC還對輸入輸出映射加了非負約束。

這樣做是為了避免正負系數(shù)相互抵消，導致有用的信號丟失。

這些設計看似簡單，卻精準戳中了超連接的要害。

它沒有否定超連接拓寬通道的思路，而是在這個基礎上做優(yōu)化，這種改良式創(chuàng)新往往比顛覆性創(chuàng)新更容易落地。

為了控制訓練開銷，DeepSeek還做了一套基礎設施優(yōu)化。

他們把多個計算步驟融合成一個算子，減少了內存讀寫的次數(shù)。

同時采用了重計算策略，前向傳播時丟棄中間數(shù)據(jù)，反向傳播時再重新計算，這樣能大幅降低內存占用。

這些優(yōu)化措施效果很明顯，在擴展倍率為4的情況下，訓練時間只增加了一點，卻換來了穩(wěn)定性的大幅提升。

一款架構好不好用，最終還是要看實驗數(shù)據(jù)。

DeepSeek用不同規(guī)模的模型做了測試，重點驗證了27B參數(shù)模型的表現(xiàn)。

結果很直觀，mHC徹底解決了超連接的訓練不穩(wěn)定問題，最終的損失值比傳統(tǒng)基線模型還低。

在下游任務測試中，mHC的表現(xiàn)也全面超越了基線模型，在推理相關的任務上，比超連接還多了幾個百分點的提升。

規(guī)模擴展實驗也能說明問題。從3B到27B參數(shù)的模型，mHC的性能優(yōu)勢一直保持得很好。

哪怕訓練數(shù)據(jù)量不斷增加，這種優(yōu)勢也沒有明顯衰減。

這意味著mHC不僅在小模型上有效，在大規(guī)模模型上同樣具備實用價值。

如此看來，mHC的意義不只是解決了一個技術痛點。

它更像是給行業(yè)指明了一個方向，大模型競爭不再是單純堆參數(shù)、堆算力，架構的精細化設計同樣重要。

之前很多中小企業(yè)因為訓練不穩(wěn)定、成本太高，不敢涉足大規(guī)模模型領域。

mHC的出現(xiàn)，說不定能降低這些企業(yè)的入局門檻。

mHC架構用巧妙的設計平衡了性能、穩(wěn)定性和成本三個核心要素，給大模型架構的演進提供了新的思路。

對于AI行業(yè)來說，這種務實的技術創(chuàng)新，遠比那些噱頭式的突破更有價值。

未來隨著更多企業(yè)跟進和優(yōu)化，說不定會催生出更多高效穩(wěn)定的大模型架構，讓AI技術的落地變得更容易。