大模型就像個(gè)復(fù)雜的信息處理工廠，殘差連接就是工廠里的傳送帶。

早期的傳送帶是單通道的，靠著“恒等映射”的設(shè)計(jì)，能保證信息完整傳遞，訓(xùn)練起來(lái)也穩(wěn)定。

可隨著模型規(guī)模越來(lái)越大，單通道傳送帶就不夠用了，信息擁堵得厲害。

為了解決這個(gè)問(wèn)題，字節(jié)跳動(dòng)的團(tuán)隊(duì)之前提出了超連接方案。

這個(gè)方案相當(dāng)于把單通道傳送帶改成了多通道，信息傳輸效率確實(shí)提高了，性能也跟著提升。

但新的問(wèn)題很快出現(xiàn)了。

多通道沒(méi)有統(tǒng)一的調(diào)度規(guī)則，信息在傳輸中會(huì)出現(xiàn)放大或壓制的情況，就像失控的蹺蹺板。

這種情況直接導(dǎo)致訓(xùn)練過(guò)程中梯度爆炸，模型訓(xùn)練到一半就崩潰了。

本來(lái)想簡(jiǎn)單說(shuō)下這個(gè)問(wèn)題的嚴(yán)重性，但后來(lái)發(fā)現(xiàn)不舉個(gè)例子不行。

有頭部AI企業(yè)試過(guò)用類似超連接的方案訓(xùn)練千億級(jí)模型，結(jié)果訓(xùn)練進(jìn)行到一萬(wàn)多步時(shí)就頻繁中斷，損失值突然飆升。

這可不是小問(wèn)題，大模型訓(xùn)練一次要耗費(fèi)大量的算力和資金，中途崩潰意味著之前的投入全打了水漂。

DeepSeek的mHC架構(gòu)就是沖著這個(gè)痛點(diǎn)來(lái)的。

從這個(gè)陣容能看出來(lái)，DeepSeek對(duì)這個(gè)研究的重視程度。

mHC的核心思路不是廢掉多通道，而是給多通道加一套智能調(diào)度系統(tǒng)。

這個(gè)系統(tǒng)靠Sinkhorn-Knopp算法實(shí)現(xiàn)，能把連接矩陣約束在雙擬隨機(jī)矩陣的流形上。

可能有人覺(jué)得這話說(shuō)得太學(xué)術(shù)，其實(shí)簡(jiǎn)單理解就是給信息傳輸加了個(gè)安全范圍。

雙擬隨機(jī)矩陣的行和列之和都是1，還都是非負(fù)數(shù)，能保證信息傳播時(shí)能量守恒，不會(huì)出現(xiàn)突然放大或縮小的情況。

除了這個(gè)核心設(shè)計(jì)，mHC還對(duì)輸入輸出映射加了非負(fù)約束。

這樣做是為了避免正負(fù)系數(shù)相互抵消，導(dǎo)致有用的信號(hào)丟失。

這些設(shè)計(jì)看似簡(jiǎn)單，卻精準(zhǔn)戳中了超連接的要害。

它沒(méi)有否定超連接拓寬通道的思路，而是在這個(gè)基礎(chǔ)上做優(yōu)化，這種改良式創(chuàng)新往往比顛覆性創(chuàng)新更容易落地。

為了控制訓(xùn)練開(kāi)銷，DeepSeek還做了一套基礎(chǔ)設(shè)施優(yōu)化。

他們把多個(gè)計(jì)算步驟融合成一個(gè)算子，減少了內(nèi)存讀寫的次數(shù)。

同時(shí)采用了重計(jì)算策略，前向傳播時(shí)丟棄中間數(shù)據(jù)，反向傳播時(shí)再重新計(jì)算，這樣能大幅降低內(nèi)存占用。

這些優(yōu)化措施效果很明顯，在擴(kuò)展倍率為4的情況下，訓(xùn)練時(shí)間只增加了一點(diǎn)，卻換來(lái)了穩(wěn)定性的大幅提升。

一款架構(gòu)好不好用，最終還是要看實(shí)驗(yàn)數(shù)據(jù)。

DeepSeek用不同規(guī)模的模型做了測(cè)試，重點(diǎn)驗(yàn)證了27B參數(shù)模型的表現(xiàn)。

結(jié)果很直觀，mHC徹底解決了超連接的訓(xùn)練不穩(wěn)定問(wèn)題，最終的損失值比傳統(tǒng)基線模型還低。

在下游任務(wù)測(cè)試中，mHC的表現(xiàn)也全面超越了基線模型，在推理相關(guān)的任務(wù)上，比超連接還多了幾個(gè)百分點(diǎn)的提升。

規(guī)模擴(kuò)展實(shí)驗(yàn)也能說(shuō)明問(wèn)題。從3B到27B參數(shù)的模型，mHC的性能優(yōu)勢(shì)一直保持得很好。

哪怕訓(xùn)練數(shù)據(jù)量不斷增加，這種優(yōu)勢(shì)也沒(méi)有明顯衰減。

這意味著mHC不僅在小模型上有效，在大規(guī)模模型上同樣具備實(shí)用價(jià)值。

如此看來(lái)，mHC的意義不只是解決了一個(gè)技術(shù)痛點(diǎn)。

它更像是給行業(yè)指明了一個(gè)方向，大模型競(jìng)爭(zhēng)不再是單純堆參數(shù)、堆算力，架構(gòu)的精細(xì)化設(shè)計(jì)同樣重要。

之前很多中小企業(yè)因?yàn)橛?xùn)練不穩(wěn)定、成本太高，不敢涉足大規(guī)模模型領(lǐng)域。

mHC的出現(xiàn)，說(shuō)不定能降低這些企業(yè)的入局門檻。

mHC架構(gòu)用巧妙的設(shè)計(jì)平衡了性能、穩(wěn)定性和成本三個(gè)核心要素，給大模型架構(gòu)的演進(jìn)提供了新的思路。

對(duì)于AI行業(yè)來(lái)說(shuō)，這種務(wù)實(shí)的技術(shù)創(chuàng)新，遠(yuǎn)比那些噱頭式的突破更有價(jià)值。

未來(lái)隨著更多企業(yè)跟進(jìn)和優(yōu)化，說(shuō)不定會(huì)催生出更多高效穩(wěn)定的大模型架構(gòu)，讓AI技術(shù)的落地變得更容易。