晚上突然看到馬斯克發(fā)了一條推：「Impressive work from Kimi」。

去查了下，想看看咋咋?；５睦像R又是被啥震驚到了。

然后，發(fā)現(xiàn)原來是Kimi發(fā)了篇論文

特意幫你們?nèi)フJ(rèn)真讀了讀被老馬夸nb的論文是怎么回事。然后我發(fā)現(xiàn)這篇論文的主角我居然還挺熟悉的——?dú)埐钸B接。

我的第一反應(yīng)是：咦，這不是DeepSeek去年底剛動(dòng)過的東西嗎？

今年1月份的時(shí)候，我寫過一篇我迄今為止閱讀量最高的解讀DeepSeek的mHC論文的文章。核心是：DeepSeek找到了一個(gè)大家覺得不需要改的東西——?dú)埐钸B接，然后改了它。

現(xiàn)在Kimi也在殘差連接上動(dòng)刀，而且馬斯克說impressive。我?guī)еЩ蟀颜撐淖x了一遍。

結(jié)論是：兩家實(shí)驗(yàn)室發(fā)現(xiàn)了同一個(gè)問題，但解法的出發(fā)點(diǎn)完全不同，深度也不同。

DeepSeek發(fā)現(xiàn)了什么問題，怎么解的

先快速回顧一下DeepSeek那篇，如果已經(jīng)讀過可以直接跳過這節(jié)。

標(biāo)準(zhǔn)殘差連接長這樣：

h_l = h_{l-1} + f_{l-1}(h_{l-1})

每一層的輸出 = 上一層輸出 + 這一層學(xué)到的新東西。固定權(quán)重，均勻累加。2015年ResNet提出，所有大模型沿用至今。

DeepSeek的問題意識(shí)是：固定權(quán)重是不是太死板了？每一層對(duì)之前所有層都一視同仁，合理嗎？

他們的第一個(gè)嘗試是Hyper-Connections（HC）：把殘差流從1條擴(kuò)展到4條，每條的權(quán)重可學(xué)習(xí)，讓模型自己決定怎么混合信號(hào)。

效果好，但有個(gè)致命問題：訓(xùn)練不穩(wěn)定?？蓪W(xué)習(xí)的權(quán)重矩陣沒有任何約束，經(jīng)過60層累乘之后，信號(hào)被放大了3000倍。實(shí)測損失曲線在訓(xùn)練到一半時(shí)突然飆升。

最終版本mHC的解法：把權(quán)重矩陣約束在「雙隨機(jī)矩陣」上——滿足每行之和=1、每列之和=1的矩陣。這個(gè)約束的數(shù)學(xué)性質(zhì)保證了矩陣的譜范數(shù)≤1，多層連乘之后信號(hào)不會(huì)爆炸。訓(xùn)練穩(wěn)定了，性能也超過了原始?xì)埐钸B接。代價(jià)只有6.7%的額外訓(xùn)練時(shí)間。

DeepSeek的解法可以用一句話總結(jié)：讓連接權(quán)重從固定變成可學(xué)習(xí)，同時(shí)用數(shù)學(xué)約束保證穩(wěn)定性。

Kimi發(fā)現(xiàn)了什么，為什么看起來一樣

Kimi的論文開頭也在講殘差連接的問題。我讀到這里，真的困惑了一下——這不就是DeepSeek mHC做的事情嗎？

但繼續(xù)往下讀，Kimi的問題定義和DeepSeek不在同一個(gè)層面。

DeepSeek問的是：權(quán)重能不能更靈活？

Kimi問的是：更根本的問題在哪？就算權(quán)重可以學(xué)習(xí)，整個(gè)設(shè)計(jì)里還有什么沒解決？

他們找到了三個(gè)答案。

第一，不能點(diǎn)菜。

每一層只能看到上一層傳下來的「混合狀態(tài)」——所有前面層的輸出被攪在一起的結(jié)果。但不同類型的層需要的東西是不一樣的：有些層可能更需要早期的原始語義，有些層可能更需要最近幾層剛算出來的特征?，F(xiàn)在它們只能吃同一份混合好的東西，沒辦法說「我要第3層的輸出」。

mHC讓混合的方式更靈活了，但本質(zhì)上每條路拿到的還是混合過的狀態(tài)，沒法回頭單獨(dú)取某一層的輸出。

第二，信息找不回來。

某一層學(xué)到了一個(gè)很有價(jià)值的東西，但一旦被混進(jìn)累積狀態(tài)，就和其他層的輸出攪在一起了。隨著后面的層不斷疊加新輸出，這個(gè)信息越來越淡，最終被淹沒。不可逆的。

第三，后面的層越來越難產(chǎn)生影響。

想象你在一間越來越吵的房間里說話。前面的層已經(jīng)積累了很大的信號(hào)，后面的層必須喊得比所有前輩加起來更大聲，才能被聽到。論文測量了這個(gè)效應(yīng)：到了模型最后幾層，信號(hào)量級(jí)是最開始的十多倍。后面的層要產(chǎn)生同等影響，需要付出十倍以上的「音量」。

mHC解決了訓(xùn)練穩(wěn)定性，但這三個(gè)根本問題還在——因?yàn)閙HC的權(quán)重雖然可學(xué)習(xí)，但訓(xùn)練完就固定了。不管輸入是什么，權(quán)重都一樣。

Kimi的解法：把時(shí)間維度的方案搬到深度維度

找到了問題，Kimi的解法來自一個(gè)很漂亮的類比。

這三個(gè)問題——不能點(diǎn)菜、信息找不回來、后面的層越來越難發(fā)聲——是不是很眼熟？

如果你了解深度學(xué)習(xí)的歷史，會(huì)發(fā)現(xiàn)這和2017年之前處理文本序列時(shí)遇到的問題一模一樣。

當(dāng)時(shí)用的是RNN，處理一段話時(shí)，也是把所有歷史信息壓縮進(jìn)一個(gè)狀態(tài)，每一步更新。同樣信息找不回來，同樣不能選擇性地回頭看早期內(nèi)容。

2017年，《Attention Is All You Need》那篇?jiǎng)潟r(shí)代的論文提出了Transformer，用注意力機(jī)制解決了這個(gè)問題：處理一段話時(shí)，每個(gè)位置不再只能看到上一步壓縮后的狀態(tài)，而是可以直接回頭看所有歷史位置，根據(jù)當(dāng)前內(nèi)容動(dòng)態(tài)決定關(guān)注哪里。

但有意思的是，《Attention Is All You Need》升級(jí)了文本處理的信息流，卻沒有動(dòng)層與層之間的信息流——?dú)埐钸B接依然是2015年的固定累加。

Kimi的問題是：處理文本時(shí)，我們已經(jīng)用注意力替代了「壓縮傳遞」；那層與層之間，為什么還在用「壓縮傳遞」？

這就是AttnRes的核心洞察：把注意力機(jī)制用到層與層之間的連接上。某種意義上，這是《Attention Is All You Need》在深度方向上的續(xù)集。

簡單說，改完之后每一層可以「回頭看」所有之前層的輸出，然后根據(jù)當(dāng)前處理的內(nèi)容，動(dòng)態(tài)決定最需要參考哪幾層的結(jié)果。這個(gè)「回頭看」的過程就是注意力機(jī)制——和Transformer處理文本時(shí)做的事情一樣，只不過方向從「回頭看之前的文字」變成了「回頭看之前的層」。

參數(shù)代價(jià)幾乎可以忽略：每一層只多了一個(gè)向量。

最關(guān)鍵的一點(diǎn)：這個(gè)「回頭看誰」的權(quán)重不是固定的。同樣一個(gè)模型，處理不同的輸入，每一層對(duì)之前各層的關(guān)注程度是不同的——完全根據(jù)當(dāng)前內(nèi)容實(shí)時(shí)決定。這是和mHC最本質(zhì)的區(qū)別：mHC的權(quán)重訓(xùn)練完就定了，AttnRes的權(quán)重是活的。

這讓我想到普魯斯特?！蹲窇浰扑耆A》里Marcel嘗到瑪?shù)律彽案饨诓枥锏奈兜溃甑呢暡祭渍麄€(gè)涌上來——不是模糊的印象，而是精確的感知，繞過了所有中間的敘事鏈條。普魯斯特管這叫「非自愿記憶」：不是你主動(dòng)去回憶，而是被某個(gè)感覺直接觸發(fā)，直接抵達(dá)。

標(biāo)準(zhǔn)殘差更像正常人的有意識(shí)回憶——細(xì)節(jié)在層層傳遞中被壓縮、混合，你只能拿到一個(gè)抽象過的狀態(tài)，原來的精確感知找不回來了。AttnRes給每一層裝上了一種工程化的普魯斯特能力：被當(dāng)前內(nèi)容觸發(fā)，直接跳到任意前驅(qū)層的精確輸出，不經(jīng)過中間的壓縮鏈。

不過普魯斯特的非自愿記憶是不受控的，你不知道哪塊瑪?shù)律彽案鈺?huì)觸發(fā)什么。AttnRes用softmax加了方向——根據(jù)當(dāng)前內(nèi)容，決定最需要回頭取哪一層的東西。這是普魯斯特沒有給Marcel的：有方向的精確記憶。

兩種方案的本質(zhì)差異

把兩個(gè)方案放在一起，差異很直觀：

DeepSeek mHC

Kimi AttnRes

改的是什么

連接權(quán)重的學(xué)習(xí)方式

信息流的結(jié)構(gòu)

權(quán)重是活的還是死的

訓(xùn)練完就固定

每次處理不同輸入都不同

能看到什么

只能看到上一層的混合狀態(tài)

可以直接看所有之前層的原始輸出

解決了什么

權(quán)重太死板

不能點(diǎn)菜 + 后面層越來越難發(fā)聲

論文里有一個(gè)消融實(shí)驗(yàn)特別直接：如果讓模型能看到所有之前層的輸出，但權(quán)重是固定的（訓(xùn)練完就不變），效果和原來幾乎一樣，沒有提升。但換成動(dòng)態(tài)權(quán)重（根據(jù)當(dāng)前內(nèi)容實(shí)時(shí)決定），性能就明顯提升了。

結(jié)論很清楚：光是「能回頭看」不夠，必須是「根據(jù)內(nèi)容動(dòng)態(tài)地回頭看」才有價(jià)值。

Block AttnRes：工程上怎么落地

理想狀態(tài)下，每一層都能直接回頭看所有之前層的輸出（Full AttnRes）。但對(duì)于100多層的模型，這意味著要把所有層的輸出都存著，內(nèi)存吃不消。

Kimi的工程方案是Block AttnRes：把所有層分成大約8個(gè)「塊」，塊內(nèi)還是用標(biāo)準(zhǔn)殘差做累加，塊與塊之間用注意力。

這樣需要記住的東西從「每一層的輸出」縮減到「每個(gè)塊的匯總」，內(nèi)存占用大幅下降。

性能損失多少？幾乎可以忽略。大約8個(gè)塊就能恢復(fù)絕大部分收益。而且工程代價(jià)比mHC還低——訓(xùn)練額外開銷不超過4%，推理延遲增加不超過2%。

效果怎么樣

實(shí)驗(yàn)在Kimi自家的48B參數(shù)模型上驗(yàn)證。

先說最直觀的一個(gè)數(shù)字：用同樣的算力，AttnRes達(dá)到了標(biāo)準(zhǔn)方法需要多燒25%算力才能達(dá)到的性能。換句話說，不加機(jī)器、不加數(shù)據(jù)，只改信息流的結(jié)構(gòu)，就能白賺25%的算力效果。

下游任務(wù)的提升也很顯著，尤其是推理類任務(wù)：

• GPQA-Diamond（研究生級(jí)別的科學(xué)推理）：36.9 → 44.4，提了7.5個(gè)點(diǎn)

• 數(shù)學(xué)：53.5 → 57.1

• 代碼：59.1 → 62.2

• 中文理解（C-Eval）：79.6 → 82.5

推理任務(wù)提升最大，這說得通——多步推理需要不同層之間緊密協(xié)作，正是信息流改善受益最大的場景。

訓(xùn)練過程也更健康了。之前說的「越來越吵的房間」問題，在AttnRes下被明顯緩解：每層的信號(hào)量級(jí)不再單調(diào)遞增，而是保持在一個(gè)有界的范圍內(nèi)。每一層都能得到合理的學(xué)習(xí)信號(hào)，不再出現(xiàn)「前面的層學(xué)得好，后面的層被淹沒」的情況。

模型自己學(xué)到了什么

訓(xùn)練好之后，Kimi可視化了模型「回頭看」的模式——每一層到底在關(guān)注哪些前面的層。

三個(gè)有意思的發(fā)現(xiàn)：

大部分時(shí)候，還是看最近的鄰居。 標(biāo)準(zhǔn)殘差的「只看上一層」并不是完全錯(cuò)的，模型自己學(xué)出來的結(jié)果也是以鄰近層為主。

但最原始的輸入一直沒被忘掉。 即使到了模型最深的層，對(duì)最開頭輸入的注意力權(quán)重都不是零。標(biāo)準(zhǔn)殘差下這個(gè)原始輸入早就被稀釋得找不到了，AttnRes讓深層可以隨時(shí)回頭翻看它。

模型自己發(fā)明了「捷徑」。 某些層會(huì)跳過中間，直接關(guān)注很早期的某些層。這不是人工設(shè)計(jì)的，是訓(xùn)練中模型自己發(fā)現(xiàn)的信息通路。

還有一個(gè)細(xì)節(jié)：模型里不同類型的層，「回頭看」的習(xí)慣明顯不同。有些層看得遠(yuǎn)，有些層只看最近幾層。AttnRes讓它們各自找到了最適合自己的信息來源——這在標(biāo)準(zhǔn)殘差下是不可能的，因?yàn)樗袑幽玫降亩际峭环莼旌蠣顟B(tài)。

往大了說

兩家發(fā)現(xiàn)了同一個(gè)被忽視的方向，但出發(fā)點(diǎn)不同，解法不同，解決的東西也不完全重疊。

mHC的核心是：讓連接權(quán)重可學(xué)習(xí)，并且穩(wěn)定。但每一層拿到的信息源還是混合過的，而且權(quán)重訓(xùn)練完就固定了。

AttnRes的核心是：讓每一層可以直接回頭看所有前面層的原始輸出，根據(jù)當(dāng)前內(nèi)容實(shí)時(shí)決定看哪里。解決的是更根本的問題。

論文結(jié)論里說：現(xiàn)在的Block AttnRes是工程折中，隨著硬件進(jìn)步，最終會(huì)走向每層都能回頭看所有層的Full AttnRes。

還有一個(gè)實(shí)驗(yàn)我覺得最值得關(guān)注：Kimi測試了25種不同的模型架構(gòu)配置，發(fā)現(xiàn)用了AttnRes之后，最優(yōu)的模型設(shè)計(jì)從「寬而淺」變成了「窄而深」。之前模型不敢做太深，因?yàn)樯盍酥蠛竺娴膶釉絹碓诫y學(xué)到東西。AttnRes解決了這個(gè)問題，讓「加深度」重新變成了有效的手段。

這不只是給現(xiàn)有架構(gòu)加了個(gè)性能插件，而是重新開放了模型設(shè)計(jì)的一個(gè)維度。

想想大多數(shù)團(tuán)隊(duì)在做什么：更好的訓(xùn)練數(shù)據(jù)、更長的上下文、更大的MoE、更聰明的推理策略。這些都有價(jià)值，但都是在「層間連接就是固定累加」這個(gè)前提下做優(yōu)化。選擇回到最底層的基礎(chǔ)結(jié)構(gòu)去找根本性突破，需要兩個(gè)條件同時(shí)滿足——技術(shù)判斷力（看出哪些「默認(rèn)配置」其實(shí)可以改），和工程實(shí)力（在大規(guī)模訓(xùn)練上證明它真的有效，不是玩具實(shí)驗(yàn)）。這兩個(gè)條件同時(shí)具備的團(tuán)隊(duì)，全球范圍內(nèi)都是稀缺的。

過去幾年大模型的架構(gòu)創(chuàng)新主要發(fā)生在上層模塊——Attention機(jī)制的各種變體、MoE的路由策略、位置編碼的改進(jìn)。殘差連接一直待在最底層，被當(dāng)作「默認(rèn)配置」，沒人覺得需要碰它?，F(xiàn)在DeepSeek和Kimi先后在這里找到了突破口，說明一個(gè)趨勢：架構(gòu)優(yōu)化的前沿已經(jīng)從上層模塊深入到了最基礎(chǔ)的信號(hào)傳遞結(jié)構(gòu)。

《Attention Is All You Need》當(dāng)年把序列維度從遞推升級(jí)到了注意力。但那篇論文里的殘差連接——深度維度上的信息流——依然用的是2015年的固定累加。這個(gè)未完成的工作等了九年。

馬斯克的「Impressive work」不只是一句客套。當(dāng)這個(gè)級(jí)別的人公開點(diǎn)贊一篇基礎(chǔ)架構(gòu)論文，釋放的信號(hào)是：深度學(xué)習(xí)的底層范式本身在發(fā)生變化，值得關(guān)注的不只是論文里的具體數(shù)字，而是它指向的方向。

殘差連接被當(dāng)作默認(rèn)配置用了十年。三個(gè)月內(nèi)，兩家中國實(shí)驗(yàn)室先后在這個(gè)最基礎(chǔ)的地方找到了根本性突破。

參考資料：

• Attention Residuals技術(shù)報(bào)告：https://github.com/MoonshotAI/Attention-Residuals

• DeepSeekmHC論文：https://arxiv.org/abs/2512.24880

• Kimi Linear架構(gòu)報(bào)告：https://arxiv.org/abs/2510.26692

• Attention Is All You Need：https://arxiv.org/abs/1706.03762

@Kimi 用我奶奶也能懂的語言解釋下這篇論文：

大模型就像一棟100層的大樓，每一層的工人干完活，把成果交給下一層。 過去十年，傳遞方式都是「流水賬」——每一層只能看到上一層遞過來的一份混合文件，前面誰寫了什么、寫得好不好，全攪在一起了，找不回來。 Kimi做的事情是給每一層裝了一部電話?，F(xiàn)在第100層的工人如果覺得「第3層當(dāng)時(shí)算的那個(gè)數(shù)據(jù)我現(xiàn)在要用」，可以直接打電話回去查，不用再翻那份被改了97遍的混合文件。 而且每個(gè)工人會(huì)根據(jù)自己手頭的任務(wù)，自己決定打給誰——不是固定的，是看情況來的。 就這么一個(gè)改動(dòng)，同樣的機(jī)器、同樣的數(shù)據(jù)，模型性能白賺了25%。