廣東
同樣的算力，同樣的數(shù)據(jù)，憑什么效果不一樣？大多數(shù)人的直覺是：模型更大、數(shù)據(jù)更好、工程師更厲害。但 Kimi 給出了一個更出人意料的答案。
3 月 16 日，月之暗面 Kimi 發(fā)布了一項重磅技術(shù)報告《Attention Residuals》（注意力殘差）。
這項技術(shù)針對幾乎所有現(xiàn)代大模型都在使用的殘差連接結(jié)構(gòu)進(jìn)行了改造，并在實驗中證明，用同樣多的算力，新方法訓(xùn)練出的模型效果相當(dāng)于基線模型花費 1.25 倍算力才能達(dá)到的效果。
報告發(fā)布后，也毫無意外得到了許多硅谷頂尖 AI 人物的點贊背書。
附 GitHub 開源地址：github.com/MoonshotAI/Attention-Residuals
比如馬斯克通過社交媒體表示「Impressive work from Kimi（令人印象深刻的工作）」OpenAI o1 主要發(fā)明者 Jerry Tworek 稱其為「深度學(xué)習(xí) 2.0」的開端。
前 OpenAI 聯(lián)創(chuàng) Andrej Karpathy 說「看來我們還沒把『Attention is All You Need』這句話按字面意思理解透?！沟绕疬@些夸獎，技術(shù)論文背后的信號或許更值得關(guān)注：深度學(xué)習(xí)最基礎(chǔ)的范式，正在發(fā)生變化。
十年沒人動過的地基，被撬動了
過去兩年，大模型的競爭主要在「上層建筑」展開：更好的注意力變體、更聰明的 MoE 路由策略、更精巧的對齊方法，大家都在 Transformer 這棟大樓的高層精裝修。
唯獨有一樣?xùn)|西，從 2015 年 ResNet 論文發(fā)表以來，幾乎沒人動過：殘差連接（Residual Connections）。
要理解這項技術(shù)，得先知道大模型內(nèi)部的基本結(jié)構(gòu)。
現(xiàn)代大模型，其實都是由很多層神經(jīng)網(wǎng)絡(luò)疊加而成的，少則幾十層，多則上百層。信息從底部輸入，一層一層往上傳遞，每一層都對信息做一次加工，最終在頂部輸出結(jié)果。
可以把它想象成一條流水線上的工人：原材料從第一道工序進(jìn)來，每個工人對它加工一遍，再傳給下一個，最終出來成品。問題是，流水線越長，越難訓(xùn)練。
假設(shè)第 50 道工序的工人犯了錯，你想糾正他，就得把這個「糾錯信號」一路往回傳，經(jīng)過 49 個工人才能傳到第 1 個。傳著傳著，信號就消失了，底層的工人根本不知道自己哪里出了問題。
為了讓這么深的網(wǎng)絡(luò)能夠訓(xùn)練起來，知名學(xué)者何愷明團(tuán)隊在 2015 年發(fā)表了一篇題為《Deep Residual Learning for Image Recognition》的論文，引入了一個關(guān)鍵設(shè)計，叫做殘差連接（Residual Connections）：
每一層在加工信息的同時，還會保留一條「直通道」，把原始輸入原封不動地加到加工結(jié)果上，再往下傳。這條直通道讓梯度在反向傳播時可以繞過中間的變換，一路流回底層，從根本上解決了深層網(wǎng)絡(luò)難以訓(xùn)練的問題。
比較通俗的理解是，在每道工序旁邊加一條「直通道」，把原材料原封不動地繞過這道工序，直接和加工結(jié)果合并，再往下傳。這樣糾錯信號就可以沿著直通道一路暢通無阻地傳回底層，不會消失。
這篇論文后來成為計算機(jī)視覺乃至整個深度學(xué)習(xí)領(lǐng)域引用次數(shù)最多的論文之一，殘差連接也沿用至今，是幾乎所有大模型的基石。
殘差連接雖然好用，但它做信息聚合的方式非常粗暴：把所有前面層的輸出，無差別地等權(quán)相加。
還是用流水線來比喻。到了第 51 道工序，這個工人手里拿到的，是前面 50 道工序所有產(chǎn)出物的等量混合，每道工序的產(chǎn)出各占一份，不多不少。他沒有辦法說「我想多要一點第 3 道工序的原料」，也沒有辦法說「第 20 道工序的東西對我沒用，少給我一點」。
這帶來了一個名為 PreNorm 稀釋的實際問題 ：隨著網(wǎng)絡(luò)越來越深，累積疊加的信息越來越多，每一層自己的貢獻(xiàn)在龐大的總量里越來越微不足道。越靠后的層，想要讓自己的聲音被「聽見」，就得輸出越來越大的數(shù)值，否則就會被淹沒。
結(jié)果就是，很多中間層其實沒在認(rèn)真干活。已有研究發(fā)現(xiàn)，大模型里相當(dāng)一部分層直接刪掉，效果幾乎不變，這說明這些層的貢獻(xiàn)實際上極為有限。
大多數(shù)團(tuán)隊早就知道這個問題，選擇繞開它，轉(zhuǎn)而在在現(xiàn)有架構(gòu)上疊加更好的數(shù)據(jù)配比、更精巧的訓(xùn)練策略、更長的上下文窗口。這些工作當(dāng)然有價值，但本質(zhì)上是在一個已有的技術(shù)框架內(nèi)做增量優(yōu)化。
Kimi 選擇的是一條更孤獨也更難的路：回到最基礎(chǔ)的結(jié)構(gòu)，用第一性原理重新審視那些「理所當(dāng)然」的設(shè)計。
今天凌晨，Kimi 創(chuàng)始人楊植麟在 GTC 2026 演講中提到：「行業(yè)目前普遍使用的很多技術(shù)標(biāo)準(zhǔn)，本質(zhì)上是八九年前的產(chǎn)物，正逐漸成為 Scaling 的瓶頸。」
楊植麟認(rèn)為，要推動大模型智能上限的持續(xù)突破，必須對優(yōu)化器、注意力機(jī)制及殘差連接等底層基石進(jìn)行重構(gòu)。
一次優(yōu)雅的「旋轉(zhuǎn)」
Kimi 團(tuán)隊這篇論文的核心突破，其實也來自一個優(yōu)雅的類比發(fā)現(xiàn)。
處理文字序列時，早期的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）也有類似的額外問題：記性差。它讀完一整段話之后，早期讀到的內(nèi)容會被后來的內(nèi)容不斷覆蓋，等讀到最后一個詞，前幾句說了什么已經(jīng)模糊了。
后來 Transformer 用注意力機(jī)制解決了這個問題，相當(dāng)于給模型配了一張「全文筆記」，處理每個詞的時候，都可以翻回去查任意一個之前出現(xiàn)過的詞，而且查哪里、查多少，由當(dāng)前的內(nèi)容自己決定。
研究人員發(fā)現(xiàn)，殘差連接在深度方向上碰到的問題，和 RNN 在時間方向上碰到的問題，數(shù)學(xué)結(jié)構(gòu)完全一樣。換句話說，把 Transformer 想象成一張二維的網(wǎng)格：
橫軸是序列方向，一句話里從左到右的每個詞；縱軸是深度方向，從底層到頂層的每一層網(wǎng)絡(luò)。傳統(tǒng)的注意力機(jī)制是沿著橫軸工作的，處理某個詞時去查同一層里其他詞的信息。
而 Attention Residuals 做的事情，就是把完全相同的機(jī)制轉(zhuǎn)到縱軸上去，處理某一層時去查前面所有層的輸出，決定要參考哪些層、參考多少。操作對象從「同一層里的不同詞」變成了「同一個詞在不同層里的狀態(tài)」，機(jī)制本身一模一樣，好比方向轉(zhuǎn)了 90 度。
既然注意力機(jī)制解決了序列方向的問題，旋轉(zhuǎn)一下搬到深度方向上，同樣有效。
這里有一個更深層的理論發(fā)現(xiàn)值得一提。研究人員通過數(shù)學(xué)分析發(fā)現(xiàn)，過去十年里所有對殘差連接的改進(jìn)，包括標(biāo)準(zhǔn)殘差、Highway 網(wǎng)絡(luò)、mHC 等各種變體，在數(shù)學(xué)上其實都是同一件事的不同形式，都等價于某種「深度方向的線性注意力」。換句話說，大家一直在朝同一個方向努力，只是當(dāng)時沒意識到。
而 AttnRes 的核心思路在于，把注意力機(jī)制從「處理文字序列」的維度，移植到「跨越網(wǎng)絡(luò)深度」的維度上。
具體做法是，給每一層配備一個小小的「查詢向量」，就像給每道工序的工人配了一張需求單。工人在開工前，先拿著需求單去翻所有前面工序的產(chǎn)出，根據(jù)相關(guān)度算出一套取用比例，再按這個比例把需要的原料混合起來。
這樣一來，每一層不再是被動接受所有前面層輸出的等權(quán)疊加，而是主動、有選擇性地決定要從哪些層提取多少信息，比例還會根據(jù)當(dāng)前任務(wù)的內(nèi)容動態(tài)變化。每層只新增一個向量和一個歸一化操作，參數(shù)量的增加對整個模型來說幾乎可以忽略不計。
為了保證訓(xùn)練初期穩(wěn)定，這個查詢向量必須初始化為全零，相當(dāng)于讓工人一開始什么偏好都沒有、平等對待所有前序產(chǎn)出，等訓(xùn)練推進(jìn)了再慢慢形成自己的判斷。
值得一提的是，研究人員也測試過一個更激進(jìn)的版本：讓查詢向量不再是固定參數(shù)，而是根據(jù)每一層當(dāng)前的輸入內(nèi)容動態(tài)生成。這個版本效果確實更好，損失值進(jìn)一步下降。
但最終沒有采用，原因是推理時這種方式需要順序讀取內(nèi)存，會增加延遲。這個取舍體現(xiàn)了貫穿整篇論文的工程哲學(xué)，理論上更優(yōu)的方案，不一定是實用上應(yīng)該選的方案。
大模型的新技術(shù)，最后都得過這一關(guān)
全量 AttnRes 在小規(guī)模實驗中很好用，但一到大規(guī)模訓(xùn)練就遇到了麻煩。
它需要每一層都能訪問所有前面層的輸出。模型有一百多層，每層的輸出都得保存在內(nèi)存里，還要在不同計算節(jié)點之間來回傳輸，內(nèi)存和通信開銷隨層數(shù)線性增長，在大模型上根本承受不起。
Kimi 團(tuán)隊的解法很實在：Block AttnRes。把網(wǎng)絡(luò)所有層劃分為若干個 Block（48B 模型中分了 8-9 個 Block，每個 Block 約 6 層），Block 內(nèi)部沿用傳統(tǒng)殘差連接，Block 之間使用 softmax 注意力。打個比方——不必給每層樓都裝電梯，在關(guān)鍵樓層之間架設(shè)快速通道就夠了。
這樣，需要保存和傳輸?shù)臄?shù)據(jù)量，從「所有層的數(shù)量」降低到「塊的數(shù)量」，開銷大幅縮小。實驗發(fā)現(xiàn)，分成約 8 個塊就能保留全量方法絕大部分的性能提升。
在具體的工程實現(xiàn)上，團(tuán)隊還做了兩項優(yōu)化。
訓(xùn)練端設(shè)計了跨階段緩存機(jī)制，在流水線并行訓(xùn)練中每次切換階段時只傳輸新增的那一小部分塊數(shù)據(jù)，而不是每次都把全部歷史重新傳一遍，實測整體訓(xùn)練額外開銷不超過 4%。
推理端設(shè)計了兩階段計算策略，把一個塊內(nèi)所有層的查詢打包成一次矩陣運算統(tǒng)一處理，把重復(fù)的內(nèi)存訪問攤銷掉，最終推理延遲增加不超過 2%。
那實驗效果怎么樣呢？研究人員測了五個不同規(guī)模的模型。
結(jié)果顯示，Block AttnRes 在全部規(guī)模上均以更低的驗證損失領(lǐng)先于基線，且改善幅度隨規(guī)模增大而穩(wěn)定保持。按擬合曲線推算，在相同的計算量下，Block AttnRes 相當(dāng)于基線模型用 1.25 倍算力才能達(dá)到的效果。
在 48B 參數(shù)（3B 激活）規(guī)模的 Kimi Linear 架構(gòu)實驗中，Block AttnRes 展現(xiàn)了極強(qiáng)的泛化性：在全部 15 項主流評測基準(zhǔn)中，其表現(xiàn)均持平或優(yōu)于 PreNorm 基線模型。
例如，在博士級科學(xué)推理 GPQA-Diamond 上實現(xiàn)了 7.5% 的飛躍，在數(shù)學(xué) Math (+3.6%) 及代碼生成 HumanEval (+3.1%) 任務(wù)中也錄得了顯著增益 。
從訓(xùn)練過程來看，基線模型的各層輸出數(shù)值隨深度單調(diào)增大，印證了 PreNorm 稀釋問題；而 AttnRes 的各層輸出數(shù)值在塊邊界處得到重置，呈現(xiàn)周期性變化，各層梯度分布也更加均勻，說明更多的層真正參與到了有效的學(xué)習(xí)中。
此外，研究人員還可視化了訓(xùn)練后模型學(xué)到的注意力權(quán)重，發(fā)現(xiàn)了幾個有趣的規(guī)律。
每一層仍然最依賴直接前一層的輸出，局部性依然是主要的信息流通方式。但同時出現(xiàn)了一些跳躍性的連接，比如某些層會穩(wěn)定地回溯到很早期的層，還有些層會特別關(guān)注最初的詞嵌入輸出。
另一個規(guī)律是，注意力層和 MLP 層的「回望」模式不同：注意力層傾向于關(guān)注更廣泛的歷史，MLP 層則更依賴近鄰層。這與兩者在模型中的功能分工是吻合的。
AttnRes 還帶來了一個對未來模型設(shè)計有參考價值的發(fā)現(xiàn)。研究人員在固定總計算量和參數(shù)量的前提下，枚舉了 25 種不同的深度與寬度組合，對比基線模型和 AttnRes 各自偏好的最優(yōu)架構(gòu)。
結(jié)果發(fā)現(xiàn)，標(biāo)準(zhǔn)殘差連接偏好「更寬、層數(shù)更少」的模型，而 AttnRes 的最優(yōu)點偏向「更窄、層數(shù)更多」的模型。這說明 AttnRes 能夠更有效地利用深度，讓每增加一層都真正產(chǎn)生價值，而不是讓深度變成一種邊際效益遞減的堆砌。
這個發(fā)現(xiàn)的含義不止于此。它意味著 AttnRes 不只是在原有架構(gòu)上打了一個補丁，而是從根本上改變了網(wǎng)絡(luò)深度的利用效率，也為未來設(shè)計大模型時如何分配深度與寬度的資源提供了新的參考依據(jù)。
楊植麟曾提到，十年前不是沒有好想法，而是沒有算力去驗證?，F(xiàn)在有了足夠的資源和「縮放階梯（Scaling Ladder）」，那些被擱置的問題才終于能被認(rèn)真答一遍。
大佬點贊的背后，是一個時代在轉(zhuǎn)彎
一個中國團(tuán)隊在最底層的架構(gòu)創(chuàng)新上獲得硅谷頂級人物的實質(zhì)性認(rèn)可，這件事本身十分罕見，他們認(rèn)可的不只是論文成果本身，更在于Kimi 這篇論文指向了一個全新的方向：優(yōu)化已經(jīng)從 attention、MoE 這些上層模塊，深入到了最底層的殘差連接。
在 GTC 2026 演講中，楊植麟還披露了一連串底層技術(shù)創(chuàng)新：MuonClip 優(yōu)化器實現(xiàn)了相比 AdamW 2 倍的計算效率提升——要知道 Adam 優(yōu)化器自 2014 年以來幾乎未被撼動，屬于深度學(xué)習(xí)的「不可觸碰之物」；Kimi Linear（KDA 架構(gòu)）在 128K 到百萬級超長上下文下實現(xiàn) 5-6 倍的解碼加速；Vision RL 的跨模態(tài)訓(xùn)練甚至讓純文本 benchmark 也提升了約 2.1%。
楊植麟把這些創(chuàng)新概括為三個維度的 Scaling 框架：Token 效率 × 長上下文 × Agent Swarms。
「當(dāng)前的 Scaling 已經(jīng)不再是單純的資源堆砌，而是要在計算效率、長程記憶和自動化協(xié)作上同時尋找規(guī)模效應(yīng)?！?/p>
一家公司，同時在優(yōu)化器、殘差連接、注意力架構(gòu)、跨模態(tài)訓(xùn)練這些底層戰(zhàn)場上全線推進(jìn)，這種打法在行業(yè)里相當(dāng)特立獨行。
這也是為什么 Jerry Tworek 會說出「深度學(xué)習(xí) 2.0」這樣的判斷。當(dāng)然不是說 Attention Residuals 這篇論文就能顛覆一切，更多是它代表了一種方法論的回歸：不再滿足于在已有框架上修修補補，去重新審視那些被所有人當(dāng)作「已解決問題」的基礎(chǔ)設(shè)施。
如果殘差連接可以被重新設(shè)計，那么 Adam 優(yōu)化器呢？層歸一化呢？位置編碼呢？深度學(xué)習(xí)的基礎(chǔ)范式本身正在發(fā)生變化，這扇門一旦推開，后面的故事就不再是線性外推能預(yù)測的了。
Karpathy 那句「Attention is All You Need 還沒被理解透」的感慨，大概也是這個意思。
過去幾年，中國 AI 團(tuán)隊的貢獻(xiàn)更多集中在工程落地和應(yīng)用創(chuàng)新上，在底層架構(gòu)理論方面的原創(chuàng)性突破相對稀缺。Kimi 這篇論文走的是一條完全不同的路線——一個統(tǒng)一的理論框架，一個優(yōu)雅的工程實現(xiàn)，加上嚴(yán)謹(jǐn)?shù)拇笠?guī)模實驗驗證。
當(dāng)然，Kimi 這篇論文還有留下不少需要解決的問題。論文的大規(guī)模驗證是在 48B 總參數(shù)（3B 激活參數(shù)）的模型上完成的，這個規(guī)模放在今天的第一梯隊里并不算大。在真正的千億乃至萬億參數(shù)模型上，1.25 倍的等效優(yōu)勢能否穩(wěn)住，目前還是個問號。
同時論文展示的也只是預(yù)訓(xùn)練階段的收益，經(jīng)過指令微調(diào)、RLHF 等后訓(xùn)練步驟后，AttnRes 的優(yōu)勢是否會被稀釋，缺乏數(shù)據(jù)。
但話說回來，這些局限恰恰也是想象力的來源。一個僅需約 100 行代碼改動、增加不到 4% 訓(xùn)練開銷的輕量修改，就能在 48B 規(guī)模上帶來這樣的提升。
當(dāng)它被應(yīng)用到更大規(guī)模的下一代模型上時，收益的天花板在哪里，誰也說不準(zhǔn)。
Attention Residuals 抬高了 Token 效率的天花板，Kimi Linear 拓展了長上下文的邊界，Agent Swarms 指向智能體協(xié)作的未來。當(dāng)這三條技術(shù)線在下一代模型中匯合，呈現(xiàn)出的可能就是新的范式轉(zhuǎn)變。
在 AI 這座通天塔的工程上，所有人都在爭著往上添磚加瓦，而 Kimi 低頭往路基重重地鑿了一鍬，恰好撬動了深度學(xué)習(xí)的地基。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
