廣東
同樣的算力，同樣的數(shù)據(jù)，憑什么效果不一樣？大多數(shù)人的直覺(jué)是：模型更大、數(shù)據(jù)更好、工程師更厲害。但 Kimi 給出了一個(gè)更出人意料的答案。
3 月 16 日，月之暗面 Kimi 發(fā)布了一項(xiàng)重磅技術(shù)報(bào)告《Attention Residuals》（注意力殘差）。
這項(xiàng)技術(shù)針對(duì)幾乎所有現(xiàn)代大模型都在使用的殘差連接結(jié)構(gòu)進(jìn)行了改造，并在實(shí)驗(yàn)中證明，用同樣多的算力，新方法訓(xùn)練出的模型效果相當(dāng)于基線(xiàn)模型花費(fèi) 1.25 倍算力才能達(dá)到的效果。
報(bào)告發(fā)布后，也毫無(wú)意外得到了許多硅谷頂尖 AI 人物的點(diǎn)贊背書(shū)。
▲附 GitHub 開(kāi)源地址：github.com/MoonshotAI/Attention-Residuals
比如馬斯克通過(guò)社交媒體表示「「Impressive work from Kimi」（令人印象深刻的工作）」OpenAI o1 主要發(fā)明者 Jerry Tworek 稱(chēng)其為「深度學(xué)習(xí) 2.0」的開(kāi)端。
前 OpenAI 聯(lián)創(chuàng) Andrej Karpathy 說(shuō)「看來(lái)我們還沒(méi)把『Attention is All You Need』這句話(huà)按字面意思理解透?！沟绕疬@些夸獎(jiǎng)，技術(shù)論文背后的信號(hào)或許更值得關(guān)注：深度學(xué)習(xí)最基礎(chǔ)的范式，正在發(fā)生變化。
十年沒(méi)人動(dòng)過(guò)的地基，被撬動(dòng)了
過(guò)去兩年，大模型的競(jìng)爭(zhēng)主要在「上層建筑」展開(kāi)：更好的注意力變體、更聰明的 MoE 路由策略、更精巧的對(duì)齊方法，大家都在 Transformer 這棟大樓的高層精裝修。
唯獨(dú)有一樣?xùn)|西，從 2015 年 ResNet 論文發(fā)表以來(lái)，幾乎沒(méi)人動(dòng)過(guò)：殘差連接（Residual Connections）。
要理解這項(xiàng)技術(shù)，得先知道大模型內(nèi)部的基本結(jié)構(gòu)。
現(xiàn)代大模型，其實(shí)都是由很多層神經(jīng)網(wǎng)絡(luò)疊加而成的，少則幾十層，多則上百層。信息從底部輸入，一層一層往上傳遞，每一層都對(duì)信息做一次加工，最終在頂部輸出結(jié)果。
可以把它想象成一條流水線(xiàn)上的工人：原材料從第一道工序進(jìn)來(lái)，每個(gè)工人對(duì)它加工一遍，再傳給下一個(gè)，最終出來(lái)成品。問(wèn)題是，流水線(xiàn)越長(zhǎng)，越難訓(xùn)練。
假設(shè)第 50 道工序的工人犯了錯(cuò)，你想糾正他，就得把這個(gè)「糾錯(cuò)信號(hào)」一路往回傳，經(jīng)過(guò) 49 個(gè)工人才能傳到第 1 個(gè)。傳著傳著，信號(hào)就消失了，底層的工人根本不知道自己哪里出了問(wèn)題。
為了讓這么深的網(wǎng)絡(luò)能夠訓(xùn)練起來(lái)，知名學(xué)者何愷明團(tuán)隊(duì)在 2015 年發(fā)表了一篇題為《Deep Residual Learning for Image Recognition》的論文，引入了一個(gè)關(guān)鍵設(shè)計(jì)，叫做殘差連接（Residual Connections）：
每一層在加工信息的同時(shí)，還會(huì)保留一條「直通道」，把原始輸入原封不動(dòng)地加到加工結(jié)果上，再往下傳。這條直通道讓梯度在反向傳播時(shí)可以繞過(guò)中間的變換，一路流回底層，從根本上解決了深層網(wǎng)絡(luò)難以訓(xùn)練的問(wèn)題。
比較通俗的理解是，在每道工序旁邊加一條「直通道」，把原材料原封不動(dòng)地繞過(guò)這道工序，直接和加工結(jié)果合并，再往下傳。這樣糾錯(cuò)信號(hào)就可以沿著直通道一路暢通無(wú)阻地傳回底層，不會(huì)消失。
這篇論文后來(lái)成為計(jì)算機(jī)視覺(jué)乃至整個(gè)深度學(xué)習(xí)領(lǐng)域引用次數(shù)最多的論文之一，殘差連接也沿用至今，是幾乎所有大模型的基石。
殘差連接雖然好用，但它做信息聚合的方式非常粗暴：把所有前面層的輸出，無(wú)差別地等權(quán)相加。
還是用流水線(xiàn)來(lái)比喻。到了第 51 道工序，這個(gè)工人手里拿到的，是前面 50 道工序所有產(chǎn)出物的等量混合，每道工序的產(chǎn)出各占一份，不多不少。他沒(méi)有辦法說(shuō)「我想多要一點(diǎn)第 3 道工序的原料」，也沒(méi)有辦法說(shuō)「第 20 道工序的東西對(duì)我沒(méi)用，少給我一點(diǎn)」。
這帶來(lái)了一個(gè)名為 PreNorm 稀釋的實(shí)際問(wèn)題 ：隨著網(wǎng)絡(luò)越來(lái)越深，累積疊加的信息越來(lái)越多，每一層自己的貢獻(xiàn)在龐大的總量里越來(lái)越微不足道。越靠后的層，想要讓自己的聲音被「聽(tīng)見(jiàn)」，就得輸出越來(lái)越大的數(shù)值，否則就會(huì)被淹沒(méi)。
結(jié)果就是，很多中間層其實(shí)沒(méi)在認(rèn)真干活。已有研究發(fā)現(xiàn)，大模型里相當(dāng)一部分層直接刪掉，效果幾乎不變，這說(shuō)明這些層的貢獻(xiàn)實(shí)際上極為有限。
大多數(shù)團(tuán)隊(duì)早就知道這個(gè)問(wèn)題，選擇繞開(kāi)它，轉(zhuǎn)而在在現(xiàn)有架構(gòu)上疊加更好的數(shù)據(jù)配比、更精巧的訓(xùn)練策略、更長(zhǎng)的上下文窗口。這些工作當(dāng)然有價(jià)值，但本質(zhì)上是在一個(gè)已有的技術(shù)框架內(nèi)做增量?jī)?yōu)化。
Kimi 選擇的是一條更孤獨(dú)也更難的路：回到最基礎(chǔ)的結(jié)構(gòu)，用第一性原理重新審視那些「理所當(dāng)然」的設(shè)計(jì)。
今天凌晨，Kimi 創(chuàng)始人楊植麟在 GTC 2026 演講中提到：「行業(yè)目前普遍使用的很多技術(shù)標(biāo)準(zhǔn)，本質(zhì)上是八九年前的產(chǎn)物，正逐漸成為 Scaling 的瓶頸?！?/p>
楊植麟認(rèn)為，要推動(dòng)大模型智能上限的持續(xù)突破，必須對(duì)優(yōu)化器、注意力機(jī)制及殘差連接等底層基石進(jìn)行重構(gòu)。
一次優(yōu)雅的「旋轉(zhuǎn)」
Kimi 團(tuán)隊(duì)這篇論文的核心突破，其實(shí)也來(lái)自一個(gè)優(yōu)雅的類(lèi)比發(fā)現(xiàn)。
處理文字序列時(shí)，早期的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）也有類(lèi)似的額外問(wèn)題：記性差。它讀完一整段話(huà)之后，早期讀到的內(nèi)容會(huì)被后來(lái)的內(nèi)容不斷覆蓋，等讀到最后一個(gè)詞，前幾句說(shuō)了什么已經(jīng)模糊了。
后來(lái) Transformer 用注意力機(jī)制解決了這個(gè)問(wèn)題，相當(dāng)于給模型配了一張「全文筆記」，處理每個(gè)詞的時(shí)候，都可以翻回去查任意一個(gè)之前出現(xiàn)過(guò)的詞，而且查哪里、查多少，由當(dāng)前的內(nèi)容自己決定。
研究人員發(fā)現(xiàn)，殘差連接在深度方向上碰到的問(wèn)題，和 RNN 在時(shí)間方向上碰到的問(wèn)題，數(shù)學(xué)結(jié)構(gòu)完全一樣。換句話(huà)說(shuō)，把 Transformer 想象成一張二維的網(wǎng)格：
橫軸是序列方向，一句話(huà)里從左到右的每個(gè)詞；縱軸是深度方向，從底層到頂層的每一層網(wǎng)絡(luò)。傳統(tǒng)的注意力機(jī)制是沿著橫軸工作的，處理某個(gè)詞時(shí)去查同一層里其他詞的信息。
而 Attention Residuals 做的事情，就是把完全相同的機(jī)制轉(zhuǎn)到縱軸上去，處理某一層時(shí)去查前面所有層的輸出，決定要參考哪些層、參考多少。操作對(duì)象從「同一層里的不同詞」變成了「同一個(gè)詞在不同層里的狀態(tài)」，機(jī)制本身一模一樣，好比方向轉(zhuǎn)了 90 度。
既然注意力機(jī)制解決了序列方向的問(wèn)題，旋轉(zhuǎn)一下搬到深度方向上，同樣有效。
這里有一個(gè)更深層的理論發(fā)現(xiàn)值得一提。研究人員通過(guò)數(shù)學(xué)分析發(fā)現(xiàn)，過(guò)去十年里所有對(duì)殘差連接的改進(jìn)，包括標(biāo)準(zhǔn)殘差、Highway 網(wǎng)絡(luò)、mHC 等各種變體，在數(shù)學(xué)上其實(shí)都是同一件事的不同形式，都等價(jià)于某種「深度方向的線(xiàn)性注意力」。換句話(huà)說(shuō)，大家一直在朝同一個(gè)方向努力，只是當(dāng)時(shí)沒(méi)意識(shí)到。
而 AttnRes 的核心思路在于，把注意力機(jī)制從「處理文字序列」的維度，移植到「跨越網(wǎng)絡(luò)深度」的維度上。
具體做法是，給每一層配備一個(gè)小小的「查詢(xún)向量」，就像給每道工序的工人配了一張需求單。工人在開(kāi)工前，先拿著需求單去翻所有前面工序的產(chǎn)出，根據(jù)相關(guān)度算出一套取用比例，再按這個(gè)比例把需要的原料混合起來(lái)。
這樣一來(lái)，每一層不再是被動(dòng)接受所有前面層輸出的等權(quán)疊加，而是主動(dòng)、有選擇性地決定要從哪些層提取多少信息，比例還會(huì)根據(jù)當(dāng)前任務(wù)的內(nèi)容動(dòng)態(tài)變化。每層只新增一個(gè)向量和一個(gè)歸一化操作，參數(shù)量的增加對(duì)整個(gè)模型來(lái)說(shuō)幾乎可以忽略不計(jì)。
為了保證訓(xùn)練初期穩(wěn)定，這個(gè)查詢(xún)向量必須初始化為全零，相當(dāng)于讓工人一開(kāi)始什么偏好都沒(méi)有、平等對(duì)待所有前序產(chǎn)出，等訓(xùn)練推進(jìn)了再慢慢形成自己的判斷。
值得一提的是，研究人員也測(cè)試過(guò)一個(gè)更激進(jìn)的版本：讓查詢(xún)向量不再是固定參數(shù)，而是根據(jù)每一層當(dāng)前的輸入內(nèi)容動(dòng)態(tài)生成。這個(gè)版本效果確實(shí)更好，損失值進(jìn)一步下降。
但最終沒(méi)有采用，原因是推理時(shí)這種方式需要順序讀取內(nèi)存，會(huì)增加延遲。這個(gè)取舍體現(xiàn)了貫穿整篇論文的工程哲學(xué)，理論上更優(yōu)的方案，不一定是實(shí)用上應(yīng)該選的方案。
大模型的新技術(shù)，最后都得過(guò)這一關(guān)
全量 AttnRes 在小規(guī)模實(shí)驗(yàn)中很好用，但一到大規(guī)模訓(xùn)練就遇到了麻煩。
它需要每一層都能訪(fǎng)問(wèn)所有前面層的輸出。模型有一百多層，每層的輸出都得保存在內(nèi)存里，還要在不同計(jì)算節(jié)點(diǎn)之間來(lái)回傳輸，內(nèi)存和通信開(kāi)銷(xiāo)隨層數(shù)線(xiàn)性增長(zhǎng)，在大模型上根本承受不起。
Kimi 團(tuán)隊(duì)的解法很實(shí)在：Block AttnRes。把網(wǎng)絡(luò)所有層劃分為若干個(gè) Block（48B 模型中分了 8-9 個(gè) Block，每個(gè) Block 約 6 層），Block 內(nèi)部沿用傳統(tǒng)殘差連接，Block 之間使用 softmax 注意力。打個(gè)比方——不必給每層樓都裝電梯，在關(guān)鍵樓層之間架設(shè)快速通道就夠了。
這樣，需要保存和傳輸?shù)臄?shù)據(jù)量，從「所有層的數(shù)量」降低到「塊的數(shù)量」，開(kāi)銷(xiāo)大幅縮小。實(shí)驗(yàn)發(fā)現(xiàn)，分成約 8 個(gè)塊就能保留全量方法絕大部分的性能提升。
在具體的工程實(shí)現(xiàn)上，團(tuán)隊(duì)還做了兩項(xiàng)優(yōu)化。
訓(xùn)練端設(shè)計(jì)了跨階段緩存機(jī)制，在流水線(xiàn)并行訓(xùn)練中每次切換階段時(shí)只傳輸新增的那一小部分塊數(shù)據(jù)，而不是每次都把全部歷史重新傳一遍，實(shí)測(cè)整體訓(xùn)練額外開(kāi)銷(xiāo)不超過(guò) 4%。
推理端設(shè)計(jì)了兩階段計(jì)算策略，把一個(gè)塊內(nèi)所有層的查詢(xún)打包成一次矩陣運(yùn)算統(tǒng)一處理，把重復(fù)的內(nèi)存訪(fǎng)問(wèn)攤銷(xiāo)掉，最終推理延遲增加不超過(guò) 2%。
那實(shí)驗(yàn)效果怎么樣呢？研究人員測(cè)了五個(gè)不同規(guī)模的模型。
結(jié)果顯示，Block AttnRes 在全部規(guī)模上均以更低的驗(yàn)證損失領(lǐng)先于基線(xiàn)，且改善幅度隨規(guī)模增大而穩(wěn)定保持。按擬合曲線(xiàn)推算，在相同的計(jì)算量下，Block AttnRes 相當(dāng)于基線(xiàn)模型用 1.25 倍算力才能達(dá)到的效果。
在 48B 參數(shù)（3B 激活）規(guī)模的 Kimi Linear 架構(gòu)實(shí)驗(yàn)中，Block AttnRes 展現(xiàn)了極強(qiáng)的泛化性：在全部 15 項(xiàng)主流評(píng)測(cè)基準(zhǔn)中，其表現(xiàn)均持平或優(yōu)于 PreNorm 基線(xiàn)模型。
例如，在博士級(jí)科學(xué)推理 GPQA-Diamond 上實(shí)現(xiàn)了 7.5% 的飛躍，在數(shù)學(xué) Math (+3.6%) 及代碼生成 HumanEval (+3.1%) 任務(wù)中也錄得了顯著增益 。
從訓(xùn)練過(guò)程來(lái)看，基線(xiàn)模型的各層輸出數(shù)值隨深度單調(diào)增大，印證了 PreNorm 稀釋問(wèn)題；而 AttnRes 的各層輸出數(shù)值在塊邊界處得到重置，呈現(xiàn)周期性變化，各層梯度分布也更加均勻，說(shuō)明更多的層真正參與到了有效的學(xué)習(xí)中。
此外，研究人員還可視化了訓(xùn)練后模型學(xué)到的注意力權(quán)重，發(fā)現(xiàn)了幾個(gè)有趣的規(guī)律。
每一層仍然最依賴(lài)直接前一層的輸出，局部性依然是主要的信息流通方式。但同時(shí)出現(xiàn)了一些跳躍性的連接，比如某些層會(huì)穩(wěn)定地回溯到很早期的層，還有些層會(huì)特別關(guān)注最初的詞嵌入輸出。
另一個(gè)規(guī)律是，注意力層和 MLP 層的「回望」模式不同：注意力層傾向于關(guān)注更廣泛的歷史，MLP 層則更依賴(lài)近鄰層。這與兩者在模型中的功能分工是吻合的。
AttnRes還帶來(lái)了一個(gè)對(duì)未來(lái)模型設(shè)計(jì)有參考價(jià)值的發(fā)現(xiàn)。研究人員在固定總計(jì)算量和參數(shù)量的前提下，枚舉了 25 種不同的深度與寬度組合，對(duì)比基線(xiàn)模型和 AttnRes 各自偏好的最優(yōu)架構(gòu)。
結(jié)果發(fā)現(xiàn)，標(biāo)準(zhǔn)殘差連接偏好「更寬、層數(shù)更少」的模型，而 AttnRes 的最優(yōu)點(diǎn)偏向「更窄、層數(shù)更多」的模型。這說(shuō)明 AttnRes 能夠更有效地利用深度，讓每增加一層都真正產(chǎn)生價(jià)值，而不是讓深度變成一種邊際效益遞減的堆砌。
這個(gè)發(fā)現(xiàn)的含義不止于此。它意味著 AttnRes 不只是在原有架構(gòu)上打了一個(gè)補(bǔ)丁，而是從根本上改變了網(wǎng)絡(luò)深度的利用效率，也為未來(lái)設(shè)計(jì)大模型時(shí)如何分配深度與寬度的資源提供了新的參考依據(jù)。
楊植麟曾提到，十年前不是沒(méi)有好想法，而是沒(méi)有算力去驗(yàn)證?，F(xiàn)在有了足夠的資源和「縮放階梯（Scaling Ladder）」，那些被擱置的問(wèn)題才終于能被認(rèn)真答一遍。
大佬點(diǎn)贊的背后，是一個(gè)時(shí)代在轉(zhuǎn)彎
一個(gè)中國(guó)團(tuán)隊(duì)在最底層的架構(gòu)創(chuàng)新上獲得硅谷頂級(jí)人物的實(shí)質(zhì)性認(rèn)可，這件事本身十分罕見(jiàn)，他們認(rèn)可的不只是論文成果本身，更在于Kimi 這篇論文指向了一個(gè)全新的方向：優(yōu)化已經(jīng)從 attention、MoE 這些上層模塊，深入到了最底層的殘差連接。
在 GTC 2026 演講中，楊植麟還披露了一連串底層技術(shù)創(chuàng)新：MuonClip 優(yōu)化器實(shí)現(xiàn)了相比 AdamW 2 倍的計(jì)算效率提升——要知道 Adam 優(yōu)化器自 2014 年以來(lái)幾乎未被撼動(dòng)，屬于深度學(xué)習(xí)的「不可觸碰之物」；Kimi Linear（KDA 架構(gòu)）在 128K 到百萬(wàn)級(jí)超長(zhǎng)上下文下實(shí)現(xiàn) 5-6 倍的解碼加速；Vision RL 的跨模態(tài)訓(xùn)練甚至讓純文本 benchmark 也提升了約 2.1%。
楊植麟把這些創(chuàng)新概括為三個(gè)維度的 Scaling 框架：Token 效率 × 長(zhǎng)上下文 × Agent Swarms。
「當(dāng)前的 Scaling 已經(jīng)不再是單純的資源堆砌，而是要在計(jì)算效率、長(zhǎng)程記憶和自動(dòng)化協(xié)作上同時(shí)尋找規(guī)模效應(yīng)。」
一家公司，同時(shí)在優(yōu)化器、殘差連接、注意力架構(gòu)、跨模態(tài)訓(xùn)練這些底層戰(zhàn)場(chǎng)上全線(xiàn)推進(jìn)，這種打法在行業(yè)里相當(dāng)特立獨(dú)行。
這也是為什么 Jerry Tworek 會(huì)說(shuō)出「深度學(xué)習(xí) 2.0」這樣的判斷。當(dāng)然不是說(shuō) Attention Residuals 這篇論文就能顛覆一切，更多是它代表了一種方法論的回歸：不再滿(mǎn)足于在已有框架上修修補(bǔ)補(bǔ)，去重新審視那些被所有人當(dāng)作「已解決問(wèn)題」的基礎(chǔ)設(shè)施。
如果殘差連接可以被重新設(shè)計(jì)，那么 Adam 優(yōu)化器呢？層歸一化呢？位置編碼呢？深度學(xué)習(xí)的基礎(chǔ)范式本身正在發(fā)生變化，這扇門(mén)一旦推開(kāi)，后面的故事就不再是線(xiàn)性外推能預(yù)測(cè)的了。
Karpathy 那句「Attention is All You Need 還沒(méi)被理解透」的感慨，大概也是這個(gè)意思。
過(guò)去幾年，中國(guó) AI 團(tuán)隊(duì)的貢獻(xiàn)更多集中在工程落地和應(yīng)用創(chuàng)新上，在底層架構(gòu)理論方面的原創(chuàng)性突破相對(duì)稀缺。Kimi 這篇論文走的是一條完全不同的路線(xiàn)——一個(gè)統(tǒng)一的理論框架，一個(gè)優(yōu)雅的工程實(shí)現(xiàn)，加上嚴(yán)謹(jǐn)?shù)拇笠?guī)模實(shí)驗(yàn)驗(yàn)證。
當(dāng)然，Kimi 這篇論文還有留下不少需要解決的問(wèn)題。論文的大規(guī)模驗(yàn)證是在 48B 總參數(shù)（3B 激活參數(shù)）的模型上完成的，這個(gè)規(guī)模放在今天的第一梯隊(duì)里并不算大。在真正的千億乃至萬(wàn)億參數(shù)模型上，1.25 倍的等效優(yōu)勢(shì)能否穩(wěn)住，目前還是個(gè)問(wèn)號(hào)。
同時(shí)論文展示的也只是預(yù)訓(xùn)練階段的收益，經(jīng)過(guò)指令微調(diào)、RLHF 等后訓(xùn)練步驟后，AttnRes 的優(yōu)勢(shì)是否會(huì)被稀釋?zhuān)狈?shù)據(jù)。
但話(huà)說(shuō)回來(lái)，這些局限恰恰也是想象力的來(lái)源。一個(gè)僅需約 100 行代碼改動(dòng)、增加不到 4% 訓(xùn)練開(kāi)銷(xiāo)的輕量修改，就能在 48B 規(guī)模上帶來(lái)這樣的提升。
當(dāng)它被應(yīng)用到更大規(guī)模的下一代模型上時(shí)，收益的天花板在哪里，誰(shuí)也說(shuō)不準(zhǔn)。
Attention Residuals 抬高了 Token 效率的天花板，Kimi Linear 拓展了長(zhǎng)上下文的邊界，Agent Swarms 指向智能體協(xié)作的未來(lái)。當(dāng)這三條技術(shù)線(xiàn)在下一代模型中匯合，呈現(xiàn)出的可能就是新的范式轉(zhuǎn)變。
在 AI 這座通天塔的工程上，所有人都在爭(zhēng)著往上添磚加瓦，而 Kimi 低頭往路基重重地鑿了一鍬，恰好撬動(dòng)了深度學(xué)習(xí)的地基。
作者：莫崇宇，李超凡
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
