這是蒼何的第 511 篇原創(chuàng)！

Token，正在成為 AI 時代的水和電。

誰能用更少的算力壓出更多的 token 效率，誰就能在這場軍備競賽里活得更久。

這也是為什么今年英偉達 GTC 大會的焦點，開始從"誰的卡更多"轉(zhuǎn)向"誰用得更聰明"。

圖片來自中國藍新聞

這就不得不提剛在GTC上演講的楊植麟了，因為他演講的一個重要主題就是 Token 效率。

這可能也是老黃請他的原因。

楊植麟這次演講的主題是《How We Scaled Kimi K2.5》，首次完整披露了 Kimi 下一代模型的技術(shù)路線圖。他把 Kimi 的進化邏輯概括為三個維度：

• Token 效率：用 MuonClip 優(yōu)化器替代用了 11 年的 Adam，token 效率翻倍

• 長上下文：Kimi Linear 架構(gòu)在 128K-1M 上下文范圍內(nèi)，解碼速度提升 5-6 倍

• 智能體集群：引入 Orchestrator 編排器，讓多個 Agent 并行協(xié)作

但真正讓我注意到的，是他在演講里提到的第三項底層創(chuàng)新：「Attention Residuals」。

因為就在 GTC 前兩天，我看到 Kimi 剛發(fā)了這篇論文。而馬斯克轉(zhuǎn)發(fā)后直接說了句：「Impressive work from Kimi」。

Karpathy 看完也半開玩笑地說：我們是不是沒把「Attention is All You Need」這句話理解透。

一篇改殘差連接的論文，怎么就讓這幫人集體激動了？我去讀了下。

論文我也下載下來了，私信回復(fù)暗號即可獲取：Attention_Residuals

主角我居然還挺熟——殘差連接。

簡單說下殘差連接是什么。

2015 年 ResNet 提出了一個極其簡單的操作：每一層的輸出 = 上一層傳下來的東西 + 這一層自己算出來的東西。就是一個加法。

這個加法讓深層網(wǎng)絡(luò)成為可能，也讓后來的 Transformer 站穩(wěn)了腳跟。從 2015 年到現(xiàn)在，幾乎所有大模型都在用它，權(quán)重恒定為 1，所有層一視同仁。

問題在哪？

打個比方：一個學(xué)生上了 40 節(jié)課，期末復(fù)習(xí)的時候把所有筆記等量堆在一起看——不管哪門課跟考試相關(guān)，每門課都占同樣的復(fù)習(xí)時間。

結(jié)果就是：

• 早期學(xué)到的重要內(nèi)容，傳到深層已經(jīng)被稀釋得差不多了

• 后面的層想產(chǎn)生影響，得"喊"得比前面所有層加起來還大聲

• 研究甚至發(fā)現(xiàn)，很多大模型里相當一部分層可以直接刪掉，性能幾乎不受影響

用了十年沒人動，不是因為它完美，是因為"夠用"讓人失去了追問的動力。

DeepSeek 去年底發(fā)了篇論文（mHC），核心思路是：既然固定權(quán)重太死板，那就讓權(quán)重變成可學(xué)習(xí)的，讓模型自己決定怎么混合各層的信號。

DeepSeek 在殘差連接基礎(chǔ)上改進的 mHC（流形約束超連接） 架構(gòu)，解決了 Hyper-Connections 的訓(xùn)練不穩(wěn)定問題，同時保持表達能力，并在 3B/9B/27B 規(guī)模模型上驗證了效果。

這個方向是對的，但有一個局限：權(quán)重訓(xùn)練完就固定了，不管輸入是什么，每一層拿到的混合方式都一樣。

Kimi 團隊這篇論文問了一個更往下的問題：就算權(quán)重可以學(xué)，每一層拿到的依然是"混合過的狀態(tài)"。它沒有辦法說"我要單獨看第 3 層的輸出"。

信息一旦被攪進累積狀態(tài)，就找不回來了。

Kimi 的解法，來自一個很漂亮的類比。

把 Attention 旋轉(zhuǎn) 90 度

Transformer 處理文本的時候，用注意力機制讓每個詞可以"回頭看"前面所有的詞，根據(jù)內(nèi)容動態(tài)決定關(guān)注哪里。這是橫向的——在序列維度上。

Kimi 團隊在思考：那層與層之間，為什么不能做同樣的事？

把注意力機制"旋轉(zhuǎn) 90 度"——從序列維度轉(zhuǎn)向深度維度。

改完之后，每一層擁有一個可學(xué)習(xí)的查詢向量（query），用它對所有前序?qū)拥妮敵鲎?attention。哪些層對當前計算更重要，權(quán)重就更高；不相關(guān)的層，權(quán)重自動降低。

回到復(fù)習(xí)的比喻：現(xiàn)在這個學(xué)生有了一套智能系統(tǒng)：做每道題之前，系統(tǒng)根據(jù)題目內(nèi)容自動從 40 節(jié)課的筆記里挑出最相關(guān)的幾份重點看。

最關(guān)鍵的一點：這個權(quán)重是動態(tài)的。同一個模型，處理不同的輸入，每一層對前序?qū)拥年P(guān)注程度完全不同——實時決定，而非訓(xùn)練完就固定。

Ilya 說過，LSTM 旋轉(zhuǎn) 90 度就是 ResNet。現(xiàn)在 Kimi 證明，Attention 也可以旋轉(zhuǎn) 90 度。

效果：等效白賺 25% 算力

工程上，Kimi 把模型分成約 8 個 block，塊內(nèi)用傳統(tǒng)殘差，塊間做 attention。推理延遲增加不到 2%，幾乎免費。

在自家 48B 參數(shù)模型（Kimi Linear，3B 激活參數(shù)）上驗證：

• GPQA-Diamond（科學(xué)推理）：+7.5 分

• Math（數(shù)學(xué)）：+3.6 分

• HumanEval（代碼）：+3.1 分

同等算力下性能更好；反過來說，達到同等性能需要的訓(xùn)練預(yù)算減少約 20%。相當于不加機器、不加數(shù)據(jù)，只改信息流結(jié)構(gòu)，白賺 25% 的算力效果。

這幾年大模型的競爭，表面上是參數(shù)量、數(shù)據(jù)量、卡的數(shù)量在比拼。

但 GTC 的風(fēng)向已經(jīng)變了.

黃仁勛自己也清楚，光靠堆算力的時代正在見頂。

他需要在臺上展示的，是"聰明地用算力"的人。

楊植麟帶來的三項底層創(chuàng)新: MuonClip、Kimi Linear、Attention Residuals。

恰好都在回答同一個問題：

怎么用更少的資源做出更好的模型。

Adam 用了 11 年，Attention 用了 8 年，殘差連接用了 10 年。

這些東西不是不能動，是大部分人默認了"不需要動"。

當所有人都在想怎么買更多的卡，有人在想怎么讓每張卡的每個 token 都更值錢。

這才是黃仁勛真正想讓世界看到的。

過去兩年，從 DeepSeek 到 Kimi，中國大模型團隊動手的位置越來越深。

從訓(xùn)練方法論到核心網(wǎng)絡(luò)架構(gòu)，再到最底層的信號傳遞結(jié)構(gòu)。

大力出奇跡的故事講了太久了。接下來的競爭，屬于那些敢拆「地基」的人。