LLM領域，線性注意力機制正在回歸，工程實踐主要還是國產模型在推進，主要原因大家都清楚，我們算力有限，當然也有長期的目標，Agent要真正落地干貨，注意力機制必須要改變，目前國外主要模型都是閉源的，技術細節(jié)我們不了解，看起來都是仗著有卡，暴力解算，以下是這場技術路線之爭的簡要梳理

早期：效率與精度的兩難

線性注意力并非新技術。早在2020年代，相關論文就已大量涌現(xiàn)。

其核心目標是將注意力機制的時間和內存復雜度從O(n2)降低到O(n)，從而在處理長序列時實現(xiàn)更高的效率。

然而，這些早期的嘗試從未真正獲得主流認可。根本原因在于，它們以犧牲模型精度為代價，因此從未被應用在任何一個開源的、達到業(yè)界頂尖水平（SOTA）的大語言模型中。

新的浪潮：國產模型引領

轉折點發(fā)生在今年下半年，線性注意力變體迎來了一輪復興

6月，MiniMax-M1：擁有4560億總參數(shù)、460億激活參數(shù)的MoE模型，采用了“閃電注意力”（lightning attention）

8月，Qwen3-Next：由Qwen3團隊推出，采用了線性注意力變體

9月，DeepSeek V3.2：由DeepSeek團隊發(fā)布，采用了稀疏注意力（sparse attention），雖然并非嚴格的線性，但仍是亞二次方復雜度

這三個模型的共同點是，在大部分或所有層中，都用高效的線性或亞二次方注意力變體取代了傳統(tǒng)的二次方注意力

劇情反轉：MiniMax悄然“倒戈”

就在線性注意力看似前景大好之時，劇情出現(xiàn)了反轉。

MiniMax團隊發(fā)布了其新的2300億參數(shù)模型M2，但出人意料地放棄了線性注意力，回歸了常規(guī)注意力機制

團隊給出的解釋是，線性注意力在生產環(huán)境的LLM中非常棘手。雖然它在處理常規(guī)提示時表現(xiàn)尚可，但在推理和多輪對話任務中存在明顯的精度問題——而這兩項能力對于聊天會話和智能體應用至關重要

這一舉動一度讓外界認為，線性注意力的探索或許不值得再繼續(xù)下去

Kimi入局：混合策略帶來新解法

然而，上周，Kimi團隊發(fā)布了其全新的Kimi Linear模型，再次將線性注意力拉回舞臺中央。

官方數(shù)據(jù)顯示，與常規(guī)的全注意力（full attention）相比，Kimi Linear實現(xiàn)了：

75%的KV緩存縮減

最高達6倍的解碼吞吐量

在架構上，Kimi Linear與Qwen3-Next有諸多相似之處，兩者都依賴于一種混合注意力策略。

具體來說，它們都將輕量級的線性注意力與重量級的全注意力層結合使用。兩者的比例均為3:1，即每三個采用線性注意力（Gated DeltaNet變體）的Transformer塊，就搭配一個使用全注意力的塊

但Kimi Linear在此基礎上進行了改進：

1.線性部分：采用了Kimi Delta Attention (KDA)機制，這是對Gated DeltaNet的精煉，關于KDA解讀可以看我之前的文章

2.全注意力部分：用多頭潛在注意力（multi-head latent attention, MLA）取代了標準的全注意力模塊

雖然Kimi Linear的論文中沒有與Qwen3-Next的直接比較，但與Gated DeltaNet論文中的Gated DeltaNet-H1模型（本質上是Gated DeltaNet與滑動窗口注意力的結合）相比，Kimi Linear在保持相同token生成速度的同時，實現(xiàn)了更高的建模精度

需要的注意的目前Kimi Linear中的多頭潛在注意力（MLA）尚未整合輸出門（sigmoid bypass），但團隊計劃在未來加入這一特性