近日，琶洲實驗室、華南理工大學(xué)、蔻町（AIGCode）等單位科研團隊聯(lián)合提出潛在空間壓縮注意力（Latent-Condensed Attention，LCA），研究成果入選 ACL 2026。

作為面向大語言模型長上下文場景的通用高效推理技術(shù)，LCA 突破傳統(tǒng)注意力機制效率瓶頸，以輕量化、無侵入、高性能的架構(gòu)設(shè)計，為長文本大模型工業(yè)化部署提供通用解決方案。在 128K 超長上下文場景下，LCA 實現(xiàn)2.5 倍預(yù)填充加速、90% KV 緩存縮減、1.8 倍解碼延遲降低，同時保持原有性能。

該技術(shù)可通用適配 MiniCPM、Qwen 等不同規(guī)模、不同注意力架構(gòu)的大模型，具備極強的擴展性與落地性，能夠顯著降低長上下文大模型的硬件門檻、推理成本與部署難度，全面提升推理效率與用戶體驗。

目前，LCA 論文與代碼已開源，歡迎學(xué)術(shù)界與產(chǎn)業(yè)界共同推進技術(shù)迭代與落地應(yīng)用。

• 論文標(biāo)題：Latent-Condensed Transformer for Efficient Long Context Modeling
• 論文鏈接：https://arxiv.org/abs/2604.12452
• 代碼開源：https://github.com/bolixinyu/LCA
• 作者：Zeng You, Yaofo Chen, Qiuwu Chen, Ying Sun, Shuhai Zhang, Yingjian Li, Yaowei Wang, Mingkui Tan
• 機構(gòu)：琶洲實驗室、華南理工大學(xué)、蔻町（AIGCode）等單位

一、當(dāng)大模型遇到長文本：兩大痛點待解決

在使用 DeepSeek、Qwen 等大語言模型處理長文檔、進行深度對話時，我們常常遇到兩個令人頭疼的問題：

• 痛點一：顯存占用太多。模型處理長文本時，需要存儲大量中間信息（KV 緩存，相當(dāng)于 AI 的「記憶」），導(dǎo)致顯存占用隨文本長度線性增加。處理一篇萬字文檔？可能需要數(shù) GB 顯存！這不僅對硬件要求高，也讓成本直線上升。
• 痛點二：速度跑不起來。傳統(tǒng)的注意力機制計算量隨文本長度呈平方增長，就像讓一個人同時記住整本書再進行思考：不僅大腦負擔(dān)重（顯存占用大），思考速度也會明顯下降（計算復(fù)雜度高）。長文本處理變成「耐心測試」。

二、現(xiàn)有方案為何「治標(biāo)不治本」？

為了應(yīng)對這些挑戰(zhàn)，先前的研究提出了兩條技術(shù)路線：

• 多頭潛在注意力（MLA）：DeepSeek 采用的技術(shù)，其將 token 投影到低維潛在空間，顯著減少每個 token 的 KV 緩存大小。
• 稀疏注意力：通過跳過部分 Attention 計算塊來降低計算復(fù)雜度。

然而，現(xiàn)有方案往往「顧此失彼」。MLA 成功省下了顯存，卻未能擺脫計算量隨上下文平方級增長的困境；稀疏注意力雖能跳過冗余計算，卻依賴完整的 Q/K/V 矩陣。如果強行將兩者拼湊，就必須先把 MLA 壓縮的數(shù)據(jù)「解壓」還原，無異于「先壓縮再解壓」，白白浪費了 MLA 輕量化設(shè)計的紅利。

在長上下文高效注意力領(lǐng)域，近期業(yè)界也提出了多項優(yōu)秀方案，如 DeepSeek 發(fā)布的稀疏注意力（DSA）和 Kimi 提出的 KDA。但與這些方法相比，LCA 在技術(shù)設(shè)計上具有三個關(guān)鍵差異點：

三、LCA：智能壓縮的新思路

圖 1. LCA 架構(gòu)示意圖

為了解決上述問題，本文提出潛在空間壓縮注意力（Latent-Condensed Attention，LCA），如圖 1 所示。LCA 的核心思想是：直接在 MLA 的「壓縮空間」中進行信息精簡，而不是先解壓再篩選。

1. 關(guān)鍵信息壓縮三步走

• 第一步：智能分組

將長文本分成多個小組，每個小組 16 個 token。最近 1024 個 token 會完整保留，確保最新信息不丟失細節(jié)。

• 第二步：語義壓縮

采用「智能加權(quán)」方法：根據(jù)當(dāng)前查詢的重要性，對組內(nèi)信息進行加權(quán)合并，突出最相關(guān)的內(nèi)容。就像根據(jù)考試重點做筆記，重點內(nèi)容更詳細。具體而言，對于每個分組內(nèi)的語義潛在向量，LCA 采用加權(quán)池化的方式生成一個代表性向量：

• 第三步：位置錨定（像在書中貼索引標(biāo)簽）

對于位置鍵向量，選擇每個組中注意力得分最高的 token 作為「位置錨點」：

2. 保留細粒度局部上下文

除了長距離上下文的壓縮外，LCA 還保留一個局部窗口（默認 1024 個 token）的完整潛在向量，確保最近的關(guān)鍵信息不被壓縮，維持模型對局部細節(jié)的敏感性。

3. 理論保證：長度無關(guān)的誤差上界

本文從理論上證明了 LCA 的近似誤差具有與上下文長度無關(guān)的均勻上界：

四、實驗效果

1. 效率提升

圖 2. Triton 內(nèi)核加速效果對比

作者通過 Triton 進行了硬件友好的高效實現(xiàn)，相比 PyTorch 實現(xiàn)，在 64K 上下文能夠?qū)崿F(xiàn) 24.4 倍加速。

圖 3. 不同上下文長度下的效率表現(xiàn)

在 128K 上下文長度下，高效 LCA 相比原始 MLA 實現(xiàn)了 2.5 倍預(yù)填充加速，減少了 90% KV 緩存，每 token 解碼延遲降低 1.8 倍。

2. 長上下文性能保持

長上下文基準(zhǔn)測試性能對比

在 LongBench-E、RULER 等長上下文基準(zhǔn)測試中，LCA 在獲得顯著效率提升的同時，保持了與原始 MLA 相當(dāng)?shù)男阅�。其�?LongBench-E 性能與標(biāo)準(zhǔn) MLA 幾乎持平，RULER 128K 結(jié)果上甚至略有提升。

3. 短上下文任務(wù)無損

短上下文標(biāo)準(zhǔn)任務(wù)性能對比

在 MMLU、GSM8K、MBPP 等短上下文標(biāo)準(zhǔn)測試中，LCA 的性能與原始 MLA 幾乎相同，表明其壓縮機制不會損害模型的基礎(chǔ)能力。

4. 兼容不同模型規(guī)模

MiniCPM3-4B 模型擴展性驗證

LCA 在 MiniCPM3-4B 模型上同樣有效，實現(xiàn) 2.2 倍預(yù)填充加速和 93% KV 緩存減少，驗證了其在不同規(guī)模模型上的通用性。

5. 適配其他注意力變體

GQA 架構(gòu)適配驗證

LCA 的設(shè)計不依賴于 MLA，可推廣到其他注意力機制。實驗表明，將其適配到分組查詢注意力（GQA）后，在 DeepSeek-R1-Distill-Qwen-7B 模型上仍能實現(xiàn) 3.25 倍推理加速和 93% 緩存減少。

五、實際意義

LCA 為長上下文 LLM 的實際部署提供了重要支持：

• 減少部署成本：無需增加任何額外參數(shù)和模塊，即插即用替換現(xiàn)有模型中的 MLA/GQA 模塊。
• 降低硬件門檻：減少 90% 的 KV 緩存意味著在相同顯存下可處理數(shù)倍長的上下文。
• 提升響應(yīng)速度：2.5 倍的預(yù)填充加速顯著改善用戶體驗，特別是在需要實時交互的應(yīng)用中。
• 保持模型能力：在獲得效率提升的同時，不犧牲模型在各類任務(wù)上的性能。

六、總結(jié)

LCA 通過直接在潛在空間進行上下文壓縮，巧妙地將 KV 緩存減少與計算復(fù)雜度降低統(tǒng)一到一個框架中。其解耦的語義-位置處理策略、理論保證的近似誤差界，以及廣泛的實驗驗證，使其成為長上下文高效建模的一個有力解決方案。這項工作已被 ACL 2026 接收，期待更多研究者與開發(fā)者在此基礎(chǔ)上進一步推動長上下文技術(shù)的發(fā)展。