COMI團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

為什么現(xiàn)有上下文壓縮方法在高壓縮率下集體“翻車”？當(dāng)模型把32K長文本壓到1K，為何性能斷崖式下跌？

長文本壓縮中容易保留大量“高度相似卻重復(fù)”的內(nèi)容，陷入“信息內(nèi)卷”：看似保留了相關(guān)片段，實(shí)則堆砌了語義雷同的冗余token，反而誤導(dǎo)模型生成錯(cuò)誤答案。

來自阿里巴巴未來生活實(shí)驗(yàn)室的研究團(tuán)隊(duì)發(fā)現(xiàn)，這背后是壓縮目標(biāo)的根本錯(cuò)位：現(xiàn)有方法只關(guān)注“相關(guān)性”，卻忽略了“多樣性”。當(dāng)多個(gè)高度相似的token同時(shí)被保留，它們非但不能疊加信息量，反而會(huì)相互干擾（相關(guān)不等于正確），讓模型在高度相似的冗余信息中迷失方向。

為破解這一困局，研究團(tuán)隊(duì)提出一個(gè)顛覆性觀點(diǎn)：高質(zhì)量的壓縮，需要同時(shí)優(yōu)化“與查詢的相關(guān)性”和“信息單元間的多樣性”?；诖耍麄兺瞥鰟?chuàng)新框架COMI（COarse-to-fine context compression via Marginal Information Gain），通過“邊際信息增益”指標(biāo)與粗到細(xì)壓縮策略，在32倍高壓縮率下仍能精準(zhǔn)保留多樣化的關(guān)鍵證據(jù)鏈，論文已中稿ICLR 2026。

壓縮的“智能標(biāo)尺”：邊際信息增益（MIG）

研究團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有壓縮方法存在盲區(qū)：過度依賴相關(guān)性導(dǎo)致冗余堆積，而忽略了token間語義相似性引發(fā)“信息內(nèi)卷”。為此，他們使用邊際信息增益（MIG）指標(biāo)，將壓縮決策從“單維度相關(guān)性”升級(jí)為“相關(guān)性-冗余性”雙維度權(quán)衡：

MIG = 本單元與查詢的相關(guān)性 - 與其他單元的最大相似度

這一指標(biāo)如同為每個(gè)token配備“信息價(jià)值計(jì)分卡”：既獎(jiǎng)勵(lì)與問題高度相關(guān)的片段，又懲罰與已選內(nèi)容高度重復(fù)的片段。

粗到細(xì)自適應(yīng)壓縮，讓每比特都“物有所值”

有了智能標(biāo)尺，如何實(shí)現(xiàn)精準(zhǔn)壓縮？COMI采用兩階段策略，像經(jīng)驗(yàn)豐富的編輯一樣“先謀篇布局，再精雕細(xì)琢”

第一階段：粗粒度組重分配——?jiǎng)討B(tài)調(diào)配“壓縮預(yù)算”

將長文本劃分為等長片段后，COMI不再“一刀切”地均勻壓縮，而是基于組間MIG動(dòng)態(tài)調(diào)整各段壓縮率：信息密度高、冗余度低的片段（如包含關(guān)鍵證據(jù)的段落）獲得更寬松的壓縮率；而信息稀疏或高度重復(fù)的區(qū)域則被大幅壓縮。這種自適應(yīng)分配確保有限的壓縮預(yù)算精準(zhǔn)投向“高價(jià)值信息區(qū)”

第二階段：細(xì)粒度token融合——加權(quán)融合避免“信息稀釋”

在每個(gè)片段內(nèi)部，COMI根據(jù)token級(jí)MIG進(jìn)行加權(quán)融合：高M(jìn)IG token（相關(guān)且獨(dú)特）在融合中占主導(dǎo)權(quán)重，低MIG token（冗余重復(fù)）被自然稀釋。這一機(jī)制有效避免了傳統(tǒng)平均池化導(dǎo)致的“關(guān)鍵細(xì)節(jié)被平滑掉”的問題，使壓縮后的表示既緊湊又富含多樣化信息

整個(gè)框架在NaturalQuestions、HotpotQA等5個(gè)數(shù)據(jù)集上僅需單次訓(xùn)練，即可執(zhí)行問答、摘要等多種長上下文任務(wù)。

實(shí)踐出真知：高壓縮率下的優(yōu)越性能與深刻洞察

下游任務(wù)表現(xiàn)卓越

在32倍壓縮約束下，COMI以Qwen2-7B為基座，在NaturalQuestions上實(shí)現(xiàn)49.15的Exact Match（EM）分?jǐn)?shù)，比次優(yōu)基線高出近25個(gè)點(diǎn)。即使面對(duì)32K超長文本（NarrativeQA），COMI仍能穩(wěn)定保留推理鏈關(guān)鍵節(jié)點(diǎn)，證明其在極端壓縮場景下的魯棒性。

壓縮不是“刪減”，而是“提純”

COMI甚至能提升原生支持256K上下文的Qwen3-4B性能。在NaturalQuestions上，32倍壓縮后的COMI達(dá)到28.89的F1分?jǐn)?shù)，遠(yuǎn)超直接輸入完整上下文的16.90。這證明高質(zhì)量壓縮不僅是“減負(fù)”，更是通過消除冗余干擾實(shí)現(xiàn)“信息提純”，讓模型更聚焦于核心證據(jù)。

效率與效果兼得

在32倍壓縮下，COMI實(shí)現(xiàn)端到端推理速度2倍以上提升，且壓縮階段僅引入輕量級(jí)開銷（NarrativeQA任務(wù)中壓縮耗時(shí)2.76秒，生成僅0.50秒），為工業(yè)級(jí)部署鋪平道路。

總結(jié)

COMI工作為長上下文高效推理提供了新范式：

它通過邊際信息增益這一簡潔而深刻的指標(biāo)，將壓縮目標(biāo)從“保留相關(guān)片段”升級(jí)為“保留相關(guān)且多樣化的信息”，從根本上破解了高壓縮率下的性能瓶頸。粗到細(xì)的自適應(yīng)策略則確保了壓縮過程既符合全局信息分布，又保留局部語義細(xì)節(jié)。

這項(xiàng)研究證明，真正的高質(zhì)量壓縮不是簡單的“刪減”——讓每一比特都承載多樣化的信息價(jià)值，為大模型走向輕量化、實(shí)用化邁出關(guān)鍵一步。

論文標(biāo)題：
COMI: Coarse-to-fine Context Compression via Marginal Information Gain
論文鏈接：
https://arxiv.org/abs/2602.01719
代碼鏈接：
https://github.com/Twilightaaa/COMI