我們都知道 LLM 中存在結(jié)構(gòu)化稀疏性，但其底層機制一直缺乏統(tǒng)一的理論解釋。為什么模型越深，稀疏性越明顯？為什么會出現(xiàn)所謂的「檢索頭」和「檢索層」？

我們非常榮幸地宣布，我們試圖回答這些問題的論文 UNCOMP 已被 EMNLP 2025 主會接收！我們不僅提出了一個高效的推理框架，更重要的是，我們提供了一個全新的理論視角來理解 LLM 內(nèi)部的信息動態(tài)。

• 論文標題：UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective
• 論文地址：https://arxiv.org/abs/2410.03090
• GitHub：https://github.com/menik1126/UNComp

核心洞察：

一個關(guān)于熵的悖論與新解

傳統(tǒng)的矩陣熵 (Matrix Entropy)分析存在一個悖論：它顯示信息熵隨著層數(shù)加深是逐層增加的。這與我們觀察到的「模型越深越稀疏」的現(xiàn)象相矛盾。如果信息在不斷累積，又何來稀疏一說？

我們的關(guān)鍵突破在于引入了截斷矩陣熵 (Truncated Matrix Entropy)。通過分析 Token 矩陣協(xié)方差奇異值分布的「拐點」，我們只關(guān)注最重要的主成分。驚人的發(fā)現(xiàn)是：

? 截斷矩陣熵隨著層數(shù)加深，呈現(xiàn)出明顯的逐層遞減趨勢！

這不僅完美解釋了深層網(wǎng)絡(luò)的稀疏化現(xiàn)象，也為我們的壓縮策略提供了堅實的理論基礎(chǔ)。熵的減少意味著信息變得更加集中和稀疏，為壓縮創(chuàng)造了空間。

從理論到實踐：

信息流的指引

這個理論工具讓我們能「看透」模型的內(nèi)部運作：

• 識別關(guān)鍵結(jié)構(gòu)：中間層信息熵的異常波動點，精準地對應了負責信息聚合的檢索層 (Retrieval Layers)和負責長程記憶的檢索頭 (Retrieval Heads)。我們不再是盲目壓縮，而是有理論指導的結(jié)構(gòu)化剪枝。

• 最優(yōu)壓縮的奧秘：我們進一步分析發(fā)現(xiàn)，最佳的壓縮性能和最終的準確率的權(quán)衡并非來自于尋找最優(yōu)的累計注意力分布，而是來自于對「信息流模式」的模仿。我們用皮爾遜相關(guān)系數(shù)證明：當壓縮后 KV Cache 的逐層熵變趨勢，與原始全尺寸 Cache 的趨勢高度相似時，模型性能最好。這意味著，我們的壓縮策略成功地保留了模型原有的信息壓縮模式。

• Group Query Attention 結(jié)構(gòu)中呈現(xiàn)出明顯的頭共享的稀疏模式。

首創(chuàng)：

從隱藏狀態(tài)壓縮到 KV Cache 優(yōu)化

基于以上理論，我們設(shè)計了 UNCOMP 框架，并首次通過直接壓縮 Prefill 階段的隱藏狀態(tài)，來間接優(yōu)化 KV Cache，實現(xiàn)了計算與內(nèi)存的聯(lián)合優(yōu)化。

• 層級壓縮 (Layer-wise):在 Prefill 階段壓縮隱藏狀態(tài)，加速計算。

• 頭級壓縮 (Head-wise):在 Decoding 階段壓縮流式頭的 KV Cache，保留檢索頭,節(jié)省內(nèi)存。

實驗結(jié)果亮點

• Prefill 階段加速60%
• 吞吐量提升6.4倍
• KV Cache 壓縮至4.74%

• 極端壓縮率下依舊保證模型的性能

• 通過合并檢索層和最后的層大海撈針性能幾乎無損，在特定任務(wù)上超越全尺寸基線。

我們相信，UNCOMP 不僅是一個工具，更是一扇窗口，幫助我們理解 LLM 內(nèi)部復雜的信息壓縮行為。

歡迎大家深入探討、引用和 star！