【編者按】百萬級別 Token 的輸入，正在成為大型語言模型（LLMs）長上下文任務(wù)中的計算與內(nèi)存“噩夢”。DeepSeekOCR 憑借“上下文光學壓縮”技術(shù)實現(xiàn)了 10 倍 Token 壓縮率，引發(fā)全網(wǎng)熱議。但透過現(xiàn)象看本質(zhì)，高壓縮率的秘密，真的在于“圖像化”嗎？

作者 |劉帆帆

出品丨作者投稿

DeepSeekOCR 的成功讓許多人誤以為“視覺編碼”是壓縮的關(guān)鍵。然而，研究團隊經(jīng)過深入分析發(fā)現(xiàn)，高壓縮率的核心其實源自 Latent Tokens（潛在 Token）本身——這是一種比離散文本 Token 更高效、密度更高的信息載體。

基于這一洞察，作者所在的研究團隊提出了一種直擊本質(zhì)的全新路徑：Context Cascade Compression (C3，上下文級聯(lián)壓縮)。

將兩種路徑進行對比：

• DeepSeek OCR 路徑： 文本 → 圖像 → 視覺 Token → 語言模型（引入了布局、噪點、視覺編碼器等無關(guān)干擾）

• C3 路徑： 文本 → 文本 Latent Tokens → 語言模型（純粹、無損、直接）

具體來說，一個小型 LLM 作為第一級，通過將長上下文壓縮成一組潛在 token（例如，長度為 32 或 64），實現(xiàn)高比例的文本 token 到潛在 token 的壓縮。 一個大型 LLM 作為第二級，然后對這個壓縮的上下文執(zhí)行解碼任務(wù)。

這一設(shè)計也驗證了近期熱門論文《LANGUAGE MODELS ARE INJECTIVE AND HENCE INVERTIBLE》中關(guān)于「LLM 本質(zhì)是無損壓縮」的論斷。

實驗表明，在 20 倍壓縮比（文本 token 數(shù)量是潛在 token 數(shù)量的 20 倍）下，C3 實現(xiàn)了 98% 的解碼準確率，而 DeepSeek OCR 大約為60%。當我們進一步將壓縮比增加到 40 倍時，準確率仍保持在約 93%。這表明在上下文壓縮領(lǐng)域，C3 壓縮比光學字符壓縮展示了更優(yōu)越的性能和可行性。

目前模型與代碼現(xiàn)已開源：

• 原文：https://arxiv.org/pdf/2511.15244

• 代碼：https://github.com/liufanfanlff/C3-Context-Cascade-Compression

• 模型：https://huggingface.co/liufanfanlff/C3-Context-Cascade-Compression

架構(gòu)

在介紹 C3 之前，先帶大家來了解一下 DeepSeek-OCR 的工作原理。DeepSeek-OCR 采用了一種創(chuàng)新的"視覺壓縮"思路，這種方法的優(yōu)勢在于利用了視覺編碼器強大的特征提取能力，但也面臨著圖像布局復雜性、低分辨率下的模糊等固有限制。C3 提出了一個更直接的壓縮思路：跳過視覺中介，沒有中間商賺差價，直接在文本域進行壓縮。其核心架構(gòu)包括：

1.雙 LLM 級聯(lián)設(shè)計

• 小型 LLM（算力消耗低）作為壓縮編碼器，壓縮上下文信息。

• 大型 LLM（推理生成能力強）作為解碼器執(zhí)行下游任務(wù)。

2.壓縮機制

• 引入可學習的"上下文查詢"（Context Query）嵌入

• 將長文本壓縮為固定長度的潛在token（如32或64個）。

• 完全保留預(yù)訓練 LLM 的語言壓縮能力

性能表現(xiàn)

在 Fox 基準測試中，C3 展現(xiàn)出顯著優(yōu)勢：

• 在約 20 倍壓縮時，C3 保持 98.4% 精度，而D eepSeek-OCR 降至59.1%

• 即使在極限的 40 倍壓縮率下（32 個潛在 token），C3 仍能維持 93% 以上的重建精度

獨特的"遺忘模式"：更接近人類記憶

研究還發(fā)現(xiàn)了 C3 的一個有趣特性：當壓縮率過高導致信息損失時，錯誤往往集中在文本末尾，呈現(xiàn)序列性信息衰減。這與光學壓縮方法的"全局模糊"不同，反而更類似人類記憶的漸進式遺忘過程。

這種特性使得 C3 在實際應(yīng)用中更具可預(yù)測性——重要信息可以優(yōu)先放置在文本前部，確保關(guān)鍵內(nèi)容的完整保留。

測試

無論是在長英文文本還是中文古文上均做到了近乎完美的壓縮還原

甚至對于 LLM 一直難以處理的亂序文本也能精準還原

應(yīng)用前景

1. 超長上下文處理：C3 可作為現(xiàn)有 LLM 的"前端壓縮器"，將百萬級 token 的輸入（如整本書籍、大型代碼庫）壓縮到可處理范圍，降低計算成本。

2. 多模態(tài)：級連輕量級 VLM 和 LLM，輕量級 VLM 作為視覺 encoder 進行信息壓縮，處理視覺信息豐富的長文檔等。

3. 下一代模型的基礎(chǔ)組件 ：C3 的編碼-解碼架構(gòu)可直接應(yīng)用于擴散語言模型和潛在自回歸模型，將可變長度文本轉(zhuǎn)換為固定長度潛在表示。

這是一個在有限的人力、算力與數(shù)據(jù)背景下誕生的“小而美”項目。

目前 C3 的代碼與權(quán)重開源，希望開源社區(qū)的研究者們能接過這一棒，激發(fā)出C3 的巨大潛能。

【活動推薦】2025 年是 C++ 正式發(fā)布以來的 40 周年，也是全球 C++ 及系統(tǒng)軟件技術(shù)大會舉辦 20 周年。這一次，C++ 之父 Bjarne Stroustrup 將再次親臨「2025 全球 C++及系統(tǒng)軟件技術(shù)大會」北京現(xiàn)場，與全球頂尖的系統(tǒng)軟件工程師、編譯器專家、AI 基礎(chǔ)設(shè)施研究者同臺對話。

本次大會共設(shè)立現(xiàn)代 C++ 最佳實踐、架構(gòu)與設(shè)計演化、軟件質(zhì)量建設(shè)、安全與可靠、研發(fā)效能、大模型驅(qū)動的軟件開發(fā)、AI 算力與優(yōu)化、異構(gòu)計算、高性能與低時延、并發(fā)與并行、系統(tǒng)級軟件、嵌入式系統(tǒng)十二大主題，共同構(gòu)建了一個全面而立體的知識體系，確保每一位參會者——無論是語言愛好者、系統(tǒng)架構(gòu)師、性能優(yōu)化工程師，還是技術(shù)管理者——都能在這里找到自己的坐標，收獲深刻的洞見與啟發(fā)。詳情參考官網(wǎng)：https://cpp-summit.org/