henry 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

剛剛，DeepSeek開源了全新的OCR模型——

DeepSeek-OCR 2，主打?qū)DF文檔精準(zhǔn)轉(zhuǎn)換Markdown。

相較于去年10月20日發(fā)布的初代模型，DeepSeek-OCR 2的核心突破在于打破了傳統(tǒng)模型死板的“光柵掃描”邏輯，實(shí)現(xiàn)了根據(jù)圖像語義動(dòng)態(tài)重排視覺標(biāo)記（Visual Tokens）

為此，DeepSeek-OCR 2棄用了前作中的CLIP組件，轉(zhuǎn)而使用輕量化的語言模型（Qwen2-0.5B）構(gòu)建DeepEncoder V2，在視覺編碼階段就引入了“因果推理”能力。

這一調(diào)整模擬了人類閱讀文檔時(shí)的因果視覺流，使LLM在進(jìn)行內(nèi)容解讀之前，智能地重排視覺標(biāo)記。

性能上，DeepSeek-OCR 2在僅采用輕量模型的前提下，達(dá)到了媲美Gemini-3 Pro的效果。

在OmniDocBench v1.5基準(zhǔn)上，DeepSeek-OCR 2提升了3.73%，并在視覺閱讀邏輯方面取得了顯著進(jìn)展。

值得一提的是，這次最新論文的作者依然是：魏浩然，孫耀峰和李宇琨三人組。

接下來，我們一起來看。

核心更新：DeepEncoder V2

DeepSeek-OCR 2延續(xù)了前代OCR模型的經(jīng)典架構(gòu)，由編碼器和解碼器協(xié)同工作。

編碼器負(fù)責(zé)將圖像離散化為視覺標(biāo)記（Visual Tokens），解碼器則結(jié)合這些標(biāo)記與用戶指令生成最終文本輸出。

如論文所說，DeepSeek-OCR 2此次核心的升級在于編碼器——

DeepEncoder V2

傳統(tǒng)的視覺編碼器通常按照固定的“光柵掃描”（從左到右、從上到下）順序處理圖像，這在面對復(fù)雜版面（如雙欄文檔、錯(cuò)落的表格）時(shí)，往往會切斷語義的邏輯連貫性。

而DeepEncoder V2這次的更新解決的正是這一問題。

將此前的CLIP組件替換為輕量化的LLM架構(gòu)（Qwen2-0.5B），這一轉(zhuǎn)變賦予了編碼器因果推理能力

信息進(jìn)入主解碼器之前，編碼器就先對視覺標(biāo)記進(jìn)行“智能重排”，使其更符合人類閱讀邏輯。

為了實(shí)現(xiàn)這種智能重排，DeepEncoder V2引入了一種全新的雙流注意力機(jī)制，其底層邏輯通過一個(gè)定制的注意力掩碼（Attention Mask）來約束：

• 視覺標(biāo)記（Visual Tokens）：對應(yīng)掩碼左側(cè)的全1區(qū)域，采用雙向注意力，保留全局建模能力，確保每一個(gè)標(biāo)記都能“看”到整幅圖。
• 因果流查詢（Causal Flow Queries）：對應(yīng)掩碼右邊的三角區(qū)域（LowerTri）。這是附加在視覺標(biāo)記后的可學(xué)習(xí)查詢向量。它們采用因果注意力（即每個(gè)查詢只能關(guān)注之前的查詢及所有視覺標(biāo)記）。

這種設(shè)計(jì)使得視覺標(biāo)記之間互不干擾（保持原始特征），但每一個(gè)查詢標(biāo)記卻被強(qiáng)制要求只能“看到”它之前的標(biāo)記以及所有的視覺標(biāo)記。

相比傳統(tǒng)的交叉注意力結(jié)構(gòu)，這確保視覺信息在所有層中都保持“活躍”，從而與因果查詢進(jìn)行深度信息交換。

此外，這實(shí)際上還建立了兩階段級聯(lián)推理，成功彌合了2D空間結(jié)構(gòu)與1D語言建模之間的鴻溝：

• 第一階段（編碼器）：通過查詢進(jìn)行語義重排。
• 第二階段（解碼器）：對有序序列進(jìn)行自回歸推理。

換句話說，在V1中，圖像進(jìn)入LLM時(shí)，順序是寫死的。

而在V2中，通過查詢標(biāo)記（Learnable Query）的重排，模型在進(jìn)入主解碼器之前，就已經(jīng)在編碼器內(nèi)部完成了一次“邏輯理順”

其他組件

介紹完DeepEncoder V2的核心升級后，我們來串一下DeepSeek-OCR 2的整體架構(gòu)：

首先是一開頭的視覺分詞器（SAM），其沿用了此前的架構(gòu)，采用了80M參數(shù)的SAM-base架構(gòu)，并結(jié)合兩層卷積層。

輸出維度從前代的1024優(yōu)化縮減至896，以對齊后續(xù)管線，這套分詞器的設(shè)置實(shí)現(xiàn)了16倍的標(biāo)記壓縮

這種基于壓縮的設(shè)計(jì)，以極小的參數(shù)開銷，極大地釋放了后續(xù)全局注意力模塊的計(jì)算壓力，讓模型運(yùn)行更輕快。

此外，為了在處理不同分辨率圖像時(shí)“不丟細(xì)節(jié)”，DeepSeek-OCR 2在編碼階段還引入了靈活的裁剪方案：

• 全局視圖（Global View）： 在1024×1024分辨率下，生成256個(gè)查詢標(biāo)記。
• 局部裁剪（Local Crops）： 針對768×768的細(xì)部，每個(gè)裁剪塊對應(yīng)144個(gè)查詢標(biāo)記。

最終輸入LLM的標(biāo)記總數(shù)穩(wěn)定在256到1120之間，與Gemini-1.5 Pro的視覺預(yù)算相匹配。

最后，在后端解碼器部分，DeepSeek-OCR 2保留了3B參數(shù)的MoE結(jié)構(gòu)（實(shí)際激活參數(shù)僅約 500M）。

訓(xùn)練流程與實(shí)驗(yàn)驗(yàn)證

在數(shù)據(jù)策略上，DeepSeek-OCR 2延續(xù)了與前代相同的數(shù)據(jù)源，OCR相關(guān)數(shù)據(jù)占比達(dá)80%。

其關(guān)鍵優(yōu)化點(diǎn)有二：一是采樣均衡化，將正文、公式與表格按3:1:1比例劃分；

二是標(biāo)簽精簡化，合并了如“圖片說明”與“標(biāo)題”等語義相似的布局標(biāo)簽。這種極小的底層差異，確保了其與基準(zhǔn)測試之間具備高度的一致性與可比性。

在訓(xùn)練流程方面，DeepSeek-OCR 2采用了三階段的訓(xùn)練Pipelines：

• 編碼器預(yù)訓(xùn)練：通過下一標(biāo)記預(yù)測（Next Token Prediction）任務(wù)，使編碼器掌握特征提取、壓縮和重排序能力。
• 查詢增強(qiáng)：凍結(jié)視覺分詞器，聯(lián)合優(yōu)化LLM編碼器和解碼器，增強(qiáng)查詢表示。
• 解碼器微調(diào)：凍結(jié)編碼器，僅優(yōu)化解碼器，從而在相同的算力（FLOPs）下實(shí)現(xiàn)更高的數(shù)據(jù)吞吐量。

在實(shí)驗(yàn)階段，DeepSeek-OCR 2主要在OmniDocBench v1.5上進(jìn)行評估，包含1355個(gè)頁面，涵蓋雜志、學(xué)術(shù)論文、研究報(bào)告等9大類文檔。

并與Gemini-3 Pro、Qwen2.5-VL、InternVL3.5等先進(jìn)模型及多種專業(yè)OCR方案進(jìn)行對比 。

如開頭所示，DeepSeek-OCR 2在OmniDocBench v1.5上達(dá)到了91.09%的性能，相比基線提升了3.73%

閱讀順序（R-order）的編輯距離從0.085顯著降至 0.057，證明了 DeepEncoder V2 重新編排視覺信息的能力。

在相似的標(biāo)記預(yù)算（1120）下，DeepSeek-OCR 2的文檔解析編輯距離（0.100）優(yōu)于 Gemini-3 Pro（0.115）。

在實(shí)際生產(chǎn)中，在線用戶日志的重復(fù)率從6.25%降至4.17%，PDF 生產(chǎn)數(shù)據(jù)重復(fù)率從 3.69% 降至 2.88%，證明了模型邏輯視覺理解能力的提升。

整體來看，DeepSeek-OCR 2在保持高壓縮率的同時(shí)實(shí)現(xiàn)了顯著的性能提升驗(yàn)證了使用語言模型架構(gòu)作為視覺編碼器的可行性，這為邁向統(tǒng)一的全模態(tài)編碼器（omni-modal encoder）提供了路徑。

One more thing

這篇論文的三位作者分別是：魏浩然，孫耀峰和李宇琨。

魏浩然曾就職于階躍星辰，當(dāng)時(shí)主導(dǎo)開發(fā)了意在實(shí)現(xiàn)“第二代OCR”的GOT-OCR2.0系統(tǒng)。

孫耀峰本科就讀于北京大學(xué)，現(xiàn)于幻方AI從事大語言模型的相關(guān)研究，R1、V3中都有他的身影。

李宇琨，谷歌學(xué)術(shù)論文近萬引研究員，也持續(xù)參與了包括DeepSeek V2/V3在內(nèi)的多款模型研發(fā)。

最后，OCR 2延續(xù)了DeepSeek團(tuán)隊(duì)一貫的開源精神。

項(xiàng)目已在GitHub開源，并同步上線HuggingFace，論文也一并釋出。

GitHub：https://github.com/deepseek-ai/DeepSeek-OCR-2
HuggingFace：https://huggingface.co/deepseek-ai/DeepSeek-OCR-2
論文：https://github.com/deepseek-ai/DeepSeek-OCR-2/blob/main/DeepSeek_OCR2_paper.pdf