關(guān)于 OCR 這個(gè)話題，我之前寫(xiě)過(guò)不少：

今天這篇要聊的東西可能是 OCR 領(lǐng)域近年來(lái)最大的范式轉(zhuǎn)換，MinerU 團(tuán)隊(duì)用擴(kuò)散模型重新定義了文檔 OCR 的解碼方式

MinerU：OCR 領(lǐng)域的扛把子

先說(shuō)說(shuō) MinerU 這個(gè)項(xiàng)目在 OCR 圈子的地位

MinerU 由上海人工智能實(shí)驗(yàn)室的 OpenDataLab 團(tuán)隊(duì)開(kāi)發(fā)，最初誕生于 InternLM 大模型的預(yù)訓(xùn)練數(shù)據(jù)處理過(guò)程中

做過(guò) RAG 的朋友應(yīng)該都知道，文檔解析是 RAG 流水線上最關(guān)鍵的一環(huán)——你的知識(shí)庫(kù)質(zhì)量上限，就取決于你的文檔解析能力

而 MinerU 幾乎是開(kāi)源文檔解析工具的事實(shí)標(biāo)準(zhǔn)：

• 全格式覆蓋：支持 PDF、圖片、DOCX 輸入，輸出 Markdown 和 JSON

• 109 種語(yǔ)言的 OCR 支持

• 全平臺(tái)兼容：Windows、Linux、Mac，CPU/GPU/NPU/MPS 都能跑

• 功能全面：自動(dòng)去除頁(yè)眉頁(yè)腳頁(yè)碼、保留文檔結(jié)構(gòu)、提取表格公式、處理復(fù)雜多欄布局

剛剛，MinerU 發(fā)布了3.0.0 大版本更新——新增了原生 DOCX 解析、pipeline 后端在 OmniDocBench v1.5 上得分達(dá)到 86.2，上線了多 GPU 部署路由

更關(guān)鍵的是，MinerU 的 VLM 版本 MinerU2.5 在 OmniDocBench 等權(quán)威 Benchmark 上一直是各路 OCR 模型的對(duì)標(biāo)基準(zhǔn)。

新范式：用 Diffusion 重新思考 OCR

好了，鋪墊完背景，來(lái)說(shuō)今天的主角——MinerU-Diffusion

這是 MinerU 團(tuán)隊(duì)在 3 月 24 日放出的全新框架，論文標(biāo)題非常到位：

Rethinking Document OCR as Inverse Rendering via Diffusion Decoding（將文檔 OCR 重新定義為通過(guò)擴(kuò)散解碼的逆渲染問(wèn)題）

一句話總結(jié)：把傳統(tǒng)的自回歸（從左到右一個(gè)字一個(gè)字吐）解碼，換成了并行的擴(kuò)散去噪解碼

這個(gè)思路非常有意思

為什么自回歸解碼不適合 OCR？

現(xiàn)在主流的 OCR 方案，本質(zhì)上都是一個(gè)路子：視覺(jué)編碼器把圖片變成特征，然后語(yǔ)言模型一個(gè) token 一個(gè) token 地從左到右生成文字

這個(gè)架構(gòu)有三個(gè)致命問(wèn)題：

1. 速度瓶頸

自回歸解碼是串行的——生成第 100 個(gè) token 必須等前 99 個(gè)都完成。

文檔越長(zhǎng)，越慢，延遲線性增長(zhǎng)。

2. 錯(cuò)誤累積

前面錯(cuò)了一個(gè)，后面大概率跟著錯(cuò)。

就像多米諾骨牌，一倒一片。

對(duì)于長(zhǎng)文檔、復(fù)雜表格和公式這種動(dòng)輒幾千 token 的場(chǎng)景，這個(gè)問(wèn)題尤為致命。

3. 依賴語(yǔ)言先驗(yàn)而非視覺(jué)證據(jù)

這是論文中最犀利的觀察

自回歸模型在解碼時(shí)會(huì)不自覺(jué)地依賴"語(yǔ)義補(bǔ)全"——它更多是靠上下文猜接下來(lái)的字是什么，而非認(rèn)真看圖片上寫(xiě)的是什么

論文專門(mén)設(shè)計(jì)了一個(gè)Semantic Shuffle測(cè)試來(lái)證明這個(gè)問(wèn)題：把文檔中的單詞打亂順序，重新排版成圖片，讓模型去識(shí)別。

結(jié)果自回歸模型的準(zhǔn)確率隨著打亂程度直線下跌，而擴(kuò)散模型基本紋絲不動(dòng)。

下圖就是 Semantic Shuffle 測(cè)試的結(jié)果，可以清楚看到 AR（自回歸）和 Diffusion（擴(kuò)散）兩種解碼方式面對(duì)語(yǔ)義打亂時(shí)的表現(xiàn)差異：

Semantic Shuffle 測(cè)試結(jié)果

這說(shuō)明什么？自回歸模型做 OCR 時(shí)有很大程度上是在"理解"文本然后"猜"出來(lái)的。而 OCR 的本質(zhì)應(yīng)該是忠實(shí)地"看"圖片上寫(xiě)了什么，跟文字有沒(méi)有語(yǔ)義無(wú)關(guān)。

MinerU-Diffusion 如何解題？

MinerU-Diffusion 的核心思想是：把 OCR 看作"逆渲染"

什么意思？文檔渲染是：結(jié)構(gòu)化文本 → 2D 圖片

OCR 就是反過(guò)來(lái)：2D 圖片 → 結(jié)構(gòu)化文本

既然渲染過(guò)程不需要從左到右逐字生成，OCR 解碼憑什么必須從左到右？

下圖展示了自回歸解碼和擴(kuò)散解碼兩種方式的對(duì)比：

自回歸 vs 擴(kuò)散解碼

基于這個(gè)洞察，MinerU-Diffusion 設(shè)計(jì)了三大核心技術(shù)：

1. Block-wise 分塊擴(kuò)散解碼器

不搞全局的擴(kuò)散（那樣計(jì)算量太大），把輸出序列分成若干個(gè) Block。Block 內(nèi)部用擴(kuò)散并行生成，Block 之間保留粗粒度的自回歸結(jié)構(gòu)，兼顧了效率和全局一致性。

擴(kuò)散解碼的過(guò)程如下——黑色 token 是已確認(rèn)的，紅色 token 正在更新，黃色 token 是未處理的 mask，整個(gè)過(guò)程是并行推進(jìn)的：

擴(kuò)散解碼過(guò)程

2. 不確定性驅(qū)動(dòng)的兩階段課程學(xué)習(xí)

訓(xùn)練分兩步走：

• 第一階段：用大規(guī)模多樣化數(shù)據(jù)建立基礎(chǔ)能力（約 750 萬(wàn)樣本）

• 第二階段：通過(guò)多次推理找出模型"不確定"的硬骨頭樣本，人工精標(biāo)后重點(diǎn)訓(xùn)練

這個(gè)策略非常聰明。擴(kuò)散模型的訓(xùn)練比自回歸更不穩(wěn)定，數(shù)據(jù)利用效率也更低，分階段先建立基本功、再專攻難點(diǎn)，是一個(gè)務(wù)實(shí)的工程選擇。

下圖展示了 MinerU-Diffusion 的訓(xùn)練架構(gòu)——左側(cè)是 mask 訓(xùn)練過(guò)程，右側(cè)是 Block 注意力機(jī)制的結(jié)構(gòu)：

訓(xùn)練架構(gòu)

3. 動(dòng)態(tài)置信度調(diào)度

解碼時(shí)，模型會(huì)根據(jù)每個(gè) token 的置信度動(dòng)態(tài)決定是否"落筆確認(rèn)"。高置信的直接定了，低置信的繼續(xù)去噪。這個(gè)閾值就像一個(gè)"旋鈕"，可以在速度和精度之間靈活調(diào)節(jié)。

跑分：快 3 倍，準(zhǔn)確率不掉

直接看數(shù)據(jù)：

在 OmniDocBench v1.5 評(píng)測(cè)中（帶 GT Layout），以 τ=0.97 動(dòng)態(tài)解碼對(duì)比：

指標(biāo)

MinerU2.5 (自回歸)

MinerU-Diffusion (擴(kuò)散, τ=0.97)

Overall ↑

Text Edit ↓

Formula CDM ↑

Table TEDS ↑

吞吐量 TPS

Overall 分?jǐn)?shù)幾乎一模一樣，但吞吐量接近 2 倍！

而且這還只是置信度閾值 0.97 的結(jié)果

調(diào)到 0.95（Overall 93.37，精度與 MinerU2.5 幾乎無(wú)差），吞吐量達(dá)到 108.9 TPS，2.1 倍加速

再放到 0.6，164.8 TPS，3.26 倍加速，準(zhǔn)確率仍然超過(guò) 90%

下面這張圖非常直觀地展示了精度-吞吐量的權(quán)衡曲線：

精度-吞吐量權(quán)衡

在公式識(shí)別和表格識(shí)別上，MinerU-Diffusion 也表現(xiàn)出色：

• 公式識(shí)別（UniMER-Test）：CPE 91.6 / HWE 91.6 / SCE 92.0 / SPE 96.8，全面碾壓 GPT-4o（CPE 82.7 / HWE 85.9 / SCE 87.8），每個(gè)指標(biāo)都領(lǐng)先 4~9 分

• 表格識(shí)別（OCRBench v2）：TEDS 81.18 / TEDS-S 88.66，跟一眾 AR 模型不相上下

光看數(shù)字不過(guò)癮，論文里給了大量的定性示例，非常直觀

端到端文檔解析效果

下面展示幾種典型文檔頁(yè)面的完整識(shí)別結(jié)果，每組從左到右分別是：原始頁(yè)面、布局檢測(cè)結(jié)果、最終解析渲染輸出。

學(xué)術(shù)論文頁(yè)面——包含表格、圖片、標(biāo)題、公式等復(fù)雜元素，布局檢測(cè)精確，解析結(jié)果完整保留了文檔結(jié)構(gòu)：

學(xué)術(shù)論文解析 - 原始輸入學(xué)術(shù)論文解析 - 布局檢測(cè)學(xué)術(shù)論文解析 - 渲染輸出

報(bào)紙版面——密集的多欄排版，閱讀順序正確恢復(fù)：

報(bào)紙解析 - 原始輸入報(bào)紙解析 - 布局檢測(cè)

公式密集的試卷——大量數(shù)學(xué)公式精準(zhǔn)識(shí)別為 LaTeX：

試卷解析 - 原始輸入試卷解析 - 布局檢測(cè)試卷解析 - 渲染輸出

擴(kuò)散解碼的漸進(jìn)生成過(guò)程

這組圖更有意思——展示了擴(kuò)散解碼器在不同任務(wù)上是怎么"一步步去噪"的

上面是原始輸入，下面是解碼過(guò)程的可視化，可以看到 token 從 mask 狀態(tài)逐步被確認(rèn)的全過(guò)程。

布局檢測(cè)的擴(kuò)散解碼——模型逐步確認(rèn)頁(yè)面各區(qū)域的位置和類別：

布局解碼示例1-輸入布局解碼示例1-過(guò)程

文本識(shí)別的擴(kuò)散解碼——文字從 mask 中并行"浮現(xiàn)"出來(lái)：

文本解碼示例-輸入文本解碼示例-過(guò)程

表格識(shí)別的擴(kuò)散解碼——表格結(jié)構(gòu)和內(nèi)容同步恢復(fù)：

表格解碼示例-輸入表格解碼示例-過(guò)程

公式識(shí)別的擴(kuò)散解碼——LaTeX 符號(hào)從噪聲中逐步精確還原：

公式解碼示例-輸入公式解碼示例-過(guò)程

可以看到，擴(kuò)散解碼是全局并行推進(jìn)的——不像自回歸那樣從左上角一路寫(xiě)到右下角，而是整個(gè)頁(yè)面同時(shí)"顯影"。這種解碼模式天然適合文檔這種二維空間結(jié)構(gòu)。

模型規(guī)格與使用

MinerU-Diffusion-V1 是一個(gè)2.5B 參數(shù)的模型，支持四種任務(wù)：

Prompt 類型

功能

輸出格式

Layout Detection

頁(yè)面級(jí)布局解析

邊界框 + 標(biāo)簽

Text Recognition

純文本 OCR

原始 OCR 文本

Formula Recognition

公式提取

LaTeX

Table Recognition

表格提取

OTSL 結(jié)構(gòu)化表格

支持三種推理引擎：HuggingFace Transformers、Nano-DVLM（單 GPU 推理）、SGLang（高性能服務(wù)化部署）。

快速上手

安裝環(huán)境：

conda create -n dmineru python=3.12 -y
conda activate dmineru


 pip install torch==2.8.0 torchvision==0.23.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cu128
pip install "transformers>=4.52.1"
# flash-attn 需要單獨(dú)安裝預(yù)編譯 wheel（需匹配 CUDA/PyTorch 版本）
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.8.3/flash_attn-2.8.3+cu12torch2.8cxx11abiFALSE-cp312-cp312-linux_x86_64.whl
pip install flash_attn-2.8.3+cu12torch2.8cxx11abiFALSE-cp312-cp312-linux_x86_64.whl
pip install -r requirements.txt

用 Transformers 跑一下：

import torch
from transformers import AutoModel, AutoProcessor, AutoTokenizer

 model_id = "opendatalab/MinerU-Diffusion-V1-0320-2.5B"
image_path = "path/to/page.png"

 tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True, use_fast=False)
model = AutoModel.from_pretrained(
    model_id, trust_remote_code=True,
    torch_dtype=torch.bfloat16, low_cpu_mem_usage=True
).eval().to("cuda")

 messages = [
    {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]},
    {"role": "user", "content": [
        {"type": "image", "image": image_path},
        {"type": "text", "text": "\nText Recognition:"},
    ]},
]

 prompt_text = processor.apply_chat_template(messages, add_generation_prompt=True)
if isinstance(prompt_text, tuple):
    prompt_text = prompt_text[0]

 inputs = processor(images=[image_path], text=prompt_text, truncation=True, max_length=4096, return_tensors="pt")
input_ids = inputs["input_ids"].to(torch.long).to("cuda")
pixel_values = inputs["pixel_values"].to(torch.bfloat16).to("cuda")
image_grid_thw = inputs.get("image_grid_thw")
if image_grid_thw isnotNone:
    image_grid_thw = image_grid_thw.to(torch.long).to("cuda")

 with torch.no_grad():
    outputs = model.generate(
        pixel_values=pixel_values,
        image_grid_thw=image_grid_thw,
        input_ids=input_ids,
        mask_token_id=tokenizer.convert_tokens_to_ids("<|MASK|>"),
        denoising_steps=32,
        gen_length=1024,
        block_length=32,
        temperature=1.0,
        remasking_strategy="low_confidence_dynamic",
        dynamic_threshold=0.95,
        tokenizer=tokenizer,
        stopping_criteria=["<|endoftext|>", "<|im_end|>"],
    )

 output_ids = outputs[0] if isinstance(outputs, tuple) else outputs
text = tokenizer.decode(output_ids[0], skip_special_tokens=False)
for stop in ("<|endoftext|>", "<|im_end|>"):
    text = text.split(stop, 1)[0]
print(text.strip())

端到端頁(yè)面解析也支持：

cd /path/to/MinerU-Diffusion
MODEL_PATH=/path/to/model \
IMAGE_PATH=/path/to/input-page.png \
OUTPUT_PATH=/path/to/output.md \
bash scripts/run_end2end.sh

HuggingFace 上也有 Gradio Demo 可以直接體驗(yàn)：MinerU-Diffusion Demo

這個(gè)項(xiàng)目的意義，在我看來(lái)不只是"一個(gè)更快的 OCR 模型"。它驗(yàn)證了一個(gè)根本性的觀點(diǎn)——OCR 的本質(zhì)是視覺(jué)任務(wù)，解碼方式應(yīng)該與任務(wù)本質(zhì)對(duì)齊。自回歸解碼是語(yǔ)言模型的標(biāo)配，但 OCR 不是語(yǔ)言生成——你是在讀圖片，不是在寫(xiě)文章。

MinerU 團(tuán)隊(duì)從 MinerU 到 MinerU2.5 再到今天的 MinerU-Diffusion，一路走來(lái)持續(xù)在 OCR 領(lǐng)域推動(dòng)技術(shù)前沿。這次用 Diffusion 思路來(lái)解 OCR，確實(shí)是一步好棋。

制作不易，如果這篇文章覺(jué)得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見(jiàn)！