LaTeX公式的光學(xué)字符識別（OCR）是科學(xué)文獻數(shù)字化與智能處理的基礎(chǔ)環(huán)節(jié)，盡管該領(lǐng)域取得了一定進展，現(xiàn)有方法在真實科學(xué)文獻處理時仍面臨諸多挑戰(zhàn)：

其一，主流方法及公開數(shù)據(jù)集多聚焦于結(jié)構(gòu)簡單、符號單一的公式，難以覆蓋多學(xué)科、高難度的復(fù)雜公式；其二，實際文檔中廣泛存在的多行公式、長公式、分段公式及頁面級復(fù)雜排版等情況尚未得到充分關(guān)注與處理；其三，大多數(shù)方法依賴專用模型，通常需要針對特定任務(wù)進行專門設(shè)計，難以實現(xiàn)通用性和擴展性。

針對上述挑戰(zhàn)，DocTron 團隊提出了系統(tǒng)性解決方案。

首先，針對現(xiàn)有數(shù)據(jù)集覆蓋面有限、結(jié)構(gòu)單一的問題，構(gòu)建了涵蓋多學(xué)科、多結(jié)構(gòu)的大規(guī)模高難度數(shù)據(jù)集CSFormula，包含行級、段落級和頁面級的復(fù)雜排版。

其次，團隊提出的DocTron-Formula 模型突破了對特定結(jié)構(gòu)建模的依賴，采用通用大模型驅(qū)動的復(fù)雜公式識別方法，僅需簡單微調(diào)即可適配多樣化應(yīng)用場景。

最后，相比于最優(yōu)的定制化公式識別模型，該方法不僅在主流的開源評測中取得了優(yōu)秀的性能表現(xiàn)，在實際應(yīng)用中常見的頁面級、段落級復(fù)雜排版場景中也取得了顯著優(yōu)勢，推動了公式識別的應(yīng)用邊界。

DocTron 是一個在通用視覺語言模型架構(gòu)上實現(xiàn)結(jié)構(gòu)化內(nèi)容解析和理解的開源項目，而無需定制化的模塊開發(fā)，覆蓋通用文檔、學(xué)科公式、圖表代碼等場景。

• 論文標題：DocTron-Formula: Generalized Formula Recognition in Complex and Structured Scenarios
• 論文鏈接：https://arxiv.org/abs/2508.00311
• Github 鏈接：https://github.com/DocTron-hub/DocTron-Formula
• 項目開源地址：https://huggingface.co/DocTron

創(chuàng)新點與技術(shù)突破

（1）高難度多結(jié)構(gòu)數(shù)據(jù)集構(gòu)建。研究團隊自主設(shè)計高效的數(shù)據(jù)采集與處理流程，系統(tǒng)性地從高質(zhì)量學(xué)術(shù)資源中收集、清洗并整理了大量多學(xué)科的復(fù)雜公式樣本，構(gòu)建了 CSFormula 數(shù)據(jù)集。

該數(shù)據(jù)集涵蓋數(shù)學(xué)、物理、化學(xué)等領(lǐng)域，包含行級、段落級和頁面級的復(fù)雜排版，更真實地反映了文獻中公式的多樣性與挑戰(zhàn)性，為模型訓(xùn)練與評測提供了堅實基礎(chǔ)。

（2）通用大模型驅(qū)動的復(fù)雜公式識別。研究團隊突破了對結(jié)構(gòu)定制和專用架構(gòu)的依賴，直接利用 Qwen2.5-VL 等通用大規(guī)模多模態(tài)預(yù)訓(xùn)練模型，并通過在高難度數(shù)據(jù)集上的有監(jiān)督微調(diào)實現(xiàn)領(lǐng)域適配。

實驗結(jié)果表明，大模型憑借強大的知識遷移和結(jié)構(gòu)泛化能力，僅需簡單微調(diào)即可在復(fù)雜場景下取得 SOTA 性能，無需繁瑣的工程設(shè)計或人工規(guī)則，顯著提升了復(fù)雜公式識別的通用性和實用性。

實驗結(jié)果與性能表現(xiàn)

實驗結(jié)果顯示，DocTron-Formula 在各類公開基準測試及自建 LaTeX 公式識別數(shù)據(jù)集上均表現(xiàn)出色。在編輯距離和 CDM 兩個指標下，不僅超越了現(xiàn)有專業(yè)工具 Mathpix，在多個任務(wù)上也優(yōu)于 GPT-4o 和 Gemini-2.5-flash 等主流閉源大模型。

研究意義與應(yīng)用前景

本研究不僅推動了復(fù)雜公式識別技術(shù)的發(fā)展，也為相關(guān)領(lǐng)域開辟了新的研究思路：

• 首次系統(tǒng)構(gòu)建了覆蓋多學(xué)科、多結(jié)構(gòu)的大規(guī)模高難度數(shù)據(jù)集 CSFormula，為復(fù)雜公式識別的模型訓(xùn)練和評測提供了堅實的數(shù)據(jù)支撐；
• 驗證了通用大模型（如 Qwen2.5-VL）在復(fù)雜公式識別任務(wù)中的強大適應(yīng)性和泛化能力，顯著簡化了模型開發(fā)流程，減少了對專用設(shè)計和人工規(guī)則的依賴；

在應(yīng)用層面，DocTron-Formula 有望服務(wù)于科學(xué)文獻解析、學(xué)術(shù)知識檢索和教育資源智能化等多元場景，為科研、教育和信息服務(wù)等領(lǐng)域的自動化與智能化提供有力支撐。

結(jié)論

DocTron-Formula推動了學(xué)科公式理解在行級、段落級、頁面級復(fù)雜排版場景的應(yīng)用，強調(diào)無需定制化的算法模塊，通過高質(zhì)量數(shù)據(jù)的構(gòu)建和通用模型訓(xùn)練，實現(xiàn)開源評測和現(xiàn)實應(yīng)用評測的全面提升。