這項(xiàng)由威斯康星大學(xué)麥迪遜分校的劉卓明和亞馬遜AGI團(tuán)隊(duì)聯(lián)合進(jìn)行的研究發(fā)表于2025年12月，研究編號為arXiv:2512.07186v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

在日常生活中，我們經(jīng)常會遇到各種圖表——股票走勢圖、天氣變化曲線、公司財(cái)務(wù)報(bào)表等等。對于人類而言，理解這些圖表是件很自然的事情，我們既能看出圖表的空間布局（比如標(biāo)題在哪里、圖例在什么位置），也能理解其中蘊(yùn)含的數(shù)據(jù)信息（比如哪條線代表什么趨勢）。然而，對于人工智能來說，這卻是一個(gè)相當(dāng)復(fù)雜的挑戰(zhàn)。

目前的多模態(tài)大型語言模型就像一個(gè)初學(xué)者，雖然能夠處理文字和圖像，但在面對圖表時(shí)往往會"看不準(zhǔn)"。它們可能會把子圖的位置搞錯(cuò)，或者無法準(zhǔn)確定位圖例的具體位置。即使是目前最先進(jìn)的AI模型，在理解圖表的細(xì)節(jié)方面仍然存在明顯的不足。

為了解決這個(gè)問題，研究團(tuán)隊(duì)提出了一個(gè)名為START的創(chuàng)新框架。START這個(gè)名字來源于"Spatial and Textual learning for chART understanding"，意思是通過空間和文本學(xué)習(xí)來理解圖表。這個(gè)框架的核心思想非常巧妙——既然圖表有兩個(gè)重要特性（空間布局和數(shù)據(jù)內(nèi)容），那么就應(yīng)該同時(shí)訓(xùn)練AI理解這兩個(gè)方面。

研究團(tuán)隊(duì)發(fā)現(xiàn)，傳統(tǒng)的AI訓(xùn)練方法往往忽視了圖表的這種雙重特性。他們認(rèn)為，要讓AI真正理解圖表，就必須讓它學(xué)會兩樣本領(lǐng)：一是能夠準(zhǔn)確定位圖表中各種元素的位置（空間學(xué)習(xí)），二是能夠理解圖表背后的數(shù)據(jù)代碼（文本學(xué)習(xí)）。這就像教一個(gè)人讀地圖，既要讓他知道各個(gè)地標(biāo)在哪里，也要讓他理解地圖符號代表的含義。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，研究團(tuán)隊(duì)設(shè)計(jì)了兩個(gè)專門的學(xué)習(xí)任務(wù)。第一個(gè)任務(wù)叫做"圖表元素定位"，就像教AI玩"找不同"游戲一樣，讓它學(xué)會精確定位圖表中的各種元素，比如標(biāo)題、圖例、坐標(biāo)軸等等。第二個(gè)任務(wù)叫做"圖表轉(zhuǎn)代碼"，就像教AI學(xué)會"逆向工程"，讓它能夠從圖表推斷出生成這個(gè)圖表的Python代碼，從而深入理解圖表的數(shù)據(jù)結(jié)構(gòu)。

為了支持這種訓(xùn)練方式，研究團(tuán)隊(duì)還創(chuàng)建了一個(gè)特殊的數(shù)據(jù)集，叫做START-Dataset。這個(gè)數(shù)據(jù)集的制作過程非常巧妙——研究人員首先使用強(qiáng)大的多模態(tài)模型將真實(shí)的圖表轉(zhuǎn)換成Python代碼，然后用大語言模型對這些代碼進(jìn)行改進(jìn)，讓它們能夠自動識別圖表元素的位置。這種方法既保持了真實(shí)世界圖表的復(fù)雜性和多樣性，又提供了訓(xùn)練AI所需的精確標(biāo)注信息。

此外，研究團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)專門的評估基準(zhǔn)，叫做CS-Bench（Chart Spatial understanding Benchmark）。這個(gè)基準(zhǔn)專門用來測試AI對圖表空間結(jié)構(gòu)的理解能力，填補(bǔ)了現(xiàn)有評估體系的空白。就像考試有不同科目一樣，這個(gè)基準(zhǔn)包含兩種類型的問題：直接定位題（要求AI找到特定元素的位置）和問答定位題（先回答關(guān)于圖表的問題，再定位相關(guān)元素）。

研究團(tuán)隊(duì)的實(shí)驗(yàn)結(jié)果非常令人鼓舞。在多個(gè)標(biāo)準(zhǔn)測試中，START框架都表現(xiàn)出了顯著的優(yōu)勢。特別是在圖表推理、代碼生成和空間理解方面，START模型的表現(xiàn)遠(yuǎn)超之前的最佳方法。比如在ChartMimic測試中，START的表現(xiàn)提升了42.7個(gè)百分點(diǎn)，這是一個(gè)相當(dāng)驚人的提升幅度。

一、圖表理解的雙重挑戰(zhàn)

當(dāng)我們打開一份科研論文或商業(yè)報(bào)告時(shí)，往往會看到各種復(fù)雜的圖表。這些圖表不僅僅是簡單的圖像，它們承載著豐富的信息，既有視覺上的空間布局，也有深層的數(shù)據(jù)含義。研究團(tuán)隊(duì)意識到，要讓AI真正理解圖表，必須同時(shí)掌握這兩個(gè)層面的信息。

空間理解就像是學(xué)會"讀圖"的基本功。當(dāng)我們看到一個(gè)包含多個(gè)子圖的復(fù)雜圖表時(shí)，我們能夠迅速識別出哪一塊區(qū)域是主圖，哪里是圖例，坐標(biāo)軸的標(biāo)簽在什么位置。這種能力對于準(zhǔn)確回答關(guān)于圖表的問題至關(guān)重要。比如，如果有人問"在子圖(b)中，哪個(gè)條件顯示出更大的分散性？"，AI必須首先準(zhǔn)確找到子圖(b)的位置，然后才能分析其中的數(shù)據(jù)分布。

文本理解則涉及對圖表背后數(shù)據(jù)邏輯的深度把握。每個(gè)圖表都可以用代碼來生成，這些代碼包含了數(shù)據(jù)的組織方式、繪圖的參數(shù)設(shè)置、色彩的選擇等等。通過學(xué)習(xí)這些代碼，AI能夠更好地理解圖表的構(gòu)成原理，就像廚師通過學(xué)習(xí)食譜來理解菜品的制作過程一樣。

目前的AI模型在處理圖表時(shí)經(jīng)常會出現(xiàn)各種錯(cuò)誤。比如在回答關(guān)于特定子圖的問題時(shí)，它們可能會錯(cuò)誤地定位到其他子圖，或者無法準(zhǔn)確識別圖例的位置。這些錯(cuò)誤的根源在于現(xiàn)有模型缺乏對圖表空間結(jié)構(gòu)的深度理解。

研究團(tuán)隊(duì)通過大量實(shí)驗(yàn)發(fā)現(xiàn)，傳統(tǒng)的訓(xùn)練方法往往將圖表當(dāng)作普通圖像來處理，忽略了圖表獨(dú)特的雙重屬性。這就像用處理風(fēng)景照片的方法來處理建筑圖紙一樣，雖然都是圖像，但需要完全不同的理解方式。

二、START框架的核心創(chuàng)新

START框架的核心思想是同時(shí)訓(xùn)練AI的空間感知能力和文本理解能力。這種雙重訓(xùn)練就像教一個(gè)學(xué)生同時(shí)學(xué)會看地圖和讀說明書，兩種技能相輔相成，共同提升對復(fù)雜信息的理解能力。

在空間學(xué)習(xí)方面，研究團(tuán)隊(duì)設(shè)計(jì)了"圖表元素定位"任務(wù)。這個(gè)任務(wù)要求AI能夠精確識別圖表中各種元素的位置，包括標(biāo)題、圖例、子圖、坐標(biāo)軸標(biāo)簽等等。訓(xùn)練過程就像玩一個(gè)高精度的"找東西"游戲，AI需要給出每個(gè)元素的精確坐標(biāo)范圍。這種訓(xùn)練讓AI學(xué)會了像人類一樣"掃描"圖表，快速定位關(guān)鍵信息。

在文本學(xué)習(xí)方面，研究團(tuán)隊(duì)引入了"圖表轉(zhuǎn)代碼"任務(wù)。這個(gè)任務(wù)要求AI能夠從圖表推斷出生成該圖表的Python代碼。這種能力非常有價(jià)值，因?yàn)榇a包含了圖表的完整構(gòu)造信息，包括數(shù)據(jù)結(jié)構(gòu)、繪圖參數(shù)、樣式設(shè)置等等。通過學(xué)習(xí)這種轉(zhuǎn)換能力，AI能夠深入理解圖表的內(nèi)在邏輯。

這兩種學(xué)習(xí)方式并不是孤立的，而是相互促進(jìn)的。空間學(xué)習(xí)幫助AI更好地理解圖表的布局結(jié)構(gòu)，而文本學(xué)習(xí)則讓AI掌握圖表的生成原理。兩者結(jié)合起來，就像給AI裝上了"透視眼"，既能看到表面的布局，也能理解深層的邏輯。

研究團(tuán)隊(duì)在訓(xùn)練過程中同時(shí)使用了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)兩種方法。監(jiān)督學(xué)習(xí)就像傳統(tǒng)的課堂教學(xué)，給AI提供標(biāo)準(zhǔn)答案讓它學(xué)習(xí)。強(qiáng)化學(xué)習(xí)則像是實(shí)踐訓(xùn)練，通過獎(jiǎng)勵(lì)機(jī)制讓AI在試錯(cuò)中不斷改進(jìn)。這種雙重訓(xùn)練策略確保了AI既能學(xué)到理論知識，也能提高實(shí)踐能力。

特別值得注意的是，研究團(tuán)隊(duì)還引入了"思考-回答"的訓(xùn)練模式。這種模式要求AI在給出最終答案之前先進(jìn)行思考推理，就像人類在解決復(fù)雜問題時(shí)會先分析情況再得出結(jié)論一樣。這種訓(xùn)練方式顯著提升了AI在復(fù)雜圖表理解任務(wù)中的表現(xiàn)。

三、創(chuàng)新數(shù)據(jù)集的巧妙設(shè)計(jì)

為了支持START框架的訓(xùn)練，研究團(tuán)隊(duì)創(chuàng)建了一個(gè)獨(dú)特的數(shù)據(jù)集。這個(gè)數(shù)據(jù)集的設(shè)計(jì)理念非常巧妙，既要保持真實(shí)世界圖表的復(fù)雜性和多樣性，又要提供訓(xùn)練AI所需的精確標(biāo)注信息。

傳統(tǒng)的圖表數(shù)據(jù)集通常分為兩類：一類是基于模板生成的合成圖表，另一類是從網(wǎng)絡(luò)收集的真實(shí)圖表。合成圖表雖然標(biāo)注精確，但往往過于簡單，缺乏真實(shí)世界的復(fù)雜性。真實(shí)圖表雖然復(fù)雜多樣，但缺乏AI訓(xùn)練所需的詳細(xì)標(biāo)注信息，特別是元素位置和生成代碼。

研究團(tuán)隊(duì)采用了一種創(chuàng)新的"真實(shí)圖表逆向工程"方法。他們首先使用強(qiáng)大的多模態(tài)模型將真實(shí)圖表轉(zhuǎn)換成Python代碼，這個(gè)過程就像是"破解"圖表的生成秘密。然后，他們使用這些代碼重新生成圖表，確保生成的圖表與原始圖表高度相似。

接下來是最巧妙的部分——元素位置的自動標(biāo)注。研究團(tuán)隊(duì)開發(fā)了一種基于代碼演化的方法，讓大語言模型對生成圖表的代碼進(jìn)行改進(jìn)，使其能夠自動記錄各個(gè)圖表元素的精確位置。這就像給繪圖程序添加了一個(gè)"記錄員"，在繪制圖表的同時(shí)自動記錄每個(gè)元素的坐標(biāo)信息。

這種方法的優(yōu)勢在于，它既保持了真實(shí)圖表的視覺復(fù)雜性，又提供了AI訓(xùn)練所需的精確標(biāo)注。生成的數(shù)據(jù)集包含了33,067張圖表，覆蓋了線圖、散點(diǎn)圖、熱圖等多種類型，其中34%是單子圖，49%包含2-4個(gè)子圖，17%包含4個(gè)以上子圖。這種分布更接近真實(shí)世界的圖表使用情況。

數(shù)據(jù)集還包含了370,580個(gè)問答對，涵蓋了全局推理和局部推理兩種類型。全局推理問題需要綜合分析整個(gè)圖表，而局部推理問題則專注于特定區(qū)域或元素。此外，還包含了32,903個(gè)元素位置標(biāo)注，覆蓋了標(biāo)題、圖例、子圖等各種圖表組件。

為了確保數(shù)據(jù)質(zhì)量，研究團(tuán)隊(duì)還設(shè)計(jì)了嚴(yán)格的質(zhì)量控制流程。他們使用強(qiáng)大的AI模型來檢測和過濾不合理的問題或錯(cuò)誤的答案，確保最終數(shù)據(jù)集的高質(zhì)量。這種質(zhì)量控制就像是多道篩選程序，只有通過所有檢查的數(shù)據(jù)才能進(jìn)入最終數(shù)據(jù)集。

四、CS-Bench評估基準(zhǔn)的突破性設(shè)計(jì)

現(xiàn)有的圖表理解評估基準(zhǔn)主要關(guān)注問答能力或代碼生成能力，但缺乏對空間理解能力的專門評估。研究團(tuán)隊(duì)意識到這個(gè)空白，設(shè)計(jì)了CS-Bench這個(gè)專門的評估基準(zhǔn)，用于測試AI對圖表空間結(jié)構(gòu)的理解能力。

CS-Bench包含613張精心選擇的圖表，這些圖表都具有復(fù)雜的空間結(jié)構(gòu)，包含多個(gè)子圖、豐富的標(biāo)注信息和多樣的布局方式。與現(xiàn)有基準(zhǔn)主要關(guān)注單子圖不同，CS-Bench中22.5%的圖表包含單子圖，61.3%包含2-4個(gè)子圖，16.2%包含4個(gè)以上子圖。這種分布更能反映真實(shí)應(yīng)用場景的復(fù)雜性。

評估基準(zhǔn)設(shè)計(jì)了兩種類型的測試問題。第一種是"直接定位問題"，要求AI直接找到特定圖表元素的位置，比如"定位第二行第一列的子圖"或"找到圖例的位置"。這類問題測試AI的基本空間感知能力。

第二種是"問答定位問題"，這類問題更加復(fù)雜，要求AI首先回答關(guān)于圖表內(nèi)容的問題，然后定位問題或答案中提及的圖表元素。比如問題可能是"在子圖(e)中，W=2.0時(shí)有多少條曲線的T_30值超過1.3？請給出答案和子圖的位置坐標(biāo)。"這類問題測試AI的綜合理解能力。

CS-Bench使用了嚴(yán)格的評估指標(biāo)。對于位置定位，它采用了IoU（交并比）指標(biāo)，只有當(dāng)AI預(yù)測的位置與真實(shí)位置的重疊度達(dá)到0.3以上時(shí)才算正確。這個(gè)標(biāo)準(zhǔn)確保了評估的嚴(yán)格性，避免了模糊或不準(zhǔn)確的定位被認(rèn)為是正確的。

特別值得注意的是，CS-Bench中的所有問題和標(biāo)注都經(jīng)過了人工驗(yàn)證，確保了評估的公正性和準(zhǔn)確性。這種嚴(yán)格的質(zhì)量控制就像是考試中的多重審核，確保每道題目都是公平和準(zhǔn)確的。

通過CS-Bench的評估，研究團(tuán)隊(duì)發(fā)現(xiàn)現(xiàn)有的最先進(jìn)AI模型在圖表空間理解方面仍有很大改進(jìn)空間，而START框架在這個(gè)基準(zhǔn)上取得了顯著的性能提升，證明了其有效性。

五、實(shí)驗(yàn)驗(yàn)證與顯著成果

為了驗(yàn)證START框架的有效性，研究團(tuán)隊(duì)進(jìn)行了全面的實(shí)驗(yàn)評估。他們選擇了多個(gè)權(quán)威的圖表理解基準(zhǔn)進(jìn)行測試，包括CharXiv、ChartQA、ChartQAPro、ChartMimic以及他們自己設(shè)計(jì)的CS-Bench。

實(shí)驗(yàn)結(jié)果令人印象深刻。在幾乎所有測試基準(zhǔn)上，START框架都取得了顯著的性能提升。以7B參數(shù)的模型為例，START-RL版本在CharXiv推理任務(wù)上比基礎(chǔ)模型提升了5.3個(gè)百分點(diǎn)，在ChartQAPro上提升了4.8個(gè)百分點(diǎn)，在ChartMimic上更是取得了21.2個(gè)百分點(diǎn)的巨大提升。

最令人矚目的是在CS-Bench上的表現(xiàn)。START-RL-7B模型達(dá)到了62.3%的召回率，比基礎(chǔ)模型提升了26個(gè)百分點(diǎn)。這個(gè)結(jié)果清楚地證明了START框架在提升AI空間理解能力方面的顯著效果。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，分別測試了不同組件對整體性能的貢獻(xiàn)。實(shí)驗(yàn)發(fā)現(xiàn)，圖表轉(zhuǎn)代碼任務(wù)主要提升了AI對圖表細(xì)節(jié)的理解能力，在需要精確數(shù)據(jù)分析的任務(wù)中效果明顯。而圖表元素定位任務(wù)則主要改善了AI的空間推理能力，在需要精確定位的任務(wù)中表現(xiàn)突出。

有趣的是，當(dāng)同時(shí)使用這兩種訓(xùn)練任務(wù)時(shí)，它們之間產(chǎn)生了協(xié)同效應(yīng)，整體性能的提升超過了各自貢獻(xiàn)的簡單相加。這說明空間理解和文本理解確實(shí)是相互促進(jìn)的，驗(yàn)證了START框架設(shè)計(jì)理念的正確性。

研究團(tuán)隊(duì)還測試了"思考-回答"訓(xùn)練模式的效果。結(jié)果顯示，這種模式在所有任務(wù)中都帶來了額外的性能提升，特別是在復(fù)雜的推理任務(wù)中效果更為明顯。這表明讓AI先思考再回答確實(shí)能夠提高其解決復(fù)雜問題的能力。

與現(xiàn)有最先進(jìn)方法的對比顯示，START框架在多個(gè)基準(zhǔn)上都取得了新的最佳成績。特別值得注意的是，START不僅在他們專門設(shè)計(jì)的CS-Bench上表現(xiàn)優(yōu)異，在其他通用圖表理解基準(zhǔn)上同樣取得了顯著改進(jìn)，證明了其廣泛的適用性。

這些實(shí)驗(yàn)結(jié)果不僅證明了START框架的技術(shù)優(yōu)越性，也為整個(gè)圖表理解領(lǐng)域提供了新的研究方向。通過同時(shí)關(guān)注空間和文本兩個(gè)維度，AI可以獲得更全面、更深入的圖表理解能力。

說到底，這項(xiàng)研究展示了一個(gè)重要的觀點(diǎn)：要讓AI真正理解復(fù)雜的視覺信息，我們需要同時(shí)從多個(gè)角度進(jìn)行訓(xùn)練。圖表不僅僅是圖像，它們是信息的載體，需要AI具備多層次的理解能力。START框架通過創(chuàng)新的訓(xùn)練方法和數(shù)據(jù)集設(shè)計(jì)，成功地讓AI獲得了這種多維度的理解能力。

這種進(jìn)步對我們的日常生活具有重要意義。更強(qiáng)大的圖表理解AI可以幫助我們更好地分析數(shù)據(jù)、理解趨勢、做出決策。無論是金融分析師查看股票圖表，還是科研人員分析實(shí)驗(yàn)數(shù)據(jù)，或是普通人解讀新聞中的統(tǒng)計(jì)圖表，都能從這種技術(shù)進(jìn)步中受益。

當(dāng)然，這項(xiàng)研究也開啟了更多可能性。未來的AI可能不僅能理解靜態(tài)圖表，還能處理動態(tài)圖表、交互式圖表，甚至能夠根據(jù)用戶需求自動生成定制化的數(shù)據(jù)可視化。這些應(yīng)用將進(jìn)一步改變我們與數(shù)據(jù)交互的方式，讓復(fù)雜的信息變得更加容易理解和使用。

Q&A

Q1：START框架是什么？

A：START是由威斯康星大學(xué)麥迪遜分校和亞馬遜AGI團(tuán)隊(duì)開發(fā)的圖表理解框架，通過同時(shí)訓(xùn)練AI的空間感知能力和文本理解能力，讓AI能夠像人類一樣既看懂圖表的布局結(jié)構(gòu)，又理解其中的數(shù)據(jù)含義。

Q2：START框架為什么比傳統(tǒng)方法更有效？

A：傳統(tǒng)方法將圖表當(dāng)作普通圖像處理，而START認(rèn)識到圖表具有空間布局和數(shù)據(jù)內(nèi)容的雙重特性，通過圖表元素定位和圖表轉(zhuǎn)代碼兩個(gè)專門任務(wù)進(jìn)行訓(xùn)練，讓AI獲得更全面的理解能力。

Q3：START框架的創(chuàng)新數(shù)據(jù)集有什么特別之處？

A：START-Dataset采用"真實(shí)圖表逆向工程"方法，將真實(shí)圖表轉(zhuǎn)換成代碼再重新生成，既保持了真實(shí)世界圖表的復(fù)雜性，又提供了AI訓(xùn)練需要的精確標(biāo)注信息，包含33,067張圖表和370,580個(gè)問答對。