文章來源：我愛計(jì)算機(jī)視覺（ID：aicvml）

最近，來自牛津大學(xué)、中國科學(xué)技術(shù)大學(xué)、中南大學(xué)和微軟研究院的研究者們聯(lián)手，帶來了一項(xiàng)非常有意思的工作：VCode。簡單來說，他們不再讓AI模型僅僅“看懂”圖片，而是要求模型將圖片“翻譯”成一種名為SVG的代碼。這種做法，就像是讓AI學(xué)習(xí)用簡筆畫和符號(hào)來復(fù)刻一幅畫，不僅要畫得像，更要抓住畫里的精髓。

這項(xiàng)研究的核心思想是，通過生成精確、可執(zhí)行的代碼，我們可以更深入地檢驗(yàn)和提升AI對(duì)視覺世界的理解能力。

• 
  

  論文標(biāo)題 : VCode: a Multimodal Coding Benchmark with SVG as Symbolic Visual Representation

• 作者 : Kevin Qinghong Lin, Yuhao Zheng, Hangyu Ran, Dantong Zhu, Dongxing Mao, Linjie Li, Philip Torr, Alex Jinpeng Wang

• 機(jī)構(gòu) : 牛津大學(xué)、中國科學(xué)技術(shù)大學(xué)、中南大學(xué)、微軟研究院

• 論文地址 : https://arxiv.org/abs/2511.02778

• 項(xiàng)目主頁 : https://csu-jpg.github.io/VCode

• 代碼倉庫 : https://github.com/CSU-JPG/VCode

我們知道，現(xiàn)在的大模型（VLMs）在處理語言任務(wù)上已經(jīng)非常強(qiáng)大，但在理解視覺信息方面，它們大多還停留在像素層面。也就是說，模型看到的是一堆RGB值，雖然能識(shí)別出物體，但很難像人類一樣，提煉出物體之間的結(jié)構(gòu)、關(guān)系和符號(hào)意義。

舉個(gè)例子，人類看到一張畫，可能會(huì)隨手畫個(gè)草圖，勾勒出主要輪廓和布局。這個(gè)草圖就是一種符號(hào)化的表示，它緊湊、易于理解，并且抓住了核心信息。受到這個(gè)啟發(fā)，研究者們想，能不能讓AI也學(xué)會(huì)這種“打草稿”的能力呢？

他們選擇了SVG（可縮放矢量圖形）作為這種“草圖”的載體。SVG是一種用代碼來描述圖形的格式，具有緊湊、可解釋和可執(zhí)行的優(yōu)點(diǎn)。于是，一個(gè)全新的任務(wù)誕生了：將圖片（像素表示）轉(zhuǎn)化為SVG代碼（符號(hào)表示）。

VCode基準(zhǔn)：三大領(lǐng)域考驗(yàn)AI的“畫功”

為了系統(tǒng)地評(píng)估模型將圖像轉(zhuǎn)化為SVG代碼的能力，研究團(tuán)隊(duì)構(gòu)建了 VCode 基準(zhǔn)。這個(gè)基準(zhǔn)并非從零開始，而是巧妙地“再利用”了現(xiàn)有的三個(gè)經(jīng)典多模態(tài)評(píng)測(cè)集，覆蓋了不同難度和維度的挑戰(zhàn)：

• 通用常識(shí) (MM-Vet) : 考察模型對(duì)日常場(chǎng)景和空間關(guān)系的理解。

• 專業(yè)學(xué)科 (MMMU) : 涉及大學(xué)水平的專業(yè)知識(shí)，需要模型具備更深層次的推理能力。

• 視覺感知 (CV-Bench) : 專注于更純粹的視覺任務(wù)，如物體計(jì)數(shù)、距離估計(jì)和三維關(guān)系判斷。

通過這三個(gè)維度的考驗(yàn)，VCode能夠全面地衡量一個(gè)模型是否真正“理解”了圖像的符號(hào)意義。

CodeVQA：一種新穎的評(píng)估范式

那么，如何判斷模型生成的SVG代碼好不好呢？傳統(tǒng)的像素級(jí)對(duì)比顯然不合適，因?yàn)槲覀冏非蟮氖恰吧袼啤倍恰靶嗡啤薄?/p>

為此，論文提出了一個(gè)名為 CodeVQA 的創(chuàng)新評(píng)估方法。它的流程是：

1. 模型根據(jù)原圖生成SVG代碼。

2. 將SVG代碼渲染成一張新的圖片。

3. 讓一個(gè)策略模型（Policy Model）看著這張渲染出來的圖片，回答關(guān)于原圖的問題。

如果策略模型能夠正確回答，就說明SVG代碼成功地保留了原圖的關(guān)鍵符號(hào)信息。反之，則說明轉(zhuǎn)化過程中信息丟失了。CV君認(rèn)為，這種評(píng)估方式非常巧妙，它繞開了像素比較的難題，直擊“符號(hào)保真度”這一核心。

VCoder：兩大“法寶”提升模型表現(xiàn)

實(shí)驗(yàn)發(fā)現(xiàn)，即便是當(dāng)前最強(qiáng)的多模態(tài)大模型（如GPT-4o, Claude 3 Opus），在VCode基準(zhǔn)上的表現(xiàn)也差強(qiáng)人意。這暴露了它們?cè)谝曈X中心編碼能力上的短板。

為了解決這個(gè)問題，研究者們提出了一個(gè)名為 VCoder 的代理框架，它從兩個(gè)方面來增強(qiáng)現(xiàn)有VLM的能力：

1. 思考與修正 (Thinking with Revision) : 這是一個(gè)迭代優(yōu)化的過程。模型首先生成一個(gè)初始版本的SVG，然后自己對(duì)比渲染圖和原圖的差異，并“寫下”評(píng)論，最后根據(jù)這些評(píng)論來修改代碼。這個(gè)過程循環(huán)往復(fù)，不斷提升SVG的保真度。

2. 行動(dòng)與視覺工具 (Acting with Visual Tools) : 允許模型調(diào)用外部的“視覺工具箱”，比如物體檢測(cè)器、分割模型、OCR工具等。這些工具可以提供關(guān)于物體類別、位置、形狀、顏色和文本的結(jié)構(gòu)化信息，作為代碼生成的“輔助線”，彌補(bǔ)模型自身在底層感知上的不足。

搭載了VCoder框架后，模型性能得到了巨大提升。

從上表的主實(shí)驗(yàn)結(jié)果可以看出：

• 現(xiàn)有模型仍有差距 ：即使是像GPT-5這樣的頂級(jí)模型，在CodeVQA上的得分（46.8）也遠(yuǎn)低于直接在原圖上進(jìn)行問答的上限（61.7），說明從圖像到符號(hào)代碼的轉(zhuǎn)換仍然是一個(gè)巨大的挑戰(zhàn)。

• VCoder提升巨大 ：基于Claude-4-Opus，VCoder框架帶來了 12.3個(gè)點(diǎn) 的驚人總體性能提升，證明了“思考與修正”和“行動(dòng)與視覺工具”這兩大法寶的有效性。

• 知識(shí)和3D是難點(diǎn) ：所有模型在需要專業(yè)知識(shí)和3D空間推理的子任務(wù)上表現(xiàn)普遍不佳，這指明了未來研究需要攻克的方向。

下面的定性結(jié)果更直觀地展示了VCoder的威力。無論是網(wǎng)絡(luò)迷因圖，還是涉及藝術(shù)理論和3D場(chǎng)景的復(fù)雜圖像，VCoder生成的SVG都更加忠實(shí)于原作的結(jié)構(gòu)和語義。

消融實(shí)驗(yàn)進(jìn)一步證明，無論是引入視覺工具（特別是形狀和文本信息），還是增加修正的輪次，都能穩(wěn)定地提升模型性能。

總結(jié)

總的來說，VCode不僅為多模態(tài)領(lǐng)域提供了一個(gè)全新的、富有挑戰(zhàn)性的視角，也通過VCoder框架展示了提升模型符號(hào)推理能力的有效路徑。這項(xiàng)工作讓我們離真正能像人一樣思考和理解視覺世界的AI又近了一步。

你覺得這個(gè)技術(shù)未來會(huì)用在哪些場(chǎng)景？一起來聊聊吧！