機(jī)器之心報(bào)道

多模態(tài)大模型在代碼能力上進(jìn)步驚人，但在基礎(chǔ)視覺(jué)任務(wù)上卻頻繁失誤。UniPat AI 構(gòu)建了一個(gè)極簡(jiǎn)的視覺(jué)智能體框架 ——SWE-Vision，讓模型可以編寫并執(zhí)行 Python 代碼來(lái)處理和驗(yàn)證自己的視覺(jué)判斷。在五個(gè)主流視覺(jué)基準(zhǔn)測(cè)試中，SWE-Vision 均達(dá)到了當(dāng)前最優(yōu)水平。

• 官網(wǎng)鏈接：https://unipat.ai
• 博客鏈接：https://unipat.ai/blog/SWE-Vision
• 開(kāi)源地址：https://github.com/UniPat-AI/SWE-Vision

01｜模型看得見(jiàn)，卻沒(méi)法精確處理

多模態(tài)大模型的代碼能力在過(guò)去一年取得了驚人進(jìn)展 —— 獨(dú)立搭建項(xiàng)目、排查 bug、完成復(fù)雜重構(gòu)，表現(xiàn)已可比肩資深工程師。然而在 "理解視覺(jué)世界" 這件事上，它們的表現(xiàn)遠(yuǎn)沒(méi)有代碼能力那樣可靠。UniPat AI 此前發(fā)布的多模態(tài)基準(zhǔn) BabyVision 就揭示了這一現(xiàn)象：模型常常給出大段看似合理的推理，卻在最基礎(chǔ)的計(jì)量、計(jì)數(shù)和空間關(guān)系判斷上出錯(cuò)。

UniPat AI 此前發(fā)布的多模態(tài)理解 benchmark BabyVision 已被多個(gè)近期發(fā)布的重磅模型產(chǎn)品納入評(píng)測(cè)體系，并在其技術(shù)報(bào)告中被引用，體現(xiàn)了社區(qū)對(duì)這一問(wèn)題的廣泛關(guān)注。

當(dāng)我們仔細(xì)審視 BabyVision 中模型出錯(cuò)的案例時(shí)，可以發(fā)現(xiàn)一個(gè)關(guān)鍵點(diǎn)：?jiǎn)栴}往往是 "模型看見(jiàn)了，卻無(wú)法精確處理"：

• 閱讀柱狀圖時(shí)，模型能感知到 "大約 75%"，但無(wú)法精確計(jì)算比值；
• 在復(fù)雜場(chǎng)景中計(jì)數(shù)時(shí)，模型可能識(shí)別了每一個(gè)物體，但在逐一清點(diǎn)時(shí)出錯(cuò)；
• 描述空間位置時(shí)，模型能給出定性判斷，但難以穩(wěn)定進(jìn)行距離計(jì)算和幾何推理。

面對(duì)這些錯(cuò)誤，人類通常會(huì)怎么做？

掏出工具：畫輔助線、作出標(biāo)記、用尺測(cè)量、用筆計(jì)算。

這個(gè)觀察引發(fā)了一個(gè)關(guān)鍵猜想：既然模型已經(jīng)極其擅長(zhǎng)編程，能否讓它用代碼 —— 這個(gè)它最熟悉的工具 —— 來(lái)彌補(bǔ)視覺(jué)處理中的精度短板？

SWE-Vision 正是對(duì)這一猜想的系統(tǒng)性驗(yàn)證。

其結(jié)果令人矚目：在五個(gè)不同的視覺(jué)基準(zhǔn)測(cè)試中 —— 涵蓋基礎(chǔ)感知、圖表推理、數(shù)學(xué)問(wèn)題解決、空間理解和復(fù)雜的多步驟視覺(jué)挑戰(zhàn) ——SWE-Vision 均提升了前沿 LLM 的表現(xiàn)，如 GPT-5.2-xhigh 和 Seed-2.0-Pro，并取得了最先進(jìn)的結(jié)果：在 BabyVision 上達(dá)到 64.4，在 MathVision 上達(dá)到 94.0，在 Zero-Bench-Sub 上達(dá)到 50.1，在 OmniSpatial 上達(dá)到 69.0，在 CharXiv-RQ 上達(dá)到 82.5。

02｜SWE-Vision 是什么：一個(gè)「極簡(jiǎn)視覺(jué)智能體」

SWE-Vision 并不需要再造一堆專用視覺(jué)工具，而是把要做的事壓縮到極簡(jiǎn)：

2.1 工具層：只保留兩個(gè)工具

config.py 里定義的工具只有兩個(gè)：execute_code 和 finish。

• execute_code：讓模型在一個(gè)可持續(xù)保留狀態(tài)的 Jupyter 環(huán)境里執(zhí)行 Python
• finish：當(dāng)模型確信答案正確時(shí)輸出最終答案

這里最關(guān)鍵的不是 “能執(zhí)行代碼”，而是工具接口本身非常小、非常通用。SWE-Vision 沒(méi)有給模型塞一堆專用視覺(jué) API，而是只暴露一個(gè)模型本來(lái)就很熟悉的動(dòng)作：寫 Python。

2.2 控制層：一個(gè)標(biāo)準(zhǔn)的 agentic loop

agent.py 里的 VLMToolCallAgent 實(shí)現(xiàn)了完整的循環(huán)：先把用戶問(wèn)題和圖片組織成消息；然后調(diào)用支持 tool use 的聊天接口；如果模型發(fā)起 execute_code，就把代碼送到 notebook 內(nèi)核執(zhí)行；再把執(zhí)行結(jié)果作為 tool message 回流給模型；模型據(jù)此決定繼續(xù)調(diào)用工具還是 finish。repo 里默認(rèn) tool_choice="auto"，并支持 reasoning 模式；在開(kāi)啟時(shí)會(huì)把推理 effort 設(shè)為高檔，并允許最多 100 輪迭代。

2.3 執(zhí)行層：Docker 里的持久化 Jupyter kernel

kernel.py 不是簡(jiǎn)單 exec () 一段代碼，而是正經(jīng)啟動(dòng)一個(gè) Docker 容器，再在容器里拉起 ipykernel。宿主側(cè)通過(guò) jupyter_client.BlockingKernelClient 連接這個(gè)內(nèi)核，并從 IOPub /shell 通道收集執(zhí)行結(jié)果。內(nèi)核是持久化的，變量、導(dǎo)入、圖像對(duì)象和中間結(jié)果都能跨多次 execute_code 保留；同時(shí)代碼運(yùn)行在隔離的 Docker 環(huán)境里，宿主與容器通過(guò)掛載目錄交換文件。kernel.py 還會(huì)在啟動(dòng)后做 health check，并把 matplotlib 后端配置成 inline，以便抓取圖像輸出。

簡(jiǎn)單來(lái)說(shuō)，SWE-Vision 不強(qiáng)迫模型每題都寫代碼，但給它一個(gè)隨時(shí)可用并且熟悉的 “視覺(jué)工具庫(kù)”。

03｜一次請(qǐng)求在系統(tǒng)里到底怎么流動(dòng)：從看圖推理到帶圖循環(huán)驗(yàn)證

SWE-Vision 像一個(gè)會(huì)看圖的數(shù)據(jù)科學(xué)家，其完整工作流如下：

1. 用戶給問(wèn)題 + 圖片

2. 模型先思考：這題能不能直接答？需不需要計(jì)算 / 驗(yàn)證？

3. 需要就調(diào)用 execute_code：在 Notebook 里用 PIL / NumPy /matplotlib 等做分析

4. 代碼輸出（數(shù)值 / 報(bào)錯(cuò) / 可視化圖）回流給模型

5. 模型繼續(xù)迭代，直到調(diào)用 finish 給最終答案

它有幾個(gè)關(guān)鍵設(shè)計(jì)：

• 有狀態(tài)的執(zhí)行環(huán)境：變量、導(dǎo)入、圖片加載都能跨多次調(diào)用保留
• Docker 沙箱：確?？煽匕踩h(huán)境 + 復(fù)現(xiàn)性；
• Image-in / Image-out：意味著模型不僅能讀取輸入圖像，還能將自己生成的可視化結(jié)果回傳給自身進(jìn)行驗(yàn)證 —— 這是實(shí)現(xiàn)自我糾錯(cuò)的關(guān)鍵；
• OpenAI function calling 標(biāo)準(zhǔn)接口：保證了與主流模型的開(kāi)箱即用兼容性。

這套設(shè)計(jì)的價(jià)值在于：允許模型像一個(gè)真正的科學(xué)家一樣，先做實(shí)驗(yàn)再下結(jié)論。

04｜為什么 stateful notebook 比一次性 code executor 更關(guān)鍵

很多人第一次看 SWE-Vision 會(huì)覺(jué)得，它不過(guò)是在 VLM 外面加了個(gè) Python 工具。真正的差別其實(shí)在于 stateful。在 SWE-Vision 中內(nèi)核狀態(tài)會(huì)在多次調(diào)用間保留；這意味著模型可以像人類分析師那樣分步工作：第一輪先讀圖、檢查尺寸；第二輪裁剪局部、看邊緣；第三輪統(tǒng)計(jì)顏色或測(cè)距離；第四輪畫輔助線做確認(rèn)；最后再生成答案。

如果代碼執(zhí)行是無(wú)狀態(tài)的，這種多步分析會(huì)非常笨重：每一步都要重新導(dǎo)入庫(kù)、重載圖片、重建變量，模型也更難維護(hù)中間假設(shè)。SWE-Vision 通過(guò)持久化 kernel，把 “多輪工具調(diào)用” 變成了 “同一個(gè) notebook 會(huì)話里的連續(xù)實(shí)驗(yàn)”。從工程實(shí)現(xiàn)上看，這也是它為什么能處理圖表測(cè)量、空間關(guān)系和復(fù)雜多步視覺(jué)任務(wù)，而不只是做一次性的 OCR 或檢測(cè)。

05｜SWE-Vision 的關(guān)鍵在于「能驗(yàn)證自己的視覺(jué)判斷」

在 SWE-Vision「觀察科學(xué)圖表、總結(jié)規(guī)律」的案例中，我們看到了一種截然不同的行為模式。如下圖所示，這是科研場(chǎng)景中常見(jiàn)的圖表分析任務(wù)：我們要求模型判斷，在 Quarters = 15 時(shí)，哪一張子圖中紅色虛線與黑色實(shí)線之間的差距最大。

SWE-Vision 智能體給出了一套極其嚴(yán)謹(jǐn)且可解釋的解法。首先，它排除了不存在紅色虛線的子圖（d）；隨后，對(duì)每一張候選子圖在 Quarters = 15 處精確繪制輔助線，定位紅線與黑線的交點(diǎn)；接著，通過(guò)可執(zhí)行代碼精確計(jì)算兩條曲線在該位置的數(shù)值差距；最終基于計(jì)算結(jié)果給出正確答案。

這種 “先結(jié)構(gòu)化分析、再程序化測(cè)量、最后數(shù)值驗(yàn)證” 的思維與行動(dòng)閉環(huán)，與傳統(tǒng)視覺(jué)語(yǔ)言模型依賴直覺(jué)式 “瞪眼觀察” 直接給出答案的方式形成鮮明對(duì)比。它不僅顯著提升了結(jié)果的可靠性與可解釋性，也展示出更高的能力上限與更強(qiáng)的泛化潛力。

06｜為什么極簡(jiǎn)設(shè)計(jì)反而更強(qiáng)

SWE-Vision 的一個(gè)重要結(jié)論是：對(duì)視覺(jué)任務(wù)而言，加入通用代碼工具，是提升前沿多模態(tài)模型視覺(jué)能力的一個(gè)有效 test-time scaling 方向

它之所以有效，恰恰在于其極簡(jiǎn)：

• 工具數(shù)量少，決策邊界清晰；
• 工具語(yǔ)義與模型已有能力高度一致；
• 支持多輪迭代和狀態(tài)積累；
• 中間結(jié)果可被再次觀察，而不是一次性返回文本；
• 不綁定某個(gè)特定 benchmark 的專用手工策略。

這與很多 “為了某類視覺(jué)任務(wù)單獨(dú)發(fā)明一套工具接口” 的方法不同。這些方法往往在某些窄任務(wù)上能提升，但泛化性不足；而 SWE-Vision 的目標(biāo)，是提供一個(gè)盡可能通用的視覺(jué)增強(qiáng)框架，讓模型自己決定何時(shí)調(diào)用代碼、如何組織分析步驟。

07｜五大基準(zhǔn)全線提升：更加通用的 “視覺(jué)能力增強(qiáng)器”

SWE-Vision 在五個(gè)覆蓋面很廣的視覺(jué)基準(zhǔn)上進(jìn)行了評(píng)測(cè)（基礎(chǔ)感知、圖表、數(shù)學(xué)、空間、綜合多步推理），核心發(fā)現(xiàn)高度一致：引入代碼執(zhí)行能力，能系統(tǒng)性地抬升前沿模型的視覺(jué)表現(xiàn)上限。

在對(duì)比實(shí)驗(yàn)中（同一模型 vs SWE-Vision），SWE-Vision 對(duì)兩個(gè)前沿的視覺(jué)語(yǔ)言模型（GPT-5.2，Seed-2.0）都帶來(lái)顯著提升：

“反直覺(jué)” 的一點(diǎn)是：

提升幅度最大的，往往不是最復(fù)雜的高階推理任務(wù)，而是最基礎(chǔ)的感知和精確處理能力—— 例如 BabyVision 中的計(jì)數(shù)、顏色識(shí)別和空間關(guān)系判斷。這類任務(wù)人類靠直覺(jué)加簡(jiǎn)單工具就能穩(wěn)定完成，而模型僅憑 "語(yǔ)言化視覺(jué)" 則極易忽略細(xì)節(jié)、數(shù)錯(cuò)個(gè)數(shù)、缺乏驗(yàn)證手段。

SWE-Vision 的結(jié)果也給我們揭示了另一種可能：

對(duì)于視覺(jué)來(lái)說(shuō)，測(cè)試時(shí)擴(kuò)展（test-time scaling，TTS）不一定只能靠 “多想幾段文字”，也可以靠 “多寫幾行代碼” 來(lái)看得更精細(xì)。

08｜未來(lái)的發(fā)展方向：讓 “代碼增強(qiáng)視覺(jué)” 變成視覺(jué)智能體的原生能力

與用于訓(xùn)練多模態(tài) LLMs 的傳統(tǒng)數(shù)據(jù)（基本上是問(wèn)題，圖片，答案三元組）不同，訓(xùn)練視覺(jué)智能體模型需要多模態(tài)交錯(cuò)的智能體軌跡。它還需要一個(gè)交互式環(huán)境來(lái)支持強(qiáng)化學(xué)習(xí)、工具使用和評(píng)估，使模型不僅能學(xué)習(xí)回答問(wèn)題，還能學(xué)習(xí)感知、行動(dòng)和反思，要徹底釋放 “工具增強(qiáng)視覺(jué)” 的潛力，模型需要更多深度交織的視覺(jué) - 編程 SFT/RL 數(shù)據(jù)與環(huán)境，來(lái)學(xué)會(huì)感知、行動(dòng)和反思。

具體而言，下一步的關(guān)鍵方向包括：

• 判斷時(shí)機(jī)：學(xué)會(huì)識(shí)別何時(shí)視覺(jué)推理需要代碼輔助，何時(shí)可以直接回答
• 中間驗(yàn)證：在多步推理過(guò)程中主動(dòng)檢驗(yàn)中間結(jié)果的正確性
• 失敗恢復(fù)：在代碼方案無(wú)效時(shí)及時(shí)跳出，切換到替代策略
• 原生融合：讓 "觀察" 與 "計(jì)算" 不再是兩個(gè)獨(dú)立步驟，而是深度融合，一體兩面

SWE-Vision 的開(kāi)源代碼已在 GitHub 發(fā)布。編程輔助的精確視覺(jué)理解是一個(gè)值得社區(qū)共同探索的方向 —— 五百行代碼的極簡(jiǎn)框架，也許是這段旅程一個(gè)不錯(cuò)的起點(diǎn)。