解幾何題時，你是否會先畫一條輔助線來幫助思考？創(chuàng)作一幅畫時，你是否需要先理解光影和物理原理？

這種「理解」與「生成」的緊密協(xié)同，是人類智能的核心特征。近年來，AI社區(qū)致力于構建「統(tǒng)一多模態(tài)模型」，期望它們能像人一樣，在單個模型內(nèi)同時具備強大的視覺理解和內(nèi)容生成能力。

我們?nèi)绾沃澜y(tǒng)一模型的生成和理解能力有何協(xié)同作用？

過去多模態(tài)評測常把理解與生成分開測，或只看表層一致性，難以揭示兩者真正的交互與依賴。但很多真實任務恰恰要求“邊畫邊想、邊想邊畫”，體現(xiàn)出邏輯耦合。

論文標題： Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark 論文鏈接： https://arxiv.org/abs/2510.13759

為了解決這一問題，來自 S-Lab（南洋理工大學）、上海人工智能實驗室、中國科學技術大學和香港中文大學的研究者們推出了 Uni-MMMU ：

1.首個系統(tǒng)性評“理解?生成雙向增益”的基準：8 個推理中心任務，覆蓋幾何空間推理、STEM等強邏輯學科，分別檢驗“生成助理解”“理解助生成”。

2.過程+結果“雙通道打分”：既看最終答案，也嚴查中間視覺步驟（如每一步生成圖是否正確），并以可復現(xiàn)的程序化解析器/感知度量/模型打分綜合評估，精準可復現(xiàn)。

3.關鍵發(fā)現(xiàn)：當前“統(tǒng)一模型”整體理解顯著強于生成；“先生成中間態(tài)→再推理”比端到端更穩(wěn)，若給到 “正確中間態(tài)(oracle)”，成績還會顯著上升。

一、Uni-MMMU：一個“雙向奔赴”的協(xié)同基準

Uni-MMMU的設計理念是“雙向耦合” (bidirectionally coupled)。它涵蓋了科學、編碼、數(shù)學和謎題等8個以推理為中心的領域，系統(tǒng)地考察兩種核心協(xié)同路徑：

范式一：理解指導生成 (Und aids Gen)

在這類任務中，模型必須先“想明白”，才能“畫得對”。

科學（物理/化學/生物）： 模型需根據(jù)給定的初始狀態(tài)和科學原理（如“檸檬汁是酸性的”），推理出最終的物理或化學變化，并生成描繪該結果的圖像（如“紫色石蕊試紙浸入后變紅”）。

代碼渲染： 模型被給予原始的圖形渲染源代碼（SVG） ，它必須在不依賴外部工具的情況下，“讀懂”代碼邏輯（如形狀、顏色、位置），先用自然語言描述出場景，然后再精確地將代碼“渲染”成圖像 。

范式二：生成輔助理解 (Gen aids Und)

在這類任務中，模型必須“邊畫邊想”，利用生成的圖像來輔助自己找到答案。

幾何題： 這是對人類解題思路的直接模擬。模型需要先根據(jù)指令“畫出”正確的輔助線，生成一張新圖 ，然后再利用這張自己生成的圖來進行邏輯推理，最終解出答案 。

迷宮導航： 模型需要一步一步地走出迷宮 。每一步，它都必須交替生成（1）下一步的移動方向（文本）和（2）移動后迷宮的新狀態(tài)（圖像）。

滑塊Puzzle： 類似于迷宮，模型需要規(guī)劃出到達目標狀態(tài)的最短路徑，并交替輸出文本的移動指令和對應的拼圖視覺狀態(tài) 。

Jigsaw拼圖： 模型需要面對一塊缺失的拼圖和兩個候選補丁 。它必須先分別生成“用候選A補全”和“用候選B補全”的兩張完整圖像 ，然后再“看著”自己生成的這兩張圖，做出判斷和推理，選出正確答案 。

評價體系同樣講究：

• 所有任務的理解和生成部分均提供GT，同時評估中間模態(tài)和最終答案。

• 迷宮/滑塊設計代碼解析器將圖像解析為離散狀態(tài)，既算步級準確率也算整題準確率；

• 拼圖用 DreamSim 量化生成圖與GT的感知相似度；

• 幾何/科學/代碼引入VLM 多維度打分，并報告Cohen’s κ與人類專家評估的一致度，強調(diào)可靠性。

研究團隊使用 Uni-MMMU 對一系列開源閉源SOTA的統(tǒng)一模型（如 Bagel、nano-banana、GPT-4.1+GPT-image 等）和專用模型進行了全面評估 。

表中數(shù)據(jù)體現(xiàn)了開源與閉源模型之間的顯著差距，此外結果也揭示了當前領域的重要見解：

發(fā)現(xiàn)一：生成理解協(xié)同作用真實有效

實驗證明，這種「生成」與「理解」的協(xié)同是解決復雜問題的關鍵。分析顯示，即使模型生成的中間步驟并不完美，也比完全不生成（即端到端）的方案準確率更高 。而當提供完美的中間步驟（Oracle）時，模型性能會得到巨幅提升 ，如表4所示。

發(fā)現(xiàn)二：當前統(tǒng)一模型普遍「偏科」，生成是最大瓶頸

評估暴露出一個清晰的趨勢：當前統(tǒng)一模型嚴重偏向于「理解」能力，而「生成」能力是主要的瓶頸 。

模型的失敗點高度集中在：

1. 編輯一致性漂移

2. 指令遵循不嚴

3. 位置/拓撲偏差

例如，在代碼渲染任務中，Qwen-Image-Edit 會錯誤地將本應是文本描述的 SVG 代碼也“渲染”到圖像上 。在迷宮任務中，Bagel 則傾向于生成無法解析的“無意義符號” 。

總之，當前主流模型在實驗中暴露出生成能力“短板”、邏輯鏈條易斷、空間表達偏差等痛點，也為下一代通用模型的優(yōu)化指明了方向。未來，模型不再只是“看得懂”或“畫得出”，而是要真正具備“看中有畫、畫中有思”的協(xié)同智能。Uni-MMMU 的發(fā)布無疑是邁向這一目標的重要一步。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關于我“門”

將門是一家以專注于數(shù)智核心科技領域的新型創(chuàng)投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。

如果您是技術領域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈