AutoFigure團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

你是否也經(jīng)歷過(guò)這樣的絕望：

論文截稿在即，面對(duì)大段的文字你抓耳撓腮，PPT畫(huà)框畫(huà)到手抽筋；

嘗試用Nano banana生個(gè)圖，顏值拉滿但邏輯全錯(cuò)，甚至還自帶“克蘇魯”風(fēng)格的模糊字符；

^好不容易調(diào)好了Prompt，結(jié)果想改一個(gè)小圖標(biāo)，卻發(fā)現(xiàn)AI給你的只是一張無(wú)從下手的“死圖”。

這種“審美與邏輯不可兼得、生成與編輯徹底斷層”的痛點(diǎn)，終于要被終結(jié)了。

現(xiàn)在，你可以把大段的文字材料直接塞給AutoFigure，西湖大學(xué)團(tuán)隊(duì)推出的全新智能體繪圖框架。

它能夠一鍵讀懂上萬(wàn)字的論文、書(shū)籍、博客，自動(dòng)化地吐出高質(zhì)量的學(xué)術(shù)插圖為你所用。

更重磅的是，其優(yōu)化版本AutoFigure-Edit實(shí)現(xiàn)了從“像素”到“矢量”的跨越：生成的插圖不再是死板的圖片png，而是細(xì)節(jié)可編輯的SVG文件（現(xiàn)在你可以在PPT里直接編輯了）。

目前，該工作已入選ICLR 2026。代碼、數(shù)據(jù)集、Web交互界面全部開(kāi)源，并同步上線了可一鍵使用的在線網(wǎng)站。

背景：為什么AI以前畫(huà)不好科學(xué)插圖？

在學(xué)術(shù)繪圖界，一直存在兩個(gè)極端：

1. End-to-end派（如GPT-Image）：審美在線，但邏輯經(jīng)?！氨牡稀?，文字更是重災(zāi)區(qū)，充滿了莫名其妙的幻覺(jué)字符。

2. Text-to-code派（如TikZ/SVG生成）：邏輯倒是嚴(yán)密，但視覺(jué)效果往往丑得像上個(gè)世紀(jì)的教科書(shū)，缺乏現(xiàn)代論文的高級(jí)感。

AutoFigure提出了“推理式渲染”（Reasoned Rendering）范式：將“腦子（邏輯布局）”和“手（美化渲染）”徹底分開(kāi)。

技術(shù)方案：模擬大牛設(shè)計(jì)師的“三步走”策略

AutoFigure的核心是一個(gè)分工明確的多智能體協(xié)作系統(tǒng)。

△AutoFigure架構(gòu)圖（由AutoFigure生成，未經(jīng)修改）

第一步：Conceptual Grounding（構(gòu)建邏輯骨架）

AI讀入你長(zhǎng)達(dá)萬(wàn)詞的文字材料，自動(dòng)提取實(shí)體和關(guān)系，生成一個(gè)粗糙但結(jié)構(gòu)正確的布局（SVG/HTML代碼）

第二步：Critique-and-Refine（Agent閉環(huán)迭代）

模擬人類設(shè)計(jì)師與甲方的反復(fù)拉鋸，對(duì)圖片布局進(jìn)行反復(fù)修改：

• AI Designer負(fù)責(zé)根據(jù)反饋修改布局。
• AI Critic則負(fù)責(zé)挑毛病（例如“這里箭頭重疊了”、“布局重心不穩(wěn)”），直到得到滿意的繪圖質(zhì)量。

第三步：Aesthetic Rendering & “Erase-and-Correct”

在最終美化階段，AutoFigure首先將布局渲染為一張精美的圖片。隨后，為了解決現(xiàn)在AIGC生圖文字變形的問(wèn)題，保證圖片中文字的正確性，AutoFigure引入了專門的“擦除-修正”策略：用OCR識(shí)別模糊字符，把它們“摳掉”，再重新覆蓋上清晰的矢量文本。

AutoFigure-Edit：把AI生成圖裝進(jìn)PPT

△AutoFigure-Edit流程圖（由AutoFigure-Edit生成）

在最新版本AutoFigure-Edit中，西湖大學(xué)團(tuán)隊(duì)更進(jìn)一步，引入了SAM3自動(dòng)摳圖技術(shù)，包括：

• 利用Meta最新的SAM3技術(shù)識(shí)別圖中的Icon。
• 配合RMBG-2.0自動(dòng)去除背景。
• 矢量重組：將這些干凈的圖標(biāo)重新塞進(jìn)生成的SVG模板中。

最終，你得到的是一個(gè)可以在瀏覽器內(nèi)置編輯器里直接拖拽、改字、換色的動(dòng)態(tài)畫(huà)布，能夠按照你的想法對(duì)圖片細(xì)節(jié)進(jìn)行更改。

△基于AutoFigure-Edit的在線畫(huà)布

△AutoFigure-Edit渲染過(guò)程示例圖

人類實(shí)驗(yàn)結(jié)果：66.7%的專家覺(jué)得它達(dá)到了Camera-ready標(biāo)準(zhǔn)！

為了驗(yàn)證AutoFigure的效果，團(tuán)隊(duì)構(gòu)建了全球首個(gè)大規(guī)?？茖W(xué)插圖基準(zhǔn)——FigureBench。

規(guī)模宏大：涵蓋3,300高質(zhì)量文本-圖片對(duì)，跨越論文、綜述、技術(shù)博客、教科書(shū)等四種科學(xué)文本。

△FigureBench數(shù)據(jù)集介紹

降維打擊：在邏輯清晰度和準(zhǔn)確度上，AutoFigure的優(yōu)勢(shì)極大，在教科書(shū)類任務(wù)中勝率甚至高達(dá)97.5%。

△在FigureBench上的實(shí)驗(yàn)結(jié)果

更具說(shuō)服力的是人類專家盲測(cè)：10位論文一作對(duì)生成的圖片進(jìn)行評(píng)審，結(jié)果顯示66.7%的專家認(rèn)為AutoFigure生成的圖已經(jīng)達(dá)到了Camera-ready（出版級(jí)）標(biāo)準(zhǔn)。

△人類專家評(píng)價(jià)結(jié)果

接下來(lái)，我們看幾個(gè)case，直觀感受一下。

由AutoFigure-Edit產(chǎn)生的方法圖：

由AutoFigure-Edit產(chǎn)生的方法圖：

由AutoFigure-Edit產(chǎn)生的方法圖：

方法圖，左側(cè)為第一階段PNG形式，右側(cè)為最終轉(zhuǎn)換得到的SVG文件：

方法圖，左側(cè)為第一階段PNG形式，右側(cè)為最終轉(zhuǎn)換得到的SVG文件：

由AutoFigure-Edit產(chǎn)生的生物機(jī)制圖：

由AutoFigure-Edit產(chǎn)生的材料機(jī)制圖：

由AutoFigure產(chǎn)生的綜述圖：

由AutoFigure產(chǎn)生的教科書(shū)圖：

項(xiàng)目?jī)r(jià)值：AI Scientist的“最后一塊拼圖”

插圖不僅是視覺(jué)補(bǔ)充，更是復(fù)雜科學(xué)概念的橋梁。AutoFigure的出現(xiàn)，意味著：

1. 賦能AI科學(xué)家：這是AI實(shí)現(xiàn)全流程自主研究（從文本到繪圖）的關(guān)鍵一步。

2. 不只是架構(gòu)圖：無(wú)論是流程圖、算法流程，還是復(fù)雜的教科書(shū)示意圖，它都能手到擒來(lái)。

本項(xiàng)目提供了可一鍵使用的在線網(wǎng)站。建議各位研究者先收藏，下次ddl前，起碼畫(huà)圖應(yīng)該不會(huì)那么倉(cāng)促了。

GitHub：

https://github.com/ResearAI/AutoFigure-Edit
論文：

https://arxiv.org/abs/2602.03828v1
HuggingFace：

https://huggingface.co/datasets/WestlakeNLP/FigureBench
網(wǎng)站：

https://deepscientist.cc
彩蛋：

所有學(xué)者均可免費(fèi)體驗(yàn)demo，有期刊投稿需求的朋友不用擔(dān)心，Nature風(fēng)格、Science風(fēng)格等多樣風(fēng)格一鍵生成功能也將很快上線。

想要體驗(yàn)這款“繪圖神器”嗎？點(diǎn)擊上方鏈接即可開(kāi)始你的創(chuàng)作！

本項(xiàng)目由西湖大學(xué)張?jiān)缹?shí)驗(yàn)室全面開(kāi)源。西湖大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室（WestlakeNLP）成立于2018年9月，由張?jiān)澜淌陬I(lǐng)導(dǎo)。張?jiān)澜淌诋厴I(yè)于牛津大學(xué)，獲博士學(xué)位，現(xiàn)任西湖大學(xué)工程學(xué)院副院長(zhǎng)。他著有劍橋大學(xué)出版社出版的《自然語(yǔ)言處理》一書(shū)，并擔(dān)任過(guò)EMNLP 2022等多個(gè)頂級(jí)NLP會(huì)議的程序委員會(huì)主席。

本項(xiàng)目核心團(tuán)隊(duì)成員包括翁詣軒*、林圳、朱敏郡、謝秋婕、盧攀忠、孫啟耀等人。實(shí)驗(yàn)室過(guò)往成果包括Cycle Researcher、DeepReview、DeepScientist（兩個(gè)月刷新三個(gè)前沿任務(wù)SoTA的人工智能科學(xué)家項(xiàng)目）等工作。歡迎感興趣的同學(xué)加入到自動(dòng)化科學(xué)發(fā)現(xiàn)研究，有意向申請(qǐng)長(zhǎng)期實(shí)習(xí)、博士生、研究助理者可聯(lián)系張?jiān)澜淌卩]箱（zhangyue@westlake.edu.cn）。