新智元報道

編輯：LRST

【新智元導(dǎo)讀】華東師范大學(xué)Planing Lab提出APEX框架，通過自然語言指令實現(xiàn)學(xué)術(shù)海報的局部可控編輯，并引入「審查—調(diào)整」機(jī)制提升編輯可靠性。

學(xué)術(shù)海報是科研成果展示的重要形式，但在有限版面內(nèi)完成高密度內(nèi)容組織與美觀排版，往往需要研究人員投入大量時間與精力。

近年來，Paper2Poster、PosterGen 等工作嘗試通過多智能體框架自動生成學(xué)術(shù)海報初稿，但生成結(jié)果普遍存在排版僵硬、風(fēng)格單一的問題，與人工精修海報仍有明顯差距。

不僅如此，這些方法缺乏在初稿基礎(chǔ)上進(jìn)行交互式修改的能力，當(dāng)用戶不滿意時，往往仍需大量人工手動修改。

針對這一痛點(diǎn)，華東師范大學(xué)Planing Lab提出APEX（Academic Poster Editing Agentic Expert），這是首個面向交互式學(xué)術(shù)海報編輯的Agent框架。

APEX能夠根據(jù)用戶的自然語言指令，對現(xiàn)有學(xué)術(shù)海報進(jìn)行局部、可控的自動修改，真正實現(xiàn)「一句話編輯學(xué)術(shù)海報」。

為應(yīng)對學(xué)術(shù)海報中圖文元素密集、結(jié)構(gòu)復(fù)雜的特點(diǎn)，APEX通過操縱預(yù)定義的一套涵蓋「單元素操作」到「組操作」的多層級API來增量式編輯學(xué)術(shù)海報。

此外，其引入「審查—調(diào)整（Review-and-Adjustment）」機(jī)制，在首次編輯完成后對比編輯前后的視覺與語義變化，檢查是否存在與指令不一致或不必要的修改，并進(jìn)行二次修正，從而顯著提升編輯結(jié)果的可靠性。

為模擬真實編輯場景并系統(tǒng)評估學(xué)術(shù)海報自動編輯能力，團(tuán)隊通過參考導(dǎo)向與無參考優(yōu)化兩種方式構(gòu)建了首個學(xué)術(shù)海報編輯基準(zhǔn)測試APEX-Bench，該基準(zhǔn)覆蓋 59 篇 ICLR、ICML、NeurIPS 頂級會議論文，對應(yīng)514條具有4種難度梯度的編輯指令，涵蓋文本內(nèi)容修改、風(fēng)格調(diào)整、圖像編輯與布局重構(gòu)等多種操作類型。

論文鏈接：https://arxiv.org/abs/2601.04794

代碼倉庫：https://github.com/Breesiu/APEX

實驗結(jié)果表明，綜合指令遵循度、修改范圍控制度以及視覺一致性這三種關(guān)鍵指標(biāo)，APEX 顯著優(yōu)于「重繪式」方法和通用PPT Agent方法，能夠在嚴(yán)格執(zhí)行用戶指令的同時，最大限度避免對無關(guān)區(qū)域的誤改。

為什么現(xiàn)在的AI改不好海報？

學(xué)術(shù)海報是科研成果展示的核心窗口，其要求在有限的空間內(nèi)進(jìn)行高密度的論文信息排版。

近年來的大模型自動化工具（Paper2Poster，PosterGen等）雖然能生成學(xué)術(shù)海報，但不能在海報初稿的基礎(chǔ)上根據(jù)用戶的指令進(jìn)行二次修改。而圍繞學(xué)術(shù)海報編輯的現(xiàn)有解決方案也各有不足：

重繪式方法（Regeneration-based）存在「嚴(yán)重幻覺」問題

「重繪」式方法指的是將原海報、相關(guān)論文和修改指令一起輸入給多模態(tài)大模型（如Gemini3-pro, Gemini-3-Pro-Image-Preview (Banana pro)），讓模型重新生成一張海報圖像或XML文件（pptx）。

其中使用Banana pro重新生成海報這種時下熱門的方法存在嚴(yán)重的視覺幻覺，端到端的圖像生成較不穩(wěn)定，常常會亂改海報中已有元素。特別是在處理學(xué)術(shù)圖表時，模型容易模糊、扭曲圖表中的內(nèi)容，導(dǎo)致數(shù)據(jù)不可讀甚至含義錯誤，且難以保證海報其余部分的忠實度。

Banana Pro的幻覺問題

而生成XML的方式也存在較嚴(yán)重幻覺問題，其很難在編輯過程中保留原始海報的所有內(nèi)容。

通用PPT Agent存在「領(lǐng)域水土不服」問題

通用的幻燈片編輯Agent雖然能操作pptx文件，但缺乏對學(xué)術(shù)論文結(jié)構(gòu)的深層理解，且難以處理海報中高密度的圖文排版。

APEX方法框架

為了解決上述問題，APEX執(zhí)行多層級的API序列來增量式編輯學(xué)術(shù)海報，并引入「審查-調(diào)整」機(jī)制調(diào)整初次編輯的結(jié)果，提高編輯的準(zhǔn)確度。

APEX學(xué)術(shù)海報編輯架構(gòu)圖

1. 語義解析與元素序列化

系統(tǒng)首先利用python-pptx庫將原始海報的pptx文件解析為結(jié)構(gòu)化的JSON數(shù)據(jù)，提取出所有元素的ID、位置和屬性，為精準(zhǔn)控制提供數(shù)據(jù)基礎(chǔ)。

2. 規(guī)劃與執(zhí)行（Planner-and-Execution）

• 論文理解工具：當(dāng)指令涉及內(nèi)容補(bǔ)充（如「插入消融實驗的表格」）時，Agent會調(diào)用論文理解工具從原論文PDF中提取真實數(shù)據(jù)，杜絕內(nèi)容造假。

• 多層級API設(shè)計：APEX沒有依賴不穩(wěn)定的代碼生成，而是預(yù)定義了一套涵蓋「單元素操作」到「組操作」的多層級API（如move_group移動章節(jié)，text_format_brush同時修改文本的多個屬性）。系統(tǒng)根據(jù)輸入的JSON數(shù)據(jù)、海報圖像、用戶指令以及所需的論文內(nèi)容，生成API序列來編輯學(xué)術(shù)海報對應(yīng)的pptx文件。

這是系統(tǒng)的「質(zhì)檢」部分。在初次編輯后，多模態(tài)Agent會對比編輯前后效果，不僅檢查系統(tǒng)是否進(jìn)行了冗余的編輯操作，還會核實海報中修改的部分是否與用戶的指令一致。

如果發(fā)現(xiàn)排版重疊或內(nèi)容錯誤，系統(tǒng)會自動生成額外的API序列進(jìn)行二次修正，極大緩解了初次編輯效果不佳的問題。

APEX-Bench

首個學(xué)術(shù)海報編輯基準(zhǔn)

APEX-Bench構(gòu)建流程

為了系統(tǒng)評估編輯能力，團(tuán)隊構(gòu)建了APEX-Bench，包含59篇頂級AI會議（ICLR, ICML, NeurIPS）論文對應(yīng)的514條編輯指令。

• 數(shù)據(jù)源與PosterGen：為模擬學(xué)術(shù)論文合成與編輯全流程自動化場景，數(shù)據(jù)集中的海報統(tǒng)一使用PosterGen這一兼具良好美學(xué)設(shè)計與內(nèi)容組織的自動學(xué)術(shù)海報生成框架合成。

• 構(gòu)建策略：采用「模型輔助，人工精修」。其中「模型輔助」的具體策略如下所示：

• 參考導(dǎo)向（Reference-guided）：大模型對比PosterGen生成的AI初稿與人類作者的終稿，根據(jù)差異生成編輯指令。

• 無參考優(yōu)化（Reference-free）：大模型從美學(xué)和內(nèi)容等角度出發(fā)，自主提出優(yōu)化建議。

• 多維分類：涵蓋了文本內(nèi)容修改、文本風(fēng)格調(diào)整、圖像調(diào)整、布局重構(gòu)等多種操作，并按難度分為四個等級，且包含了大量依賴論文上下文（Paper-related）的編輯指令。

評價指標(biāo)：為了全面自動化評估編輯質(zhì)量，團(tuán)隊采用了多模態(tài)大模型裁判（VLM-as-a-judge）進(jìn)行評估。評估維度如下：

指令遵循度（Instruction Fulfillment）：衡量系統(tǒng)是否準(zhǔn)確地執(zhí)行了用戶的具體要求。

修改范圍控制度（Modification Scope）：評估系統(tǒng)是否引入了不必要的、未請求的修改（即是否對無關(guān)區(qū)域產(chǎn)生非預(yù)期修改）。

視覺一致性（Visual Consistency）：在前兩個指標(biāo)得分較高的情況下，評估修改后的元素是否與原海報的整體設(shè)計（布局、風(fēng)格）保持和諧統(tǒng)一

實驗結(jié)果

各方法性能及成本比較

團(tuán)隊在APEX-Bench上進(jìn)行了廣泛評測。實驗對比了圖像生成（Direct Image Generation）、XML生成（XML Generation）、基于python腳本的直接編輯(Direct Script-based Editing)、通用PPT Agent的方法（PPTC、Talk-to-Your-Slides）以及我們提出的APEX方法。

結(jié)果顯示：在指令遵循度（I.F.）和視覺一致性（V.C.）上，APEX得分最高且大幅領(lǐng)先其他方法，說明其能較好地執(zhí)行用戶指令并保持編輯后海報的視覺一致性。此外，其在修改范圍控制度（M.S.）的良好表現(xiàn)可以說明，該方法有效避免了重繪式方法常見的幻覺問題，極少改變與用戶指令無關(guān)的元素。

總結(jié)

APEX通過多層級API和「審查-調(diào)整」機(jī)制，有效填補(bǔ)了學(xué)術(shù)海報自動編輯的領(lǐng)域空白，解決了學(xué)術(shù)海報編輯中「重繪導(dǎo)致幻覺」和「通用PPT Agent不懂學(xué)術(shù)海報的復(fù)雜結(jié)構(gòu)」的雙重難題，為科研人員提供了一個可靠的學(xué)術(shù)海報自動編輯助手。

參考資料：

https://arxiv.org/abs/2601.04794