本文作者團(tuán)隊(duì)來(lái)自阿里巴巴集團(tuán)，共同第一作者為深度學(xué)習(xí)研究員劉錦龍和何旺貴，通訊作者為姜浩。

用強(qiáng)化學(xué)習(xí)（RL）優(yōu)化文生圖模型的 prompt following 能力，是一條被廣泛驗(yàn)證的路徑 —— 讓模型根據(jù) prompt 用不同隨機(jī)種子生成多張圖片，通過(guò) reward model 計(jì)算 reward，再利用相關(guān) RL 算法優(yōu)化模型。

這里面最核心的問(wèn)題在于：reward 信號(hào)從哪來(lái)？

傳統(tǒng)的對(duì)齊指標(biāo)如 CLIP Score 粒度過(guò)粗，無(wú)法捕捉屬性綁定、空間關(guān)系、計(jì)數(shù)等復(fù)雜語(yǔ)義。當(dāng)前一些開(kāi)源的 reward 模型（PickScore、ImageReward、HPS v2 等）受限于模型規(guī)模和有限的標(biāo)注數(shù)據(jù)，難以為最前沿的工業(yè)級(jí)的文生圖模型提供有效反饋信號(hào)。而訓(xùn)練一個(gè)高質(zhì)量的 reward 模型往往代價(jià)不低 —— 需要耗費(fèi)大量人力和成本進(jìn)行標(biāo)注和訓(xùn)練。

另一方面，開(kāi)源社區(qū)的多模態(tài)大模型（VLM）持續(xù)發(fā)展，這些模型在預(yù)訓(xùn)練中見(jiàn)過(guò)海量圖文數(shù)據(jù)，本身就具備豐富的圖文對(duì)齊知識(shí)，是天然的圖文一致性 reward 信號(hào)來(lái)源。問(wèn)題在于：如何把這些知識(shí)從 VLM 中高效地提取出來(lái)作為 reward？

為此，來(lái)自阿里巴巴的研究團(tuán)隊(duì)提出了PromptEcho—— 一種無(wú)需任何標(biāo)注、無(wú)需訓(xùn)練 reward 模型，僅通過(guò)凍結(jié) VLM 的一次前向推理就能獲得高質(zhì)量 reward 的方法。

• 論文：https://arxiv.org/abs/2604.12652
• 開(kāi)源代碼 & 模型權(quán)重：https://github.com/roooobotx/prompt_echo

核心方法：「PromptEcho」

一個(gè)直覺(jué)：如果圖畫(huà)對(duì)了，VLM 就能「復(fù)述」出 prompt

想象一下：你根據(jù) prompt 畫(huà)了一幅畫(huà)，然后把畫(huà)給一位朋友看，然后問(wèn)他「請(qǐng)描述這幅畫(huà)」。如果畫(huà)面忠實(shí)地描繪了「一只紅色的貓站在藍(lán)色的桌子上」，他大概率能準(zhǔn)確復(fù)述出這些內(nèi)容。VLM 也是一樣 —— 如果生成圖像忠實(shí)遵循了 prompt，VLM 在看到圖像后就能以很高的概率（似然）逐 token 復(fù)述出原始 prompt。或者說(shuō)把 prompt 的內(nèi)容「回響」（Echo）了回來(lái)，而這個(gè)復(fù)述的對(duì)數(shù)似然就是我們要找的 reward。

反過(guò)來(lái)，如果畫(huà)面中貓的顏色搞錯(cuò)了，或者桌子不見(jiàn)了，VLM 復(fù)述出原始 prompt 的概率就會(huì)顯著下降，reward 隨之降低。

圖 1：PromptEcho 流程。給定生成圖像和引導(dǎo) query，凍結(jié) VLM 在 teacher-forcing 模式下計(jì)算原始 prompt 的 token 級(jí)交叉熵?fù)p失，取負(fù)值作為 reward。

具體而言，PromptEcho 有三個(gè)輸入：

然后，將圖像和 query 輸入凍結(jié)的 VLM，在teacher-forcing模式下（即不讓模型自由生成，而是強(qiáng)制輸入 prompt 的每個(gè) token），計(jì)算 VLM 對(duì)原始 prompt 中每個(gè) token 的預(yù)測(cè)概率。最終的 reward 就是：

一句話(huà)總結(jié)：reward = VLM 看到圖像后，能多大概率「復(fù)述」出原始 prompt。

這個(gè) reward 與 VLM 預(yù)訓(xùn)練的損失函數(shù)完全一致，只是優(yōu)化對(duì)象從 VLM 的模型權(quán)重變成了文生圖模型生成的圖片。這種一致性正是 PromptEcho 高效的原因，它復(fù)用了 VLM 在預(yù)訓(xùn)練中習(xí)得的圖文對(duì)齊知識(shí)。

為什么不直接讓 VLM 打分？

一個(gè)自然的問(wèn)題是：既然用的是凍結(jié) VLM，為什么不直接輸入 prompt 和圖片讓 VLM 推理圖文一致性評(píng)分做 reward？為了回答這個(gè)問(wèn)題，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)對(duì)比方法「InferScore」—— 使用同一個(gè)凍結(jié) VLM，但讓它以自回歸方式生成對(duì)圖文一致性的評(píng)分，作為 reward 信號(hào)。兩者的區(qū)別在于：

• InferScore：讓 VLM 自回歸生成離散評(píng)分 → 受幻覺(jué)和采樣隨機(jī)性影響，reward 信號(hào)不穩(wěn)定；更關(guān)鍵的是，受限于離散打分機(jī)制，對(duì)于當(dāng)前最先進(jìn)的文生圖模型，VLM 經(jīng)常無(wú)法區(qū)分同一 prompt 下不同種子生成的多張圖片在 prompt following 程度上的細(xì)微差異 —— 很多時(shí)候?qū)λ袌D片都給出相同分?jǐn)?shù)，導(dǎo)致 reward 信號(hào)幾乎失效
• PromptEcho：通過(guò)預(yù)訓(xùn)練損失函數(shù)計(jì)算連續(xù)的對(duì)數(shù)似然值 → 確定性、無(wú)采樣噪聲，天然具備細(xì)粒度區(qū)分能力

后續(xù)實(shí)驗(yàn)將直接驗(yàn)證這一點(diǎn) —— 同樣基于 Qwen3-VL-32B，PromptEcho 全面優(yōu)于 InferScore。

實(shí)驗(yàn)

PromptEcho 在兩個(gè)當(dāng)前最前沿的開(kāi)源文生圖模型（Z-Image 和 QwenImage-2512）上進(jìn)行了實(shí)驗(yàn)，使用 Qwen3-VL-32B 作為 reward VLM。

訓(xùn)練數(shù)據(jù)構(gòu)建。 研究團(tuán)隊(duì)收集了約 10 萬(wàn)張高質(zhì)量圖片，使用 Qwen3-VL-32B 配合指令 "Describe this image in detail" 為每張圖片生成約 200–400 詞的詳細(xì)描述（dense caption），涵蓋對(duì)象、屬性、空間關(guān)系、顏色、紋理等多維信息。這些 caption 構(gòu)成了 RL 訓(xùn)練的 prompt 集合。

DenseAlignBench ：密集描述場(chǎng)景下對(duì)前沿模型的大幅改進(jìn)

研究團(tuán)隊(duì)從同源數(shù)據(jù)中劃出 2000 條不在訓(xùn)練集中的 caption，構(gòu)建了DenseAlignBench測(cè)試集。該測(cè)試集與訓(xùn)練數(shù)據(jù)同源同分布，用于直接驗(yàn)證 PromptEcho 的有效性。使用 Gemini-3-flash-preview 進(jìn)行成對(duì)指令遵循維度的 GSB 評(píng)估：

在密集描述的場(chǎng)景下，PromptEcho 取得了對(duì)前沿模型的大幅改進(jìn)。

公開(kāi) Benchmark：指令遵循能力提升的泛化測(cè)試

需要強(qiáng)調(diào)的是，以下公開(kāi) benchmark 的測(cè)試 prompt 與訓(xùn)練數(shù)據(jù)在分布上存在顯著差異 PromptEcho 沒(méi)有針對(duì)任何 benchmark 做針對(duì)性訓(xùn)練，以下結(jié)果完全反映指令遵循能力的泛化提升：

PromptEcho 在所有公開(kāi) benchmark 上均取得了一致的提升，體現(xiàn)了其 reward 信號(hào)源自 VLM 海量預(yù)訓(xùn)練數(shù)據(jù)中的圖文對(duì)齊知識(shí)，具備跨分布、跨架構(gòu)的泛化能力。

Reward VLM 越大越好：Scaling 有效

為了驗(yàn)證 VLM 模型本身的質(zhì)量對(duì) PromptEcho 效果的影響，研究團(tuán)隊(duì)在 Z-Image 上分別使用 Qwen3-VL-32B 和 Qwen3-VL-8B 作為 reward VLM 進(jìn)行了對(duì)比實(shí)驗(yàn)：

32B 在所有關(guān)鍵指標(biāo)上領(lǐng)先 8B，表明 reward 質(zhì)量隨 VLM 規(guī)模增長(zhǎng)。這意味著隨著開(kāi)源 VLM 持續(xù)進(jìn)化，PromptEcho 的效果上限也會(huì)不斷提高。

PromptEcho vs InferScore

同樣使用 Qwen3-VL-32B，PromptEcho 和 InferScore 的對(duì)比：

InferScore 在 DenseAlignBench 上甚至不如 baseline。這個(gè)驗(yàn)證了前面的結(jié)論：通過(guò)預(yù)訓(xùn)練損失函數(shù)計(jì)算連續(xù)對(duì)數(shù)似然值，遠(yuǎn)比讓 VLM 自回歸生成離散評(píng)分更可靠。

文字渲染：通用性驗(yàn)證

PromptEcho 作為通用 Reward 范式

PromptEcho 的核心機(jī)制（VLM 交叉熵 reward）并不局限于文生圖模型的指令遵循優(yōu)化。為了驗(yàn)證其通用性，研究團(tuán)隊(duì)將其遷移到了一個(gè)截然不同的任務(wù)：電商海報(bào)文字渲染。

遷移過(guò)程中，PromptEcho 的核心計(jì)算完全不變，僅需適配兩個(gè)輸入：

• 引導(dǎo) query：從通用描述（「Describe this image in detail」）改為結(jié)構(gòu)化 OCR 識(shí)別 prompt—— 要求 VLM 識(shí)別圖中所有設(shè)計(jì) / 營(yíng)銷(xiāo)文字，并按語(yǔ)義角色分類(lèi)為主標(biāo)題、副標(biāo)題、賣(mài)點(diǎn)文案、其他文字
• ：從自然語(yǔ)言 caption 改為 JSON 格式的結(jié)構(gòu)化文字標(biāo)簽（直接從編輯指令中提�。�

經(jīng)過(guò) PromptEcho 強(qiáng)化學(xué)習(xí)之后，在 5000 條測(cè)試樣本上，海報(bào)生成模型全圖文字正確率從68% 提升到 75%（+7pp）。這說(shuō)明 PromptEcho 是一種通用的 reward 構(gòu)建范式—— 只需調(diào)整引導(dǎo) query 和標(biāo)簽格式，同一套機(jī)制就能適配不同的圖像生成模型和優(yōu)化目標(biāo)，無(wú)需為每個(gè)新任務(wù)重新訓(xùn)練專(zhuān)用 reward 模型。

Case 展示

下圖展示了一些實(shí)際的 case： QwenImage-2512（Baseline）與經(jīng)過(guò) PromptEcho 訓(xùn)練后的模型在同一 prompt 下的生成對(duì)比。QwenImage-2512 作為當(dāng)前最先進(jìn)的開(kāi)源文生圖模型，整體指令遵循能力已經(jīng)不錯(cuò)。可以看到，經(jīng)過(guò) PromptEcho 訓(xùn)練后，模型在畫(huà)面細(xì)節(jié)、空間關(guān)系、對(duì)象計(jì)數(shù)等方面有了進(jìn)一步的顯著改進(jìn)。

圖 2：QwenImage-2512 Baseline vs PromptEcho 生成結(jié)果對(duì)比。

總結(jié)與展望

PromptEcho 揭示了一個(gè)簡(jiǎn)潔而深刻的洞察：VLM 的預(yù)訓(xùn)練損失函數(shù)本身就是一個(gè)高質(zhì)量的文圖對(duì)齊 reward 信號(hào)。 不需要標(biāo)注數(shù)據(jù)，不需要訓(xùn)練 reward 模型，直接利用開(kāi)源 VLM 的一次前向推理，就能提供高質(zhì)量的指令遵循 reward 信號(hào)。

這開(kāi)辟了一條全新的 reward 構(gòu)建路徑 —— 未來(lái)隨著開(kāi)源社區(qū) VLM 持續(xù)改進(jìn)，PromptEcho 將獲得更高質(zhì)量的 reward 信號(hào)，帶來(lái)更好的優(yōu)化效果。

為了方便社區(qū)的進(jìn)一步研究，研究團(tuán)隊(duì)已開(kāi)源代碼、模型權(quán)重和 DenseAlignBench 測(cè)試集，詳見(jiàn)：https://github.com/roooobotx/prompt_echo。