這是一項(xiàng)由中國科學(xué)院大學(xué)、阿里巴巴高德地圖事業(yè)部、中國科學(xué)院自動化研究所以及清華大學(xué)、東南大學(xué)的研究團(tuán)隊(duì)共同完成的突破性研究。論文由吳美琪、朱家樹、馮曉坤、陳楚彬、朱晨等多位研究者撰寫，已發(fā)表在2025年10月的學(xué)術(shù)預(yù)印本平臺上，論文編號為arXiv:2510.14847v2。

一、為什么AI總是在想象力上失手

你有沒有試過給AI描述一個奇異的場景，比如"一只駱駝在沙漠里打包行李"或者"一只熊在草地上操控遙控器"？如果你試過，你可能會發(fā)現(xiàn)AI生成的視頻往往顯得生硬、不自然，甚至完全無法理解你的意思。這不是因?yàn)锳I不夠聰明，而是因?yàn)樗龅搅艘粋�根本性的問題：它從未見過這樣的場景。

現(xiàn)在的視頻生成模型在處理日常、真實(shí)的場景時表現(xiàn)得相當(dāng)不錯。你讓它生成一個"人在沙灘上走路"的視頻，它可能做得很好。但當(dāng)你要求它生成一些想象力十足的、超現(xiàn)實(shí)的場景時，效果就會急劇下降。這背后的原因很有意思——這些奇異場景涉及的概念之間距離很遠(yuǎn)，它們在真實(shí)世界中幾乎不會同時出現(xiàn)。

想象你在學(xué)習(xí)一門新語言。如果你學(xué)的是"蘋果"和"紅色"這樣經(jīng)常一起出現(xiàn)的詞匯，學(xué)起來很容易。但如果要你學(xué)"紫色的數(shù)學(xué)"這樣的組合，就會困難得多，因?yàn)檫@兩個概念在現(xiàn)實(shí)中幾乎沒有關(guān)聯(lián)。AI也是這樣。它的訓(xùn)練數(shù)據(jù)主要來自真實(shí)世界的視頻，而真實(shí)世界中，駱駝就是駱駝，它們走路、吃草，很少去"打包行李"。當(dāng)AI被要求生成這樣的場景時，它就陷入了困境。

二、ImagerySearch：讓AI學(xué)會做白日夢

阿里和中科院的研究團(tuán)隊(duì)提出了一個巧妙的解決方案，叫做ImagerySearch。這個方法的靈感來自一個有趣的心理學(xué)理論——人類在想象奇異場景時，會花更多的時間和精力來構(gòu)建心理意象。換句話說，當(dāng)你想象"一只熊操控遙控器"時，你的大腦會比想象"一個人走路"時更加努力地工作。

ImagerySearch就是按照這個原理來設(shè)計(jì)的。它包含兩個核心部分，像是兩個相互配合的工具。第一個工具叫做"語義距離感知的動態(tài)搜索空間"，簡單來說就是讓AI根據(jù)你描述的場景有多"奇異"來調(diào)整自己的工作方式。如果你描述的是一個很常見的場景，AI就可以快速生成；如果你描述的是一個非常奇異的場景，AI就會放慢腳步，花更多時間和計(jì)算資源來探索各種可能性。

這就像你在做一道菜。如果是炒青菜這樣的簡單菜肴，你可以快速完成。但如果要做一道從未見過的創(chuàng)意菜肴，你就需要更多時間來嘗試不同的配料和烹飪方法。AI也是這樣——對于常見的場景，它可以直接套用已知的模式；對于奇異的場景，它需要更多的"嘗試"。

第二個工具叫做"自適應(yīng)意象獎勵"。這是一個評分系統(tǒng)，用來判斷AI生成的視頻有多好。但這個評分系統(tǒng)不是固定的，它會根據(jù)你描述的場景的復(fù)雜程度來調(diào)整自己的評分標(biāo)準(zhǔn)。對于簡單場景，它會嚴(yán)格要求視頻的美觀度；對于復(fù)雜場景，它會更加關(guān)注視頻是否準(zhǔn)確理解了你的描述。這就像一個老師在改卷子，對于簡單題目要求高，對于難題只要學(xué)生理解了核心概念就給分。

三、如何衡量AI的想象力：LDT-Bench的誕生

但問題來了——如果我們要評估AI在想象力上的進(jìn)步，用什么標(biāo)準(zhǔn)呢？現(xiàn)有的評估方法都是針對真實(shí)場景設(shè)計(jì)的，對于奇異場景就不太適用了。研究團(tuán)隊(duì)意識到這一點(diǎn)，決定創(chuàng)建一個全新的評估基準(zhǔn)，名叫LDT-Bench。

LDT-Bench的構(gòu)建過程相當(dāng)有趣。研究團(tuán)隊(duì)首先從大規(guī)模的圖像和視頻數(shù)據(jù)庫中提取了物體和動作。他們從ImageNet-1K中獲取了1938種物體（從駱駝到遙控器，應(yīng)有盡有），從Kinetics-600等視頻數(shù)據(jù)庫中獲取了901種動作（從走路到打包，五花八門）。然后，他們用一個巧妙的方法來找出那些"最不相關(guān)"的配對。

想象你有一張巨大的地圖，上面標(biāo)記了所有物體和動作的位置。距離越遠(yuǎn)的兩個點(diǎn)，就代表它們在現(xiàn)實(shí)世界中越不可能同時出現(xiàn)。研究團(tuán)隊(duì)就是按照這個邏輯，找出了距離最遠(yuǎn)的配對，比如"駱駝打包行李"或"熊操控遙控器"。最終，他們構(gòu)建了一個包含2839個提示的數(shù)據(jù)集，涵蓋了各種奇異的場景組合。

但僅有提示還不夠，還需要一套評估方法。研究團(tuán)隊(duì)設(shè)計(jì)了一個叫做ImageryQA的評估框架，包含三個部分。第一部分叫ElementQA，它檢查視頻中是否出現(xiàn)了提示中提到的物體和動作。比如，如果提示是"熊操控遙控器"，它就會問"視頻中出現(xiàn)了熊嗎？""熊在操控遙控器嗎？"第二部分叫AlignQA，它評估視頻的視覺質(zhì)量和美學(xué)效果。第三部分叫AnomalyQA，它檢查視頻中是否出現(xiàn)了不自然的現(xiàn)象，比如物體突然消失或運(yùn)動違反物理規(guī)律。

這三部分評估就像一個全面的體檢。ElementQA檢查你是否理解了醫(yī)生的指示，AlignQA檢查你的整體健康狀況，AnomalyQA檢查是否有任何異常情況。

四、ImagerySearch的工作原理：一場精心編排的舞蹈

現(xiàn)在讓我們深入了解ImagerySearch具體是如何工作的。為了理解這一點(diǎn)，我們需要先了解視頻生成的基本原理。

現(xiàn)代的視頻生成模型使用一種叫做擴(kuò)散的技術(shù)。簡單來說，這就像是在倒放一個視頻。在正常的視頻中，你看到的是從模糊到清晰的過程。但在擴(kuò)散模型中，過程是反向的——模型從完全的噪聲開始，逐步去除噪聲，最終生成一個清晰的視頻。這個過程分為很多步驟，通常需要幾十甚至幾百步才能完成。

ImagerySearch在這個過程中插入了一些"檢查點(diǎn)"。在這些檢查點(diǎn)處，模型會生成幾個不同的候選視頻，然后用評分系統(tǒng)給它們打分，最后只保留最好的那些，繼續(xù)進(jìn)行后續(xù)的去噪過程。這就像是在烹飪一道復(fù)雜的菜肴時，每隔一段時間就嘗一下味道，如果不對就調(diào)整調(diào)料，然后繼續(xù)烹飪。

但這里有個聰明的地方——模型不是在每一步都做這樣的檢查，而是只在特定的幾個關(guān)鍵步驟做檢查。研究團(tuán)隊(duì)通過分析發(fā)現(xiàn)，相鄰的去噪步驟對視頻的改變很小，只有在某些特定的步驟才會產(chǎn)生顯著的變化。所以，他們選擇了四個關(guān)鍵的檢查點(diǎn)（第5、20、30、45步），這樣既能保證質(zhì)量，又不會浪費(fèi)太多的計(jì)算資源。

現(xiàn)在讓我們回到ImagerySearch的兩個核心部分。第一部分——語義距離感知的動態(tài)搜索空間——的工作方式是這樣的：首先，模型會計(jì)算你的提示中各個概念之間的"距離"。這個距離是通過一個文本編碼器（比如T5或CLIP）來計(jì)算的。編碼器會把每個詞轉(zhuǎn)換成一個數(shù)字向量，然后計(jì)算向量之間的距離。距離越大，說明這兩個概念在現(xiàn)實(shí)世界中越不相關(guān)。

一旦計(jì)算出了這個距離，模型就會根據(jù)距離來調(diào)整搜索空間的大小。具體的公式很簡單：候選視頻的數(shù)量等于基礎(chǔ)數(shù)量乘以一個與語義距離成正比的因子。換句話說，如果你的提示涉及的概念距離很遠(yuǎn)，模型就會生成更多的候選視頻；如果距離很近，模型就會生成較少的候選視頻。這樣做的好處是，對于簡單的任務(wù)，模型可以快速完成；對于復(fù)雜的任務(wù)，模型有更多的機(jī)會找到好的解決方案。

第二部分——自適應(yīng)意象獎勵——是一個更復(fù)雜的評分系統(tǒng)。它綜合考慮了多個因素，包括視頻的運(yùn)動質(zhì)量、文本與視頻的對齊程度、視覺質(zhì)量等。但關(guān)鍵的是，這些因素的權(quán)重不是固定的，而是會根據(jù)語義距離動態(tài)調(diào)整。對于語義距離大的提示，模型會更加強(qiáng)調(diào)文本對齊的重要性；對于語義距離小的提示，模型會更加關(guān)注視覺質(zhì)量。

這就像是一個評委在評判藝術(shù)作品。對于一個傳統(tǒng)的風(fēng)景畫，評委會嚴(yán)格要求色彩的準(zhǔn)確性和構(gòu)圖的美感。但對于一個超現(xiàn)實(shí)主義作品，評委就會更加關(guān)注藝術(shù)家是否成功傳達(dá)了他的創(chuàng)意意圖，而不是過分強(qiáng)調(diào)技術(shù)細(xì)節(jié)。

五、實(shí)驗(yàn)結(jié)果：數(shù)字背后的故事

研究團(tuán)隊(duì)進(jìn)行了大量的實(shí)驗(yàn)來驗(yàn)證ImagerySearch的有效性。他們在兩個主要的數(shù)據(jù)集上進(jìn)行了測試：自己創(chuàng)建的LDT-Bench和現(xiàn)有的VBench。

在LDT-Bench上，結(jié)果相當(dāng)令人印象深刻。基礎(chǔ)模型Wan2.1的總體評分是48.28分。當(dāng)應(yīng)用了ImagerySearch后，評分提升到了57.11分，提升幅度達(dá)到了8.83個百分點(diǎn)。這是一個相當(dāng)顯著的改進(jìn)。更有趣的是，與其他最先進(jìn)的測試時間縮放方法（比如Video-T1和EvoSearch）相比，ImagerySearch也表現(xiàn)得更好。這說明ImagerySearch不僅有效，而且相比現(xiàn)有的方法有明顯的優(yōu)勢。

在更細(xì)致的評估中，我們可以看到ImagerySearch在三個方面都有改進(jìn)。在ElementQA上（檢查物體和動作是否出現(xiàn)），從1.66分提升到2.01分。在AlignQA上（檢查視覺質(zhì)量），從31.62分提升到36.82分。在AnomalyQA上（檢查異�，F(xiàn)象），從15.00分提升到18.28分。這說明ImagerySearch在所有方面都有改進(jìn)，不是某一個方面特別強(qiáng)，而是全面提升。

在VBench上的表現(xiàn)也很不錯。VBench是一個更加全面的評估基準(zhǔn)，包含了多個維度的評估，比如美學(xué)質(zhì)量、背景一致性、動態(tài)程度等。在這個基準(zhǔn)上，ImagerySearch的平均評分是83.48分，比基礎(chǔ)模型Wan2.1的78.53分提高了4.95個百分點(diǎn)。更重要的是，ImagerySearch在動態(tài)程度和主體一致性這兩個維度上表現(xiàn)特別突出，這正是處理奇異場景所需要的。

六、穩(wěn)定性和可擴(kuò)展性：ImagerySearch的隱藏優(yōu)勢

除了在評分上的提升，研究團(tuán)隊(duì)還發(fā)現(xiàn)了ImagerySearch的另外兩個重要優(yōu)勢。

第一個優(yōu)勢是穩(wěn)定性。當(dāng)語義距離增加時（也就是說，提示變得越來越奇異），不同的模型的表現(xiàn)會出現(xiàn)很大的波動。基礎(chǔ)模型Wan2.1的表現(xiàn)會隨著語義距離的增加而急劇下降。其他的測試時間縮放方法也會出現(xiàn)明顯的波動。但I(xiàn)magerySearch的表現(xiàn)相對穩(wěn)定，即使在面對最奇異的場景時，也能保持相對一致的質(zhì)量。這就像是一個經(jīng)驗(yàn)豐富的廚師，無論菜肴有多復(fù)雜，都能保持相對穩(wěn)定的質(zhì)量。

第二個優(yōu)勢是可擴(kuò)展性。研究團(tuán)隊(duì)測試了當(dāng)增加計(jì)算資源時，模型的表現(xiàn)如何變化。他們用一個叫做"函數(shù)評估次數(shù)"的指標(biāo)來衡量計(jì)算量。結(jié)果顯示，ImagerySearch的表現(xiàn)隨著計(jì)算量的增加而持續(xù)改進(jìn)，而其他方法的表現(xiàn)在增加到一定程度后就停止改進(jìn)了。這說明ImagerySearch能更有效地利用額外的計(jì)算資源。

七、消融研究：每個部分都很重要

為了確保ImagerySearch的兩個核心部分都是必要的，研究團(tuán)隊(duì)進(jìn)行了消融研究。這就像是在做一道菜時，逐個移除一個配料，看看效果如何。

當(dāng)只使用基礎(chǔ)模型時，VBench的評分是78.53分。當(dāng)添加語義距離感知的動態(tài)搜索空間時，評分提升到81.30分。當(dāng)添加自適應(yīng)意象獎勵時，評分提升到82.11分。當(dāng)兩個部分都使用時，評分達(dá)到83.48分。這清楚地表明，兩個部分都有貢獻(xiàn)，而且它們的貢獻(xiàn)是相加的，這說明它們是互補(bǔ)的。

研究團(tuán)隊(duì)還測試了使用固定搜索空間大小而不是動態(tài)調(diào)整的效果。結(jié)果顯示，固定大小的搜索空間（無論是0.5倍還是0.9倍）的表現(xiàn)都不如動態(tài)調(diào)整的好。這進(jìn)一步證實(shí)了動態(tài)調(diào)整的重要性。

八、與其他方法的比較：為什么ImagerySearch更勝一籌

研究團(tuán)隊(duì)還比較了ImagerySearch與其他幾種搜索策略的表現(xiàn)，比如Best-of-N（簡單地生成N個視頻，然后選擇最好的）和粒子采樣（一種更復(fù)雜的采樣方法）。結(jié)果顯示，ImagerySearch的表現(xiàn)都更好。這說明，不僅是動態(tài)調(diào)整很重要，ImagerySearch采用的具體搜索策略也是經(jīng)過精心設(shè)計(jì)的。

九、實(shí)際應(yīng)用的啟示

這項(xiàng)研究對于視頻生成技術(shù)的實(shí)際應(yīng)用有什么啟示呢？首先，它表明了一個重要的事實(shí)：現(xiàn)有的視頻生成模型在處理真實(shí)場景時表現(xiàn)很好，但在處理創(chuàng)意、奇異的場景時仍然有很大的改進(jìn)空間。這對于那些希望使用AI來創(chuàng)作創(chuàng)意內(nèi)容的人來說是個好消息——雖然現(xiàn)在還不完美，但通過更聰明的方法，我們可以顯著改進(jìn)。

其次，這項(xiàng)研究展示了一個有趣的方向：不一定要重新訓(xùn)練模型或收集更多的訓(xùn)練數(shù)據(jù)，只需要在推理時使用更聰明的策略，就可以顯著改進(jìn)性能。這對于那些無法訪問大量訓(xùn)練數(shù)據(jù)或計(jì)算資源的人來說特別有價(jià)值。

第三，這項(xiàng)研究提出的LDT-Bench為未來的研究提供了一個有用的評估工具。現(xiàn)在，研究者可以用這個基準(zhǔn)來測試他們的模型在處理創(chuàng)意場景時的能力，而不僅僅是在處理真實(shí)場景時的能力。

十、未來的可能性

雖然ImagerySearch已經(jīng)取得了顯著的成果，但研究團(tuán)隊(duì)也指出了未來的改進(jìn)方向。他們計(jì)劃探索更靈活的獎勵機(jī)制，可能會考慮使用強(qiáng)化學(xué)習(xí)或其他高級技術(shù)來進(jìn)一步優(yōu)化獎勵函數(shù)。他們也可能會考慮如何將這種方法擴(kuò)展到其他類型的生成任務(wù)，比如圖像生成或文本生成。

此外，隨著視頻生成模型本身的不斷進(jìn)步，ImagerySearch這樣的推理時優(yōu)化方法可能會變得越來越重要。因?yàn)榧词鼓Ｐ捅旧碜兊酶鼜?qiáng)大，處理創(chuàng)意任務(wù)的難度仍然會存在，而聰明的推理策略可以幫助模型更好地應(yīng)對這些挑戰(zhàn)。

十一、對AI創(chuàng)意能力的思考

這項(xiàng)研究觸及了一個深層的問題：AI是否真的能夠進(jìn)行創(chuàng)意思考？ImagerySearch的成功表明，至少在某種程度上，AI可以通過更聰明的推理策略來模擬創(chuàng)意思考的過程。它不是通過理解創(chuàng)意的本質(zhì)，而是通過更多地探索可能性空間，并更聰明地評估這些可能性。

這就像是一個作家在創(chuàng)作一部新穎的小說時，不是憑空想象，而是通過大量的閱讀、思考和修改來逐步完善自己的作品。AI也可以通過類似的過程來生成創(chuàng)意內(nèi)容，雖然底層的機(jī)制可能完全不同。

說到底，ImagerySearch的核心貢獻(xiàn)在于它展示了一個重要的原則：有時候，解決問題的關(guān)鍵不在于擁有更多的知識或更強(qiáng)大的工具，而在于如何更聰明地使用現(xiàn)有的工具。這個原則不僅適用于AI，也適用于人類的許多活動。

Q&A

Q1：ImagerySearch是什么，它為什么能幫助AI生成更好的創(chuàng)意視頻？

A：ImagerySearch是一種在視頻生成過程中使用的智能搜索策略。它根據(jù)你描述的場景有多"奇異"來動態(tài)調(diào)整AI的工作方式——對于常見場景快速處理，對于奇異場景則花更多時間和資源探索。它包含兩個核心部分：一個根據(jù)概念距離調(diào)整搜索范圍的系統(tǒng)，和一個根據(jù)場景復(fù)雜度調(diào)整評分標(biāo)準(zhǔn)的系統(tǒng)。這樣AI就能更好地處理那些在現(xiàn)實(shí)中很少出現(xiàn)的創(chuàng)意場景。

Q2：LDT-Bench是什么，為什么需要創(chuàng)建這樣一個新的評估基準(zhǔn)？

A：LDT-Bench是一個專門用來評估AI在處理創(chuàng)意、奇異場景時能力的數(shù)據(jù)集和評估框架。它包含2839個提示，涵蓋了各種不常見的物體和動作組合�，F(xiàn)有的評估方法主要針對真實(shí)場景設(shè)計(jì)，對于創(chuàng)意場景就不太適用。LDT-Bench填補(bǔ)了這個空白，讓研究者能夠系統(tǒng)地測試和改進(jìn)AI的創(chuàng)意能力。

Q3：ImagerySearch相比現(xiàn)有的視頻生成方法有什么具體的優(yōu)勢？

A：ImagerySearch在多個方面都有優(yōu)勢。在LDT-Bench上，它比基礎(chǔ)模型提升了8.83個百分點(diǎn)。與其他最先進(jìn)的方法相比，它也表現(xiàn)更好。更重要的是，當(dāng)場景變得越來越奇異時，ImagerySearch的表現(xiàn)相對穩(wěn)定，而其他方法的表現(xiàn)會急劇下降。此外，ImagerySearch能更有效地利用額外的計(jì)算資源，當(dāng)增加計(jì)算量時，它的表現(xiàn)會持續(xù)改進(jìn)。