在動(dòng)態(tài)攝影（Cinemagraph）生成領(lǐng)域，傳統(tǒng)方法主要依賴于光流預(yù)測(cè)與重復(fù)紋理假設(shè)，通常只能處理水流、煙霧等具有簡(jiǎn)單周期性運(yùn)動(dòng)的場(chǎng)景，難以推廣至人物、動(dòng)物或剛性物體所涉及的復(fù)雜非重復(fù)性運(yùn)動(dòng)。與此同時(shí)，盡管大規(guī)模視頻擴(kuò)散模型能夠生成視覺(jué)效果出色的視頻，但它們往往無(wú)法保持靜態(tài)背景的一致性，并且在細(xì)粒度運(yùn)動(dòng)軌跡控制方面能力有限。

本文介紹一項(xiàng)Adobe Research最新發(fā)布的研究成果DreamLoop。DreamLoop是一個(gè)基于視頻擴(kuò)散模型的可控動(dòng)態(tài)攝影生成框架，其核心目標(biāo)是實(shí)現(xiàn)在無(wú)需專用訓(xùn)練數(shù)據(jù)的前提下，從單張靜態(tài)照片生成高質(zhì)量、用戶可控且無(wú)縫循環(huán)的動(dòng)態(tài)影像。該框架以前饋推理的方式，將預(yù)訓(xùn)練的圖像到視頻擴(kuò)散模型與用戶提供的邊界框序列和稀疏點(diǎn)軌跡相結(jié)合，并通過(guò)強(qiáng)化學(xué)習(xí)引導(dǎo)的微調(diào)策略，在真實(shí)視頻數(shù)據(jù)集上進(jìn)行優(yōu)化，最終輸出與用戶意圖高度匹配的電影循環(huán)序列。實(shí)驗(yàn)表明，DreamLoop在通用場(chǎng)景下的電影循環(huán)生成任務(wù)中，其性能顯著優(yōu)于傳統(tǒng)光流方法與現(xiàn)有視頻擴(kuò)散模型。

論文題目： DreamLoop: Controllable Cinemagraph Generation from a Single Photograph 文章鏈接： https://arxiv.org/abs/2601.02646 項(xiàng)目主頁(yè)： https://anime26398.github.io/dreamloop.github.io

一、引言

動(dòng)態(tài)攝影是一種獨(dú)特而富有表現(xiàn)力的視覺(jué)媒介形式，它巧妙地融合了靜態(tài)攝影的構(gòu)圖和局部、可控的動(dòng)態(tài)元素，通過(guò)無(wú)縫循環(huán)的動(dòng)畫效果，營(yíng)造出介于靜態(tài)圖像與視頻之間的藝術(shù)體驗(yàn)。它的效果是在一張靜止的照片中引入局部反復(fù)運(yùn)動(dòng)的部分使整個(gè)畫面活躍起來(lái)，如下圖所示。

然而，傳統(tǒng)制作流程往往需要精心拍攝的視頻素材、嚴(yán)格的相機(jī)穩(wěn)定措施以及耗時(shí)的后期處理。因此，若能僅憑單張照片生成動(dòng)態(tài)攝影，將大幅降低這一藝術(shù)形式的創(chuàng)作門檻。目前該任務(wù)面臨以下核心挑戰(zhàn)：

（1）現(xiàn)有的動(dòng)態(tài)攝影生成方法大多依賴光流預(yù)測(cè)（如Animating Landscape[1]、Controllable Animation[2]），主要適用于具有重復(fù)紋理和規(guī)律運(yùn)動(dòng)的場(chǎng)景，難以刻畫人類、動(dòng)物等剛性或半剛性目標(biāo)所呈現(xiàn)的復(fù)雜、非周期性運(yùn)動(dòng)模式。

（2）大規(guī)模視頻擴(kuò)散模型（如CogVideoX[3]、Wan2.2-5B[4]）雖然在通用視頻生成方面展現(xiàn)出強(qiáng)大的表達(dá)能力，但缺乏對(duì)運(yùn)動(dòng)區(qū)域的細(xì)粒度空間定位與精確軌跡控制，難以在生成過(guò)程中同時(shí)保證背景區(qū)域的嚴(yán)格靜態(tài)性以及局部運(yùn)動(dòng)的可控性。

（3）目前該領(lǐng)域缺乏專門的大規(guī)模高質(zhì)量數(shù)據(jù)集，這使得直接訓(xùn)練適應(yīng)此任務(wù)的模型十分困難。

二、方法介紹

下圖展示了DreamLoop方法的整體架構(gòu)。左側(cè)展示了模型在邊界框與稀疏點(diǎn)軌跡控制條件下的訓(xùn)練流程，右側(cè)部分展示了DreamLoop的推理過(guò)程。

2.1 基于視頻擴(kuò)散模型的基礎(chǔ)架構(gòu)

本文以預(yù)訓(xùn)練的圖像到視頻擴(kuò)散模型為基礎(chǔ)，首先使用 3D-VAE 對(duì)圖像進(jìn)行時(shí)空編碼，隨后通過(guò) DiT 處理噪聲 tokens，最后解碼生成最終視頻。訓(xùn)練目標(biāo)函數(shù)為：

其中， 表示時(shí)間步 的 latent 狀態(tài)， 是訓(xùn)練路徑上的目標(biāo)速度， 是模型學(xué)習(xí)的速度場(chǎng)。該目標(biāo)函數(shù)用于優(yōu)化模型對(duì)時(shí)空動(dòng)態(tài)的建模能力。

2.2 時(shí)序邊界控制和運(yùn)動(dòng)控制

為了實(shí)現(xiàn)文本指令控制效果，本文將時(shí)間信息和運(yùn)動(dòng)條件注入到損失函數(shù)中。具體來(lái)說(shuō)，時(shí)序邊界控制是指訓(xùn)練模型根據(jù)首幀和末幀生成中間幀，從而在推理時(shí)通過(guò)將輸入照片作為首末幀來(lái)強(qiáng)制生成無(wú)縫循環(huán)。運(yùn)動(dòng)控制是指訓(xùn)練模型根據(jù)邊界框序列和稀疏點(diǎn)軌跡來(lái)生成視頻，從而實(shí)現(xiàn)對(duì)物體運(yùn)動(dòng)的精確控制。

如上圖所示，上半部分展示了時(shí)間控制在生成運(yùn)動(dòng)方面的作用。以滾珠的簡(jiǎn)諧運(yùn)動(dòng)為例，若沿軌跡均勻分配時(shí)間（左上圖），滾珠將呈現(xiàn)勻速運(yùn)動(dòng)，缺乏真實(shí)感。通過(guò)時(shí)間控制，模型可在運(yùn)動(dòng)極值點(diǎn)分配更長(zhǎng)時(shí)間、在中間位置分配更短時(shí)間，從而準(zhǔn)確模擬物理特性。下半部分對(duì)比了完整路徑與部分路徑兩種設(shè)置。用戶既可以提供完整運(yùn)動(dòng)軌跡（左下圖），也可以僅給出初始軌跡（右下圖），其余運(yùn)動(dòng)均由模型自動(dòng)生成，在降低交互成本的同時(shí)也保持了運(yùn)動(dòng)的連續(xù)性與合理性。

2.2.1 時(shí)序邊界控制

動(dòng)態(tài)攝影與傳統(tǒng)視頻的根本區(qū)別在于運(yùn)動(dòng)必須實(shí)現(xiàn)無(wú)縫、連續(xù)的循環(huán)播放。這要求生成序列的第一幀與最后一幀在視覺(jué)上完全一致，從而形成無(wú)限循環(huán)的視覺(jué)效果。為了生成無(wú)縫循環(huán)，本文提出了時(shí)序邊界控制策略。

在訓(xùn)練階段，針對(duì)任意訓(xùn)練視頻片段 ，先利用預(yù)訓(xùn)練3D-VAE對(duì)首幀 和末幀 進(jìn)行編碼，得到對(duì)應(yīng)的特征tokens，再將這些tokens與擴(kuò)散過(guò)程中的噪聲tokens拼接后，并送入到DiT Transformer中，使模型充分學(xué)習(xí)首末幀之間的時(shí)序規(guī)律。在推理階段，通過(guò)設(shè)置首幀 和末幀 均等同于輸入靜態(tài)照片，強(qiáng)制模型生成首末幀完全一致的視頻序列，從而滿足動(dòng)態(tài)攝影所需的無(wú)縫循環(huán)特性。

2.2.2 運(yùn)動(dòng)控制

為實(shí)現(xiàn)精準(zhǔn)可控性，本文設(shè)計(jì)了兩種互補(bǔ)的運(yùn)動(dòng)控制條件，均通過(guò) RGB 掩碼編碼后注入模型。

（1）邊界框序列：捕捉目標(biāo)物體的全局運(yùn)動(dòng)。將每幀目標(biāo)的邊界框坐標(biāo)編碼為彩色 RGB mask作為條件 tokens。

（2）稀疏點(diǎn)軌跡：捕捉目標(biāo)物體的局部運(yùn)動(dòng)及背景靜態(tài)約束。在 10×10 網(wǎng)格上采樣軌跡點(diǎn)，靜態(tài)區(qū)域（如背景）的軌跡點(diǎn)保持固定，動(dòng)態(tài)區(qū)域的軌跡點(diǎn)按照用戶定義的路徑變化，編碼為特征 。

這兩種條件 tokens 與首末幀 tokens、文本提示 tokens 一起送入到模型中，形成完整的條件化生成目標(biāo)：

2.3 細(xì)粒度控制

DreamLoop模型為用戶提供了不同層次的運(yùn)動(dòng)路徑控制方法。在完整路徑控制模式下，用戶可以精確指定目標(biāo)對(duì)象在整個(gè)視頻序列中的詳細(xì)運(yùn)動(dòng)軌跡，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)模式的完全控制。然而，在實(shí)際創(chuàng)作過(guò)程中，用戶往往只需要輸入較為粗略的運(yùn)動(dòng)信息，例如對(duì)象的初始運(yùn)動(dòng)方向和基本速度。為適應(yīng)這一需求，DreamLoop同時(shí)也支持了局部路徑控制模式。

在該模式下，用戶僅需為視頻序列的前若干幀 定義運(yùn)動(dòng)路徑，模型能夠基于這些有限的輸入，智能推斷并自動(dòng)補(bǔ)全后續(xù)幀的運(yùn)動(dòng)軌跡。這種靈活性是通過(guò)在訓(xùn)練階段引入隨機(jī)丟棄策略實(shí)現(xiàn)的。模型會(huì)隨機(jī)丟棄邊界框或點(diǎn)軌跡序列中后部分的若干幀，從而學(xué)會(huì)從部分輸入中推理完整運(yùn)動(dòng)序列的能力。

三、實(shí)驗(yàn)效果

本文在包含約800萬(wàn)個(gè)視頻的大規(guī)模數(shù)據(jù)集上進(jìn)行了訓(xùn)練，其中邊界框通過(guò)DEVA方法提取，稀疏點(diǎn)軌跡則利用RAFT光流算法計(jì)算并保持時(shí)間循環(huán)一致性。本文在不可控生成（僅輸入圖像）和可控生成（輸入圖像與方向引導(dǎo)）兩種設(shè)置下進(jìn)行測(cè)試。評(píng)估采用FVD、DT-FVD、FID及KID四項(xiàng)通用視頻生成指標(biāo)，其中文本描述由GPT-5自動(dòng)生成。本文重點(diǎn)與不可控場(chǎng)景和可控場(chǎng)景方法進(jìn)行了對(duì)比，不可控場(chǎng)景方法包括基于光流的Animating Landscape、Text2Cinemagraph以及通用圖像到視頻模型CogVideoX-5B、Wan2.2-5B。可控場(chǎng)景方法包括Animating Landscape的變體、SLR-SFS及Controllable Animation等方法進(jìn)行比較。

3.1 定量實(shí)驗(yàn)

下表展示了本文方法在不可控場(chǎng)景中相較現(xiàn)有方法的性能優(yōu)勢(shì)，DreamLoop方法在FVD、DT-FVD、KID和FID四項(xiàng)指標(biāo)上均超越了現(xiàn)有基線。

此外，DreamLoop在運(yùn)動(dòng)真實(shí)性和視覺(jué)質(zhì)量上均顯著優(yōu)于傳統(tǒng)光流方法。即使僅使用時(shí)序邊界控制的簡(jiǎn)化版本，DreamLoop也生成了不錯(cuò)的效果，這驗(yàn)證了時(shí)序邊界控制策略的有效性。

上表展示了DreamLoop在單軌跡點(diǎn)和多軌跡點(diǎn)設(shè)置下與基線方法的對(duì)比情況，實(shí)驗(yàn)結(jié)果表示DreamLoop超越了傳統(tǒng)光流方法，其FVD、KID等指標(biāo)具有顯著優(yōu)勢(shì)，且性能隨控制點(diǎn)增加持續(xù)提升。這驗(yàn)證了其基于視頻擴(kuò)散模型的框架能更有效地整合運(yùn)動(dòng)控制信號(hào)，生成更真實(shí)、連貫的動(dòng)態(tài)效果。

除了常規(guī)任務(wù)，上表進(jìn)一步展示了DreamLoop方法在剛性物體循環(huán)生成任務(wù)中的效果。在VBench的六個(gè)評(píng)估指標(biāo)，特別是在運(yùn)動(dòng)平滑度和主體一致性上達(dá)到0.9964和0.9868，顯著優(yōu)于需要后處理的基線方法。實(shí)驗(yàn)驗(yàn)證了雙條件化機(jī)制在保持時(shí)間穩(wěn)定性與畫面質(zhì)量上的關(guān)鍵作用。

3.2 可視化對(duì)比

上圖的實(shí)驗(yàn)結(jié)果展示了DreamLoop在流體元素與通用場(chǎng)景下的綜合優(yōu)勢(shì)。上半部分展示了在流體場(chǎng)景中，DreamLoop能夠模擬水流方向這種更真實(shí)的物理運(yùn)動(dòng)。下半部分展示了復(fù)雜人物場(chǎng)景，DreamLoop方法能精準(zhǔn)控制局部運(yùn)動(dòng)并保持背景靜態(tài)。上圖的可視化結(jié)果驗(yàn)證了雙條件化機(jī)制在平衡運(yùn)動(dòng)控制精度與時(shí)間一致性方面的有效性。

上圖通過(guò)多樣化場(chǎng)景進(jìn)一步展示了DreamLoop在生成復(fù)雜、自然動(dòng)態(tài)方面的效果。該方法不僅能模擬貓頭轉(zhuǎn)動(dòng)、化妝刷掃動(dòng)等生物運(yùn)動(dòng)，還可生成物體旋轉(zhuǎn)及精細(xì)的手物交互動(dòng)畫，且僅需簡(jiǎn)單的邊界框與軌跡點(diǎn)作為控制信號(hào)。

四、總結(jié)

本文提出了一種名為DreamLoop的可控動(dòng)態(tài)攝影生成框架，旨在解決傳統(tǒng)可控性不足和數(shù)據(jù)依賴的核心問(wèn)題。該框架基于預(yù)訓(xùn)練圖像到視頻擴(kuò)散模型，通過(guò)兩大關(guān)鍵創(chuàng)新突破現(xiàn)有瓶頸。一是時(shí)序邊界控制，訓(xùn)練時(shí)讓模型學(xué)習(xí)首末幀的時(shí)空關(guān)聯(lián)，推理時(shí)將輸入照片同時(shí)作為首幀和末幀，從而保障生成結(jié)果無(wú)縫循環(huán)。二是運(yùn)動(dòng)控制，結(jié)合邊界框序列（捕捉全局運(yùn)動(dòng)）與稀疏點(diǎn)軌跡（捕捉局部運(yùn)動(dòng)及背景靜態(tài)約束），賦予用戶對(duì)運(yùn)動(dòng)軌跡、速度、頻率的細(xì)粒度控制。實(shí)驗(yàn)表明，該方法在FVD、FID等定量指標(biāo)上超越了傳統(tǒng)光流方法與視頻擴(kuò)散模型，其背景一致性、運(yùn)動(dòng)平滑度與可控性表現(xiàn)突出，為通用、高效的動(dòng)態(tài)攝影創(chuàng)作提供了新范式。

參考

[1] Endo Y, Kanamori Y, Kuriyama S. Animating landscape: self-supervised learning of decoupled motion and appearance for single-image video synthesis[J]. arXiv preprint arXiv:1910.07192, 2019.

[2] Mahapatra A, Kulkarni K. Controllable animation of fluid elements in still images[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 3667-3676.

[3] Yang Z, Teng J, Zheng W, et al. Cogvideox: Text-to-video diffusion models with an expert transformer[J]. arXiv preprint arXiv:2408.06072, 2024.

[4] Wan T, Wang A, Ai B, et al. Wan: Open and advanced large-scale video generative models[J]. arXiv preprint arXiv:2503.20314, 2025.

llustration generated by AI.

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

yimingzhang@thejiangmen.com

或添加工作人員微信（aceyiming）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈