這項(xiàng)由香港科技大學(xué)、蟻集團(tuán)等機(jī)構(gòu)聯(lián)合開展的研究發(fā)表于2024年12月，研究團(tuán)隊(duì)開發(fā)了名為WorldCanvas的AI框架。有興趣深入了解的讀者可以通過論文編號(hào)arXiv:2512.16924v1查詢完整論文。研究的核心作者包括王翰林、歐陽(yáng)豪、王秋雨等來自不同知名院校的研究者，陳啟峰教授擔(dān)任通訊作者。

在電影制作中，導(dǎo)演需要與演員反復(fù)溝通才能拍出理想的鏡頭。如今，一種全新的AI技術(shù)讓這個(gè)過程變得像用畫筆作畫一樣簡(jiǎn)單。你只需要在屏幕上畫出想要的運(yùn)動(dòng)路徑，輸入一段文字描述，再放入一張參考圖片，AI就能自動(dòng)生成完全符合你創(chuàng)意的視頻片段。

這聽起來像科幻電影的情節(jié)，但香港科技大學(xué)的研究團(tuán)隊(duì)真的做到了。他們開發(fā)的WorldCanvas系統(tǒng)就像一個(gè)魔法畫布，任何人都能在上面創(chuàng)造出生動(dòng)的視頻世界。更令人驚喜的是，這個(gè)系統(tǒng)不僅能讓靜態(tài)角色動(dòng)起來，還能讓它們按照你的想法進(jìn)行復(fù)雜的互動(dòng)，甚至能處理角色暫時(shí)消失又重新出現(xiàn)的情況，始終保持前后一致。

傳統(tǒng)的視頻生成AI通常只能根據(jù)文字描述產(chǎn)生大概的畫面，就像你告訴畫家"畫一個(gè)人在跑步"，結(jié)果可能千差萬別。而WorldCanvas的創(chuàng)新之處在于，它把控制權(quán)完全交給了用戶。就好比你不僅告訴畫家要畫什么，還能精確指導(dǎo)每一筆的走向，最終得到的作品完全符合你的構(gòu)思。

這種精確控制是通過三種信息的巧妙結(jié)合實(shí)現(xiàn)的。軌跡信息就像舞臺(tái)上演員的走位圖，告訴AI角色應(yīng)該在何時(shí)何地做什么動(dòng)作。參考圖片則像是角色的身份證照片，確保AI生成的角色外觀始終保持一致。而文字描述則是劇本，說明角色要執(zhí)行什么樣的動(dòng)作和情感表達(dá)。這三種信息相互配合，就像一個(gè)完整的電影制作方案。

研究團(tuán)隊(duì)在設(shè)計(jì)這套系統(tǒng)時(shí)遇到的最大挑戰(zhàn)是如何讓AI理解復(fù)雜的多角色場(chǎng)景。設(shè)想一個(gè)場(chǎng)景：兩個(gè)小女孩在公園里玩耍，一個(gè)在前面哭泣并用手擦眼淚，另一個(gè)從后面走過來蹲下安慰。傳統(tǒng)AI很難準(zhǔn)確區(qū)分哪個(gè)動(dòng)作對(duì)應(yīng)哪個(gè)角色，經(jīng)常會(huì)搞混。

為了解決這個(gè)問題，研究團(tuán)隊(duì)開發(fā)了一種叫做"空間感知加權(quán)交叉注意"的技術(shù)。這個(gè)名字聽起來很復(fù)雜，但原理其實(shí)很簡(jiǎn)單。就像一個(gè)聰明的舞臺(tái)導(dǎo)演，AI會(huì)特別關(guān)注每個(gè)角色周圍的區(qū)域，并將相應(yīng)的文字描述精確匹配到對(duì)應(yīng)的角色身上。這樣，AI就能準(zhǔn)確理解"前面的女孩哭泣"指的是哪個(gè)角色，"后面的女孩蹲下"又是指哪個(gè)角色。

更有趣的是，這套系統(tǒng)還能處理一些看似不可能的情況。比如一條鯊魚從沙漠的沙子中跳出來，再潛入沙中，然后又跳出來。雖然這在現(xiàn)實(shí)中完全不可能發(fā)生，但AI能夠理解這種"反常識(shí)"的創(chuàng)意，并生成相應(yīng)的視頻效果，甚至還會(huì)添加鯊魚跳躍時(shí)濺起沙塵的細(xì)節(jié)。

在數(shù)據(jù)準(zhǔn)備方面，研究團(tuán)隊(duì)就像烹飪大師準(zhǔn)備食材一樣精心。他們從公開視頻中篩選出高質(zhì)量的片段，然后使用專門的追蹤算法記錄每個(gè)物體的運(yùn)動(dòng)軌跡。接著，他們讓先進(jìn)的AI模型觀察這些帶有軌跡標(biāo)記的視頻，并要求它描述每條軌跡對(duì)應(yīng)的動(dòng)作。這樣，AI就學(xué)會(huì)了如何將抽象的運(yùn)動(dòng)路徑與具體的動(dòng)作描述聯(lián)系起來。

最關(guān)鍵的創(chuàng)新在于軌跡的處理方式。以往的系統(tǒng)只是簡(jiǎn)單地記錄物體的位置坐標(biāo)，就像在地圖上標(biāo)記幾個(gè)點(diǎn)。而WorldCanvas則把軌跡當(dāng)作包含豐富信息的"故事線"。軌跡上點(diǎn)與點(diǎn)之間的距離暗示了運(yùn)動(dòng)速度：點(diǎn)密集的地方表示緩慢移動(dòng)，點(diǎn)稀疏的地方表示快速移動(dòng)。軌跡還包含可見性標(biāo)記，告訴AI角色在什么時(shí)候應(yīng)該出現(xiàn)或消失。

這種精細(xì)的軌跡處理讓系統(tǒng)能夠生成極其逼真的動(dòng)作。當(dāng)你畫出一個(gè)籃球的拋物線軌跡時(shí)，AI不僅知道球的飛行路徑，還能根據(jù)軌跡的密度變化自動(dòng)調(diào)整球的飛行速度，讓整個(gè)投籃動(dòng)作看起來完全符合物理定律。

在實(shí)際測(cè)試中，WorldCanvas展現(xiàn)出了令人印象深刻的能力。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)復(fù)雜場(chǎng)景：一位老人和一輛汽車同時(shí)進(jìn)入畫面，老人在看到汽車后向后退步，汽車急剎車避免撞到老人，最后老人走出畫面。這個(gè)場(chǎng)景涉及多個(gè)角色的協(xié)調(diào)動(dòng)作和因果關(guān)系。傳統(tǒng)的視頻生成AI往往會(huì)產(chǎn)生混亂的結(jié)果，比如讓老人去追汽車，或者完全忽略兩者之間的互動(dòng)。而WorldCanvas則能準(zhǔn)確生成符合邏輯的完整序列。

更令人驚嘆的是系統(tǒng)的一致性維護(hù)能力。當(dāng)一個(gè)角色暫時(shí)離開畫面然后重新出現(xiàn)時(shí)，AI能夠保持角色的外觀、身份和場(chǎng)景的連續(xù)性。這就像一個(gè)有記憶的畫家，即使畫布被暫時(shí)遮擋，重新露出時(shí)也能準(zhǔn)確接續(xù)之前的內(nèi)容。

為了驗(yàn)證系統(tǒng)的效果，研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的對(duì)比實(shí)驗(yàn)。他們將WorldCanvas與當(dāng)前最先進(jìn)的視頻生成模型進(jìn)行比較，包括Wan2.2、ATI和Frame In-N-Out等。結(jié)果顯示，WorldCanvas在軌跡跟蹤準(zhǔn)確度、語(yǔ)義理解能力和視頻質(zhì)量等多個(gè)方面都顯著超越了這些基準(zhǔn)模型。

在用戶研究中，研究團(tuán)隊(duì)邀請(qǐng)了15位參與者，包括視頻制作研究人員、藝術(shù)家和普通用戶，對(duì)不同模型生成的視頻進(jìn)行評(píng)價(jià)。結(jié)果顯示，在軌跡跟蹤、文本遵循、文本-軌跡對(duì)齊、參考圖片保真度和整體視頻質(zhì)量五個(gè)維度上，WorldCanvas都獲得了壓倒性的支持，獲得了75%以上的"最佳"選票。

這項(xiàng)技術(shù)的潛在應(yīng)用前景廣闊。在電影制作領(lǐng)域，導(dǎo)演可以快速制作概念驗(yàn)證視頻，在正式拍攝前就能看到想象中的畫面效果。在游戲開發(fā)中，設(shè)計(jì)師可以輕松創(chuàng)建復(fù)雜的角色動(dòng)畫和場(chǎng)景演示。在教育領(lǐng)域，老師可以制作生動(dòng)的教學(xué)視頻來解釋復(fù)雜概念。甚至普通用戶也能用它來制作個(gè)性化的社交媒體內(nèi)容。

當(dāng)然，這項(xiàng)技術(shù)也面臨一些挑戰(zhàn)。在處理極其復(fù)雜的空間變換或需要高度邏輯推理的場(chǎng)景時(shí)，系統(tǒng)偶爾會(huì)出現(xiàn)不完美的結(jié)果。比如當(dāng)相機(jī)做360度旋轉(zhuǎn)時(shí)，畫面中的物體可能會(huì)出現(xiàn)輕微的模糊或不一致。另外，當(dāng)角色暫時(shí)離開視野時(shí)，系統(tǒng)有時(shí)無法完全準(zhǔn)確地推理出角色在視野外應(yīng)該發(fā)生的變化。

盡管存在這些局限，WorldCanvas代表了視頻生成AI的一個(gè)重要里程碑。它不僅僅是一個(gè)技術(shù)工具，更像是一個(gè)創(chuàng)意伙伴，能夠理解用戶的想法并將其轉(zhuǎn)化為視覺現(xiàn)實(shí)。隨著技術(shù)的進(jìn)一步完善，我們可能很快就會(huì)看到一個(gè)人人都能成為視頻創(chuàng)作者的時(shí)代到來。

從技術(shù)角度看，這項(xiàng)研究還為更高級(jí)的AI系統(tǒng)奠定了基礎(chǔ)。能夠理解和生成復(fù)雜時(shí)空事件的AI，距離真正的通用人工智能又近了一步。這樣的系統(tǒng)不僅能生成視頻，還能理解世界的運(yùn)作方式，這對(duì)于開發(fā)能夠在真實(shí)世界中安全運(yùn)行的AI代理具有重要意義。

研究團(tuán)隊(duì)已經(jīng)將相關(guān)代碼和模型開源，這意味著全球的研究者和開發(fā)者都能基于這項(xiàng)工作繼續(xù)創(chuàng)新。相信在不久的將來，我們會(huì)看到更多基于WorldCanvas的應(yīng)用出現(xiàn)，讓視頻創(chuàng)作變得像畫畫一樣簡(jiǎn)單自然。

Q&A

Q1：WorldCanvas是什么樣的AI系統(tǒng)？

A：WorldCanvas是香港科技大學(xué)團(tuán)隊(duì)開發(fā)的視頻生成AI框架，用戶只需手繪運(yùn)動(dòng)軌跡、輸入文字描述，再加入?yún)⒖紙D片，就能讓AI自動(dòng)生成符合創(chuàng)意的視頻片段，就像在魔法畫布上創(chuàng)作一樣簡(jiǎn)單。

Q2：WorldCanvas比其他視頻生成AI強(qiáng)在哪里？

A：傳統(tǒng)AI只能根據(jù)文字生成大概畫面，而WorldCanvas通過軌跡、文字和參考圖片的結(jié)合，讓用戶能精確控制角色的動(dòng)作、位置和外觀。它還能處理多角色互動(dòng)場(chǎng)景，保持角色前后一致性，甚至能生成反常識(shí)的創(chuàng)意場(chǎng)景。

Q3：普通人能用WorldCanvas制作視頻嗎？

A：目前WorldCanvas還在研究階段，研究團(tuán)隊(duì)已經(jīng)開源了相關(guān)代碼。雖然普通用戶暫時(shí)無法直接使用，但隨著技術(shù)發(fā)展，未來可能會(huì)出現(xiàn)基于這項(xiàng)技術(shù)的消費(fèi)級(jí)應(yīng)用，讓視頻創(chuàng)作變得像畫畫一樣簡(jiǎn)單。