一個定居者家庭，正在欣賞一群野牛，當(dāng)兩只惡魔般的有翼生物從頭頂飛過時，他們開始奔跑。小女孩像幽靈一樣穿過了柵欄柱。

這個超現(xiàn)實的五秒場景是通過AI平臺Runway中名為Motion Sketch的新功能創(chuàng)建的。顧名思義，它可以從你直接在靜態(tài)圖像上制作的簡單涂鴉生成視頻。

在下面的片段中，我首先使用谷歌的Nano Banana Pro生成了一張圖像——這是通過Runway平臺提供的文本轉(zhuǎn)圖像模型之一——然后簡單地畫了一些鳥形狀狀和兩個箭頭，指示家庭和野牛應(yīng)該逃跑的方向。我添加了一些文本提示作為額外指導(dǎo)，模型完成了其余工作。

該功能仍然需要一些人工引導(dǎo)，就像ChatGPT經(jīng)常需要多個精心制作的提示才能生成你想要的輸出一樣。盡管如此，它可能標(biāo)志著AI生成視頻的一大進步，對于更喜歡視覺思維而非語言思維的創(chuàng)意行業(yè)專業(yè)人士來說尤其如此。

"這個功能對所有類型的用戶都有幫助，"Runway產(chǎn)品經(jīng)理Aditi Poduval告訴ZDNET。"最終，我們幫助人們獲得精確的運動效果，而無需制作特定的書面提示。"

以下是我在嘗試Motion Sketch后學(xué)到的經(jīng)驗。

實際體驗過程

在對那個疲憊定居者家庭圖像的初次實驗后，我決定進一步提升涂鴉的程度。

我使用文本提示生成了家庭圖像。但通過Runway的Nano Banana Pro也可以僅基于涂鴉創(chuàng)建圖像，你可以直接在平臺上制作，就像Microsoft Paint一樣。我是作家，不是視覺藝術(shù)家，但我盡力畫出了我希望看起來像是懸掛在樹枝上的蛇的東西。

然后，我轉(zhuǎn)向Motion Sketch。如前所述，在定居者家庭實驗中，我通過在涂鴉之外添加一些文本提示與模型配合，但這次我想看看它在沒有任何書面指導(dǎo)的情況下表現(xiàn)如何。我希望生成蛇向右爬行的片段，所以沿著它的身體長度畫了一些簡單的運動指向箭頭。任何六歲孩子都能理解這些箭頭的含義，但AI表現(xiàn)如何呢？我設(shè)置長度為10秒，選擇了Runway的Gen-4.5視頻模型（谷歌的Veo 3和Veo 3.1也可用），然后點擊生成。

我期望一個相對平滑的蛇沿著樹枝移動并從鏡頭右下角退出的片段，但得到的結(jié)果更加奇幻。蛇在鏡頭左側(cè)留下了部分身體，另一條蛇從其體內(nèi)出現(xiàn)并從樹上掉落。在某一時刻，它似乎長出了鱷魚般的腳，用來沿著樹枝拖拽自己。我畫的原始箭頭也在片段開頭短暫出現(xiàn)，然后消散。

公平地說，蛇是生物奇跡，準(zhǔn)確建模它們的運動對任何動畫師——無論是人類還是機器——都不是小任務(wù)。模型似乎將我的多個箭頭誤解為蛇同時向多個方向移動的指令，這顯然讓它困惑了。所以我回去在原始圖像上添加了簡單的文本提示："蛇沿著樹枝爬行。"

這次的最終產(chǎn)品更接近我的預(yù)期（沒有突然的蛇身體復(fù)制或腿部萌生）。運動仍然看起來別扭，但同樣，蛇的運動是一個相當(dāng)高的要求，涉及許多復(fù)雜的細粒度物理。

再一個實驗：我想看看模型與真實照片配合得如何，所以我從筆記本電腦上傳了一張：幾個月前我在布魯克林Prospect Park拍攝的照片。

我畫了基本上是火的通用圖標(biāo)：向上輻射的波浪紅線，內(nèi)嵌橙色。再次聲明，我不是天才插畫師，但大多數(shù)人都能認(rèn)出我想要表達的內(nèi)容。Runway的模型也識別了這一點，在我照片捕獲的寧靜湖邊場景中心投下了一個巨大的篝火。同樣，我的草圖在片段中短暫出現(xiàn)，然后在逐漸縮短的波浪線的迷幻運動中消失。也許是我的想象，但篝火旁邊的樹木甚至似乎在其熱量下變黑。

使用體驗和前景

像任何其他生成式AI工具一樣，Motion Sketch有其不完美之處和故障（小女孩穿過木梁、蛇長出腿、我原始草圖的波浪線在最終視頻片段中短暫出現(xiàn)）。盡管如此，我印象深刻。

這里展現(xiàn)的是用AI生成視頻的全新格式，可能比以往任何時候都更能降低想象與制作之間的障礙。"這就是我一直在等待的，"一位X用戶在Runway周二公告下發(fā)帖。"畫出你的愿景然后觀看它渲染為視頻？對于無法終生進行提示工程的創(chuàng)作者來說，這絕對是游戲改變者。"

現(xiàn)在，如果你有特定愿景，它仍然需要相當(dāng)多的試錯，但同樣，這是對未來可能性的令人興奮的預(yù)覽。絕對值得嘗試，即使——也許特別是——如果你只是本著創(chuàng)造性精神進入，心中沒有清晰的愿景。

Motion Sketch至少需要Runway的標(biāo)準(zhǔn)訂閱，費用為每用戶每月12美元，包含625個月度積分。

要從用戶儀表板訪問，點擊左側(cè)菜單中的"App"，然后在"Explore Gen-4.5"收藏下或屏幕右半部分預(yù)覽窗口下選擇Motion Sketch，你會看到標(biāo)有"Try it now"的按鈕。

從那里，只需上傳你的圖像并點擊"Sketch"→"Export sketch"→Generate。

Q&A

Q1：Motion Sketch是什么？它有什么功能？

A：Motion Sketch是AI平臺Runway推出的新功能，可以從用戶直接在靜態(tài)圖像上制作的簡單涂鴉生成視頻。用戶只需在圖像上畫出簡單的線條和箭頭指示運動方向，AI就能生成相應(yīng)的視頻片段。

Q2：使用Motion Sketch需要什么條件？費用如何？

A：Motion Sketch至少需要Runway的標(biāo)準(zhǔn)訂閱，費用為每用戶每月12美元，包含625個月度積分。用戶可以從儀表板的"App"菜單進入，選擇Motion Sketch功能開始使用。

Q3：Motion Sketch生成的視頻效果如何？有什么局限性？

A：Motion Sketch能夠識別簡單的涂鴉并生成對應(yīng)的視頻效果，但仍有不完美之處，比如物體可能出現(xiàn)穿透現(xiàn)象或意外變形。復(fù)雜的運動模擬仍然具有挑戰(zhàn)性，通常需要多次嘗試和文本提示輔助才能獲得理想效果。