智東西
作者 王涵
編輯 心緣

智東西4月3日?qǐng)?bào)道，今天，阿里通義實(shí)驗(yàn)室發(fā)布視頻創(chuàng)作大模型Wan2.7-Video，支持文本、圖像、視頻、音頻全模態(tài)輸入，在畫面結(jié)構(gòu)、劇情走向、局部細(xì)節(jié)、時(shí)序變化等方面均可編輯。

Wan2.7-Video實(shí)現(xiàn)一句話改視頻，模型會(huì)自動(dòng)保持光影與材質(zhì)的一致性，同時(shí)可以搭配多張圖像輸入。

Wan2.7-Video引入了視頻續(xù)寫與尾幀控制的聯(lián)合機(jī)制，用戶可以在續(xù)寫視頻的同時(shí)，直接指定結(jié)尾畫面。同時(shí)，該模型支持全模態(tài)素材參考，最多支持5個(gè)視頻主體參考。

在運(yùn)鏡方面，用戶只需丟一段簡短文字，模型就能自動(dòng)搞定智能劇本創(chuàng)作和分鏡調(diào)度，還可以根據(jù)不同的電影類型自動(dòng)匹配相關(guān)色彩和光影風(fēng)格。

智東西上手體驗(yàn)了Wan2.7-Video的角色替換功能，讓模型將原視頻中的歐美男生換為參考圖中的中國男生。

可以看到，素材替換后的視頻，背景和人物的服裝、姿態(tài)均與原視頻保持一致，人物的嘴型和臺(tái)詞也沒有改變，只是人物服裝上的光影效果被壓暗了。并且，視頻中替換后的中國男生也與素材照片基本一致。

原視頻：

修改后視頻：

體驗(yàn)鏈接：

阿里云百煉：

https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all?providers=wan

萬相官網(wǎng)：

https://tongyi.aliyun.com/wan

一、支持局部增刪改，可參考多模態(tài)素材

在Wan2.7-Video中，用戶可以像修圖一樣修視頻，可以通過指令對(duì)視頻畫面進(jìn)行局部調(diào)整，編輯后的區(qū)域在光影與材質(zhì)上能與原視頻自然融合。

該模型支持指令增刪元素、替換物體，也可修改物體屬性，還可以支持參考圖像內(nèi)容進(jìn)行精準(zhǔn)添加。Wan2.7-Video可以保持人物動(dòng)作不變，將背景季節(jié)從夏日變深秋，或一鍵轉(zhuǎn)換畫風(fēng)。

對(duì)于已經(jīng)拍攝或生成的視頻內(nèi)容，該模型支持通過指令描述對(duì)劇情內(nèi)容和拍攝方法進(jìn)行修改。

角色方面，Wan2.7允許用戶在不改變?cè)猩矸莺蛨?chǎng)景的前提下，對(duì)角色的行為、臺(tái)詞甚至拍攝視角進(jìn)行修改，實(shí)現(xiàn)二次創(chuàng)作。

該模型支持修改角色所講的臺(tái)詞內(nèi)容，保持其情緒、口型與新臺(tái)詞匹配，并保持音色統(tǒng)一。用戶也可以修改視頻中角色的行為，如“其他保持不變，坐沙發(fā)上的女生變?yōu)檎局蛴螒颉?，僅動(dòng)作邏輯改變。

同時(shí)該模型還支持同場(chǎng)景角色的風(fēng)格、服飾、道具等的修改，保持原有姿勢(shì)不變。拍攝方面，Wan2.7支持修改拍攝相機(jī)設(shè)定如機(jī)位、視角、景別、鏡頭類型、焦距等。

Wan2.7可以保留原視頻的動(dòng)作序列或鏡頭運(yùn)動(dòng)，生成新場(chǎng)景；參考視頻的風(fēng)格化表現(xiàn)或粒子特效材質(zhì)；保留原視頻的色彩風(fēng)格和環(huán)境，增加劇情等。

本次升級(jí)，Wan2.7重點(diǎn)優(yōu)化了視頻續(xù)寫+尾幀控制功能，Wan2.7可以實(shí)現(xiàn)對(duì)劇情走向和畫面構(gòu)圖、光影的精準(zhǔn)控制，兼顧動(dòng)態(tài)延續(xù)性與結(jié)構(gòu)可控性。

用戶只需要告訴模型后續(xù)劇情，它就能在保證畫面連貫的前提下，延展劇情、變換機(jī)位或調(diào)整節(jié)奏，有效解決傳統(tǒng)首尾幀中常見的“剎車感”以及視頻續(xù)寫可控性差的問題。

在參考圖方面，Wan2.7支持圖像、視頻、音頻等多模態(tài)參考，支持最多5個(gè)視頻主體參考。該模型還對(duì)多宮格參考圖進(jìn)行了針對(duì)優(yōu)化，可以直接將漫畫轉(zhuǎn)換成動(dòng)畫片。

二、演繹超40種表情，還能拍出希區(qū)柯克效果

通義實(shí)驗(yàn)室視頻團(tuán)隊(duì)透露，Wan2.7對(duì)大量專業(yè)劇本進(jìn)行了學(xué)習(xí)，這使得模型掌握了編排不同戲核的內(nèi)在規(guī)律。

該模型能根據(jù)一句話，自動(dòng)構(gòu)建出符合戲劇邏輯的起承轉(zhuǎn)合，并生成節(jié)奏精準(zhǔn)、鏡頭語言豐富的專業(yè)分鏡腳本。在情緒表達(dá)上，Wan2.7不僅支持高興、悲傷、憤怒等基礎(chǔ)情緒，還能演繹超過40種細(xì)分表情。

并且，Wan2.7還建立了一種新的映射關(guān)系，即以戲核為高級(jí)指令，直接驅(qū)動(dòng)光影、攝影與色彩等參數(shù)的生成。用戶指定影片類型，如“西部片”、“科幻片”，即可獲得與風(fēng)格相符的光影、色彩等。

除此之外，該模型將動(dòng)畫的藝術(shù)風(fēng)格解構(gòu)為了整體造型、線條輪廓、光影材質(zhì)、空間等多個(gè)獨(dú)立維度。用戶可以自由組合這些維度，創(chuàng)造出獨(dú)特視覺風(fēng)格，并保持多鏡頭間的高度一致。

此外，在拍攝技巧上，其還支持推、拉、搖、移、跟、升降等數(shù)十種基礎(chǔ)運(yùn)鏡，能執(zhí)行希區(qū)柯克式變焦、上升揭示、左移右搖、手持跟拍等復(fù)合技巧。

結(jié)語：視頻生成不再是視覺模型的獨(dú)角戲

過去，用戶修改視頻中的任何細(xì)節(jié)幾乎都意味著重新生成整個(gè)片段，效率低下且難以保持一致性。Wan2.7的通過底層效率優(yōu)化顯著降低模型的使用門檻，技術(shù)優(yōu)化讓專業(yè)視頻創(chuàng)作變得更加輕松可控。

通義實(shí)驗(yàn)室語音團(tuán)隊(duì)透露，其在音頻預(yù)訓(xùn)練、音頻數(shù)據(jù)、音頻理解方面提供了大力支持，顯著提升了該模型的聲音的真實(shí)感、自然度、音樂旋律和音畫同步的質(zhì)量。

虎鯨文娛摩酷實(shí)驗(yàn)室則在影視領(lǐng)域知識(shí)和角色表演方面提供了一系列專業(yè)支持，提升了模型的影視級(jí)表現(xiàn)力。

雙方的合作說明，當(dāng)下高質(zhì)量視頻生成已不僅僅是視覺模型的競(jìng)賽，而是對(duì)音畫協(xié)同、表演邏輯和影視美學(xué)的綜合考驗(yàn)。