新智元報(bào)道

編輯：艾倫 Aeneas

【新智元導(dǎo)讀】就在剛剛，通義萬相2.6一發(fā)布，就迅速成為業(yè)界功能最豐富的視頻模型。酷炫新功能比Sora 2還強(qiáng)，成為全球唯二、國內(nèi)首個(gè)角色扮演功能模型。

年底了，國內(nèi)大廠們卷得越來越激烈。

就在剛剛，阿里萬相2.6系列模型上線，一口氣推出角色扮演、分鏡控制等功能，成為業(yè)界功能最豐富的視頻模型！

9月，萬相2.5的圖生視頻，就在權(quán)威測評(píng)集LMArena上位居全國第一。

這次的萬相2.6，跟以往有什么不一樣？

它針對(duì)專業(yè)影視創(chuàng)作場景進(jìn)行了全面升級(jí)，是國內(nèi)首個(gè)具備角色扮演的模型！

只要輸入特定的人或物的IP形象和聲音，它就可以據(jù)此生成視頻，一致性令人震撼。

看看下面這個(gè)視頻，你就會(huì)明白它將給影視從業(yè)者帶來多大的加持。

這是用戶上傳一段個(gè)人視頻，并輸入一段科幻懸疑風(fēng)格的提示詞，萬相2.6直出的角色扮演視頻。

幾分鐘就能一鍵搞定分鏡設(shè)計(jì)、角色演繹、畫面配音等環(huán)節(jié)，人人都能當(dāng)電影主角的時(shí)代來了！

這一次，阿里萬相影響的可能不僅僅是專業(yè)影視制作產(chǎn)業(yè)了，這是一款普通人都能玩的大模型。

萬相，再一次大升級(jí)

為什么文章開頭展示的Case，無論在人物還是人聲、音效上，都能生成得如此逼真呢？

這都要?dú)w功于萬相2.6音畫一體的角色扮演功能。

這次萬相2.6的是全球唯二、國內(nèi)首個(gè)具備角色扮演功能的模型，在此之前Sora 2曾首創(chuàng)了這一功能，這一功能一度爆火，全球網(wǎng)友都在用山姆·奧特曼的形象來生成視頻，各大社交平臺(tái)涌現(xiàn)了山姆·奧特曼講東北話、表演才藝等視頻。

不過，有一說一，Sora 2整體偏寫實(shí)風(fēng)、畫面清晰度不盡如人意，要生成更精致、專業(yè)的小短片是遠(yuǎn)遠(yuǎn)不夠的。

而這次萬相2.6終于把角色扮演和電影級(jí)畫面結(jié)合起來了，將視頻質(zhì)感提升了一個(gè)臺(tái)階。

據(jù)介紹，通義萬相在模型結(jié)構(gòu)上集成了多項(xiàng)創(chuàng)新技術(shù)，可對(duì)輸入?yún)⒖家曨l進(jìn)行多模態(tài)聯(lián)合建模與學(xué)習(xí)，參考具有時(shí)序信息的主體情緒、姿態(tài)和多角度全面視覺特征，同時(shí)提取音色、語速等聲學(xué)特征，在生成階段作為參考條件控制，實(shí)現(xiàn)從畫面到聲音的全感官全維度一致性保持與遷移。

它可以參考輸入視頻中的外觀和音色，將任意人或物作為主角，生成單人表演或雙人合拍。

新版本萬相的文生視頻和圖生視頻都能支持15s的長視頻生成，能非常自然地提升畫面的時(shí)空內(nèi)容容量，支持更完整的敘事。

而更強(qiáng)的指令遵循能力，就呈現(xiàn)出了更真實(shí)細(xì)膩的畫面質(zhì)感。

提示詞：

生成一段5秒、16:9、24fps、單鏡頭一鏡到底（no cut）的電影感視頻。

場景：雨后傍晚的日式庭院石階上，有一顆透明玻璃球（直徑約8cm）放在濕潤的黑色火山石上；背景是虛化的楓葉與柔和燈籠光，色調(diào)青綠+琥珀，有細(xì)膩的體積光、微小雨滴漂浮在空氣中，極致干凈、靜謐、唯美。

嚴(yán)格限制畫面元素：只允許出現(xiàn)3個(gè)主體：玻璃球、黑色火山石、1只白色紙鶴（折紙質(zhì)感）；

不要出現(xiàn)人物、動(dòng)物、額外道具、額外文字或多余物體。

鏡頭與運(yùn)動(dòng)約束：

·鏡頭：35mm，淺景深，真實(shí)電影鏡頭質(zhì)感，輕微呼吸感但不抖動(dòng)

·運(yùn)動(dòng)：全程只允許一次非常緩慢的 向前推鏡（dolly-in），不要變焦（no zoom），不要搖晃，不要切鏡頭

·光照：雨后地面反光清晰但不過曝，高級(jí)、通透、無臟噪點(diǎn)

時(shí)間軸指令（必須精確發(fā)生）：

·0.0s–1.5s：玻璃球靜止，石頭表面有細(xì)小水珠閃爍；背景楓葉僅輕微擺動(dòng)（幅度很?。?/p>

·1.5s–3.0s：一只白色折紙鶴從畫面右側(cè)緩慢飛入，沿著玻璃球前方逆時(shí)針繞行半圈（保持優(yōu)雅、速度穩(wěn)定）

·在3.0s的瞬間： 折紙鶴輕輕停在玻璃球頂部邊緣0.5秒（短暫停留要清晰可見）

·3.5s–4.5s：一滴雨水從玻璃球上緣形成并沿球面滑落，折射出背景燈籠的琥珀色光斑（折射要真實(shí)）

·在4.5s–5.0s：玻璃球內(nèi)部出現(xiàn)極淡的發(fā)光雕刻文字 “新智元”（必須拼寫正確、居中、只有這一段文字），亮起后保持到結(jié)束；同時(shí)紙鶴緩慢抬起準(zhǔn)備離開但不飛出畫面

結(jié)尾約束：

·5.0s結(jié)束時(shí)保持同一畫面，不要淡出黑屏，不要出現(xiàn)額外轉(zhuǎn)場、字幕、水印或邊框。

負(fù)面提示詞：

低質(zhì)量，模糊，噪點(diǎn)，抖動(dòng)，跳幀，卡通風(fēng)，過飽和，過曝，鬼影，畸變，多鏡頭切換，變焦，字幕水印，logo，額外文字，人物，動(dòng)物，額外道具，雜亂背景，廉價(jià)塑料質(zhì)感，錯(cuò)誤拼寫，文字漂移，文字變形。

值得注意的是，萬相2.6也完全可以生成非人像視頻，主打的是萬物都能主演。

寵物、卡通IP、手辦玩偶，甚至任意物體或建筑物，都可以手拿把掐。

比如下面根據(jù)參考視頻生成的蠟筆小新，模仿得惟妙惟肖，讓人懷疑是原片的程度。

例如上傳小貓和圣誕老人的視頻作為參考，就能生成一段圣誕老人騎著小貓的夢幻畫面。

多主體合拍這個(gè)功能，也是非常有意思。

你可以上傳自己的角色，讓它們同處一個(gè)數(shù)字時(shí)空，進(jìn)行有趣的交互。

關(guān)羽擼貓這個(gè)場景，瞬間就打破次元壁。

關(guān)羽擼貓

智能分鏡+多鏡頭公式

這次萬相的另一大能力升級(jí)就是支持智能分鏡！

萬相2.6可將用戶簡單的提示詞轉(zhuǎn)換為多分鏡腳本，生成包含多個(gè)鏡頭的連貫敘事視頻，并且保持多鏡頭間的主體、場景等關(guān)鍵信息的一致性。

我們設(shè)計(jì)了三個(gè)測試用例，重點(diǎn)評(píng)估了萬相2.6多鏡頭切換、邏輯一致性以及電影級(jí)美學(xué)這三方面的能力。

賽博朋克黑色電影——側(cè)重光影與環(huán)境邏輯

在第一個(gè)測試中，我們利用復(fù)雜的霓虹燈光和雨水環(huán)境，測試了模型在鏡頭切換時(shí)對(duì)「光源位置」、「地面反射」以及「人物著裝細(xì)節(jié)」的統(tǒng)一建模能力。

這個(gè)測試的靈感，來源于《銀翼殺手2049》的攝影風(fēng)格。

其中，鏡頭調(diào)度的要求是特寫（腳/倒影） -> 中景（人物狀態(tài)） -> 大遠(yuǎn)景（城市環(huán)境）。

并且測試對(duì)一致性的要求也很高：倒影中的全息廣告（Shot 1）必須在遠(yuǎn)景（Shot 3）中作為實(shí)體背景出現(xiàn)；風(fēng)衣的材質(zhì)和濕潤感在不同景別下必須一致。

可以看到，萬相2.6很好地完成了要求，效果驚艷。

提示詞：

Cinematic sequence, 3 shots montage. Shot 1: Close-up of a futuristic detective's boots stepping into a rain puddle on a neon-lit street at night. The reflection shows a towering holographic advertisement in blue and pink. Shot 2: The camera tilts up and pulls back to a medium shot. The detective, wearing a weathered brown trench coat and a fedora, stands still. Rain pours down, soaking the coat. The blue and pink neon lights from the background reflect accurately on his wet coat. Shot 3: Wide drone shot, pulling far back and up. The detective is a small figure in the vast, crowded cyberpunk city. The specific blue and pink hologram from Shot 1 is now visible as a massive skyscraper projection. The atmosphere is melancholic and dystopian. High contrast, anamorphic lens, 4k, hyper-realistic.

維多利亞時(shí)代的余暉——側(cè)重人物與物體恒定性

在第二個(gè)測試中，我們通過室內(nèi)精致的陳設(shè)和人物細(xì)膩的動(dòng)作，測試了模型對(duì)「物體相對(duì)位置」和「人物面部特征」在不同角度下的穩(wěn)定性。

對(duì)AI的要求是模仿《傲慢與偏見》或《巴里·林登》的自然光攝影。

其中，鏡頭調(diào)度是極特寫（手部動(dòng)作） -> 環(huán)繞運(yùn)鏡（側(cè)面肖像） -> 拉鏡頭（全景布局）。

這次的一致性挑戰(zhàn)，難度更加升級(jí)了：隨著鏡頭環(huán)繞，天鵝絨裙子的光澤變化需符合物理規(guī)律；「夕陽」的光源方向在所有鏡頭中必須保持不變（長影子的方向）。

萬相2.6的表現(xiàn)出色，每一幀中的人臉和光影變幻，都非常自然真實(shí)。

提示詞：

A continuous storytelling sequence in a Victorian library. Camera Movement: The camera starts with an extreme close-up on an elegant woman's hand writing with a quill on parchment paper. Dust motes dance in the golden sunset light streaming through a large window. Transition: The camera seamlessly tracks around her, moving to a profile shot. We see she is wearing a dark green velvet dress with lace collar. She pauses and looks out the window, expression pensive. Final Composition: The camera zooms out to establish the room. The library is filled with floor-to-ceiling bookshelves. The woman sits at the heavy oak desk in the exact center. The lighting remains warm and directional from the window, casting long consistent shadows across the room. Cinematic lighting, 35mm film grain, masterpiece.

星際探索者——側(cè)重空間關(guān)系與大動(dòng)態(tài)

最后，我們要求萬相2.6挑戰(zhàn)了一場宏大敘事的視聽盛宴，旨在深度測試模型對(duì)「大場景空間構(gòu)建」的高層語義理解，以及從地表微觀細(xì)節(jié)到星球宏觀視角的無縫切換能力。

風(fēng)格是模仿《星際穿越》或《沙丘》的孤寂而壯麗的史詩質(zhì)感，更在鏡頭語言上展現(xiàn)了極高的專業(yè)度。

鏡頭調(diào)度及伴隨的一致性挑戰(zhàn)方面，整段視頻采用了一組極具張力的連續(xù)運(yùn)鏡：

1. 低角度跟隨（Shot 1）：鏡頭貼地推進(jìn)，捕捉宇航員步伐與揚(yáng)起的紅沙。

2. 正面主觀反射（Shot 2）：鏡頭無縫切換至正面特寫，這是對(duì)空間邏輯的極限挑戰(zhàn)——宇航員金色面罩上的反射，精準(zhǔn)映射了其正前方的真實(shí)環(huán)境（雙月與遠(yuǎn)古巨石），完美構(gòu)建了「人向巨石行進(jìn)」的正確空間關(guān)系，而非簡單的背景貼圖。

3. 上帝視角俯瞰（Shot 3）：鏡頭最后極速拉升至高空，而在這一宏觀視角下，沙地上清晰保留了宇航員剛剛走過的連貫?zāi)_印軌跡，完成了對(duì)時(shí)間連續(xù)性與物理邏輯的最高級(jí)驗(yàn)證。

萬相2.6產(chǎn)出的這一片段，運(yùn)鏡如行云流水，光影與空間邏輯嚴(yán)絲合縫，堪稱史詩級(jí)運(yùn)鏡，完全到了能上大熒幕的程度。

提示詞：

Cinematic sci-fi sequence, IMAX format, Dune style. Global Spatial Logic: A lone astronaut is walking forward across a red desert towards a massive, black Monolith structure in the far distance. The sequence maintains strictly consistent direction of movement. Shot 1 (Low Angle Behind): Camera is positioned low, behind the astronaut's heels. We see the boots kicking up red sand as they walk forward . In the blurry background, the giant Monolith stands on the horizon. Shot 2 (Frontal Reverse Shot): Cut to a medium close-up of the astronaut's face. The camera is now in front of the astronaut, moving backwards at the same speed. The astronaut is walking towards the camera . CRITICAL DETAIL: The golden visor of the helmet reflects the scene behind the camera : specifically, the giant Monolith and two moons are clearly visible in the reflection, growing slightly larger as he approaches. Shot 3 (God's Eye Zoom): The camera rapidly pulls up vertically to a top-down drone view (90 degrees). The astronaut is a small white dot moving forward . Consistency Check: A long, single trail of footprints is visible behind him, showing the path he just walked. The Monolith is visible at the top of the frame, showing the remaining distance. Atmosphere: Epic scale, Hans Zimmer vibe, consistent lighting from the right side.

從視頻效果來看，三個(gè)視頻均通過了一致性挑戰(zhàn)，萬相2.6是真的強(qiáng)！

萬相2.6的提示詞公式

要把模型的能力發(fā)揮到極致，提示詞無疑是最關(guān)鍵的一環(huán)。這次萬相團(tuán)隊(duì)公開了角色扮演和分鏡控制的提示詞公式。

基于分鏡控制提示詞公式能精準(zhǔn)控制鏡頭的結(jié)構(gòu)、機(jī)位和時(shí)間，并且還能在多鏡頭間保持畫面主體、場景、氛圍的一致。

比如下面這個(gè)多鏡頭公式，就讓我們產(chǎn)出了非常精彩的畫面。

提示詞：

這個(gè)故事以第三人稱視角，講述了一個(gè)關(guān)于放棄與重拾希望的短劇。

第1個(gè)鏡頭[0-3秒]一個(gè)男孩在操場的角落獨(dú)自坐著，低頭望著手中的信紙，隨后輕輕嘆氣，眼神中透露出迷茫。

第2個(gè)鏡頭[3-5秒]硬切轉(zhuǎn)場，固定機(jī)位，聚焦于男孩的眼睛，淚光閃爍，帶著失落和無助。

第3個(gè)鏡頭[5-10秒]硬切轉(zhuǎn)場，場景轉(zhuǎn)至一間簡樸的教室。一個(gè)女孩眼神溫和而堅(jiān)定，穿著樸素的衣著，面帶溫和而堅(jiān)定的笑容，走到男孩的身邊安慰他。

當(dāng)然，基礎(chǔ)的文生視頻和圖生視頻功能，萬相2.6當(dāng)然也是不在話下。

仔細(xì)看，視頻中的人臉、微表情和語音，都達(dá)到了高度同步，連挑眉、微笑都自然如真人。

語調(diào)的抑揚(yáng)頓挫，舞臺(tái)的肢體語言，還有和觀眾互動(dòng)的時(shí)機(jī)把控，這段視頻的喜劇節(jié)奏竟然毫無機(jī)械感。

可以說，萬相2.6直接抓住了單口喜劇的靈魂。

萬相2.6，硬剛Sora 2

國慶節(jié)期間問世的Sora 2，憑借頂尖的模型性能與實(shí)際效果，徹底炒熱了視頻生成的市場，點(diǎn)燃了創(chuàng)作者和網(wǎng)友的熱情，盡管最新的數(shù)據(jù)顯示Sora App的留存率并不理想，但Sora依舊是這個(gè)領(lǐng)域的王者。

而這次阿里發(fā)布的通義萬相2.6，有望挑戰(zhàn)這一地位。

萬相2.6帶來的角色扮演和分鏡控制等能力，為影視制作帶來了全新的想象空間，曾經(jīng)需要專業(yè)團(tuán)隊(duì)協(xié)作才能完成的工作，如今一個(gè)人、一個(gè)靈感、一段提示詞，就能啟動(dòng)，人人都能當(dāng)導(dǎo)演、人人都能當(dāng)電影主角的時(shí)代已經(jīng)來了！

參考資料：

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！