2月12日，字節(jié)跳動(dòng)發(fā)布最新視頻生成模型Seedance2.0，旗下AI產(chǎn)品豆包和即夢(mèng)宣布接入。目前用戶可以在豆包APP、電腦端、網(wǎng)頁(yè)版以及即夢(mèng)APP、即夢(mèng)網(wǎng)頁(yè)版等產(chǎn)品中體驗(yàn)該模型。

其中，豆包APP、即夢(mèng)APP支持真人出鏡，用戶需要先通過(guò)錄音錄像完成真人校驗(yàn)，才能生成本人形象的數(shù)字人分身，使用該分身生成AI視頻。而在豆包電腦端、網(wǎng)頁(yè)版以及即夢(mèng)網(wǎng)頁(yè)版等場(chǎng)景中，平臺(tái)均明確提示暫不支持上傳真人人臉?biāo)夭摹?/p>

Seedance 2.0 能夠支持圖像、視頻、音頻、文本四種模態(tài)輸入，表達(dá)方式更豐富，生成也更可控。用戶可以用一張圖來(lái)說(shuō)明自己想要的畫(huà)面風(fēng)格，用一個(gè)視頻指定角色的動(dòng)作和鏡頭的變化，用一段音頻表達(dá)預(yù)期的節(jié)奏和氛圍，“提示詞”開(kāi)始不再局限于文字，創(chuàng)作過(guò)程變得更自然、更高效，也更像真正的“導(dǎo)演”。

此前，Seedance 2.0已經(jīng)在小范圍進(jìn)行內(nèi)測(cè)，憑借多模態(tài)參考、精準(zhǔn)可控性等亮點(diǎn)，在全球范圍內(nèi)引發(fā)關(guān)注。一名海外創(chuàng)作者使用Seedance 2.0制作短片，與數(shù)月前海外模型的呈現(xiàn)效果做對(duì)比，明顯更真實(shí)、豐富的畫(huà)面讓埃隆·馬斯克也不由感慨：“這發(fā)生的也太快了?！焙Ｍ馍缃黄脚_(tái)上，不少國(guó)外用戶為了用上Seedance 2.0，開(kāi)始研究如何申請(qǐng)中國(guó)手機(jī)號(hào)。

馬斯克點(diǎn)評(píng)Seedance2.0在視頻效果上的進(jìn)步

游戲科學(xué)CEO、《黑神話：悟空》制作人馮驥試用后評(píng)價(jià)說(shuō)，Seedance 2.0是“當(dāng)前地表最強(qiáng)的視頻生成模型”，其在多模態(tài)信息理解與整合能力上實(shí)現(xiàn)了飛躍。

官方技術(shù)報(bào)告顯示，Seedance 2.0 采用極致的稀疏架構(gòu)來(lái)提升訓(xùn)練和推理效率，基于統(tǒng)一的多模態(tài)視頻生成架構(gòu)，模型涌現(xiàn)出了強(qiáng)大的泛化能力 ，不僅能生成音畫(huà)同步的高質(zhì)量音視頻，還可支持組合的多模態(tài)參考、視頻編輯、視頻延長(zhǎng)等復(fù)雜功能。

在基于多模態(tài)參考生成、復(fù)雜音視頻指令遵循、復(fù)雜運(yùn)動(dòng)穩(wěn)定性、專業(yè)鏡頭語(yǔ)言、音視頻表現(xiàn)力及視聽(tīng)一體化協(xié)同等多維度的測(cè)評(píng)中，Seedance 2.0 的表現(xiàn)均處于業(yè)內(nèi)領(lǐng)先水平。其在運(yùn)動(dòng)穩(wěn)定性、指令遵循及畫(huà)面美感維度均有顯著提升，生成的復(fù)雜動(dòng)作流暢細(xì)膩，并支持專業(yè)級(jí)組合運(yùn)鏡與敘事節(jié)奏控制。

Seedance 2.0 文字生成視頻能力評(píng)測(cè)

Seedance 2.0 圖片生成視頻能力評(píng)測(cè)