字節(jié)跳動發(fā)布Seedance 2.0多模態(tài)AI視頻生成模型

Seedance 2.0能夠考慮攝像機運動、視覺效果和動作細節(jié)。

科技巨頭在最新AI模型競賽中持續(xù)較量，字節(jié)跳動推出了下一代視頻生成器。這家TikTok背后的中國公司在博客文章中表示，Seedance 2.0支持結合文本、圖像、視頻和音頻的多模態(tài)提示。

公司聲稱該模型"在生成質量上實現(xiàn)了實質性飛躍"，在生成包含多個主體的復雜場景以及遵循指令方面都有顯著改進。用戶可以通過向Seedance 2.0提供最多九張圖像、三個視頻片段和三個音頻片段來優(yōu)化文本提示。

該模型能夠生成長達15秒的帶音頻視頻片段，同時考慮攝像機運動、視覺效果和動作細節(jié)。據(jù)字節(jié)跳動介紹，它還能參考基于文本的故事板。

過去一年中，AI驅動的視頻生成模型變得更加先進，谷歌Veo 3增加了生成音頻支持片段的能力，OpenAI推出了Sora 2以及一款允許用戶創(chuàng)建具有"超真實動作和聲音"視頻的新應用。AI初創(chuàng)公司Runway也發(fā)布了其AI視頻模型的新版本，聲稱具有"前所未有的"準確性。

在字節(jié)跳動分享的一個示例中，展示了兩名花樣滑冰運動員一起表演的場景，公司表示Seedance 2.0能夠"可靠地執(zhí)行一系列高難度動作——包括同步起跳、空中旋轉和精確著冰——同時嚴格遵循現(xiàn)實世界的物理定律。"

社交媒體上的用戶已經開始展示這個新工具的能力，有人發(fā)布了一個AI生成的視頻，其中包含布拉德·皮特和湯姆·克魯斯相似形象的電影式打斗場景?！端朗獭肪巹±滋亍だ锼罐D發(fā)了這個視頻并評論道："我不得不說，我們可能要完蛋了。"

其他帖子展示了Seedance 2.0生成動漫風格片段、卡通、電影級科幻場景以及看起來像內容創(chuàng)作者制作的視頻的能力。目前尚不清楚Seedance 2.0提供什么版權保護措施，在X平臺上快速搜索會發(fā)現(xiàn)大量包含《龍珠Z》、《惡搞之家》、《寶可夢》等角色的片段。

目前，Seedance 2.0僅通過字節(jié)跳動的Dreamina AI平臺和其AI助手豆包提供服務。尚不清楚它是否會進入TikTok——特別是現(xiàn)在該應用在美國已經易主。

Q&A

Q1：Seedance 2.0有什么特別的功能？

A：Seedance 2.0是字節(jié)跳動推出的多模態(tài)AI視頻生成模型，支持結合文本、圖像、視頻和音頻的提示。用戶可以提供最多九張圖像、三個視頻片段和三個音頻片段來優(yōu)化生成效果，能夠生成長達15秒的帶音頻視頻片段。

Q2：Seedance 2.0在技術上有哪些突破？

A：該模型在生成質量上實現(xiàn)了實質性飛躍，特別是在生成包含多個主體的復雜場景以及遵循指令方面。它能夠考慮攝像機運動、視覺效果和動作細節(jié)，嚴格遵循現(xiàn)實世界的物理定律，可以生成從動漫風格到電影級科幻場景的各類視頻。

Q3：普通用戶如何使用Seedance 2.0？

A：目前Seedance 2.0僅通過字節(jié)跳動的Dreamina AI平臺和其AI助手豆包提供服務。尚不清楚它是否會進入TikTok平臺，特別是考慮到TikTok在美國的現(xiàn)狀。用戶需要通過這些指定平臺來體驗該技術。