最近刷短視頻，有沒有發(fā)現(xiàn)網(wǎng)上各種經(jīng)典電影片段、名人梗圖，主角突然都“開口說話”了。

《甄嬛傳》里的人物，用著原劇的腔調(diào)和口型，卻講著最新鮮的網(wǎng)絡(luò)熱梗；《讓子彈飛》的張麻子，一張口就是地道的四川方言，毫無違和感。

甚至連各種名畫里的人物，也能開口“活起來”，仿佛穿越時空在跟你對話。

這股讓靜態(tài)畫面瞬間“開口說話”的新風(fēng)潮，背后是各大平臺近期密集推出的 AI 視頻生成玩法。

其熱度，頗有幾分今年上半年 AI 繪畫爆火時的架勢。趣味十足，驚喜感拉滿。

而最近，豆包的Seedance 1.5 Pro正式上線，它直接把這種“玩?！斌w驗，提升到了一個更實用、更有趣的新層次。

現(xiàn)在，你不僅可以用它對口型，更能讓 AI 理解畫面故事，為你自動生成一段合情合理的“小劇場”，讓每一幀畫面都活起來。

生成的視頻不僅支持中文、英文、日文、韓語、西班牙語等多語種，還能針對中文場景生成四川話、粵語等方言。

比如，狐妹在廣東就被那句“活力大灣區(qū)，魅力新廣州”的口號刷屏洗腦。

來試試在廣州“小蠻腰”前，一位廣州男孩和阿凡達納美人用粵語講這句口號是啥樣的。

在突破傳統(tǒng)有聲視頻的基礎(chǔ)上，借助精準的音畫同步技術(shù)和電影級運鏡優(yōu)化，角色的每一個細微動作和表情都更自然，讓生成的視頻在觀感上更接近精心拍攝的短片，而不是生硬的合成動畫。

想要體驗一翻，你可以通過豆包 APP（點擊“照片動起來”并選擇 1.5 Pro模型）、即夢 AI或火山方舟體驗中心輕松體驗，也可以直接訪問seedance15.pro網(wǎng)址嘗試。

再跟著狐妹來幾個有意思的嘗試：

今天冬至，我們讓大熱明星尼克和朱迪一起吃餃子，并祝大家冬至快樂~

再來看一下運動畫面，讓尼克和朱迪一起來滑個雪，整個畫面動作自然，鏡頭帶動速度感，就像身臨其境在雪地里飛馳一樣。

再來看看多語言多人物對話效果，這次我們讓功夫熊貓回四川來和哪吒見個面。

可以看到，角色能夠用自己的方式說話，“誰在說話、怎么說”完全融入視頻本身，而不是簡單對口型，情緒和表情自然連貫，非常生動有趣。

再來看大家驚嘆的 AI 演員飆演技：從哭泣→帶笑意反問，整個視頻的情緒變化依然清晰可見。

可能因為我給它設(shè)置了情緒轉(zhuǎn)變，加上視頻時長短，情緒切換略顯快速，稍微有些生硬。

再來看比較火的微觀世界，讓它完成一個微型冰紅茶工廠，它還自動配上了節(jié)奏和音樂。

接著體驗空間調(diào)度與鏡頭語言，用 FPV 視角呈現(xiàn)未來城市，場景感和沉浸感都不錯。

再做一個廣告場景，拿瑞幸咖啡舉例。生成的素材配上廣告語，那種味道好像有那么一點了。

美中不足的是，有時候圖片和實物對不上，或者字幕出現(xiàn)亂碼。

這個時候就需要用首尾幀來調(diào)校，從參考圖生成視頻，可以更精準地控制輸出效果。

不過即便如此，Seedance 1.5 Pro 的文生視頻能力也毫不遜色。

根據(jù)字節(jié)公開的 Seedance 1.5 Pro 內(nèi)部基準測試結(jié)果（SeedVideoBench-1.5），無論是 T2V 文生視頻，還是 I2V 首幀轉(zhuǎn)視頻，與可靈 2.6、Google Veo 3.1 等模型相比，Seedance 1.5 Pro 都有一定優(yōu)勢。

尤其在音頻生成和音畫同步上，Seedance 1.5 Pro 幾乎碾壓性領(lǐng)先。

過去，AI 視頻常出現(xiàn)“聲畫兩張皮”的問題，視頻和音頻分開生成，后期再強行對齊，看起來很生硬。

而 Seedance 1.5 Pro 可以做到“一鏡入戲”，它從底層就把視覺和聽覺融合在一起，生成角色口型的同時同步生成對應(yīng)音頻，讓口型和聲音自然匹配，看起來就像真人在表演。

這種效果主要依賴四個技術(shù)創(chuàng)新。

第一，原生音視頻聯(lián)合生成，畫面和聲音在生成時實時對應(yīng)，從根本上避免不同步。

第二，高質(zhì)量音視頻數(shù)據(jù)，訓(xùn)練用的數(shù)據(jù)量大且精細，還包含語言、音色、方言和環(huán)境聲音等信息，讓生成更真實。

第三，精細化優(yōu)化流程，通過人類反饋強化學(xué)習(xí)（RLHF）調(diào)優(yōu)微表情、鏡頭運動和聲音情感，使表演自然生動。

第四，高效推理加速，生成速度提升十倍以上，不再需要漫長的進度條折磨。

Seedance 1.5 Pro 在音畫表現(xiàn)上已經(jīng)走出了重要的一步，但它還遠沒到完美。高速運動、多角色互動，甚至廣告場景，仍有提升空間。

但狐妹還是非常驚喜的，它已經(jīng)不再只是“會動會說”，而是能理解“誰該在什么時候做什么”。

這意味著，AI 不只是幫你生成畫面，而是在一定程度上理解表演節(jié)奏和情感，讓創(chuàng)作者把精力更多放在想法本身。

也許未來，每個人都可以用簡單文字，把腦海里的故事直接變成視頻，不必糾結(jié)技術(shù)門檻?，F(xiàn)在，AI 成為的不只是工具，而是可以合作的創(chuàng)作伙伴。

別急著評判它能做什么。先去嘗試，把你原本拍不出來的創(chuàng)意做出來，然后慢慢探索更大的可能。

參考資料：
量子位、夕小瑤、APPSO等等

編輯：不吃麥芽糖