中文視頻AI邁入“有聲之年”。

作者|景行

編輯|楊舟

不得不感嘆AI大模型的進步速度。

12月，可靈AI先是發(fā)布統(tǒng)一多模態(tài)視頻大模型可靈O1，緊接著閃電發(fā)布可靈2.6、數(shù)字人2.0。

可靈2.6的發(fā)布，則讓困擾視頻工作者已久的聲畫不同步問題得到解決，其核心功能就是音畫同出，簡單理解，一次生成，能同時做出視頻和音頻，而且二者實時同步。

其中，可選的音頻效果不僅涵蓋人聲對話、獨白，還提供環(huán)境音、效果音、樂器演奏乃至說唱等完整的音頻生態(tài)。

在此之前，部分海外視頻模型已經在音畫同出領域做出探索，如Google Veo 3.1和OpenAI Sora 2，二者均能實現(xiàn)從口型到動作、聲音的同步生成，并與畫面完成匹配。

但這些模型同樣存在弱點，如音頻控制力不足，同角色的不同片段聲音、語氣統(tǒng)一效果一般，對中文語音的理解不足導致腔調怪異，用戶調整困難等等。

在可靈2.6發(fā)布后，「市象」也在第一時間試用了產品。在一系列測試后，可以確認的是，AI視頻模型，要對過去的創(chuàng)作流程徹底重構了。

01從啞劇到聲臨其境

AI視頻的音畫同出，并非最新功能，此前已有多模型能做到。

“Sora 2是視頻生成領域的 GPT-3.5時刻?！?/p>

這一表述來自今年9月，OpenAI的官方博客。伴隨新一代視頻生成模型Sora2發(fā)布，OpenAI公開表示，新模型的性能已經超越歷代模型，不僅在物理效果上更加精確，同時還配備了同步音頻功能。

例如，在生成視頻時，能完成復雜的運動動作，或模擬真實運動場的物理表現(xiàn)，同時生成背景音、語音和音效，并將其融入到視頻當中。

但面對Sora2、Veo3.1這樣的海外一線模型時，不少海外博主，表現(xiàn)出對可靈2.6的認可。

“這比Veo3好多了！相比Veo3，它最大的優(yōu)勢在于：原生支持1080p，這在畫質上帶來了巨大的提升?！?/p>

這一表述來自海外視頻博主Simon Meyers，在分享中，他使用可靈2.6制作了一則預告片，并用各種復雜的提示詞來測試模型功能：

“我嘗試了各種聲音和對話，沒有發(fā)現(xiàn)任何明顯的限制——音效、人聲，甚至歌聲都能完美呈現(xiàn)！當然，和所有視頻模型一樣，你仍然需要進行一些迭代，但這完全可以接受。語音聽起來很逼真，語調也十分精準，總的來說，這是一個巨大的飛躍。”

在這段不到一分鐘時長的作品中，觀眾可以直觀感受到可靈2.6對音畫生成的理解：

單人獨白、背景歌曲、視頻氛圍音效、吉他彈奏聲（甚至有遠景和近景下，兩種吉他音的不同表現(xiàn)）、歌唱聲、打擊樂器聲、氣球、攪拌器、電鉆、無人機、甚至結尾字幕配合的女聲吟唱，多種復雜音頻出現(xiàn)在同一作品中，互不干擾，并與畫面完美融合。

另一視頻博主Curious Refuge選擇用新的方式測試可靈2.6——用四組畫面和生成詞，分別交給Veo3.1和可靈2.6，分別是俯拍鏡頭，兩位騎士騎馬穿越森林；推鏡頭，食客在面館吃拉面；特寫鏡頭，男子在帆船上獨白；固定中景鏡頭，男子吃掉餅干，并與寵物狗交流。

結論是，可靈2.6的表現(xiàn)令人意外。

在各項對比中，可靈2.6在多個測試成績上要超過Veo3.1，如場景生成、相機運動更符合生成詞等等。盡管在Veo 3.1的輸出結果中，也有部分表現(xiàn)出色，如音頻更為洪亮，但該博主的結論是，在這一輪測試中，可靈2.6略占上風。

事實上，除音畫協(xié)同外，可靈2.6還重點強化了音頻質量和語義理解。前者會讓各類音效層次更豐富、接近真實世界的聲音效果；后者則讓AI對復雜劇情的理解能力更強，理解作者意圖。

更多音頻元素的融入，則讓AI視頻效果直逼現(xiàn)實。除了單人講話外，可靈2.6支持多人多白、不同風格歌聲、環(huán)境音、物理音效，乃至多種音頻組合的混合音效。

這意味著，創(chuàng)作者只需要通過文本描述，就能還原一個物理世界多重環(huán)境音的層次感與空間感，獲得一個無需后期修改的完整作品。

02重構工作流

過去的AI視頻模型，創(chuàng)作者的工序大概是這樣幾步：

創(chuàng)作者思考創(chuàng)意，確定文字腳本、畫面分鏡等方向——由AI生成文、圖等素材——進一步通過素材生成視頻——后期生成配音和音效，并校對完成。

其中，后期制作是最為耗時的環(huán)節(jié)之一。對剪輯從業(yè)者來說，無論是語音、效果音的制作和篩選，還是視頻的后期對軸，將音效與畫面逐幀對齊，這一工作對視頻質量的影響極大，不僅依賴經驗，且過程繁瑣，需要在視頻工具、音頻工具中反復切換，

這讓可靈2.6的新功能重要性更為突出。在創(chuàng)作時，用戶只需輸入畫面、動作、聲音的三要素精確描述，就能獲得一段高質量的AI視頻。

這意味著，無論用戶是否有AI視頻創(chuàng)作經驗，都能在可靈2.6模型中體驗無門檻的創(chuàng)作流程。

具體方法十分簡單，在Web端可靈頁面中選擇視頻生成，文生視頻、圖生視頻均可選擇，在下方勾選“音畫同出”，并選擇品質模式、畫面比例和產出條數(shù)，輸入生成詞或參考圖即可。

需要注意的是，要生成一條滿意的AI音畫直出視頻，用戶最好能對視頻畫面、動作、聲音三要素進行精確描述，如畫面細節(jié)，人物情緒、語速等。

「市象」選擇文生視頻的方式，首先測試可靈2.6對歌曲、樂器的理解能力，生成詞如下：

光線明亮的演播室，歌手正在一邊彈奏吉他，發(fā)出悠揚的吉他音樂聲，一邊用溫柔的聲音演唱中文歌曲。

可以看到，視頻中歌手不僅通過自彈自唱方式演唱了一段原創(chuàng)歌曲，且口型、彈奏動作畫面與聲音形成契合。整個視頻不僅能實現(xiàn)畫面流暢、光影自然，在音頻層面則能做到旋律清晰，吉他演奏聲與人聲演唱層次分明，互不干擾。

再如這段生成詞：中景，慢速推鏡頭，雨聲比較大的陰雨天，有短促的閃電，滿臉泥濘的消防員在雨中說，很高興，我們成功撲滅了大火。

從視頻效果看，可靈按要求還原了雨天場景，同時表現(xiàn)出了雨水落在帽子上的物理效果，人物的獨白聲則與背景的雨聲獨立開來，形成有層次的混合音效體驗。

03當AI學會說話

在與羅永浩的播客對談中，影視颶風創(chuàng)始人TIM曾有這樣一番表述：在AI面前，創(chuàng)作者10年的努力都沒有價值。最多兩年，AI就能替換掉一個非常優(yōu)秀的剪輯師。

從產業(yè)場景來看，視頻AI正以閃電速度，從自媒體創(chuàng)意輔助者向全能的視頻生產力工具轉變。特別是可靈2.6將視頻模型音畫協(xié)同能力大幅提升后，一些過去依賴人工完成的創(chuàng)作工作，在AI面前將失去性價比優(yōu)勢。

例如在電商場景下，人工解說的效率將難以匹敵AI。

未來的電商市場，一款產品的商品圖片，可以由商家自主拍攝上傳，商品賣點的口播，則可以由AI解說完成，具體到使用場景，AI可以幫助商家輕易搭建任何高成本、電影級質感的視頻背景，并清晰傳遞出產品優(yōu)勢。如果憑借人力完成，其成本無疑將是天文數(shù)字。

在廣告場景下，視頻AI則有更大的發(fā)揮空間。

以可靈2.6的演示視頻為例，模型可高質量完成鏡頭調度、分鏡設計、音頻設計、配樂設計、動作設計、音畫結合等創(chuàng)作者近乎全方位的意圖。

在過去，一條一分鐘左右的廣告宣傳片制作周期可能要花費數(shù)周，策劃、攝影、剪輯、配音、后期等工種則需要全程跟進，確保最終產出符合創(chuàng)意規(guī)劃。

如今借助AI模型，創(chuàng)作者只需將創(chuàng)意交給AI來跑，借助文本生成、圖片生成等方式產出多個音畫協(xié)同的視頻作品并加以篩選，一些涉及到虛擬形象、特效等后期工作的效果，則能通過AI在幾分鐘內實現(xiàn)。

比如文本描述“生成一些精靈，用手舉起目標產品”“讓商品跨出國門，飛向世界各地”等，這不僅效率大幅提高，更降去了大部分成本。

可以說，只要一個行業(yè)存在視頻內容的產出需求，類似的改變就將持續(xù)發(fā)生。如自媒體創(chuàng)作、直播、播音傳媒、音樂MV、影視制作等等。

一個肉眼可見的改變是，在短視頻平臺，部分經史人文類博主已經率先應用AI生成視頻素材，以節(jié)約創(chuàng)作時間。隨著可靈2.6發(fā)布，中文視頻模型音畫協(xié)同技術成熟，留給博主的創(chuàng)作空間還將進一步拓展。

對所有相關從業(yè)者而言，這場聲音革命都迫使人思考，當長周期重投入的生產模式變成即時批量生產，當AI學會自己發(fā)聲，人應該掌握的，應當是把握創(chuàng)意和審美，教AI講好故事。

本文為《市象》原創(chuàng)文章

未經授權不得轉載或建立鏡像

轉載、交流、合作請?zhí)砑游⑿牛篗ingFei_99