允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

12月伊始，可靈AI接連放出大招。

全球首個(gè)統(tǒng)一的多模態(tài)視頻及圖片創(chuàng)作工具“可靈O1”、具備“音畫(huà)同出”能力的可靈2.6模型可靈數(shù)字人2.0功能……

5天內(nèi)5次“上新”，直接讓生成式AI領(lǐng)域的競(jìng)爭(zhēng)“卷”出新高度。

可靈O1，從圖片到視頻，帶來(lái)更強(qiáng)的“可控性”

可靈2.0發(fā)布的時(shí)候，就創(chuàng)新性地提出過(guò)一個(gè)全新交互理念——Multimodal Visual Language（MVL），讓用戶能夠結(jié)合圖像參考、視頻片段等多模態(tài)信息，將腦海中包含身份、外觀、風(fēng)格、場(chǎng)景、動(dòng)作、表情、運(yùn)鏡在內(nèi)的多維度復(fù)雜創(chuàng)意，直接高效地傳達(dá)給AI。

基于MVL理念，在最新的一次迭代中，可靈O1將所有生成和編輯任務(wù)融合于一個(gè)全能引擎之中，為用戶搭建全新的多模態(tài)創(chuàng)作流，實(shí)現(xiàn)從靈感到成品的一站式閉環(huán)。

就像a16z投資合伙人Justine Moore在產(chǎn)品發(fā)布后第一時(shí)間點(diǎn)評(píng)的那樣：

• 我們終于迎來(lái)了視頻界的Nano Banana。

以可靈視頻O1模型為例，它打破了傳統(tǒng)單一視頻生成任務(wù)的模型邊界，將參考生視頻、文生視頻、首尾幀生視頻、視頻內(nèi)容增刪、視頻修改變換、風(fēng)格重繪、鏡頭延展等多種任務(wù)，融合于同一個(gè)全能引擎之中，使得用戶無(wú)需在多個(gè)模型及工具間跳轉(zhuǎn)，即可一站式完成從生成到修改的全部創(chuàng)作流程。

無(wú)論是創(chuàng)作者們“頭疼”已久的主體一致性難題，還是視頻畫(huà)面的可控性問(wèn)題，都在這次模型迭代里找到了相對(duì)完美的解決方案。

在圖片生成這件事上，可靈AI也創(chuàng)新性地完成了迭代。

最新上線的圖像O1模型，可以實(shí)現(xiàn)從基礎(chǔ)圖像生成到高階細(xì)節(jié)編輯全鏈路無(wú)縫銜接，對(duì)用戶來(lái)說(shuō)，既可通過(guò)純文本生成圖像，也可上傳最多10張參考圖進(jìn)行融合再創(chuàng)作。

“音畫(huà)同出”能力也有了！可靈2.6模型完成里程碑式迭代

眾所周知，可靈擁有一大批忠實(shí)的“發(fā)燒友”。他們既是產(chǎn)品的深度使用者，也能從功能層面提出自己的見(jiàn)解。

O1發(fā)布之后，就有不少網(wǎng)友排隊(duì)“許愿”產(chǎn)品功能，排名靠前的，幾乎都在關(guān)心可靈什么時(shí)候會(huì)推出伴隨視頻畫(huà)面的語(yǔ)音及音效直出功能。

答案很快就揭曉了。

12月3日夜晚，可靈AI接著“放大招”，正式推出2.6模型

這次更新中，可靈AI上線里程碑式的“音畫(huà)同出”能力，徹底改變了傳統(tǒng)AI視頻生成模型“先無(wú)聲畫(huà)面、后人工配音”的工作流程。

它能夠在單次生成中，輸出包含自然語(yǔ)言、動(dòng)作音效以及環(huán)境氛圍音的完整視頻，重構(gòu)了AI視頻創(chuàng)作工作流，極大提升創(chuàng)作效率。

可靈AI海外超級(jí)創(chuàng)作者、AI電影導(dǎo)演Simon Meyer制作的這支宣傳片，生動(dòng)詮釋了這次可靈2.6的能力創(chuàng)新之處。

對(duì)于創(chuàng)作者來(lái)說(shuō)，輸入文本或是輸入圖片結(jié)合提示詞文本，均可直接生成帶有語(yǔ)音、音效及環(huán)境音的視頻。

語(yǔ)音部分，可靈目前支持生成中文以及英文，生成視頻長(zhǎng)度最長(zhǎng)支持10秒（據(jù)說(shuō)，更多樣的語(yǔ)言體系以及固定聲線等功能正在研發(fā)中）。

通過(guò)對(duì)物理世界聲音與動(dòng)態(tài)畫(huà)面的深度語(yǔ)義對(duì)齊，可靈2.6模型在音畫(huà)協(xié)同、音頻質(zhì)量和語(yǔ)義理解上表現(xiàn)亮眼。

對(duì)“音畫(huà)同出”能力感興趣的朋友，可以趕快試試，說(shuō)不定你會(huì)和Simon Meyer一樣產(chǎn)生強(qiáng)烈共鳴。

密集更新背后，可靈AI在下一盤(pán)怎樣的大棋？

除了全新推出的可靈O1及2.6模型這兩大重磅更新，可靈還在上周相繼推出了數(shù)字人2.0、可靈O1主體庫(kù)&對(duì)比模板等功能，從AI內(nèi)容生成的實(shí)際流程出發(fā)，帶來(lái)更加便捷的操作體驗(yàn)。

5天內(nèi)5次“上新”，功能層面的精進(jìn)背后，是可靈對(duì)于生成式AI技術(shù)的極致追求。

比如12月1日推出的視頻O1模型，就打破了視頻模型在生成、編輯與理解上的功能割裂，構(gòu)建了全新的生成式底座。

融合多模態(tài)理解的Multimodal Transformer和多模態(tài)長(zhǎng)上下文（Multimodal Long Context），實(shí)現(xiàn)了多任務(wù)的深度融合與統(tǒng)一。

根據(jù)可靈AI團(tuán)隊(duì)的內(nèi)部測(cè)評(píng)，在“圖片參考”任務(wù)上，可靈AI對(duì)Google Veo 3.1的整體效果勝負(fù)比為247%；在“指令變換”任務(wù)上，與Runway Aleph對(duì)比的整體效果勝負(fù)比達(dá)到230%

尤為難得的是，作為國(guó)產(chǎn)視頻生成大模型領(lǐng)域的代表，從2024年6月正式推出以來(lái)，可靈AI的每一次迭代幾乎都能讓業(yè)界迎來(lái)一次“集體興奮”。

從早期人們津津樂(lè)道的吃面條的案例，到特斯拉創(chuàng)始人馬斯克的點(diǎn)贊，再到可靈AI這一波“批量上新”操作，視覺(jué)生成技術(shù)逐步走向成熟的過(guò)程里，可靈AI無(wú)疑是那個(gè)常常喚起共鳴的關(guān)鍵角色。

△X網(wǎng)友Min Choi發(fā)布的文章，對(duì)比了不同技術(shù)能力之下“威爾·史密

在持續(xù)引發(fā)討論的同時(shí)，能否推進(jìn)技術(shù)的廣泛應(yīng)用落地，也是生成式AI平臺(tái)不得不面對(duì)的問(wèn)題。

數(shù)據(jù)顯示，可靈AI目前覆蓋的企業(yè)用戶數(shù)超過(guò)2萬(wàn)家，涵蓋影視制作、廣告、創(chuàng)意設(shè)計(jì)、自媒體、游戲、電商等等諸多領(lǐng)域。

多元的行業(yè)客戶構(gòu)成，意味著可靈AI必須持續(xù)打破技術(shù)應(yīng)用的上限。

就像這次升級(jí)的可靈2.6模型，可以支持包括說(shuō)話、對(duì)話、旁白、唱歌、Rap、環(huán)境音效、混合音效等多種聲音的單獨(dú)或混合生成，能夠廣泛地應(yīng)用于各行各業(yè)的實(shí)際創(chuàng)作場(chǎng)景中，極大提升創(chuàng)作效率；

再比如數(shù)字人2.0功能的迭代，對(duì)于創(chuàng)作者而言，只需要上傳角色圖，添加配音內(nèi)容并描述角色表現(xiàn)，就可以得到表現(xiàn)力生動(dòng)的“自定義數(shù)字人”，更令人興奮的是，視頻內(nèi)容最長(zhǎng)可達(dá)5分鐘

快手高級(jí)副總裁、可靈AI事業(yè)部負(fù)責(zé)人兼社區(qū)科學(xué)線負(fù)責(zé)人蓋坤曾在不同場(chǎng)合表示：

• 我們的初心，是讓每個(gè)人都能用AI講出好的故事，我們也真切地希望這一天更快到來(lái)。

在可靈AI年末的這一系列更新中，我們感受到，這一天更近了。