生成式 AI 的下半場(chǎng)：讓創(chuàng)意重新連貫。

作者丨鄭佳美

編輯丨馬曉寧

現(xiàn)在的 AI 生成技術(shù)突飛猛進(jìn)，但視頻創(chuàng)作仍然是一件“高門檻”的事。

雖然生成式 AI 帶來(lái)了前所未有的創(chuàng)作能力，但整個(gè)流程仍然瑣碎。創(chuàng)作者需要先寫腳本，再用文生視頻工具生成畫面，隨后還要處理配音、剪輯、字幕、節(jié)奏……每一步都依賴不同的軟件。專業(yè)團(tuán)隊(duì)可以用流程去銜接這些環(huán)節(jié)，但對(duì)普通創(chuàng)作者來(lái)說，這樣的分工往往意味著更多的時(shí)間成本和學(xué)習(xí)負(fù)擔(dān)。

AI 讓創(chuàng)作更容易開始，卻還沒有讓創(chuàng)作變得更連貫。真正的突破，也許不是更大的模型或更強(qiáng)的算力，而是讓 AI 真正理解創(chuàng)意、參與創(chuàng)作。只有當(dāng)這些分散的環(huán)節(jié)被重新連起來(lái)，創(chuàng)意才能自然流動(dòng)。

未來(lái)的 AI 視頻創(chuàng)作，或許不在于增加更多工具，而是在于形成一個(gè)統(tǒng)一的系統(tǒng)——讓文字、圖像和聲音能在同一個(gè)空間協(xié)作，讓構(gòu)思、生成和調(diào)整在同一語(yǔ)境中完成。

而現(xiàn)在，這種改變，正在被昆侖萬(wàn)維逐步實(shí)現(xiàn)。

01
全新 SkyReels：創(chuàng)作不再有縫隙

昆侖萬(wàn)維最新推出的全新 SkyReels，就是在這種“重構(gòu)創(chuàng)作方式”的思路下誕生的。它不是又一款單一的生成工具，而是一套讓創(chuàng)作重新回到“統(tǒng)一與流動(dòng)”的多模態(tài)系統(tǒng)。

在全新 SkyReels 里，圖片、視頻、音樂和人聲講解等元素都被放在同一個(gè)空間中理解和生成。創(chuàng)作者不用再在不同平臺(tái)之間來(lái)回切換、反復(fù)導(dǎo)入導(dǎo)出，而是能在同一張畫布上完成構(gòu)思、生成和調(diào)整。創(chuàng)作的過程因此變得更順暢，創(chuàng)意也能自然地延伸下去。

為了讓更多人進(jìn)入這種新的創(chuàng)作方式，全新 SkyReels 還設(shè)計(jì)了3 種方式：

它既可以讓熟悉 AI 的創(chuàng)作者可以直接生成圖像、視頻、音頻或數(shù)字人，也能幫助希望獲得更結(jié)構(gòu)化幫助的用戶，可以調(diào)用近三十個(gè)聚焦具體場(chǎng)景的 Agent，獲得任務(wù)級(jí)協(xié)助。除此之外，初學(xué)者或效率導(dǎo)向的創(chuàng)作者，只需使用模板，輸入文字或替換畫面，即可快速完成創(chuàng)作。

而這一切，都發(fā)生在一張無(wú)限畫布上。畫布讓不同模態(tài)的內(nèi)容以拖拽的方式被組織與組合，讓創(chuàng)意的邊界隨著操作而自然擴(kuò)展。在全新 SkyReels 上，創(chuàng)作不再是對(duì)模型的調(diào)度，而是一次對(duì)思維的可視化延伸。

更深層的變化來(lái)自昆侖萬(wàn)維的Agentic Copilot。在這個(gè)系統(tǒng)中，有一個(gè) Super Agent 統(tǒng)籌著整體創(chuàng)作方向，近三十個(gè) Expert Agent 分工協(xié)作，覆蓋腳本、鏡頭、音效、剪輯等各個(gè)環(huán)節(jié)。創(chuàng)作者只需用自然語(yǔ)言表達(dá)需求，或上傳素材、提供鏈接，AI 便能在多模態(tài)內(nèi)容中完成理解、生成與優(yōu)化。

在理念層面，全新 SkyReels 已經(jīng)描繪出一種更自然、更連貫的創(chuàng)作方式，而在實(shí)際體驗(yàn)中，這種重構(gòu)也并非概念上的想象，而是能夠被直接感知到的變化。

AI 科技評(píng)論對(duì)畫布與Agent 系統(tǒng)等功能進(jìn)行了一手實(shí)測(cè)，用更直觀的方式還原了它們?cè)趯?shí)際創(chuàng)作過程中的表現(xiàn)。

02
實(shí)測(cè)畫布：當(dāng)創(chuàng)作不再被切割

當(dāng)我們?cè)诋嫴贾屑尤胍粡堨o態(tài)圖片并讓它動(dòng)起來(lái)時(shí)，生成的效果出乎意料地生動(dòng)。畫面中的主體在落腳處出現(xiàn)了輕微的下壓與形變，連腳下柔軟墊子的塌陷感都被自然捕捉。

除此之外，原本貼在畫面中的 2D 卡通貼紙，也被轉(zhuǎn)譯成具有體積感的 3D 元素，與整體光影氛圍融為一體。這種細(xì)節(jié)層面的真實(shí)感，讓生成的畫面不再是“動(dòng)起來(lái)的圖”，而更像是一段真正拍攝出的片段。

同時(shí)，畫布還支持將文字直接生成語(yǔ)音。只需在界面中輸入臺(tái)詞或旁白，系統(tǒng)便能自動(dòng)生成語(yǔ)氣自然、情感流暢的聲音，為畫面增添完整的敘事節(jié)奏。無(wú)論是品牌講解還是人物旁白，語(yǔ)音都能與畫面氛圍保持統(tǒng)一，讓靜態(tài)的創(chuàng)意真正“說話”。

我們還用畫布生成了一段 ASMR 視頻，主題是“星辰摩擦的聲音”。模型在生成時(shí)準(zhǔn)確捕捉了聲波的顆粒感與空間分布，聲音層次分明，節(jié)奏自然，帶有切割肥皂般的細(xì)碎觸感。視覺與音頻在同一畫布內(nèi)被同步渲染，整體效果極其干凈、細(xì)膩。

03
實(shí)測(cè) Agent：當(dāng)創(chuàng)意開始被承接

除了畫布功能，當(dāng)你打開首頁(yè)時(shí)，還會(huì)發(fā)現(xiàn)這里有很多針對(duì)不同領(lǐng)域的專業(yè) Agent。它們覆蓋市場(chǎng)營(yíng)銷、電商內(nèi)容、創(chuàng)意故事、虛擬形象等多個(gè)方向，用戶可直接選擇所需場(chǎng)景，即刻進(jìn)入任務(wù)級(jí)創(chuàng)作，無(wú)需額外配置或?qū)W習(xí)。

我們先是用 Agent 創(chuàng)作了一個(gè)關(guān)于奧德修斯冒險(xiǎn)的旁白故事視頻。從人物造型、腳本撰寫，到靜態(tài)畫面的生成、動(dòng)態(tài)鏡頭的延展，再到解說人聲和字幕的添加，整個(gè)流程幾乎無(wú)需額外干預(yù)。

你只需要提供一個(gè)想法，并勾選希望呈現(xiàn)的元素，系統(tǒng)就能自動(dòng)組合成一段結(jié)構(gòu)完整、節(jié)奏自然的解說視頻。

除此之外，我們還用 Agent 做了一個(gè) 15 秒的護(hù)手霜廣告視頻實(shí)驗(yàn)。只上傳了一張產(chǎn)品圖，并輸入提示詞：“我要推廣一款護(hù)手霜，目標(biāo)受眾是都市白領(lǐng)，風(fēng)格輕快。”

Agent 在幾分鐘鐘內(nèi)生成了完整的廣告腳本與畫面方案。鏡頭從手部特寫緩緩?fù)七M(jìn)到產(chǎn)品包裝，背景是干凈的辦公場(chǎng)景與自然光線交織的氛圍，鏡頭節(jié)奏輕盈，背景音樂也是干凈明快。

整個(gè)視頻沒有過度渲染，卻精準(zhǔn)拿捏了品牌感與氛圍感的平衡。從一張靜態(tài)圖片到完整成片，系統(tǒng)只用了幾分鐘的時(shí)間，而且可以讓你明顯地感受到，這已經(jīng)不只是“生成內(nèi)容”，而是在“理解創(chuàng)意”。

04
實(shí)測(cè)數(shù)字人：當(dāng)生成內(nèi)容開始有情緒

而到了數(shù)字人板塊，官方展示的 Demo 效果同樣令人印象深刻，人物的表情細(xì)節(jié)、眼神互動(dòng)和說話節(jié)奏都非常接近真人。這樣的完成度讓我們對(duì)數(shù)字人板塊產(chǎn)生了好奇，也想看看在真實(shí)使用場(chǎng)景下，它的表現(xiàn)是否依然自然流暢。

測(cè)試中，我們先是上傳了一張老馬與老黃的經(jīng)典名場(chǎng)面圖，并為其添加了相應(yīng)的臺(tái)詞。最終在生成的視頻中，兩位角色的語(yǔ)氣自然流暢，表情與身體細(xì)微動(dòng)作精準(zhǔn)匹配語(yǔ)音節(jié)奏。無(wú)論是說話時(shí)的輕微點(diǎn)頭、視線的轉(zhuǎn)移，還是停頓與呼吸的節(jié)奏，都呈現(xiàn)出接近真人表演的真實(shí)感。

在相同的對(duì)話內(nèi)容下，我們還生成了一個(gè)由奧特曼單人出演的數(shù)字人視頻。整體表現(xiàn)依舊流暢，語(yǔ)音與表情同步自然，人物在說話時(shí)的停頓與呼吸節(jié)奏也得到了較好還原。單人場(chǎng)景在情緒表現(xiàn)上更加集中，更容易看出模型對(duì)語(yǔ)音細(xì)節(jié)的捕捉能力。

值得一提的是，全新 SkyReels 是業(yè)內(nèi)首個(gè)支持單鏡頭多人多輪對(duì)話的數(shù)字人模型。它能精確控制每個(gè)角色的發(fā)聲時(shí)機(jī)與語(yǔ)氣節(jié)奏，讓多角色互動(dòng)自然連貫，呈現(xiàn)出極具“真實(shí)對(duì)話感”的生成效果。

除此之外，我們還測(cè)試了一下全新 SkyReels 的其他功能。

例如在風(fēng)格化測(cè)試中，我們嘗試將一段蜘蛛俠視頻轉(zhuǎn)換成樂高風(fēng)格。最終的生成結(jié)果的轉(zhuǎn)譯非常干凈，動(dòng)作邏輯完整，光影層次保留，人物在變?yōu)榉e木結(jié)構(gòu)后仍具動(dòng)感與體積感。

而全新 SkyReels 在視頻延長(zhǎng)測(cè)試中也有不俗的表現(xiàn)，我們先是上傳了一段僅有一張主角正臉的視頻，并給出提示詞： “固定鏡頭，過肩視角，透過男人的背影看到女人含羞地一笑，然后開口說話?！?/p>

最終生成的視頻令人驚艷，鏡頭反轉(zhuǎn)后，原片中僅作背景的女性角色被完整生成，她的表情從微微低頭到抬眼、輕笑，再到開口說話的細(xì)微變化都被自然捕捉，情緒層次清晰。

整個(gè)延展片段不僅延續(xù)了原有畫面的光影與色調(diào)，還在情感上實(shí)現(xiàn)了順暢銜接，讓延展效果幾乎無(wú)縫銜接。

整體測(cè)下來(lái)，全新 SkyReels的實(shí)用性超出預(yù)期。它的功能覆蓋了創(chuàng)意工作者最常用的生產(chǎn)環(huán)節(jié) —— 無(wú)論是電商營(yíng)銷視頻、自媒體內(nèi)容，還是廣告、設(shè)計(jì)、影視創(chuàng)意等場(chǎng)景，都能在幾分鐘內(nèi)完成從構(gòu)思到成片的全過程。

而在與 Agent 協(xié)作時(shí)，系統(tǒng)會(huì)主動(dòng)確認(rèn)每個(gè)創(chuàng)作細(xì)節(jié)，用戶也能隨時(shí)表達(dá)和修改自己的想法，整個(gè)過程像一次自然的創(chuàng)意對(duì)話。

值得一提的是，SkyReels 已正式上線移動(dòng)端。它在手機(jī)上完整保留了 Web 端的核心創(chuàng)作功能，讓用戶能夠隨時(shí)捕捉靈感、快速生成內(nèi)容。即使沒有專業(yè)設(shè)備，僅憑一部手機(jī)，也能輕松創(chuàng)作出專業(yè)水準(zhǔn)的視頻

05
技術(shù)之下，是統(tǒng)一的多模態(tài)思維

優(yōu)秀的實(shí)測(cè)結(jié)果背后，是 全新 SkyReels 所依托的統(tǒng)一多模態(tài)學(xué)習(xí)框架。

無(wú)論是基于圖片、音頻還是視頻的生成任務(wù)，所有模型都共享同一個(gè)Multi-modal In-Context Learning預(yù)訓(xùn)練基礎(chǔ)，再通過任務(wù)級(jí)精調(diào)進(jìn)行差異化優(yōu)化。這種設(shè)計(jì)讓模型能夠在不同模態(tài)之間建立穩(wěn)定的語(yǔ)義聯(lián)系，實(shí)現(xiàn)跨模態(tài)的一致性與泛化能力。

在圖片驅(qū)動(dòng)的視頻生成中，全新 SkyReels 版本重點(diǎn)解決了“多主體一致性”與“背景連貫性”問題。模型通過跨幀配對(duì)策略和圖像編輯模型的聯(lián)合預(yù)處理，精準(zhǔn)分離主體與背景，并在生成過程中進(jìn)行語(yǔ)義級(jí)的重組，而非簡(jiǎn)單的圖像拼接。再結(jié)合圖像-視頻混合訓(xùn)練與多分辨率聯(lián)合優(yōu)化機(jī)制，使模型在主體保持、動(dòng)作延展和指令響應(yīng)上同時(shí)提升。

這一改進(jìn)使得其在參考圖一致性與視覺質(zhì)量指標(biāo)上均超越主流閉源模型。

而在音頻參考生成上，全新 SkyReels 基于 SkyReels-A3 框架進(jìn)行了全新設(shè)計(jì)。通過引入?yún)^(qū)域路由機(jī)制，模型能夠在單鏡頭中識(shí)別多角色并分別生成對(duì)應(yīng)嘴型，實(shí)現(xiàn)自然的多輪對(duì)話。

此外，系統(tǒng)支持相機(jī)運(yùn)動(dòng)參數(shù)的監(jiān)督學(xué)習(xí)，可在同一時(shí)間組合多種運(yùn)鏡，也能在不同時(shí)間實(shí)現(xiàn)平滑切換。關(guān)鍵幀插幀范式的加入，使其能在分鐘級(jí)時(shí)長(zhǎng)內(nèi)保持高質(zhì)量嘴部對(duì)齊與動(dòng)作一致性。在官方評(píng)測(cè)中，模型在嘴部同步、視頻質(zhì)量（IQA 4.58）與角色一致性（ID 0.78）等指標(biāo)上均達(dá)到閉源 SOTA 水平。

不光如此，V3 在視頻參考任務(wù)上也實(shí)現(xiàn)了三類生成的統(tǒng)一——延長(zhǎng)、編輯與風(fēng)格化。

它通過設(shè)計(jì)不同任務(wù)的空間位置編碼和專屬嵌入，讓模型能理解參考視頻與生成視頻的關(guān)系，從而在同一結(jié)構(gòu)下完成多種任務(wù)。同時(shí)結(jié)合 token concat 與 channel concat 的優(yōu)勢(shì)，大幅減少計(jì)算量的同時(shí)保持高質(zhì)量輸出。

延長(zhǎng)模型通過語(yǔ)義級(jí)預(yù)測(cè)，支持 Cut-In、Cut-Out、Reverse Shot 等多種切鏡銜接方式，風(fēng)格化模型則依托自建的自動(dòng)化風(fēng)格數(shù)據(jù)生成與篩選系統(tǒng)，構(gòu)建了高質(zhì)量風(fēng)格配對(duì)數(shù)據(jù)集，實(shí)現(xiàn)穩(wěn)定且可控的藝術(shù)化生成。

總的來(lái)說，從架構(gòu)到訓(xùn)練，全新 SkyReels 的核心競(jìng)爭(zhēng)力在于對(duì)“統(tǒng)一性”的徹底實(shí)現(xiàn)。

它通過多模態(tài)聯(lián)合訓(xùn)練，讓模型能在不同輸入之間形成共享語(yǔ)義空間，通過跨任務(wù)的結(jié)構(gòu)設(shè)計(jì)，讓延展、對(duì)話、編輯、風(fēng)格化具備同樣的理解邏輯， 最終在一致性、畫面質(zhì)量和生成可控性上同時(shí)提升，成為目前少數(shù)能在圖片、音頻與視頻任務(wù)中都達(dá)到閉源水準(zhǔn)的多模態(tài)生成模型。

但這不僅僅是模型層面的升級(jí)，其實(shí)它更是創(chuàng)作邏輯的一次重構(gòu)。全新 SkyReels 所實(shí)現(xiàn)的“統(tǒng)一”，不僅是把多模態(tài)能力融合在一起，更代表著 AI 理解世界方式的一次跨越——它不再把圖像、聲音、文字當(dāng)成彼此孤立的信號(hào)，而是以語(yǔ)義為底層語(yǔ)言去思考、生成和表達(dá)。

當(dāng)技術(shù)真的具備這種語(yǔ)義上的連貫性時(shí)，創(chuàng)作就不再是“調(diào)用模型”的過程，而更像是一種思維的自然流動(dòng)。這正是全新 SkyReels 的意義所在——讓 AI 的力量，重新回到創(chuàng)意本身。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。