編輯｜楊文

AI 網(wǎng)紅們?cè)谏缃黄脚_(tái)上混得風(fēng)生水起。

他們手握品牌合作，還坐擁百萬(wàn)粉絲，但很多人至今不知這些都是 AI 生成的，依然像追真人明星一樣互動(dòng)、點(diǎn)贊、被種草。

視頻來(lái)源：X 博主 @thetripathi58

這也難怪有博主直呼：虛擬網(wǎng)紅時(shí)代已經(jīng)到來(lái)。

現(xiàn)在，昆侖萬(wàn)維也來(lái)添了把火，直接把背后的技術(shù)開(kāi)源了。

1 月 29 日，Skywork AI 團(tuán)隊(duì)宣布開(kāi)源 SkyReels-V3 多模態(tài)視頻生成模型系列。該系列涵蓋參考圖像轉(zhuǎn)視頻、視頻延長(zhǎng)和音頻驅(qū)動(dòng)虛擬形象三大核心能力，在單一建模架構(gòu)中實(shí)現(xiàn)高保真多模態(tài)視頻生成，達(dá)到業(yè)界領(lǐng)先水平。

比如，只需一張?zhí)摂M主播照片配上音頻，就能生成口型精準(zhǔn)、表情生動(dòng)的主播視頻：

上傳幾張素材圖，輸入文字描述，AI 就能自動(dòng)編排出一條完整的帶貨短片：

還能像專業(yè)導(dǎo)演一樣，為視頻設(shè)計(jì)切入、切出、正反打等電影級(jí)轉(zhuǎn)場(chǎng)效果：

更關(guān)鍵的是，這次是完全開(kāi)源。任何有想法的創(chuàng)作者，都能用這套工具快速搭建自己的虛擬 IP，甚至批量生產(chǎn)內(nèi)容矩陣。

• GitHub 鏈接： https://github.com/SkyworkAI/SkyReels-V3
• API 鏈接（限時(shí)免費(fèi)）：https://www.apifree.ai/model/skywork-ai/skyreels-v3/standard/single-avatar

一手實(shí)測(cè)

SkyReels-V3 的實(shí)際表現(xiàn)到底如何？我們第一時(shí)間針對(duì)三大核心功能進(jìn)行了全面測(cè)試。

參考圖像轉(zhuǎn)視頻

這個(gè)功能允許用戶上傳 1-4 張參考圖像，配合文本提示詞，生成時(shí)間連貫、語(yǔ)義一致的視頻。參考圖像可以是人物、物體或場(chǎng)景，模型會(huì)精準(zhǔn)保留身份特征、空間構(gòu)圖，并按照提示詞編排敘事邏輯。

我們首先測(cè)試了電商應(yīng)用場(chǎng)景。

上傳馬斯克的照片和小象玩偶圖，輸入提示詞：在溫馨的客廳里，馬斯克坐在沙發(fā)上，微笑著拿起身旁的小象玩偶，然后將玩偶舉到鏡頭前展示，陽(yáng)光從窗戶灑進(jìn)來(lái)，氣氛溫暖。

生成視頻中，即使更換了背景，馬斯克面部特征也保持高度一致，未出現(xiàn)扭曲或者「換臉」，動(dòng)作自然流暢，商品展示角度恰到好處。

我們又上傳了手袋商品圖和素顏模特照，輸入提示詞：時(shí)尚的都市街頭，這個(gè)模特拿著 LV 包，展示包的細(xì)節(jié)和質(zhì)感。

SkyReels-V3 立馬把模特置于車(chē)水馬龍的都市夜景中，邊走邊展示產(chǎn)品細(xì)節(jié)，人物動(dòng)作優(yōu)雅，構(gòu)圖也很專業(yè)。

我們還嘗試上傳多張參考圖像，讓不同人物或物體在指定場(chǎng)景下產(chǎn)生互動(dòng)。

比如把奧特曼的照片丟給它，再來(lái)張酷炫智能眼鏡和公園圖片，然后下指令：男人戴著智能眼鏡在公園里散步。

模型準(zhǔn)確識(shí)別人物、物體和背景，并根據(jù)提示詞編排出合理的交互動(dòng)作。

最近《怪奇物語(yǔ)》熱度躥升，我們上傳三名小演員的劇照，外加一張上海外灘圖片，輸入提示詞：這三個(gè)人在上海外灘自拍。

SkyReels-V3 能同時(shí)處理好幾張完全不同的參考圖，精準(zhǔn)還原人物特征，保證整體風(fēng)格統(tǒng)一，連服飾發(fā)型都完美遷移。

生成視頻里三個(gè)人一起自拍的互動(dòng)看起來(lái)毫不違和，表情特別自然，動(dòng)作也流暢得很。

視頻延長(zhǎng)

視頻延長(zhǎng)功能則可以將輸入的視頻片段延伸為更長(zhǎng)內(nèi)容，同時(shí)保持運(yùn)動(dòng)動(dòng)態(tài)、場(chǎng)景結(jié)構(gòu)和視覺(jué)風(fēng)格的一致性。它支持單鏡頭延長(zhǎng)和鏡頭切換延長(zhǎng)兩種模式。

鏡頭延長(zhǎng)模式下，我們提供了一段女生開(kāi)心面對(duì)鏡頭的視頻，輸入提示詞：女孩笑著笑著突然嚴(yán)肅起來(lái)，延長(zhǎng) 5 秒鐘。

這種從開(kāi)心到嚴(yán)肅的表情過(guò)渡需要模型把握好微表情的變化節(jié)奏，不能太突兀。SkyReels-V3 對(duì)人臉表情動(dòng)態(tài)和情緒演變的理解相當(dāng)?shù)轿�，延長(zhǎng)過(guò)程中女生的面部特征、光影效果和整體視覺(jué)風(fēng)格都沒(méi)走樣。

鏡頭切換延長(zhǎng)模式則更具創(chuàng)意空間。它支持切入、切出、多角度、正反鏡頭、切離五種專業(yè)轉(zhuǎn)場(chǎng)。

具體而言，切入鏡頭從廣角過(guò)渡到特寫(xiě)，切出鏡頭則相反；正反打鏡頭指的是在對(duì)話場(chǎng)景中，從面向一人的鏡頭切換到面向另一人的鏡頭；多角度鏡頭是切換到不同角度來(lái)展示當(dāng)前場(chǎng)景；切離鏡頭則是過(guò)渡到當(dāng)前場(chǎng)景中的新區(qū)域。

就以切入鏡頭為例。我們上傳女殺手狙擊的場(chǎng)面，輸入提示詞「Close-up on the girl's face as she aims, sweating」。

SkyReels-V3 能夠理解 Close-up 這種專業(yè)攝影術(shù)語(yǔ)，從瞄準(zhǔn)動(dòng)作到面部特寫(xiě)的過(guò)渡保持了敘事的連貫性，又通過(guò)景別變化增強(qiáng)了畫(huà)面張力。

虛擬形象模型

虛擬形象模型則可以從單張肖像圖和音頻片段生成音視頻同步的視頻，支持分鐘級(jí)長(zhǎng)度和多角色交互。

我們先測(cè)試了最基礎(chǔ)的單角色虛擬形象 。上傳肖像照，配上音樂(lè)片段，SkyReels-V3 快速生成一段唱歌 MV，人物唇形與音頻完全同步，并能保持畫(huà)面穩(wěn)定。

泛化能力同樣出色。我們測(cè)試了真實(shí)人物、卡通角色等不同風(fēng)格，模型都能穩(wěn)定生成高質(zhì)量結(jié)果。

此外，它還支持多人物互動(dòng)場(chǎng)景。我們上傳了朱迪和尼克在咖啡店喝咖啡的參考圖，為每個(gè)對(duì)話片段配置音頻。

模型自動(dòng)識(shí)別出圖片形象，精準(zhǔn)控制每個(gè)角色的開(kāi)口時(shí)機(jī)，未出現(xiàn)兩個(gè)角色同時(shí)張嘴或者對(duì)不上口型的尷尬情況。

技術(shù)解讀

Skywork AI 團(tuán)隊(duì)此次開(kāi)源，為視頻生成領(lǐng)域帶來(lái)了新的技術(shù)選擇。

該系列模型在單一建模架構(gòu)中集成了參考圖像轉(zhuǎn)視頻、視頻延長(zhǎng)和音頻驅(qū)動(dòng)虛擬形象三大核心模塊，在保持高保真度的同時(shí)實(shí)現(xiàn)了多模態(tài)的靈活應(yīng)用。

先說(shuō)參考圖像轉(zhuǎn)視頻功能。這一能力的實(shí)現(xiàn)建立在三層技術(shù)創(chuàng)新之上。在數(shù)據(jù)構(gòu)建層面，團(tuán)隊(duì)從海量高質(zhì)量視頻數(shù)據(jù)中篩選具有顯著動(dòng)態(tài)運(yùn)動(dòng)的素材，隨后通過(guò)跨幀配對(duì)策略連續(xù)視頻序列中選擇參考幀，以確保時(shí)間多樣性。

團(tuán)隊(duì)還利用圖像編輯模型進(jìn)行主體提取、背景補(bǔ)全和語(yǔ)義重寫(xiě)，有效避免了傳統(tǒng)方法中常見(jiàn)的「復(fù)制粘貼」偽影問(wèn)題，并通過(guò)多層過(guò)濾機(jī)制保障參考圖像質(zhì)量。

SkyReels-V3 實(shí)現(xiàn)了統(tǒng)一的多參考條件策略，能夠聯(lián)合編碼視覺(jué)和文本信息，支持最多 4 張參考圖像的靈活組合。這意味著開(kāi)發(fā)者無(wú)需進(jìn)行顯式的手動(dòng)組合，即可實(shí)現(xiàn)復(fù)雜的多主體、多元素視頻生成。

訓(xùn)練策略方面，模型采用了圖像 - 視頻混合訓(xùn)練方案，聯(lián)合利用大規(guī)模圖像和視頻數(shù)據(jù)集，并通過(guò)多分辨率聯(lián)合優(yōu)化提升了對(duì)不同空間尺度和寬高比的魯棒性，原生支持多種輸出配置。

在涵蓋電影電視、電商、廣告等場(chǎng)景的 200 對(duì)混合測(cè)試集上，SkyReels-V3 在參考一致性和視覺(jué)質(zhì)量方面均處于國(guó)內(nèi)領(lǐng)先位置，驗(yàn)證了其技術(shù)方案的有效性。

視頻延長(zhǎng)模塊是 SkyReels-V3 技術(shù)實(shí)力的另一體現(xiàn)。

其核心創(chuàng)新在于雙模式延長(zhǎng)機(jī)制的設(shè)計(jì)。單鏡頭延長(zhǎng)模式實(shí)現(xiàn)平滑的鏡頭繼續(xù)，保持視角和敘事連貫；鏡頭切換延長(zhǎng)模式則支持切入、切出、多角度、正反鏡頭、切離等五種專業(yè)轉(zhuǎn)場(chǎng)類(lèi)型，為視頻創(chuàng)作提供了電影級(jí)的敘事工具。

為支撐這一能力，團(tuán)隊(duì)開(kāi)發(fā)了專門(mén)的鏡頭切換檢測(cè)器，能夠自動(dòng)分析長(zhǎng)視頻中的鏡頭轉(zhuǎn)場(chǎng)，識(shí)別并分類(lèi)轉(zhuǎn)場(chǎng)類(lèi)型，同時(shí)支持手動(dòng)選擇，有效構(gòu)建了高質(zhì)量的訓(xùn)練數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)上，SkyReels-V3 采用了統(tǒng)一的多分段位置編碼方案，支持復(fù)雜多分段視頻延伸的精確運(yùn)動(dòng)建模，并通過(guò)分層混合訓(xùn)練實(shí)現(xiàn)平滑的鏡頭切換。魯棒時(shí)空建模使其能夠有效處理快速運(yùn)動(dòng)、多主體交互和場(chǎng)景劇變等復(fù)雜情況，確保生成內(nèi)容的物理可信度和時(shí)間連貫性。

該模塊支持 480p 和 720p 分辨率，單鏡頭延長(zhǎng)可調(diào)節(jié) 5 至 30 秒長(zhǎng)度，并支持 1:1、3:4、4:3、16:9、9:16 等多種寬高比，為不同應(yīng)用場(chǎng)景提供了靈活的輸出選項(xiàng)。

虛擬形象模型的技術(shù)方案則聚焦于音視頻精準(zhǔn)對(duì)齊和關(guān)鍵幀約束生成機(jī)制

研究團(tuán)隊(duì)開(kāi)發(fā)了專用的音視頻對(duì)齊訓(xùn)練策略，通過(guò)區(qū)域掩碼建模顯式的語(yǔ)音單元與面部運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)了對(duì)多語(yǔ)言、多風(fēng)格、快速語(yǔ)速的魯棒性能。

關(guān)鍵幀約束生成則通過(guò)建立結(jié)構(gòu)重要的關(guān)鍵幀，生成幀間平滑過(guò)渡，確保長(zhǎng)視頻中的角色一致性和自然運(yùn)動(dòng)流。

從整體架構(gòu)來(lái)看，SkyReels-V3 的核心優(yōu)勢(shì)在于其模塊化設(shè)計(jì)理念。三大功能模塊各自經(jīng)過(guò)深度優(yōu)化，既可以獨(dú)立使用，也能根據(jù)實(shí)際需求靈活組合，為不同應(yīng)用場(chǎng)景提供了充分的適配空間。

企業(yè)級(jí)的數(shù)據(jù)處理管線確保了生成質(zhì)量的穩(wěn)定性，而在推理端，團(tuán)隊(duì)融合了蒸餾、量化及算子優(yōu)化等多項(xiàng)技術(shù)，打造出低延遲、高吞吐的推理引擎，使得模型在實(shí)際部署中具備更強(qiáng)的可用性。

在訓(xùn)練效率方面，SkyReels-V3 采用了極致的顯存與計(jì)算優(yōu)化方案，支撐起高分辨率長(zhǎng)視頻的千卡級(jí)穩(wěn)定高效訓(xùn)練。

結(jié)語(yǔ)

SkyReels-V3 選擇完全開(kāi)源，某種程度上反映了 AI 視頻生成領(lǐng)域的競(jìng)爭(zhēng)態(tài)勢(shì)。

在 Runway、Pika 等國(guó)外產(chǎn)品憑借先發(fā)優(yōu)勢(shì)占據(jù)市場(chǎng)時(shí)，國(guó)內(nèi)團(tuán)隊(duì)通過(guò)開(kāi)源策略快速建立生態(tài)、獲取反饋、迭代優(yōu)化，不失為一種聰明的打法。

而這背后的底氣，自然源于昆侖萬(wàn)維在視頻生成領(lǐng)域的長(zhǎng)期技術(shù)積累。

早在 2025 年 2 月，昆侖萬(wàn)維就開(kāi)源了中國(guó)首個(gè)面向 AI 短劇創(chuàng)作的視頻生成模型SkyReels-V1，以及中國(guó)首個(gè) SOTA 級(jí)別基于視頻基座模型的表情動(dòng)作可控算法SkyReels-A1

4 月，SkyReels-V2作為全球首個(gè)使用擴(kuò)散強(qiáng)迫（Diffusion-forcing）框架的無(wú)限時(shí)長(zhǎng)電影生成模型正式發(fā)布。隨后，SkyReels-A2帶來(lái)了可控視頻生成框架，SkyReels-A3則實(shí)現(xiàn)了任意時(shí)長(zhǎng)的全模態(tài)音頻驅(qū)動(dòng)數(shù)字人創(chuàng)作。

昆侖萬(wàn)維在視頻生成領(lǐng)域的迭代速度和技術(shù)深度可見(jiàn)一斑。

除此之外，昆侖天工還自研了包括語(yǔ)言大模型、多模態(tài)大模型、SWE 代碼大模型、Agent 大模型、視頻大模型、3D 大模型、音樂(lè)大模型、音頻大模型在內(nèi)的 8 大模型矩陣，并持續(xù)開(kāi)源幾十個(gè)模型，在多個(gè)國(guó)際評(píng)測(cè)中取得開(kāi)源最優(yōu)成績(jī)。

視頻模型只是這個(gè) AI 矩陣中的一環(huán)，卻是連接文本、圖像、音頻等多模態(tài)能力的關(guān)鍵節(jié)點(diǎn)。

此次 SkyReels-V3 的開(kāi)源，預(yù)示著 AI 視頻生成的競(jìng)爭(zhēng)正在進(jìn)入更激烈的階段。技術(shù)壁壘逐漸被打破，真正的較量也才剛剛開(kāi)始。

文中視頻鏈接：https://mp.weixin.qq.com/s/KU61dqc-Ka8i9hRWF5enBg