編輯｜Sia、Panda

春節(jié)期間， Seedance 2.0 爆火，堪稱現(xiàn)象級，這也再次把視頻生成推上風口。前兩天，字節(jié)跳動又攜手北大、安努智能和 Canva 共同開源了具備實時生成能力的視頻模型Helios家族。該系列包含了Helios-BaseHelios-MidHelios-Distilled三個版本，全面覆蓋了 T2V、I2V、V2V 以及交互式生成任務。其能以14B參數(shù)量之軀，實現(xiàn)高達19.5 FPS的單卡生成速度，可以說是真正做到了「質量」與「速度」齊飛。

視頻鏈接：https://mp.weixin.qq.com/s/F9dPhKfx82bOQjpAL_CBaA

值得一提的是，該項目在發(fā)布首日即實現(xiàn)了對昇騰 NPU 的 Day-0 級別支持，并同步兼容了 Diffusers、vLLM-Omni、SGLang-Diffusion 等主流推理框架。

左右滑動查看

如此卓越的表現(xiàn)和強勁的生態(tài)支持，也讓 Helios 成功登頂昨天的 Hugging Face Daily Papers。而在 GitHub 上，這個剛剛發(fā)布一兩天，還沒得到廣泛宣傳的開源項目的 star 數(shù)已經(jīng)超過了 520！

• 論文標題：Helios: Real Real-Time Long Video Generation Model
• 論文地址：https://arxiv.org/abs/2603.04379
• 項目地址：
• https://github.com/PKU-YuanGroup/Helios
• https://gitcode.com/weixin_47617277/Helios

就在大家震驚于 Helios 高質量、高速度的生成能力時，技術社區(qū)卻在底層架構里尋得了另一番玄機：這個模型的核心開發(fā)團隊是北京大學袁粒課題組，而該模型也與該團隊之前重磅開源的Open-Sora Plan（OSP）項目（兔展智能 & 北大共同發(fā)起）的技術棧高度同源 ——Helios 與 OSP 團隊近期開源的 UniWorld-OSP2.0（基于 OSP 開發(fā)）存在三分之一到二分之一的代碼復用。

可以說，Helios 是對這一核心技術的一次有效驗證，性能也比 OSP 團隊此前基于 UniWorld-OSP2.0 開發(fā)的 OSP-RealTime 14B更勝一籌。

更值得關注的是，支撐 OSP 系列項目的算力引擎指向了一套龐大的國產(chǎn)化算力生態(tài) ——鯤鵬與昇騰算力

事實上，正是得益于北京大學 鯤鵬昇騰科教創(chuàng)新卓越中心的賦能和算力支持，這些開源項目才得以成為現(xiàn)實。我們在探討其令人驚艷的性能時，同樣不能忽略昇騰底座為其提供的強大支撐。

從 Seedance 2.0 和 Helios 的成功可以看出，AI 視頻生成社區(qū)正在凝聚一個愈發(fā)清晰的共識 ——

SOTA 視頻生成能力正快速向以Diffusion Transformer（DiT）為核心的統(tǒng)一范式收斂。與此同時，模型的比拼也正從基礎畫質的簡單堆料，轉向更高層級的語義理解深度與多模態(tài)協(xié)同效率。

正是在這樣的技術拐點與開源生態(tài)輻射力下，Open-Sora Plan 團隊推出的 UniWorld-OSP2.0 進入越來越多研究者的視野。

這不僅僅是一次簡單的版本更迭。作為業(yè)界首個開源的超百億級視頻生成大模型（21B），UniWorld-OSP2.0 同時也是首個實現(xiàn)「雙原生」（昇騰原生&自回歸+Diffusion 混合架構）統(tǒng)一范式的大模型體系。

UniWorld-OSP2.0 開源地址：

• https://modelers.cn/models/PKU-YUAN-Group/Uniworld-OSP2.0
• https://github.com/PKU-YuanGroup/UniWorld/tree/main/UniWorld-OSP2.0

在核心評測指標上，其在 VBench-I2V 基準上的表現(xiàn)已全面超越 Wan2.1，迅速成為開源視頻生成生態(tài)中最具風向標意義的技術坐標之一。

UniWorld-OSP2.0 與其它開源視頻模型在 VBench-I2V 基準上的表現(xiàn)對比

在關鍵評估指標上的對比中，UniWorld-OSP2.0 在運動質量、圖像保真度和語義一致性方面均表現(xiàn)出優(yōu)越性，其整體表現(xiàn)已穩(wěn)步進入開源陣營第一梯隊。

伴隨著新版本的發(fā)布，社區(qū)層面的勢能同樣如火如荼。

Open-Sora Plan 已累計獲得約 1.2 萬 GitHub star 和千萬級下載量，多次登上 Trending 榜單，并在實際代碼活躍度上進入開源視頻模型第一梯隊。

Open-Sora Plan 開源項目已在 GitHub 收獲超 1.2 萬 star

同時，這樣一個高性能、低成本且自主可控的視頻大模型底座，正加速演化為產(chǎn)業(yè)側可復用的視頻生成基礎設施。

目前已有包括字節(jié)、騰訊 WXG 、阿里達摩院、小紅書、嗶哩嗶哩等多家團隊，基于該框架展開二次開發(fā)，海外多家 AI 公司亦同步跟進。

隨著團隊宣布將進一步開源 12 類風格化數(shù)據(jù)集及完整模型權重，視頻生成領域或許正迎來屬于自己的「視覺版 LLaMA 時刻」。那么，問題也隨之變得更有意思：

這個正在開源視頻生成生態(tài)中持續(xù)演進的技術框架，究竟做對了什么？

下面我們就基于 UniWorld-OSP2.0 的官方技術報告進行一番解讀。

報告地址：https://github.com/PKU-YuanGroup/UniWorld/blob/main/UniWorld-OSP2.0/docs/Uniworld-OSP2.0.pdf

整體架構

三大核心組件的無縫協(xié)同

在深入探討 UniWorld-OSP2.0 的具體技術突破之前，有必要先從宏觀視角拆解其整體架構。這有助于我們理解該模型是如何支撐起「雙原生」統(tǒng)一范式并實現(xiàn)高質量生成的。

UniWorld-OSP2.0 架構概覽

根據(jù)技術報告， UniWorld-OSP 2.0 的系統(tǒng)框架在底層邏輯上主要由三個核心組件構成 ：

• 因果變分自編碼器（Causal VAE）：作為視頻像素空間與潛在空間之間的橋梁，它負責將高維的視頻序列壓縮為緊湊的、具有因果結構的潛在表示，確保在保持時間因果關系的同時提升處理效率。
• VLM 增強的多模態(tài)條件模塊：這是該架構的認知中樞。它利用一個凍結狀態(tài)下的 VLM （視覺 - 語言模型）來提取多模態(tài)特征，隨后通過一個可訓練的 Adapter 模塊將這些特征進行適配與映射，從而為后續(xù)的生成過程提供深度的語義指導。
• 擴散 Transformer（DiT）主干網(wǎng)絡：作為視頻生成的核心引擎，DiT 接收上述經(jīng)過 Adapter 處理的語義特征，并在 VAE 提供的潛在空間中執(zhí)行條件去噪，最終合成在時間上高度連貫的視頻流。

這套「VAE+VLM+DiT」架構構成了 UniWorld-OSP2.0 強大性能的基石，同時也為模型深度適配昇騰算力、實現(xiàn)真正的「昇騰原生」打下了系統(tǒng)級的結構基礎。建立在這個全局架構認知之上，我們再來細看研究團隊是如何在具體的生成與理解環(huán)節(jié)中精準落刀，解決行業(yè)痛點的。

一大核心技術優(yōu)勢

FlashI2V，物理一致性的定海神針

UniWorld-OSP2.0 的第一刀，精準落在了視頻的物理一致性上。

長期以來，I2V（圖像生成視頻）生成的視頻常常讓人覺得不太對勁，動作僵硬或畫面崩壞時有發(fā)生。其核心癥結在于條件圖像泄漏（Conditional Image Leakage）。

條件圖像泄漏。(a) 如 Wan2.1-I2V-14B-480P 在 VBench-I2V 上的結果所示，條件信號的泄漏會導致生成質量下降。(b) 分塊式 FVD 在領域內(nèi)數(shù)據(jù)上增長，但在領域外輸入上保持高位，表明傳統(tǒng) I2V 模型的泛化能力較差。

在現(xiàn)有的 I2V 范式（例如 SVD 或早期的各類模型）中，常規(guī)做法是將完整的條件圖像數(shù)據(jù)直接拼接到去噪器中。去噪器往往會把這種直接拼接當作一條「捷徑」，對其產(chǎn)生過度依賴。這種過度控制帶來的后果，就是生成的視頻經(jīng)常出現(xiàn)動作幅度極小或者色調(diào)不協(xié)調(diào)等性能退化問題。為了解決這一行業(yè)難題，研究團隊提出了FlashI2V核心機制，通過隱式引入條件來破局。

FlashI2V 架構示意圖：條件圖像潛在變量首先被投影和偏移，以形成隱式編碼條件信息的中間表示。同時，圖像經(jīng)過傅里葉變換后的高頻幅度與帶噪潛在變量拼接，并輸入到 DiT 主干網(wǎng)絡中。在推理過程中，去噪從偏移后的噪聲開始，并沿著常微分方程 ODE 軌跡進行，直到重建出最終視頻。

對其進行技術深度剖析， FlashI2V 的殺手锏主要體現(xiàn)在兩個相互配合的關鍵設計：

• 潛空間偏移（Latent Shifting）：這相當于在擴散鏈路中引入了一個「運動自由度閥門」。在具體的實現(xiàn)中，它通過修改流匹配的分布，將條件圖像信息隱式地整合進去。模型利用一個可學習的投影模塊，將原始潛變量轉換到一個包含豐富結構和高頻特征的空間中。這從根本上減少了去噪器對條件圖像的過度依賴，有效緩解了泄漏問題，避免了對首幀的控制過度，從而讓視頻真正動起來，保證了高保真的動態(tài)運動。
• 傅里葉引導（Fourier Guidance）：在潛空間偏移的過程中，恢復圖像的邊緣和紋理等高頻細節(jié)往往是一項挑戰(zhàn)。該機制精準地在頻域層面補齊了短板。它通過傅里葉變換提取圖像的高頻幅度特征，并將其與噪聲潛在空間拼接后饋入 DiT 主干網(wǎng)絡中。這在頻域增強了運動預測的穩(wěn)定性，用于校準細節(jié)，確保生成的視頻軌跡不會跑偏。此外，它還允許模型通過調(diào)整截止頻率百分比，對生成視頻的細節(jié)水平進行細粒度控制，例如增強文本和精細紋理等小尺度結構的清晰度。

潛空間偏移和傅里葉引導分析。(a) 隨著訓練的進行，可學習的投射 ?(?) 逐漸強調(diào)條件圖像中的詳細信息。(b) 當使用較低的截止頻率百分位數(shù)時，會注入更多高頻信息。當截止頻率百分位數(shù)設為 0.1 時，視頻末尾的圖形文字保持不變，而當截止頻率百分位數(shù)設為 0.9 時，圖形文字變得無法識別。

這兩項技術的協(xié)同發(fā)力帶來了立竿見影的實際收益。FlashI2V 使得輸入?yún)⒖紙D像不會泄露到視頻的像素層面，有效避免了一張圖復制成一段視頻的僵硬感，同時保持了真實且流暢的運動軌跡，具備極強的時間一致性與空間結構穩(wěn)定性。

從量化指標來看，研究團隊觀察了不同 I2V 范式的塊式 FVD （Chunk-wise FVD）變化模式。傳統(tǒng)的范式在域內(nèi)數(shù)據(jù)上的 FVD 會隨著時間推移而增加，但在域外數(shù)據(jù)上始終保持較高水平，這意味著它們難以泛化。只有 FlashI2V 能夠保持一致的 FVD 變化模式，成功將從域內(nèi)數(shù)據(jù)中學到的生成規(guī)律泛化應用于域外數(shù)據(jù)。得益于此，該項目不僅取得了最低的域外 FVD ，并在多項 I2V 關鍵指標上成功超越了 Wan2.1。

兩大主要創(chuàng)新

用 VLM 實現(xiàn)理解 & 用 I2SV 控制藝術表達

在利用 FlashI2V 解決了物理真實感之后，UniWorld-OSP2.0 團隊進一步在模型的認知深度與藝術審美上實現(xiàn)了雙重突破。

其一，引入 VLM 重構認知理解機制

傳統(tǒng)的純文本編碼器（如 T5 ）提取的特征往往只能捕獲表層詞匯線索，導致細粒度指令對齊面臨瓶頸。

為此，正如前文所述，團隊引入了一個凍結狀態(tài)下的預訓練 VLM （例如 7B 參數(shù)量的 Qwen2.5-VL）作為核心多模態(tài)特征提取器。該模塊會綜合圖像與文本提示，生成富含復雜跨模態(tài)關系的深層多模態(tài)表示。

隨后，通過一個專門設計的輕量級可訓練 Adapter 模塊，這些高維語義在特征維度上與 DiT 主干網(wǎng)絡實現(xiàn)了精準對齊。

這種設計讓模型直接繼承了 VLM 強大的視覺基礎知識，大幅提升了對角色、動作等細粒度信息的控制精度，讓模型真正具備了「看懂」復雜場景的能力。

有了 VLM 加持的 UniWorld-OSP2.0 具備優(yōu)秀的視覺理解能力

其二，推出 I2SV 任務拓展可控藝術表達

僅僅還原真實的物理世界依然不夠，視頻生成同樣需要可控的藝術加工。

以往的視頻風格化多依賴后期疊加濾鏡，缺乏對畫面內(nèi)容的深度融合。為了打破這一局限，研究團隊構建了一個包含 12 種典型藝術風格（如吉卜力、 3D 渲染、水墨畫、樂高風等）的專屬數(shù)據(jù)集，并在統(tǒng)一框架下推出了全新的 I2SV（圖像到風格化視頻）范式。

包含的 12 種典型藝術風格

現(xiàn)在，模型可以在生成期直接接收原始圖像、文本描述以及目標風格指令，一步輸出時間連續(xù)且符合語義的風格化視頻。配合嚴格的回環(huán)式質量監(jiān)控策略，該機制可確保角色動作與語義細節(jié)得到完美保留，有效避免了角色變形與動作漂移的問題。

OSP-RealTime 14B

把視頻大模型帶進工業(yè)階段

過去一年大家默認的邏輯很簡單：模型越大，質量越強，但速度一定越慢。能實時跑的，通常是 1B 級別的小模型；14B 這種規(guī)模，只能老老實實離線生成。

袁粒課題組又基于 UniWorld-OSP2.0 訓練了一個模型OSP-RealTime 14B（這也是 Helios 系列底層的核心技術），在單塊昇騰 Atlas A3 系列產(chǎn)品上直接把幀率拉到了 10 FPS（文生視頻），成為第一個真正接近「交互式視頻生成」的開源級擴散架構。

為此，OSP-RealTime 14B 將長視頻生成，重新定義為無限的視頻續(xù)寫任務，最大限度保留與預訓練模型一致的推理方式。

通常，現(xiàn)有方案會利用滑動窗口機制配合因果掩碼，將雙向模型轉換為自回歸模型。這種方式本質還是 “拼接式延長”，推理模式和訓練不一致，質量上限受限。

而 OSP-RealTime 14B 通過引入時間維噪聲 latent 的拼接策略，在時間軸上對歷史噪聲狀態(tài)進行延續(xù)，使擴散過程在窗口切換時保持運動連續(xù)性。在不改變原有訓練范式的前提下，實現(xiàn)時間上的無限延展，最終實現(xiàn)更高的質量下限。

上圖展示了實時長視頻生成的實際架構：一個自回歸視頻擴散 Transformer，基于 Guidance Attention 模塊構建。它通過 Multi-Term Memory Patchification 和 Pyramid Unified Predictor-Corrector，對歷史信息與當前噪聲上下文進行壓縮，從而降低計算開銷；同時通過 Representation Control 實現(xiàn)對 T2V（文本生成視頻）、I2V（圖像生成視頻）和 V2V（視頻生成視頻）任務的統(tǒng)一建模。

在生成加速上，袁粒團隊做了三個關鍵優(yōu)化。

第一刀砍在時間維度上，把噪聲 latent 的幀數(shù)從 21 幀降到 9 幀。幀數(shù)減少帶來的不是線性下降，而是平方級的算力節(jié)省，前向傳播成本瞬間被壓縮。

第二刀砍在分辨率策略上。先在低分辨率下完成大結構生成，再逐步細化到高分辨率。早期階段計算便宜，只有后期才進入高成本計算區(qū)間，把「多尺度思想」引入到推理流程本身。

最后一刀是采樣層面的壓縮，靠的是 DMD 蒸餾，把擴散推理步數(shù)從 50 步壓縮到 4 步。這不是簡單減少 step，而是把整個擴散軌跡學習成一個近似的快速映射，直接把時間開銷壓縮了一個數(shù)量級。

OSP-RealTime 14B 的實時無限長視頻生成示例

為了讓這種系統(tǒng)級改造在單塊昇騰 Atlas A3 系列產(chǎn)品上真正跑起來，并將幀率推進到約 10 FPS ，團隊還做了不少工程上的探索。

比如，特征緩存方案 (Latents Cache)，「以查代算」，預計算并存儲耗時最高的引導詞特征，使多輪迭代訓練時間縮短約 30%，并釋放 20% 的顯存資源 。

模型全程在昇騰 Atlas A3 系列產(chǎn)品上完成訓練與推理，深度融合了 MindSpeed-MM 套件的分布式訓練能力（如 TP、SP 并行）、斷點續(xù)訓（MindCluster）以及 SmartSwap 等原生特性 。

總體而言，OSP-RealTime 14B 讓其作為其基石的 UniWorld-OSP2.0 有了更廣泛的開源意義，也有了商用規(guī)?；瘽摿?。

如果 14B 都可以進入實時區(qū)間，那視頻生成的邊界就開始松動。它不再只是生成幾秒鐘的片段，而是有可能成為持續(xù)運行的系統(tǒng)?；右曨l、生成式游戲場景、實時虛擬世界，這些過去停留在想象層面的應用，開始具備算力基礎。

定義視頻生成的「公共基礎設施」

在開源體系里，UniWorld-OSP2.0 率先將 VLM 的多模態(tài)理解、FlashI2V 的物理生成、I2SV 的藝術表達以及 14B 模型的實時化能力高度整合。這不僅在昇騰算力平臺上跑通了工業(yè)級視頻生成閉環(huán)，更在深層技術生態(tài)上，依托昇騰底座定義了視頻生成的「公共基礎設施」

袁粒課題組為整個行業(yè)蹚平了眾多深坑，節(jié)約了巨大的試錯成本。在探索統(tǒng)一架構的過程中，他們排除了多尺度自回歸帶來的細節(jié)模糊、簡單 token 早融合的質量瓶頸，以及 LLM 疊加 Flow 的工程局限，最終收斂出當前的最優(yōu)解。

對于以昇騰為核心的國產(chǎn)智算生態(tài)而言，該項目提供了一份高價值的工程落地手冊。團隊在適配昇騰算力時，解決了底層通信算子的精度誤差與非并行切分層的推理崩潰隱患。結合「以查代算」的特征緩存機制，開發(fā)者無需從零訓練高耗能的 VAE 或調(diào)試脆弱的 DiT 架構，直接獲得了極具經(jīng)濟性的成熟工具鏈。

面向未來，視頻生成的終局遠超像素的堆疊變換。UniWorld-OSP2.0 展現(xiàn)出的跨模態(tài)對齊與物理規(guī)律學習能力表明，它正向著真正的「通用視覺世界模型」穩(wěn)步邁進。