本文是北京大學(xué)彭宇新教授團隊在文本生成視頻領(lǐng)域的最新研究成果，相關(guān)論文已被 CVPR 2026 接收

• 論文標(biāo)題：NS-Diff: Fluid Navier–Stokes Guided Video Diffusion via Reinforcement Learning
• 論文鏈接：http://39.108.48.32/mipl/download_paper.php?fileId=202601
• 開源代碼：https://github.com/PKU-ICST-MIPL/NS-Diff_CVPR2026
• 實驗室網(wǎng)址：https://www.wict.pku.edu.cn/mipl

背景與動機

想象一下，當(dāng)你讓 AI 生成一段「牛奶倒入咖啡產(chǎn)生絲滑旋渦」的視頻時，卻發(fā)現(xiàn) AI 根本無法生成出你想要的「絲滑旋渦」。雖然如今的 Sora、Wan 等視頻生成模型已經(jīng)能做出如電影般華麗的畫面，但它們往往只是「畫皮難畫骨」—— 因為 AI 并不真正懂得現(xiàn)實世界的物理定律，導(dǎo)致生成的視頻經(jīng)常出現(xiàn)違背常識的「穿幫」鏡頭。

在物理世界中，液體的流動遵循著復(fù)雜的納維 - 斯托克斯（Navier-Stokes）方程，而剛體的運動則有著嚴(yán)謹(jǐn)?shù)能壽E規(guī)律。實現(xiàn)視頻生成從「視覺真實」向「物理真實」的跨越，是當(dāng)前 AIGC 領(lǐng)域的重大挑戰(zhàn)。

針對這一難題，北京大學(xué)彭宇新教授團隊提出了給擴散模型裝上「物理引擎」的新方案 ——NS-Diff。該研究將物理約束與強化學(xué)習(xí)相結(jié)合，通過物理動力學(xué)檢測器和物理條件注入模塊，讓 AI 像人類一樣在生成畫面的同時，腦子里還緊繃著一根「物理定律」的弦。

實驗表明，NS-Diff 將視頻中的運動急動度（jerk）誤差降低了 43%，流體發(fā)散度降低了 33%，使 AI 生成的每一幀畫面不僅好看，而且遵循物理規(guī)律。這一成果表明將經(jīng)典物理約束融入視頻生成大模型，是解決視頻生成中物理失真問題的有效途徑。

技術(shù)方案

圖 1. 物理引導(dǎo)的視頻生成強化學(xué)習(xí)框架 NS-Diff

本文提出了一種物理引導(dǎo)的視頻生成強化學(xué)習(xí)框架 NS-Diff，將物理約束融入視頻擴散過程中，以提升生成視頻的物理真實感。其主要貢獻包括：（1）噪聲魯棒的物理動力學(xué)檢測器：設(shè)計了可在含噪潛在幀中精準(zhǔn)分析運動信息的檢測器，實現(xiàn)對剛體與流體區(qū)域的有效區(qū)分。（2）物理條件潛在注入模塊：將速度場、形變梯度等關(guān)鍵物理信息編碼，并通過交叉注意力機制注入 DiT 去噪器，從而實現(xiàn)對生成過程的物理引導(dǎo)。（3）強化學(xué)習(xí)優(yōu)化模塊：引入強化學(xué)習(xí)，通過策略梯度對流體施加簡化的納維 - 斯托克斯約束，對剛體施加最小化急動度（Jerk）原則，確保了視頻生成中動態(tài)過程的物理合理性。具體如下：

1. 噪聲魯棒的物理動力學(xué)檢測器

實現(xiàn)物理引導(dǎo)去噪的關(guān)鍵在于高噪聲環(huán)境下對運動和材料屬性的精準(zhǔn)估計。由于去噪過程在隱空間（latent space）中運行，直接在 RGB 幀上使用 ARFlow 是不可行的。為此，本文設(shè)計了一種結(jié)合隱空間解碼的運動估計方案，具體流程如下：

2. 物理條件潛在注入

3. 物理引導(dǎo)的強化學(xué)習(xí)優(yōu)化

4. 物理引導(dǎo)的自適應(yīng)激活

實驗結(jié)果

1. 實驗設(shè)置

本文在 PhysVideoBench 以及 UCF-101（包含 13,320 個真實世界人類動作視頻）和 WebVid-10M（包含 1000 萬個帶有文本描述的互聯(lián)網(wǎng)視頻）。本文從物理合理性和視覺質(zhì)量兩個角度對本文方法進行評估。

（1）物理指標(biāo)：

2）視覺指標(biāo)：

• VBench：綜合視頻質(zhì)量指標(biāo)。本文遵循 VideoJam 的方法計算視頻外觀和運動質(zhì)量。
• Fréchet Video Distance（FVD）：衡量真實視頻與生成視頻之間的分布距離。
• Frame Consistency：相鄰幀的 CLIP 圖像嵌入之間的平均余弦相似度，反映了時間上的連貫性。

2. 對比實驗結(jié)果

表 1. PhysVideoBench 數(shù)據(jù)集結(jié)果

在 PhysVideoBench 上，NS-Diff 在所有指標(biāo)上均實現(xiàn)了最佳性能。通過潛空間注入（Latent Injection）以及 Jerk / 散度損失（Jerk/divergence losses）引入物理先驗，提升了運動的真實性，尤其是在剛體和流體區(qū)域。相比于在給定用戶外力情況下模擬剛體動力學(xué)的 PhysGen，NS-Diff 在不需要預(yù)定義外力或模擬的情況下實現(xiàn)了更好的泛化能力，同時保持了更高的保真度和更低的散度誤差。實驗表明，本文的方法將 Jerk 誤差降低了 43%，流體散度降低了 33%，并使 FVD 提升了 22.7%，實現(xiàn)了更高的物理合理性和視覺質(zhì)量。

表 2. UCF-101 數(shù)據(jù)集結(jié)果

在 UCF-101 基準(zhǔn)測試中，本文的 NS-Diff 模型表現(xiàn)出色。具體而言，NS-Diff DiT 1B 版本的 FVD 為 106，幀一致性（Frame Consistency）達到 0.94；而 NS-Diff DiT 11B 版本則進一步將 FVD 降低至 85，幀一致性提升至 0.95。這表明本文的方法不僅提升了運動的物理準(zhǔn)確度，還顯著增強了生成視頻的時間連貫性。

表 3. WebVid-10M 數(shù)據(jù)集結(jié)果

為了評估物理引導(dǎo)學(xué)習(xí)框架在受限基準(zhǔn)測試之外的開放世界場景中的泛化能力，本文在 WebVid-10M 數(shù)據(jù)集上進行了文本生成視頻（Text-to-Video）合成測試。實驗旨在測試物理約束（剛體 / 流體動力學(xué)）在面對包含新穎物體交互和環(huán)境的未知文本描述時，是否仍能保持合理性。本方法在運動質(zhì)量（FVD）和文圖對齊（CLIPSIM）兩個指標(biāo)上均優(yōu)于 VideoFactory。

圖 2. 可視化對比結(jié)果

圖 2 展示了 NS-Diff 與 ModelScope、PhysGen、Wan2.1 以及 OpenSora2 的視覺效果對比。結(jié)果分析表明，本文方法生成的視頻在剛體和流體運動方面表現(xiàn)得更加真實，顯著減少了諸如物體無故出現(xiàn)或消失、以及非自然的拆分或合并等不符合物理規(guī)律的偽影。此外，本文方法還大幅提升了幀間一致性，在處理籃球投籃、火山熔巖流、玻璃破碎等物理密集型場景時，能夠比對比模型展現(xiàn)出更高的時間連貫性和運動可信度。

結(jié)論

本文提出了一種基于強化學(xué)習(xí)的物理引導(dǎo)視頻擴散框架 NS-Diff。該框架通過抗噪物理動力學(xué)檢測器，實現(xiàn)了對視頻潛空間中剛體與流體區(qū)域的精準(zhǔn)識別。利用物理條件潛空間注入技術(shù)，速度場、變形梯度及材料掩碼被有效整合至去噪流程中。此外，本文方法通過強化學(xué)習(xí)優(yōu)化機制，將納維 - 斯托克斯方程與最小急動度（Minimum-Jerk）原則轉(zhuǎn)化為訓(xùn)練約束，強制模型遵循物理運動規(guī)律。實驗結(jié)果表明，NS-Diff 在 PhysVideoBench、UCF-101 等多個基準(zhǔn)數(shù)據(jù)集上超過現(xiàn)有方法，在顯著降低物理運動誤差的同時，確保了視覺生成質(zhì)量。研究表明，將經(jīng)典物理約束深度融合于生成模型，是解決視頻生成中物理失真問題的有效途徑。