隨著生成式 AI（如 Sora）的發(fā)展，合成視頻幾乎可以以假亂真，帶來了深度偽造與虛假信息傳播的風(fēng)險?，F(xiàn)有檢測方法多依賴表層偽影或數(shù)據(jù)驅(qū)動學(xué)習(xí)，難以在高質(zhì)量生成視頻中保持較好的泛化能力。其根本原因在于，這些方法大都未能充分利用自然視頻所遵循的物理規(guī)律，挖掘自然視頻的更本質(zhì)的特征。

真實世界的視覺現(xiàn)象受物理過程支配，而生成模型難以完美遵循這些規(guī)律。因此，基于物理時空一致性的生成視頻檢測范式更具普適性和可解釋性。然而，高維時空物理規(guī)律通常由復(fù)雜偏微分方程刻畫，直接建模這些規(guī)律極具挑戰(zhàn)性，如何構(gòu)建有效的物理驅(qū)動的統(tǒng)計量，仍是核心難題。

本文從第一性原理出發(fā)，提出了歸一化時空梯度（NSG）統(tǒng)計量，通過概率流守恒原理量化視頻空間概率梯度與時間密度變化的比值，揭示生成視頻中的物理不一致性；理論分析了生成視頻與真實視頻的NSG分布差異，證明了生成視頻與真實視頻在該統(tǒng)計量的MMD距離大于真實視頻之間的距離；基于該統(tǒng)計量提出了通用的視頻檢測方法NSG-VD，該方法對自然視頻的分布進行建模，不依賴特定生成模型，對未知生成范式（如Sora）和遷移場景具有較強的檢測效果。實驗表明NSG-VD方法在Recall和F1-score指標(biāo)分別超越已有最新方法16.00%和10.75%。

論文標(biāo)題： Physics-Driven Spatiotemporal Modeling for AI-Generated Video Detection 論文鏈接： https://arxiv.org/abs/2510.08073v1 代碼鏈接： https://github.com/ZSHsh98/NSG-VD

盡管生成式 AI 技術(shù)在視頻合成領(lǐng)域取得了突破性進展，但檢測領(lǐng)域的研究卻面臨著新的瓶頸。與圖像不同，視頻同時包含空間結(jié)構(gòu)與時間動態(tài)兩類復(fù)雜依賴關(guān)系，其真實演化過程往往受到多種物理約束（如運動連續(xù)性、能量守恒等）共同支配。要準(zhǔn)確識別生成視頻，檢測模型不僅需要理解空間紋理的統(tǒng)計特征，還必須捕捉時間維度上連貫且可解釋的變化模式。

然而，現(xiàn)有大多數(shù)檢測方法仍主要聚焦于表層信號的不一致性，如局部光流異常或視覺紋理偽影。這些特征在早期生成模型中較為明顯，但在如今高質(zhì)量的視頻生成中已被顯著削弱。另一方面，依賴大規(guī)模標(biāo)注數(shù)據(jù)的深度學(xué)習(xí)方法雖然在特定數(shù)據(jù)集上取得了優(yōu)異表現(xiàn)，卻難以泛化至未見過的生成范式，特別是在新興模型（如 Sora）出現(xiàn)后，檢測性能會急劇退化。

因此，當(dāng)前 AI 視頻檢測的核心困境在于：如何超越表面特征層面的統(tǒng)計差異，從自然視頻的物理演化規(guī)律出發(fā)，構(gòu)建一種具有普適性性且對未知生成模型穩(wěn)健的檢測框架。

基于這一思考，作者提出一個關(guān)鍵問題：

如何從視頻本身的物理層面刻畫自然視頻的時空演化規(guī)律，從而揭示生成視頻中極其細微且潛在的物理異常？

事實上，真實世界中物體的運動遵循著明確的物理約束，例如一輛車從左向右行駛時，其像素的亮度與位置變化應(yīng)當(dāng)是連續(xù)且符合運動規(guī)律的。換言之，我們可將視頻的演化過程視為一種“概率流體”的時空流——真實視頻中的動態(tài)如同穩(wěn)定、連續(xù)的流，而許多AI生成的視頻則可能在流上表現(xiàn)出斷裂、抖動或其他違反物理一致性的異常。

因此，作者將視頻的演化過程形式化為一種概率流的時空流動，并通過歸一化時空梯度（NSG）統(tǒng)計量來量化這種流的物理一致性。

二、物理一致性建模：從概率流守恒到時空梯度

首先將視頻幀序列建模為高維空間中的概率分布演化過程。設(shè) 表示視頻幀在空間中的像素表示， 表示時間， 為視頻在時刻 的概率密度函數(shù)。類比于流體力學(xué)中的質(zhì)量流動[1]，定義概率流密度（probability flow density）：

其中 表示概率流速度場，描述了概率密度在時空中的演化方向與速率。

概率質(zhì)量守恒要求系統(tǒng)滿足連續(xù)性方程（continuity equation）[2]，這是物理學(xué)中描述守恒量傳輸?shù)幕痉匠蹋?/p>

其中 表示概率流密度 的散度，衡量了某點處概率流的凈流出量。直觀上，該方程表明：某點概率密度的增加率（ ）等于該點處概率流的凈流入量（ ）。換句話說，概率質(zhì)量不會憑空產(chǎn)生或消失，只會在空間中連續(xù)流動。注意該守恒方程是普適的物理表達形式，描述任意時間演化的概率密度的守恒規(guī)律[2]，而不僅限于視頻。

將 代入上式，并對 應(yīng)用鏈?zhǔn)椒▌t，整理可得：

該式揭示了速度場 如何同時編碼概率分布的時間演化與空間梯度。

為求解 ，可以關(guān)注式（3）的主導(dǎo)項。在平滑變化的分布假設(shè)[3]下，散度項 是次要的，這一條件在流體力學(xué)[2]與量子力學(xué)[4]中被廣泛采用，則式（3）可簡化為：

該式表明，在概率分布平滑演化的區(qū)域，速度場與空間概率梯度的點積近似于時間概率變化率的負值。由于式（4）中 的解不唯一，作者通過歸一化處理來提取本質(zhì)特征。將兩邊除以 ，得到：

2.1 歸一化時空梯度（NSG）統(tǒng)計量

式（5）表明，真實視頻會保持速度場與空間概率梯度對時間密度變化比值的乘積恒定?；诖耍x歸一化時空梯度（NSG）統(tǒng)計量：

其中， 是維持數(shù)值穩(wěn)定而加的正則項。該統(tǒng)計量衡量了單位時間密度變化所對應(yīng)的空間概率梯度強度與方向，刻畫視頻在時空維度上的動態(tài)一致性。雖然式 (4) 為便于估計弱化了散度項 ，但 NSG 并不依賴于嚴(yán)格的 假設(shè)，這是因為 NSG 的比值結(jié)構(gòu)同時建模式 (3) 中來自時間導(dǎo)數(shù)與空間梯度二者的信號且通過比值進行放大，從而仍能有效揭示時空不一致性，且實驗表明本方法在復(fù)雜場景下仍保持穩(wěn)健性。

從物理直覺上看，真實視頻的 NSG 呈現(xiàn)平滑連續(xù)的“流線”結(jié)構(gòu)，反映出自然運動的連貫性；而AI生成視頻在此過程中出現(xiàn)斷層、抖動等非物理現(xiàn)象，即違反了連續(xù)性方程。具體而言：

• 分子 ：表示視頻在空間維度上的概率分布梯度，反映了像素亮度或紋理結(jié)構(gòu)的局部變化強度與方向。

• 分母 ：表示視頻在時間維度上的密度變化率，描述了幀間像素分布演化的動態(tài)特性。

兩者結(jié)合后，NSG 為不同視頻場景提供了統(tǒng)一的一致性度量特征，可穩(wěn)健揭示生成視頻中的物理異常。

2.2 NSG 的計算近似

在提出歸一化時空梯度（NSG）之后，關(guān)鍵問題在于：如何在實際視頻中有效、精確地估計該統(tǒng)計量？由于它們涉及高維概率密度的顯式建模，直接計算 和 是極其困難的。為此，作者引入了 擴散模型（Diffusion Model）的梯度學(xué)習(xí)能力，構(gòu)建了一個高效的 NSG 估計器。

2.2.1 空間梯度估計：用擴散模型建模梯度特征

現(xiàn)代擴散模型（或更廣義的 score-based 模型）本質(zhì)上學(xué)習(xí)的是數(shù)據(jù)分布的 score 函數(shù)[5]：

即概率密度對輸入的梯度。這意味著，擴散模型實際上隱式捕獲了真實數(shù)據(jù)在高維空間中的概率流結(jié)構(gòu)。因此，可以用一個預(yù)訓(xùn)練的 score 網(wǎng)絡(luò) ，來近似計算視頻幀的空間概率梯度：

式（8）實現(xiàn)了從生成模型到判別器的轉(zhuǎn)換，作者不再利用擴散模型生成視頻，而是讓它“感知”視頻幀是否符合自然分布的空間結(jié)構(gòu)。

2.2.2 時間導(dǎo)數(shù)估計：基于亮度不變假設(shè)

在時間維度上，直接求取 依然不可行。作者基于亮度不變假設(shè)（brightness constancy assumption）[6]可以近似得到：

其中 可通過幀間差分獲得。該項刻畫了像素在時序方向上的變化速率，等價于一種“局部運動感知”特征。

2.2.3 總的估計表達式

將上式與 score 估計結(jié)合，可得到 NSG 的可計算近似式：

該公式僅需一次 diffusion 模型前向計算（用于獲取 ）與幀間差分，即可在無需顯式光流估計或復(fù)雜運動分解的情況下，求得視頻的 NSG 分布。

三、NSG-VD：基于物理一致性的時空視頻檢測框架

在獲得NSG特征后，作者提出檢測算法NSG-VD。

核心思想：通過計算待測視頻與真實視頻參考集在 NSG特征空間中的分布差異，利用最大均值差異（MMD）作為檢測指標(biāo)，從而揭示生成視頻在物理一致性上的異常特征。

3.1 檢測流程

首先，構(gòu)建一組真實視頻參考集：

并為每個視頻 提取其在 幀上的NSG特征序列：

給定一個待檢測視頻 ，計算其 NSG 特征 與參考集特征分布之間的最大均值差異，用于量化二者在特征空間的分布距離：

其中 ， ，核函數(shù) 將NSG特征特征映射至高維再生核希爾伯特空間，以捕捉細微的分布差異。值得注意的是，盡管 MMD 傳統(tǒng)上用于分布級比較，近期研究表明其在單樣本檢測中也能有效地量化單個樣本與參考分布的偏差[7,8]。但必須強調(diào)，NSG-VD 的核心優(yōu)勢源自 NSG 本身對物理一致性的建模，而非僅依賴于 MMD 的檢測能力。

隨后，定義檢測函數(shù)：

其中 為指示函數(shù)， 為判定閾值。根據(jù)函數(shù)輸出進行視頻真?zhèn)畏诸悾?/p>

為增強判別能力，作者采用可學(xué)習(xí)的深度核[9]并在訓(xùn)練集數(shù)據(jù)上對其參數(shù)進行訓(xùn)練。

3.2 理論保障

該定理表明，真實視頻和生成視頻的 NSG 特征距離上界與分布偏移程度 有關(guān)。分布偏移越小，兩者特征距離上界越??；偏移越大，分離越明顯。這也意味著真實數(shù)據(jù)間的 NSG 特征的 MMD 比真實與生成數(shù)據(jù)間的更小，據(jù)此可用NSG特征區(qū)分真實和生成視頻。

四、實驗驗證：跨生成模型與數(shù)據(jù)場景的性能分析

作者在大型基準(zhǔn)GenVideo上進行了全面評估，包含10個不同的生成模型，涵蓋開源和閉源系統(tǒng)。實驗表明，NSG-VD 在多個標(biāo)準(zhǔn)評測中顯著優(yōu)于現(xiàn)有基線方法：

4.1 標(biāo)準(zhǔn)評測設(shè)置下的卓越性能

NSG-VD 在 Kinetics-400（真實視頻） 與 Pika（生成視頻） 的混合數(shù)據(jù)訓(xùn)練后，展現(xiàn)出出色的泛化能力。在十類AI生成視頻上的平均檢測性能達到 Recall 88.02%、F1 90.87%，已全面超越此前的最佳方法 DeMamba。特別是在 Sora 等閉源生成模型檢測上，NSG-VD 取得了 78.57% 的 Recall，相比 DeMamba 的 48.21% 提升超過 30 個百分點，展現(xiàn)出顯著的性能優(yōu)勢。

4.2 數(shù)據(jù)不平衡場景下的魯棒性

在實際應(yīng)用中，獲取大規(guī)模 AI 生成視頻 的訓(xùn)練數(shù)據(jù)往往具有較高成本與難度。為評估模型在更貼近真實場景下的表現(xiàn)，作者在訓(xùn)練集僅包含 1,000 條SEINE 的生成數(shù)據(jù)上進行了實驗。

結(jié)果表明，即使在僅使用 1,000 條 AI 生成視頻 進行訓(xùn)練的條件下，NSG-VD 仍展現(xiàn)出顯著的穩(wěn)健性與泛化能力：其在 Sora 上的召回率（Recall）高達 82.14%，遠超 DeMamba (33.93%) 與 NPR (10.71%) 等基線模型。這充分驗證了 NSG-VD 的高數(shù)據(jù)效率，其性能提升并非依賴于大規(guī)模訓(xùn)練數(shù)據(jù)，而源于基于物理一致性的第一性原理建模的有效性。

4.3 消融研究：驗證物理建模的有效性

為進一步驗證 NSG 各組成模塊的作用，作者進行了系統(tǒng)性的消融實驗。

實驗結(jié)果表明，當(dāng)僅使用空間概率梯度時，模型的 Recall 為 87.99%；僅使用時間密度變化時，Recall 降至 60.35%。將兩者進行物理一致性融合后，NSG-VD 的 Recall 提升至 88.02%，F(xiàn)1 值進一步達到 90.87%。這一結(jié)果充分說明，基于物理公式的時空聯(lián)合建模能夠有效捕捉視頻生成過程中的細微差異，不僅驗證了該建模范式的必要性，也凸顯了其顯著的性能優(yōu)勢。

4.4 決策閾值魯棒性分析

在實際部署中，方法的超參數(shù)敏感性至關(guān)重要。對此，作者分析了決策閾值 的影響：

結(jié)果表明，在 的閾值范圍內(nèi)，NSG-VD 的各項指標(biāo)（Recall、Accuracy、F1）穩(wěn)定性，證實了 NSG 特征對真?zhèn)我曨l的強大判別能力。該方法的核心在于物理驅(qū)動的時空梯度建模，而非依賴生成器特定偽影，因而能夠穩(wěn)健地檢測來源多樣的生成內(nèi)容。

五、總結(jié)與展望

本文提出了基于物理守恒的時空建模視頻檢測框架 NSG-VD，通過歸一化時空梯度（NSG）統(tǒng)計量量化視頻在空間和時間維度上的物理一致性，實現(xiàn)對 AI 生成視頻的通用檢測。實驗表明，NSG-VD 在多種生成模型、數(shù)據(jù)不平衡場景及遷移測試中均表現(xiàn)出卓越的泛化能力和穩(wěn)健性，顯著優(yōu)于現(xiàn)有方法。

NSG-VD 的核心創(chuàng)新在于將物理一致性約束引入檢測任務(wù)，通過 NSG 特征捕捉生成視頻中潛在的物理規(guī)律違例。這種物理驅(qū)動范式無需依賴特定生成模式的數(shù)據(jù)，在面對多樣化生成內(nèi)容時展現(xiàn)出強魯棒性，即便在數(shù)據(jù)不平衡場景下也能保持穩(wěn)定性能。

在當(dāng)前“真假難辨”的生成時代，NSG-VD引領(lǐng)我們從「圖像的真實」走向「物理的真實」——不關(guān)注視頻有多逼真，而關(guān)注其是否遵守物理規(guī)律。盡管該方法仍依賴一定的物理假設(shè)并存在計算開銷，未來工作將著力于開發(fā)更精細的物理模型、優(yōu)化輕量化計算方案，并探索實時檢測應(yīng)用場景的可行性。

Reference

[1] Hodge, W. B., S. V. Migirditch, and William C. Kerr. "Electron spin and probability current density in quantum mechanics." American Journal of Physics 82.7 (2014): 681-690.

[2] Batchelor, George Keith. An introduction to fluid dynamics. Cambridge university press, 2000.

[3] Panton, Ronald L. Incompressible flow. John Wiley & Sons, 2024.

[4] B?hm, Arno. Quantum mechanics: foundations and applications. Springer Science & Business Media, 2013.

[5] Song, Yang, and Stefano Ermon. "Generative modeling by estimating gradients of the data distribution." Advances in neural information processing systems 32 (2019).

[6] Horn, Berthold KP, and Brian G. Schunck. "Determining optical flow." Artificial intelligence 17.1-3 (1981): 185-203.

[7] Zhang, Shuhai, et al. "Detecting Machine-Generated Texts by Multi-Population Aware Optimization for Maximum Mean Discrepancy." The Twelfth International Conference on Learning Representations.

[8] Zhang, Shuhai, et al. "Detecting adversarial data by probing multiple perturbations using expected perturbation score." International conference on machine learning. PMLR, 2023.

[9] Liu, Feng, et al. "Learning deep kernels for non-parametric two-sample tests." International conference on machine learning. PMLR, 2020.

作者：張書海 來源：公眾號【機器之心】

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈