本文第一作者陳羽田，香港中文大學(xué) MMLab 博士二年級在讀，研究方向?yàn)槿S重建與生成，導(dǎo)師為薛天帆教授。個人主頁：https://yutian10.github.io

當(dāng)古裝劇中的長袍在武林高手凌空翻騰的瞬間揚(yáng)起 0.01 秒的驚艷弧度，當(dāng) VR 玩家想伸手抓住對手 “空中定格” 的劍鋒，當(dāng) TikTok 爆款視頻里一滴牛奶皇冠般的濺落要被 360° 無死角重放 —— 如何用普通的攝像機(jī)，把瞬間即逝的高速世界 “凍結(jié)” 成可供反復(fù)拆解、傳送與交互的數(shù)字化 4D 時空，成為 3D 視覺領(lǐng)域的一個難題。

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1

然而，受限于硬件成本與數(shù)據(jù)傳輸帶寬，目前絕大多數(shù) 4D 采集陣列的最高幀率僅約 30 FPS；相比之下，傳統(tǒng)高速攝影通常需要 120 FPS 乃至更高。簡單升級相機(jī)硬件不僅價格高昂，還會帶來指數(shù)級增長的數(shù)據(jù)通量，難以在大規(guī)模部署中落地。另一條改變的思路是在重建階段 “補(bǔ)幀”。近期，例如 4D 高斯濺射（4D Gaussian Splatting）等動態(tài)場景重建方法能在簡單運(yùn)動中通過稀疏時序輸入合成連續(xù)幀，變相提升幀率，但面對布料擺動、高速旋轉(zhuǎn)等非線性復(fù)雜運(yùn)動，中間幀仍會出現(xiàn)運(yùn)動不連續(xù)、偽影明顯的問題。

于是，一個自然且關(guān)鍵的問題被提出：能否僅利用低幀率相機(jī)陣列，準(zhǔn)確恢復(fù)出高質(zhì)量的高速運(yùn)動 4D 模型？正是在這一動機(jī)下，我們提出 “異步采集 + 視頻擴(kuò)散模型修復(fù)” 的軟硬協(xié)同解決方案，為高速 4D 重建開辟了一條低成本、高質(zhì)量的新路徑，實(shí)現(xiàn)了僅利用 30 FPS 的普通相機(jī)，恢復(fù)出相當(dāng)于 100-200 FPS 的高質(zhì)量動態(tài)細(xì)節(jié)

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1

• 論文標(biāo)題：4DSloMo: 4D Reconstruction for High Speed Scene
• with Asynchronous Capture
• 項目主頁：https://openimaginglab.github.io/4DSloMo
• 論文：https://arxiv.org/pdf/2507.05163
• 代碼：https://github.com/OpenImagingLab/4DSloMo

硬件革新：異步捕捉，讓相機(jī) “錯峰拍攝”

核心思路，是突破單個相機(jī)的速度瓶頸，通過讓多個相機(jī)協(xié)同工作，實(shí)現(xiàn)一種 “接力式” 的拍攝方案。傳統(tǒng)的捕捉方案是讓相機(jī)陣列的所有相機(jī)在同一時刻拍照。而本文的異步捕捉 (Asynchronous Capture) 方案，則是人為地給不同相機(jī)或相機(jī)組設(shè)置一個微小的啟動延遲。

傳統(tǒng)同步方案（左），所有相機(jī)在同一時間點(diǎn)（如 t=0, t=0.04s）捕捉。我們的異步方案（右），通過錯開相機(jī) 2 的啟動時間，在 0s 和 0.04s 之間插入了一個新的捕捉點(diǎn)（t=0.02s），有效幀率直接翻倍。

想象一下，8 臺 25 FPS 的相機(jī)，如果我們將它們分成 4 組，每組交替啟動，就能將時間切片切得更細(xì)，實(shí)現(xiàn) 100 FPS 的有效捕捉幀率；如果分成 8 組，甚至能達(dá)到 200 FPS！整個過程無需任何額外的硬件成本，卻在時間維度上獲得了前所未有的信息密度。

軟件革新：視頻擴(kuò)散模型，為 4D 重建 “精裝修”

異步捕捉雖然解決了時間分辨率的問題，但也帶來了一個新的挑戰(zhàn)：在任何一個特定的時間點(diǎn)，參與拍攝的相機(jī)數(shù)量變少了，這會導(dǎo)致 “稀疏視角” 問題，從而在初步的 4D 重建結(jié)果中產(chǎn)生 “浮塊” 等視覺偽影。為了解決這個問題，我們訓(xùn)練了一個專門用于修復(fù) 4D 重建偽影的視頻擴(kuò)散模型 (Artifact-fix Video Diffusion Model)。

該模型的核心功能是接收一個包含重建偽影的視頻作為輸入 ，并生成一個精修后的高質(zhì)量視頻作為輸出。這里的關(guān)鍵思想是，作為輸入的視頻雖然在視覺上不完美，但它為擴(kuò)散模型提供了修復(fù)所需的關(guān)鍵時空上下文 (Spatio-temporal Context)—— 即場景的正確空間結(jié)構(gòu)和物體的核心運(yùn)動信息。模型利用這些上下文作為引導(dǎo)，專注于去除偽影并補(bǔ)全細(xì)節(jié)。

為了實(shí)現(xiàn)這一功能，我們構(gòu)建了一個針對性的訓(xùn)練數(shù)據(jù)集。我們通過在高質(zhì)量的 4D 數(shù)據(jù)上模擬異步捕捉過程，生成包含典型偽影的降質(zhì)視頻 。隨后，我們將這些降質(zhì)視頻與原始的真值視頻 (Ground Truth) 配對，通過對一個大規(guī)模預(yù)訓(xùn)練視頻模型進(jìn)行微調(diào) (Fine-tuning)，使其學(xué)習(xí)從包含偽影的輸入到清晰輸出的映射關(guān)系。

與常見的圖像擴(kuò)散模型相比，我們使用視頻模型的核心優(yōu)勢在于保證 “時間一致性 (Temporal Consistency)”。逐幀修復(fù)容易在連續(xù)幀之間引入紋理閃爍等不一致問題，而我們的視頻模型能夠利用時序先驗(yàn)，在去除偽影的同時，生成在時間維度上連貫、平滑的動態(tài)結(jié)果。

整體流程：一個 “重建 - 優(yōu)化” 的迭代框架

我們的方法將硬件捕捉與 AI 算法相結(jié)合，構(gòu)建了一個迭代式的優(yōu)化框架：

1.初步重建 (Initial Reconstruction)：首先，利用異步捕捉的視頻數(shù)據(jù)，重建一個初步的 4D 高斯模型。該模型能捕捉高速動態(tài)，但存在視覺偽影。

2.生成偽真值 (Pseudo Ground Truth Generation)：接著，使用初步模型渲染出包含偽影的視頻。這些視頻將作為我們視頻擴(kuò)散模型的條件輸入。

3.視頻增強(qiáng) (Video Enhancement)：將渲染視頻送入視頻擴(kuò)散模型。模型負(fù)責(zé)去除偽影并提升視頻質(zhì)量，輸出增強(qiáng)后的視頻。

4.模型優(yōu)化 (Model Optimization)：最后，將增強(qiáng)后的高質(zhì)量視頻作為新的監(jiān)督信號 (Supervision Signal)，用于進(jìn)一步優(yōu)化 4D 高斯模型，從而顯著提升最終的重建質(zhì)量。

整體框架：異步視頻 → 初步重建 → 視頻增強(qiáng) → 優(yōu)化 4D 模型。

方法效果

在 DNA-Rendering 和 Neural3DV 兩大公開數(shù)據(jù)集的測試中，我們的方法在峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）和感知質(zhì)量（LPIPS）三項核心指標(biāo)上，超越了包括 K-Planes, 4DGS, GS4D 在內(nèi)的多種當(dāng)前頂尖（SOTA）方法。

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1

為了在真實(shí)世界中驗(yàn)證我們的想法，我們專門搭建了一套包含 12 個 25 FPS 相機(jī)的多視角捕捉系統(tǒng)。實(shí)驗(yàn)證明，即使在真實(shí)、復(fù)雜的異步捕捉環(huán)境下，我們的方法依然能夠穩(wěn)健地重建出高質(zhì)量、時空一致的 4D 內(nèi)容。

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1