這項(xiàng)由韓國科學(xué)技術(shù)院（KAIST）人工智能實(shí)驗(yàn)室的金敏晶、金正豪、陳昊英、鄭俊河以及朱在乙教授團(tuán)隊完成的研究，于2025年12月18日發(fā)表在計算機(jī)視覺頂級會議arXiv上，論文編號為arXiv:2512.17040v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

說起視頻后期制作，相信很多人都有過這樣的遺憾：明明拍攝的內(nèi)容很精彩，但是攝影角度不夠理想，要是能重新?lián)Q個視角就好了。比如你用手機(jī)記錄了孩子的生日派對，但拍攝角度太低，想要從稍高的位置俯視整個場景，或者你拍了一段風(fēng)景視頻，卻希望能有電影般的環(huán)繞鏡頭效果。傳統(tǒng)情況下，想要實(shí)現(xiàn)這樣的效果，要么重新拍攝，要么花費(fèi)巨額成本請專業(yè)團(tuán)隊制作。

而KAIST AI團(tuán)隊的這項(xiàng)研究，就像為普通人提供了一臺"魔法相機(jī)"。他們開發(fā)了一個名為InfCam的系統(tǒng)，能夠接收你現(xiàn)有的視頻，然后按照你想要的攝影路徑，重新生成一個全新角度的視頻。最神奇的是，這整個過程完全不需要復(fù)雜的深度信息估計，就像魔法師變戲法一樣，僅僅通過巧妙的數(shù)學(xué)變換就能實(shí)現(xiàn)視角的自由切換。

這個技術(shù)的核心創(chuàng)新在于"無窮遠(yuǎn)平面單應(yīng)性變換"這一概念。聽起來很學(xué)術(shù)，其實(shí)可以這樣理解：當(dāng)攝影師舉著相機(jī)進(jìn)行純粹的旋轉(zhuǎn)運(yùn)動時，遠(yuǎn)處的景物幾乎不會發(fā)生位置變化，變化的主要是近處物體的相對位置。研究團(tuán)隊巧妙地利用了這一物理規(guī)律，將復(fù)雜的視角變換問題分解成了兩個部分：一個是可以精確計算的旋轉(zhuǎn)部分，另一個是需要智能推測的平移部分。

一、傳統(tǒng)方法的困境：為什么現(xiàn)有技術(shù)總是不夠理想

在理解這項(xiàng)革新之前，我們先來看看以往的技術(shù)為什么總是讓人不夠滿意。

目前的視頻視角變換技術(shù)主要分為兩大類。第一類方法就像一個過分依賴GPS的司機(jī)，必須先估算出視頻中每個像素點(diǎn)的深度信息，然后根據(jù)這些深度數(shù)據(jù)重新投影到新的視角。這種方法聽起來很合理，但問題在于深度估計本身就是一個極其困難的任務(wù)。就像讓你僅僅通過觀看一張照片就準(zhǔn)確說出照片中每樣物品距離相機(jī)的精確距離一樣，這幾乎是不可能完成的任務(wù)。

當(dāng)深度估計出現(xiàn)錯誤時，整個重投影過程就會產(chǎn)生連鎖反應(yīng)。比如說，如果系統(tǒng)錯誤地認(rèn)為背景中的一棵樹距離相機(jī)很近，那么在生成新視角時，這棵樹可能會出現(xiàn)在完全錯誤的位置，甚至產(chǎn)生明顯的變形和撕裂效果。更糟糕的是，這種錯誤一旦發(fā)生，就無法在后續(xù)處理中得到糾正，因?yàn)殄e誤的深度信息已經(jīng)固化在了算法的處理流程中。

第二類方法則試圖通過大量的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)視角變換的規(guī)律。這就像培養(yǎng)一個學(xué)徒，讓他觀看成千上萬個視角變換的例子，希望他能從中總結(jié)出規(guī)律。然而，這種方法的問題在于訓(xùn)練數(shù)據(jù)的局限性?，F(xiàn)有的多視角視頻數(shù)據(jù)集往往存在嚴(yán)重的偏見，比如所有的攝影軌跡都從同一個起始點(diǎn)開始，或者只包含特定類型的場景。當(dāng)模型在這樣帶有偏見的數(shù)據(jù)上訓(xùn)練時，它往往會繼承這些偏見，導(dǎo)致在實(shí)際應(yīng)用中表現(xiàn)不佳。

這就好比一個只見過城市風(fēng)景的畫家突然被要求畫鄉(xiāng)村田野，即使技法再好，也難免會畫出不倫不類的作品?，F(xiàn)有方法的這些局限性，正是KAIST團(tuán)隊著力解決的核心問題。

二、無窮遠(yuǎn)平面的智慧：一個簡單而優(yōu)雅的數(shù)學(xué)洞察

KAIST團(tuán)隊的解決方案建立在一個簡單卻深刻的數(shù)學(xué)洞察之上：當(dāng)我們觀察遠(yuǎn)處的風(fēng)景時，無論怎樣轉(zhuǎn)動腦袋，遠(yuǎn)山的相對位置幾乎不會發(fā)生變化，變化的只是近處物體的位置關(guān)系。

這個現(xiàn)象在數(shù)學(xué)上可以用"無窮遠(yuǎn)平面單應(yīng)性變換"來描述。雖然名字聽起來復(fù)雜，但概念其實(shí)很直觀。當(dāng)攝影師手持相機(jī)進(jìn)行純粹的旋轉(zhuǎn)運(yùn)動時，比如從左向右轉(zhuǎn)動，或者上下傾斜，遠(yuǎn)處的景物就像是貼在一個無窮遠(yuǎn)的平面上，它們之間的相對位置關(guān)系保持不變。這種變換可以用一個簡單的數(shù)學(xué)矩陣精確描述，而且這個矩陣只依賴于相機(jī)的旋轉(zhuǎn)角度和焦距參數(shù)，完全不需要估計場景的深度信息。

研究團(tuán)隊將這一洞察轉(zhuǎn)化為實(shí)用的算法設(shè)計。他們的系統(tǒng)首先對輸入視頻進(jìn)行無窮遠(yuǎn)平面變換，這一步就像是先處理畫面中所有遠(yuǎn)景的變化。由于這種變換是純數(shù)學(xué)計算，不涉及任何估計過程，因此完全沒有誤差累積的問題。

處理完旋轉(zhuǎn)分量后，剩下的就是近景物體由于視角平移產(chǎn)生的位置變化，這部分被稱為"視差"。由于前期的旋轉(zhuǎn)變換已經(jīng)大幅簡化了問題的復(fù)雜度，神經(jīng)網(wǎng)絡(luò)只需要專注于學(xué)習(xí)這種相對簡單的視差模式，而不需要同時處理旋轉(zhuǎn)和平移的復(fù)合效應(yīng)。這就像把一個復(fù)雜的烹飪過程分解為兩個簡單步驟：先處理主要的調(diào)味（旋轉(zhuǎn)），再處理細(xì)節(jié)的裝飾（平移），每一步都變得更加可控和精確。

三、數(shù)據(jù)增強(qiáng)的巧思：化腐朽為神奇的訓(xùn)練策略

除了核心的無窮遠(yuǎn)平面變換技術(shù)，KAIST團(tuán)隊還在訓(xùn)練數(shù)據(jù)的處理上展現(xiàn)了獨(dú)特的智慧。他們意識到，現(xiàn)有的多視角視頻數(shù)據(jù)集雖然包含了豐富的內(nèi)容，但在攝影軌跡的多樣性上存在嚴(yán)重不足。

以MultiCamVideo數(shù)據(jù)集為例，這個數(shù)據(jù)集包含了大量的多角度同步視頻，但所有的攝影軌跡都從相同的起始位置開始。這就像所有的司機(jī)都從同一個停車位出發(fā)，雖然目的地不同，但起始點(diǎn)的單一性限制了路徑的多樣性。當(dāng)神經(jīng)網(wǎng)絡(luò)在這樣的數(shù)據(jù)上訓(xùn)練時，它會錯誤地認(rèn)為所有的視角變換都應(yīng)該從特定的角度開始，導(dǎo)致在實(shí)際應(yīng)用中缺乏靈活性。

研究團(tuán)隊設(shè)計了一個巧妙的數(shù)據(jù)增強(qiáng)策略來解決這個問題。他們的方法就像重新編排電影剪輯一樣：將一個視頻序列倒放，然后與另一個視頻序列連接起來。由于倒放視頻的結(jié)尾幀恰好與后續(xù)視頻的開頭幀相同，這種連接是完全自然的。通過這種方式，原本從固定起點(diǎn)開始的多個攝影軌跡被重新組合為具有不同起始點(diǎn)的新軌跡，大大增加了訓(xùn)練數(shù)據(jù)的多樣性。

除了軌跡增強(qiáng)，團(tuán)隊還引入了焦距變化的數(shù)據(jù)增強(qiáng)。傳統(tǒng)的數(shù)據(jù)集中，同一場景的所有視頻往往使用相同的焦距設(shè)置，這限制了模型學(xué)習(xí)不同視野范圍變換的能力。研究團(tuán)隊通過智能的圖像縮放和裁剪技術(shù)，模擬了不同焦距設(shè)置下的視頻效果。這就像給同一個攝影師配備了不同焦段的鏡頭，讓他能夠拍攝從廣角到長焦的各種效果。

這些數(shù)據(jù)增強(qiáng)技術(shù)的結(jié)合使用，讓訓(xùn)練出的模型具備了處理任意起始角度和任意焦距變化的能力，大大提升了系統(tǒng)的實(shí)用性和魯棒性。

四、模型架構(gòu)的精巧設(shè)計：讓AI理解視角變換的藝術(shù)

InfCam系統(tǒng)的模型架構(gòu)設(shè)計充分體現(xiàn)了研究團(tuán)隊對視角變換本質(zhì)的深刻理解。整個系統(tǒng)基于Wan2.1這一成熟的文本到視頻生成模型進(jìn)行改進(jìn)，但在關(guān)鍵模塊上進(jìn)行了專門的定制化設(shè)計。

系統(tǒng)的核心創(chuàng)新在于"單應(yīng)性引導(dǎo)的自注意力層"。這個層次就像一個智慧的觀察員，能夠同時關(guān)注三種不同的信息源：原始的源視頻幀、目標(biāo)視角的視頻幀，以及經(jīng)過無窮遠(yuǎn)平面變換處理的變形幀。通過對這三種信息的綜合分析，模型能夠準(zhǔn)確理解哪些部分需要進(jìn)行旋轉(zhuǎn)變換，哪些部分需要進(jìn)行平移調(diào)整。

變形模塊的設(shè)計更是體現(xiàn)了數(shù)學(xué)與工程的完美結(jié)合。該模塊首先根據(jù)相機(jī)的內(nèi)參矩陣和旋轉(zhuǎn)參數(shù)計算出精確的無窮遠(yuǎn)平面變換矩陣，然后將這個變換應(yīng)用到輸入視頻的特征表示上。這個過程完全是確定性的數(shù)學(xué)計算，沒有任何隨機(jī)性或估計誤差。變換完成后，模塊還會加入編碼后的相機(jī)平移和焦距信息，為后續(xù)的視差學(xué)習(xí)提供必要的指導(dǎo)。

相機(jī)編碼器的設(shè)計也頗具匠心。它將復(fù)雜的相機(jī)參數(shù)（包括旋轉(zhuǎn)矩陣、平移向量、焦距和主點(diǎn)坐標(biāo)）編碼為模型能夠理解的特征表示。這就像為AI提供了一套專門的"相機(jī)語言"，讓它能夠準(zhǔn)確理解人類想要實(shí)現(xiàn)的視角變換意圖。

模型的訓(xùn)練策略采用了漸進(jìn)式的方法。系統(tǒng)首先凍結(jié)預(yù)訓(xùn)練模型的所有參數(shù)，只訓(xùn)練新增的相機(jī)相關(guān)模塊。這種策略既保留了預(yù)訓(xùn)練模型強(qiáng)大的視頻生成能力，又確保了新增模塊能夠?qū)Ｗ⒂趯W(xué)習(xí)視角變換的特定任務(wù)。訓(xùn)練過程中，模型逐步學(xué)會了如何將無窮遠(yuǎn)平面變換的結(jié)果與視差預(yù)測相結(jié)合，最終生成符合目標(biāo)視角的高質(zhì)量視頻。

五、實(shí)驗(yàn)驗(yàn)證：理論照進(jìn)現(xiàn)實(shí)的精彩表現(xiàn)

為了驗(yàn)證InfCam系統(tǒng)的實(shí)際效果，研究團(tuán)隊設(shè)計了一套全面的實(shí)驗(yàn)評估方案，涵蓋了從合成數(shù)據(jù)到真實(shí)視頻的多個測試場景。

在合成數(shù)據(jù)的測試中，團(tuán)隊使用了他們自己構(gòu)建的AugMCV數(shù)據(jù)集。這個數(shù)據(jù)集包含了168個測試場景，每個場景都提供了真實(shí)的多視角視頻作為對照標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果顯示，InfCam在所有主要指標(biāo)上都顯著超越了現(xiàn)有的最先進(jìn)方法。在圖像質(zhì)量方面，InfCam生成的視頻在PSNR指標(biāo)上比次優(yōu)方法提升了約1.5分貝，在SSIM相似度指標(biāo)上提升了約0.05，在感知質(zhì)量LPIPS指標(biāo)上降低了約0.05（數(shù)值越低表示質(zhì)量越好）。

更重要的是，這種性能提升在不同焦距設(shè)置的測試中都保持穩(wěn)定。傳統(tǒng)方法往往在處理焦距變化時表現(xiàn)不佳，因?yàn)樗鼈內(nèi)狈ο鄼C(jī)內(nèi)參變化的深入理解。而InfCam由于在設(shè)計時就考慮了焦距變化的影響，在這方面展現(xiàn)出了明顯的優(yōu)勢。

在真實(shí)視頻的測試中，團(tuán)隊從WebVid數(shù)據(jù)集中選擇了100個代表性視頻進(jìn)行測試。由于真實(shí)視頻沒有對應(yīng)的多視角參考，評估重點(diǎn)轉(zhuǎn)向了生成視頻的視角準(zhǔn)確性和視覺真實(shí)感。實(shí)驗(yàn)使用專門的視覺慣性位姿估計算法來提取生成視頻的實(shí)際攝影軌跡，然后與目標(biāo)軌跡進(jìn)行對比。結(jié)果顯示，InfCam在旋轉(zhuǎn)誤差和平移誤差方面都大幅超越了對比方法，其中旋轉(zhuǎn)誤差從最好的對比方法的5.007度降低到了3.162度，平移誤差從0.735米降低到了0.438米。

特別值得注意的是，傳統(tǒng)的基于深度重投影的方法雖然在某些情況下能夠產(chǎn)生視覺上合理的結(jié)果，但往往在細(xì)節(jié)處理上存在明顯的偽影。比如在處理物體邊緣時容易出現(xiàn)撕裂現(xiàn)象，在處理透明或反射表面時會產(chǎn)生不自然的扭曲。InfCam由于避免了深度估計的誤差累積，在這些細(xì)節(jié)處理上表現(xiàn)出了明顯的優(yōu)勢。

六、技術(shù)突破的深層意義：重新定義視頻編輯的可能性

InfCam的技術(shù)突破不僅僅是性能指標(biāo)上的提升，更重要的是它為整個視頻編輯領(lǐng)域帶來了全新的可能性。

從技術(shù)角度來看，這項(xiàng)研究證明了在某些復(fù)雜的計算機(jī)視覺任務(wù)中，巧妙的數(shù)學(xué)洞察往往比暴力的深度學(xué)習(xí)更加有效。無窮遠(yuǎn)平面變換這一經(jīng)典的計算機(jī)視覺概念，在深度學(xué)習(xí)時代重新煥發(fā)了活力，展示了基礎(chǔ)理論與前沿技術(shù)結(jié)合的巨大潛力。

從應(yīng)用前景來看，InfCam技術(shù)有望在多個領(lǐng)域產(chǎn)生重要影響。在電影制作領(lǐng)域，導(dǎo)演們可以在后期制作中自由調(diào)整攝影角度，無需重新拍攝就能實(shí)現(xiàn)理想的視覺效果。在教育培訓(xùn)領(lǐng)域，可以將單一視角的教學(xué)視頻轉(zhuǎn)換為多角度的沉浸式體驗(yàn)。在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用中，這項(xiàng)技術(shù)能夠幫助創(chuàng)建更加豐富和逼真的視覺內(nèi)容。

更進(jìn)一步地說，這項(xiàng)技術(shù)的成功驗(yàn)證了一個重要的研究方向：通過深入理解問題的本質(zhì)結(jié)構(gòu)，可以設(shè)計出比端到端深度學(xué)習(xí)更加高效和可靠的解決方案。這對于當(dāng)前AI研究中普遍存在的"黑盒"問題提供了一種有價值的替代思路。

當(dāng)然，InfCam技術(shù)目前也存在一些局限性。比如，它主要適用于剛體場景，對于包含大量非剛體運(yùn)動（如人物行走、水流擺動等）的視頻處理效果可能不夠理想。此外，極端的視角變化（比如從正面視角直接切換到背面視角）仍然是一個挑戰(zhàn)，因?yàn)檫@需要模型具備強(qiáng)大的場景理解和想象能力。

隨著技術(shù)的不斷發(fā)展和完善，相信InfCam將為普通用戶提供更加便利和強(qiáng)大的視頻編輯工具。未來的某一天，任何人都可以像編輯文檔一樣輕松地編輯視頻的視角和焦距，讓創(chuàng)意表達(dá)不再受到技術(shù)門檻的限制。這項(xiàng)由KAIST AI團(tuán)隊帶來的創(chuàng)新，正在悄然改變我們理解和創(chuàng)造視覺內(nèi)容的方式，為數(shù)字媒體的未來發(fā)展開啟了新的篇章。

Q&A

Q1：InfCam是什么技術(shù)？

A：InfCam是KAIST AI團(tuán)隊開發(fā)的視頻視角變換系統(tǒng)，能夠接收現(xiàn)有視頻并按照指定的攝影路徑重新生成不同角度的視頻。它的核心創(chuàng)新是使用"無窮遠(yuǎn)平面單應(yīng)性變換"技術(shù)，無需復(fù)雜的深度信息估計就能實(shí)現(xiàn)精確的視角切換。

Q2：InfCam相比傳統(tǒng)方法有什么優(yōu)勢？

A：傳統(tǒng)方法需要先估算視頻中每個像素的深度信息再重新投影，容易出現(xiàn)誤差累積和細(xì)節(jié)偽影。InfCam將復(fù)雜的視角變換分解為可精確計算的旋轉(zhuǎn)部分和需要智能推測的平移部分，避免了深度估計的錯誤，在質(zhì)量和準(zhǔn)確性上都有顯著提升。

Q3：InfCam技術(shù)可以應(yīng)用在哪些場景？

A：InfCam可以廣泛應(yīng)用于電影后期制作、教育培訓(xùn)視頻制作、虛擬現(xiàn)實(shí)內(nèi)容創(chuàng)建等領(lǐng)域。普通用戶可以用它將單一視角的視頻轉(zhuǎn)換為多角度效果，實(shí)現(xiàn)電影般的環(huán)繞鏡頭或俯視角度，大大降低了專業(yè)視頻制作的技術(shù)門檻。