這項由北京航空航天大學(xué)與東京大學(xué)、StepFun公司聯(lián)合開展的研究發(fā)表于2026年2月，論文編號arXiv:2602.20933v1，為3D場景重建領(lǐng)域帶來了突破性進(jìn)展。有興趣深入了解的讀者可以通過該論文編號查詢完整研究內(nèi)容。

想象你正在用手機拍攝一個房間，準(zhǔn)備制作一個3D模型。如果你能從各個角度拍攝幾十張照片，電腦就能輕松重建出這個房間的完整3D場景。但如果你只拍了三四張照片會怎樣？傳統(tǒng)技術(shù)就像一個急于完成拼圖的孩子，會胡亂填補缺失的部分，結(jié)果制作出來的3D場景充滿了模糊、扭曲和不合理的細(xì)節(jié)。

3D高斯投射技術(shù)本來是解決這個問題的明星方法，它就像用無數(shù)個彩色的小氣球來重建場景，每個氣球都有自己的位置、大小、顏色和透明度。當(dāng)這些氣球按照特定方式組合時，就能渲染出逼真的3D場景。這種方法在照片充足的情況下表現(xiàn)優(yōu)異，渲染速度快且畫質(zhì)清晰。然而，當(dāng)可用照片稀少時，這些"氣球"就開始互相補償，試圖彌補信息不足的問題，反而導(dǎo)致整個場景變得過度擬合，出現(xiàn)各種奇怪的視覺偽影。

為了解決這個困擾，研究團(tuán)隊提出了一種全新的"錨點丟棄"策略，他們將其命名為DropAnSH-GS。這種方法不再像以往那樣隨機移除單個"氣球"，而是選擇某些關(guān)鍵的"氣球"作為錨點，然后同時移除這些錨點及其周圍的鄰居"氣球"。這就像在拼圖過程中故意移除一整塊連續(xù)區(qū)域，迫使系統(tǒng)從更全局的角度來理解和重建場景，而不是依賴局部的細(xì)節(jié)填補。

除了空間上的創(chuàng)新，研究團(tuán)隊還發(fā)現(xiàn)了另一個被忽視的過擬合源頭——球面諧波系數(shù)。這些系數(shù)負(fù)責(zé)描述每個"氣球"的顏色信息，高階的球面諧波就像調(diào)色板上的精細(xì)顏色，能夠描述非常復(fù)雜的光照效果。但在稀疏視角條件下，這些過于精細(xì)的顏色信息反而成為了噪音源。研究團(tuán)隊因此設(shè)計了針對球面諧波的丟棄策略，優(yōu)先保留低階的基礎(chǔ)顏色信息，隨著訓(xùn)練進(jìn)程逐步加入高階細(xì)節(jié)。

一、錨點策略：從"單兵作戰(zhàn)"到"區(qū)域清理"

傳統(tǒng)的丟棄方法就像在花園里隨機拔掉幾株雜草，看似在做清理工作，實際上其他雜草很快就會蔓延過來填補空缺。研究團(tuán)隊發(fā)現(xiàn)，3D高斯投射系統(tǒng)中的各個"氣球"具有很強的空間相關(guān)性，相鄰的"氣球"往往具有相似的透明度和顏色屬性。當(dāng)移除單個"氣球"時，周圍的"氣球"會自動調(diào)整自己的參數(shù)來補償這個缺失，結(jié)果就是丟棄操作的正則化效果被大大削弱了。

為了量化這種相關(guān)性，研究團(tuán)隊使用了莫蘭指數(shù)這一空間統(tǒng)計工具，發(fā)現(xiàn)相鄰"氣球"之間的透明度相關(guān)性高達(dá)0.59，顏色相關(guān)性達(dá)到0.61，這意味著它們高度相似。距離越近的"氣球"，相似度越高，這種空間冗余性正是傳統(tǒng)丟棄方法效果有限的根本原因。

新的錨點丟棄策略的工作原理可以這樣理解：首先按照一定比例隨機選擇一些"氣球"作為錨點，然后找到每個錨點的10個最近鄰居，將這些錨點和鄰居全部標(biāo)記為待丟棄對象。在訓(xùn)練過程中，這些被標(biāo)記的"氣球"的透明度會被設(shè)置為零，相當(dāng)于在3D場景中創(chuàng)造了一個個"信息空洞"。這些空洞足夠大，周圍的"氣球"無法簡單地通過參數(shù)調(diào)整來填補，因此系統(tǒng)必須學(xué)會利用更廣范圍的上下文信息來重建這些區(qū)域。

這種方法的巧妙之處在于，它模擬了真實世界中的遮擋情況。當(dāng)我們觀察一個場景時，總有一些區(qū)域會被其他物體遮擋而無法看到，但我們的大腦能夠根據(jù)可見部分推斷出完整的結(jié)構(gòu)。錨點丟棄策略強迫3D重建系統(tǒng)學(xué)會這種全局推理能力，而不是僅僅依賴局部的像素對應(yīng)關(guān)系。

實驗結(jié)果顯示，這種區(qū)域性丟棄策略確實能夠產(chǎn)生更強的梯度信號。當(dāng)移除一個包含10個"氣球"的連續(xù)區(qū)域時，渲染圖像的變化比移除10個分散的單個"氣球"要明顯得多，這意味著系統(tǒng)接收到了更強的學(xué)習(xí)信號，有助于學(xué)習(xí)更加魯棒的場景表示。

二、球面諧波的智慧取舍：從"全彩"到"漸進(jìn)式上色"

球面諧波系數(shù)就像一個多層次的調(diào)色盤，零階系數(shù)提供基礎(chǔ)的單色信息，一階系數(shù)添加方向性的光照效果，二階和更高階系數(shù)則描述越來越復(fù)雜的光照變化。在照片充足的情況下，這些高階細(xì)節(jié)能夠幫助重建出極其逼真的光照效果。但研究團(tuán)隊發(fā)現(xiàn)，當(dāng)訓(xùn)練數(shù)據(jù)稀少時，這些高階信息反而成為了過擬合的溫床。

為了驗證這一發(fā)現(xiàn)，研究團(tuán)隊在不同數(shù)據(jù)量條件下測試了各階球面諧波的作用。在LLFF數(shù)據(jù)集的實驗中，當(dāng)使用17到48張完整視角照片時，適度增加球面諧波的階數(shù)確實能夠提升模型性能。但當(dāng)只有3張稀疏視角照片時，使用高階球面諧波不僅沒有提升效果，反而導(dǎo)致性能下降和模型尺寸顯著增加。這就像用過于復(fù)雜的畫筆來畫一幅簡單的素描，結(jié)果只會讓畫面變得混亂不堪。

基于這一觀察，研究團(tuán)隊設(shè)計了漸進(jìn)式的球面諧波丟棄策略。在訓(xùn)練初期，系統(tǒng)只使用零階球面諧波，相當(dāng)于用單色來描繪場景的基本形狀和結(jié)構(gòu)。隨著訓(xùn)練的進(jìn)行，在2000次迭代時引入一階諧波，在4000次迭代時引入二階諧波，在6000次迭代時引入三階諧波。這種"從粗到細(xì)"的策略確保了系統(tǒng)首先學(xué)會場景的基本結(jié)構(gòu)，然后再逐步添加細(xì)節(jié)信息。

這種漸進(jìn)式策略帶來了額外的好處：訓(xùn)練完成后，用戶可以根據(jù)需要靈活地截斷高階球面諧波來獲得更緊湊的模型。實驗顯示，即使只保留零階球面諧波的模型也能超越原始3DGS的性能，同時模型大小僅為原來的25%。這為實際應(yīng)用提供了在性能和存儲空間之間靈活平衡的選擇。

三、方法的技術(shù)實現(xiàn)：讓復(fù)雜變簡單

整個DropAnSH-GS方法的實現(xiàn)過程可以分為幾個相互配合的步驟。在每個訓(xùn)練迭代中，系統(tǒng)首先根據(jù)預(yù)設(shè)的錨點采樣率選擇一定比例的"氣球"作為錨點。這個采樣率從訓(xùn)練開始時的0開始，線性增加到0.02，確保模型在初期能夠穩(wěn)定學(xué)習(xí)，后期獲得足夠的正則化強度。

接下來，系統(tǒng)為每個選定的錨點找到其在三維空間中距離最近的10個鄰居"氣球"。這個鄰居搜索過程使用高效的GPU加速算法實現(xiàn)，確保不會顯著增加訓(xùn)練時間。所有錨點及其鄰居被收集到一個丟棄集合中，系統(tǒng)為每個"氣球"創(chuàng)建一個二進(jìn)制掩碼，被選中丟棄的"氣球"掩碼值為0，其余為1。

在實際渲染過程中，每個"氣球"的原始透明度會與其掩碼值相乘，被丟棄的"氣球"透明度變?yōu)榱?，相?dāng)于在當(dāng)前訓(xùn)練迭代中消失。這種操作在GPU上可以非常高效地并行執(zhí)行，幾乎不增加計算開銷。

球面諧波丟棄的實現(xiàn)則更加直接。系統(tǒng)以20%的概率隨機選擇一些"氣球"，將它們的高階球面諧波系數(shù)設(shè)置為零，只保留低階部分。最大保留階數(shù)會隨著訓(xùn)練進(jìn)程逐步增加，實現(xiàn)從粗糙到精細(xì)的漸進(jìn)式學(xué)習(xí)。

整個方法最大的優(yōu)勢在于其模塊化設(shè)計，可以無縫集成到現(xiàn)有的3DGS框架中，無需修改基本的損失函數(shù)或優(yōu)化器設(shè)置。研究團(tuán)隊采用標(biāo)準(zhǔn)的L1損失和SSIM損失的組合來訓(xùn)練模型，保持了與原始方法的兼容性。

四、實驗驗證：數(shù)字背后的真實故事

研究團(tuán)隊在三個標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了全面的實驗驗證：真實世界的LLFF數(shù)據(jù)集、MipNeRF-360數(shù)據(jù)集，以及合成的Blender數(shù)據(jù)集。這些數(shù)據(jù)集覆蓋了從室內(nèi)到戶外、從簡單到復(fù)雜的各種場景類型，為方法的通用性提供了可靠的測試基礎(chǔ)。

在LLFF數(shù)據(jù)集的極限3視角測試中，DropAnSH-GS展現(xiàn)出了顯著的優(yōu)勢。傳統(tǒng)的3DGS方法在這種極度稀疏的條件下只能達(dá)到19.17的PSNR值，而新方法達(dá)到了20.68，提升了1.5分貝。這個數(shù)字看似不大，但在圖像質(zhì)量評估中，每提升1分貝都代表著顯著的視覺改善。與此同時，結(jié)構(gòu)相似性指數(shù)從0.646提升到0.724，感知質(zhì)量指標(biāo)LPIPS從0.268改善到0.194，所有關(guān)鍵指標(biāo)都實現(xiàn)了全面提升。

更令人印象深刻的是，當(dāng)視角數(shù)量增加到6個和9個時，新方法的優(yōu)勢依然保持。在6視角條件下，PSNR達(dá)到24.76，比最強的基線方法DropGaussian高出0.18分貝。在9視角條件下，達(dá)到26.24，超越所有對比方法。這表明錨點丟棄策略不僅在極度稀疏的條件下有效，在中等稀疏度下同樣能夠提供持續(xù)的改進(jìn)。

定性比較結(jié)果更加直觀地展示了方法的優(yōu)勢。在同樣的3視角條件下，傳統(tǒng)方法重建的場景往往出現(xiàn)模糊的邊緣、扭曲的幾何結(jié)構(gòu)，以及不自然的高斯形狀偽影，特別是在物體邊界和背景區(qū)域。相比之下，DropAnSH-GS重建的場景保持了更好的結(jié)構(gòu)完整性，邊緣更加銳利，幾何形狀更加自然，整體視覺效果明顯更接近真實場景。

在MipNeRF-360和Blender數(shù)據(jù)集上的實驗進(jìn)一步證實了方法的通用性。特別值得注意的是，通過球面諧波截斷獲得的緊湊模型表現(xiàn)出了極佳的性能密度比。在Blender數(shù)據(jù)集上，僅保留零階球面諧波的模型PSNR達(dá)到25.04，模型大小僅為1.7MB，而原始3DGS需要6.5MB才能達(dá)到22.13的PSNR，效率提升非常顯著。

五、兼容性測試：一招鮮吃遍天

研究團(tuán)隊特別關(guān)注了方法的通用性，測試了DropAnSH-GS與其他3DGS變體的兼容性。他們選擇了四種代表性的方法進(jìn)行集成測試：FSGS、CoR-GS、DNGaussian和Scaffold-GS，這些方法分別代表了不同的技術(shù)路線和優(yōu)化策略。

結(jié)果顯示，DropAnSH-GS能夠為所有這些方法帶來一致的性能提升。以FSGS為例，原始方法在3視角LLFF數(shù)據(jù)集上的PSNR為20.43，集成DropAnSH-GS后提升到20.72，SSIM從0.682提升到0.713。類似的改進(jìn)在其他方法上也得到了驗證，證明了錨點丟棄策略的通用性和魯棒性。

這種廣泛的兼容性意味著現(xiàn)有的3DGS研究和應(yīng)用可以輕松地集成這種技術(shù)，無需大規(guī)模重寫代碼或重新設(shè)計架構(gòu)。對于實際應(yīng)用而言，這大大降低了技術(shù)采用的門檻，使得更多的系統(tǒng)能夠從這一創(chuàng)新中受益。

六、效率分析：好用還要省時間

盡管DropAnSH-GS引入了額外的計算步驟，特別是錨點的鄰居搜索過程，但研究團(tuán)隊通過巧妙的工程優(yōu)化將這種開銷降到了最低。他們使用高效的CUDA GPU加速實現(xiàn)了鄰居搜索算法，確保這個過程不會成為訓(xùn)練的瓶頸。

實際的訓(xùn)練時間對比顯示，新方法的額外開銷非常有限。在LLFF數(shù)據(jù)集上，原始3DGS需要741.6秒完成10000次迭代的訓(xùn)練，而DropAnSH-GS僅需要760.2秒，增加了不到3%的訓(xùn)練時間。在Blender和MipNeRF-360數(shù)據(jù)集上，額外開銷同樣保持在3%以內(nèi)。

考慮到性能的顯著提升，這種微小的時間成本是完全可以接受的。對于大多數(shù)實際應(yīng)用而言，用戶更關(guān)心的是最終的重建質(zhì)量而不是節(jié)省幾十秒的訓(xùn)練時間，特別是當(dāng)這種時間投資能夠帶來明顯更好的視覺效果時。

七、深入理解：為什么這種方法如此有效

DropAnSH-GS的成功可以從多個角度來理解。從信息論的角度看，傳統(tǒng)的單點丟棄就像在一本書中隨機遮掉幾個字母，讀者（系統(tǒng)）仍然可以通過上下文輕松推斷出這些字母的內(nèi)容，因此學(xué)習(xí)效果有限。而錨點丟棄則像遮掉整個詞匯或句子，迫使讀者必須從更廣的語境中理解和推斷內(nèi)容，從而學(xué)會更強的推理能力。

從幾何學(xué)習(xí)的角度看，3D場景重建本質(zhì)上是一個幾何結(jié)構(gòu)學(xué)習(xí)問題。當(dāng)訓(xùn)練數(shù)據(jù)稀少時，系統(tǒng)容易過度擬合觀察到的像素對應(yīng)關(guān)系，而忽略了場景的全局幾何一致性。錨點丟棄通過創(chuàng)建連續(xù)的信息空白，強迫系統(tǒng)必須依賴幾何先驗和空間一致性來填補這些空白，因此學(xué)會了更加魯棒的幾何表示。

球面諧波的漸進(jìn)式策略則體現(xiàn)了多尺度學(xué)習(xí)的智慧。人類視覺系統(tǒng)在認(rèn)知世界時也遵循從整體到細(xì)節(jié)的過程，首先識別物體的基本形狀和結(jié)構(gòu)，然后才注意到紋理和光照細(xì)節(jié)。這種生物學(xué)啟發(fā)的學(xué)習(xí)策略在機器學(xué)習(xí)中已經(jīng)被多次證明是有效的，DropAnSH-GS將其成功地應(yīng)用到了3D重建領(lǐng)域。

從正則化理論的角度看，傳統(tǒng)的Dropout通過增加學(xué)習(xí)過程的隨機性來防止過擬合，但這種隨機性必須是"有意義的"才能發(fā)揮作用。DropAnSH-GS的創(chuàng)新在于引入了結(jié)構(gòu)化的隨機性，這種隨機性與3D場景的空間結(jié)構(gòu)和視覺感知特性高度對齊，因此能夠提供更加有效的正則化效果。

說到底，這項研究的核心貢獻(xiàn)在于深入理解了3D高斯投射在稀疏視角條件下失效的根本原因，并針對性地設(shè)計了解決方案。它不是簡單地增加更多的技術(shù)復(fù)雜性，而是通過巧妙的設(shè)計讓系統(tǒng)學(xué)會更好地利用有限的信息，這正是優(yōu)秀科學(xué)研究的特征——用簡潔的方法解決復(fù)雜的問題。

這種創(chuàng)新對于3D內(nèi)容創(chuàng)作、虛擬現(xiàn)實、增強現(xiàn)實等應(yīng)用領(lǐng)域具有直接的實用價值。想象一下，未來我們只需要用手機隨便拍幾張照片，就能生成高質(zhì)量的3D模型用于游戲、影視或教育，這不再是科幻而是即將到來的現(xiàn)實。更重要的是，這項技術(shù)的開源特性和廣泛兼容性意味著它能夠快速推廣，讓更多的研究者和開發(fā)者受益。

研究團(tuán)隊在論文中也誠實地指出了當(dāng)前方法的局限性和未來改進(jìn)方向。錨點選擇目前基于均勻隨機采樣，未來可以探索基于梯度大小或透明度的更智能選擇策略。鄰居選擇僅基于歐幾里得距離，未來可以考慮高斯的各向異性特征和局部場景特征。這種開放的研究態(tài)度為后續(xù)工作指明了方向，也體現(xiàn)了科學(xué)研究的傳承性。

歸根結(jié)底，DropAnSH-GS代表了3D重建技術(shù)朝著更加智能、高效方向邁出的重要一步。它告訴我們，有時候最有效的解決方案不是增加更多的復(fù)雜性，而是更深入地理解問題的本質(zhì)，然后用恰當(dāng)?shù)姆绞揭龑?dǎo)系統(tǒng)學(xué)習(xí)。這不僅是技術(shù)進(jìn)步，更是對學(xué)習(xí)本身的深刻洞察。有興趣進(jìn)一步了解技術(shù)細(xì)節(jié)的讀者可以通過arXiv:2602.20933v1查詢原始論文，相信這項研究將為3D內(nèi)容創(chuàng)作帶來新的可能性。

Q&A

Q1：DropAnSH-GS中的錨點丟棄策略具體是怎么工作的？

A：錨點丟棄策略不像傳統(tǒng)方法那樣隨機移除單個3D高斯"氣球"，而是先選擇某些"氣球"作為錨點，然后同時移除這些錨點及其周圍的10個最近鄰居。這樣做會在3D場景中創(chuàng)造連續(xù)的"信息空洞"，鄰近的"氣球"無法簡單補償，迫使系統(tǒng)從更廣范圍的上下文學(xué)習(xí)場景結(jié)構(gòu)，從而獲得更強的正則化效果。

Q2：為什么稀疏視角條件下高階球面諧波會導(dǎo)致過擬合？

A：球面諧波系數(shù)就像多層次的調(diào)色盤，高階系數(shù)能描述復(fù)雜的光照細(xì)節(jié)。但在稀疏視角條件下，訓(xùn)練數(shù)據(jù)不足以支撐這些復(fù)雜細(xì)節(jié)的學(xué)習(xí)，高階系數(shù)反而會擬合噪音而非真實的光照效果。研究發(fā)現(xiàn)在3視角條件下使用高階球面諧波會導(dǎo)致性能下降和模型尺寸增加，而漸進(jìn)式地從低階到高階學(xué)習(xí)能有效避免這個問題。

Q3：DropAnSH-GS能否應(yīng)用到現(xiàn)有的其他3D高斯投射方法中？

A：可以，這是DropAnSH-GS的一大優(yōu)勢。研究團(tuán)隊測試了與FSGS、CoR-GS、DNGaussian、Scaffold-GS等多種方法的兼容性，都獲得了一致的性能提升。方法采用模塊化設(shè)計，可以無縫集成到現(xiàn)有框架中，無需修改基本損失函數(shù)或優(yōu)化器，這大大降低了技術(shù)采用門檻。