在城市街景場(chǎng)景中，Proxy-GS在保持細(xì)粒度視覺細(xì)節(jié)的同時(shí)，實(shí)現(xiàn)了穩(wěn)定的實(shí)時(shí)渲染。我們的方法顯著減少了需要解碼的錨點(diǎn)（anchors）數(shù)量，從而在內(nèi)存效率和渲染速度兩方面都帶來(lái)了顯著提升。右上角的插圖展示了所有錨點(diǎn)的俯視可視化，其中以紅色高亮的錨點(diǎn)表示當(dāng)前幀中被解碼器使用的錨點(diǎn)。

CVPR2026滿分論文：Proxy-GS為結(jié)構(gòu)化 3D 高斯濺射引入統(tǒng)一遮擋先驗(yàn)

• 論文鏈接：
• https://arxiv.org/abs/2509.24421
• 項(xiàng)目主頁(yè)：
• https://visionary-laboratory.github.io/Proxy-GS/

上海交通大學(xué)鐘志航團(tuán)隊(duì)聯(lián)合上海人工智能實(shí)驗(yàn)室、西北工業(yè)大學(xué)、四川大學(xué)等高校在 CVPR 2026 上提出Proxy-GS（Proxy-GS: Unified Occlusion Priors for Training and Inference in Structured 3D Gaussian Splatting），面向基于 MLP 的結(jié)構(gòu)化 3D 高斯濺射（3DGS），用輕量級(jí)代理網(wǎng)格（proxy）把遮擋關(guān)系變成可用的可見性信號(hào)：在推理階段快速生成遮擋深度圖并剔除被遮擋的錨點(diǎn)以加速渲染；在訓(xùn)練階段讓增密沿代理表面生長(zhǎng)，減少遮擋區(qū)的無(wú)效生長(zhǎng)，并通過偏移使從錨點(diǎn)解碼出的高斯更好地貼合代理幾何。在遮擋密集的城市街景（如 MatrixCity Streets）中，Proxy-GS 在保持甚至提升畫質(zhì)的同時(shí)，實(shí)現(xiàn)了2.5×以上的渲染加速。

背景與動(dòng)機(jī)：

為什么結(jié)構(gòu)化 3DGS 會(huì)越跑越慢？

3D 高斯濺射（3DGS）在高質(zhì)量新視角合成上已取得顯著進(jìn)展，但原始 3DGS 往往產(chǎn)生大量冗余高斯，且忽視場(chǎng)景幾何結(jié)構(gòu)。為此，Scaffold-GS、Octree-GS 等基于 MLP 的結(jié)構(gòu)化方法將錨點(diǎn)（anchor）放在體素或八叉樹節(jié)點(diǎn)上，用 MLP 根據(jù)視角動(dòng)態(tài)解碼高斯屬性，在提升細(xì)節(jié)與魯棒性的同時(shí)，也帶來(lái)了可觀的解碼開銷。在大規(guī)模城市場(chǎng)景中，錨點(diǎn)與高斯數(shù)量急劇增加，解碼與渲染成本成為瓶頸。

現(xiàn)有工作通過剪枝或 LOD（Level of Detail）來(lái)減少冗余，但剪枝易損傷畫質(zhì)，LOD 主要針對(duì)“遠(yuǎn)處少畫”，對(duì)被遮擋區(qū)域的無(wú)效計(jì)算關(guān)注不足。真實(shí)場(chǎng)景——尤其是城市街道、多房間室內(nèi)——遮擋密集，若錨點(diǎn)選擇不顯式考慮遮擋，大量解碼會(huì)浪費(fèi)在被遮擋的錨點(diǎn)上。論文通過可視化發(fā)現(xiàn)：當(dāng)前幀實(shí)際參與解碼的錨點(diǎn)與“直覺上需要”的錨點(diǎn)之間存在明顯錯(cuò)位，大量錨點(diǎn)落在嚴(yán)重遮擋區(qū)域，既增加解碼負(fù)擔(dān)又不貢獻(xiàn)最終畫面。因此，引入遮擋感知的錨點(diǎn)篩選有望顯著降低計(jì)算量。

此外，消費(fèi)級(jí) GPU 的硬件光柵化能力很強(qiáng)，若能用其快速得到遮擋深度，再與現(xiàn)有視錐剔除等策略結(jié)合，即可在幾乎不增加時(shí)延的前提下實(shí)現(xiàn)遮擋剔除。Proxy-GS 即圍繞“輕量 proxy + 硬件光柵化 + 訓(xùn)練/推理一致使用遮擋先驗(yàn)”這一思路展開。

Figure 1. 總覽：冗余錨點(diǎn)、剔除效果，以及 PSNR/FPS 對(duì)比。

如上圖所示，Proxy-GS在現(xiàn)有 MLP-based LOD 框架（如 Octree-GS）之上，通過遮擋感知的錨點(diǎn)選擇，既減少了解碼量，又改善了畫質(zhì)，在遮擋豐富的場(chǎng)景中可實(shí)現(xiàn)約3×的渲染加速。

方法概覽：

Proxy 在訓(xùn)練與推理中的雙重角色

方法核心是構(gòu)建一個(gè)輕量代理網(wǎng)格，使其能在1000×1000 分辨率下于 1ms 內(nèi)得到遮擋深度圖，并服務(wù)于兩件事：推理時(shí)的錨點(diǎn)/高斯剔除與訓(xùn)練時(shí)的 proxy-guided 增密。

Figure 2. Proxy-GS 框架：推理期遮擋剔除 + 訓(xùn)練期 proxy-guided 增密。

代理網(wǎng)格的獲取：室外大場(chǎng)景常用 COLMAP 等得到稠密點(diǎn)云；室內(nèi)紋理弱、SfM 易失敗時(shí)，文中采用 MapAnything 等大模型，以 COLMAP 位姿與 RGB 圖像為輸入得到稠密點(diǎn)云并轉(zhuǎn)為網(wǎng)格。對(duì)網(wǎng)格做表面簡(jiǎn)化，只保留較粗的幾何結(jié)構(gòu)，用于表達(dá)遮擋關(guān)系即可，無(wú)需精細(xì)幾何細(xì)節(jié)。

推理階段：對(duì) proxy 做僅深度的硬件光柵化，得到當(dāng)前視角下的深度圖；將錨點(diǎn)投影到像平面，與深度圖做深度比較，落在 proxy 之后的錨點(diǎn)視為被遮擋并剔除，再與原有視錐剔除等在單一 CUDA kernel 中融合，避免 GPU-CPU-GPU 往返。深度圖常駐 GPU，并施加小安全裕度 γ 以兼顧數(shù)值與幾何誤差。為加速，還對(duì)網(wǎng)格做細(xì)粒度分塊并采用層次化深度（Hi-Z）剔除、Early-Z 等，使高分辨率深度生成耗時(shí)控制在約 1ms 內(nèi)。

訓(xùn)練階段：若僅在推理時(shí)做遮擋剔除而訓(xùn)練時(shí)仍對(duì)所有錨點(diǎn)一視同仁，會(huì)導(dǎo)致“訓(xùn)練時(shí)見過的錨點(diǎn)—高斯綁定”與“測(cè)試時(shí)被剔除的錨點(diǎn)”不一致，畫質(zhì)下降。因此 Proxy-GS 在訓(xùn)練時(shí)同樣使用 proxy 深度做遮擋剔除，使訓(xùn)練與推理的可見性一致。此外，原增密策略在梯度大的地方生長(zhǎng)新錨點(diǎn)，容易在 proxy 后方長(zhǎng)出無(wú)效錨點(diǎn)。文中提出proxy-guided densification：在渲染誤差持續(xù)較大的圖像塊上，取塊內(nèi)像素對(duì)應(yīng)的 proxy 深度，反投影到 3D 得到新錨點(diǎn)位置，使新錨點(diǎn)落在 proxy 表面附近；并用 proxy-grid 控制每個(gè)網(wǎng)格格內(nèi)錨點(diǎn)數(shù)量，避免 3D 上的過密重復(fù)。這樣，增密更貼合表面幾何，遮擋區(qū)無(wú)效生長(zhǎng)減少，畫質(zhì)與速度更平衡。

推理耗時(shí)從哪里省下來(lái)？

論文在 MatrixCity上對(duì)比了 Proxy-GS 與 Octree-GS 各推理環(huán)節(jié)的耗時(shí)占比。Proxy 的深度渲染僅約 1ms，幾乎可忽略；錨點(diǎn)篩選因待處理錨點(diǎn)變少而更快；節(jié)省主要來(lái)自渲染階段：更少的錨點(diǎn)意味著更少的 MLP 解碼和更少的高斯光柵化，從而帶來(lái)顯著的 FPS 提升。

Figure 3. 各推理環(huán)節(jié)時(shí)間占比：Proxy-GS 的深度渲染約 1ms，主要節(jié)省來(lái)自更少的解碼與渲染。

實(shí)驗(yàn)結(jié)果

數(shù)據(jù)集與指標(biāo)：在大型城市場(chǎng)景 MatrixCity、以及不同遮擋程度與尺度的真實(shí)場(chǎng)景（Small City 街景、Berlin、CUHK-LOWER 航拍、Zip-NeRF 室內(nèi)）上評(píng)估。指標(biāo)包括 PSNR、SSIM、LPIPS 和 FPS。

MatrixCity 街道：按官方劃分將 Small City 的 8477 張街景分為 5 個(gè) block，在 Block 1&2、Block 3&4、Block 5 上匯報(bào)平均指標(biāo)。Proxy-GS 在各 block 上均在畫質(zhì)（PSNR/SSIM/LPIPS）和 FPS 上優(yōu)于或持平 3DGS、Scaffold-GS、Hierarchical-GS、Octree-GS 等基線。尤其在 Block 5，Octree-GS 約 48 FPS，Proxy-GS 達(dá)到151 FPS，同時(shí) PSNR 更高。

Table 1. MatrixCity Street：Proxy-GS 與 3DGS / Scaffold-GS / Hierarchical-GS / Octree-GS 的定量對(duì)比。

跨數(shù)據(jù)集泛化：在 Small City（遮擋較強(qiáng)）、Berlin、CUHK-LOWER（遮擋相對(duì)較弱、尺度較?。┥?，Proxy-GS 均取得最佳或次佳的畫質(zhì)與速度。遮擋越強(qiáng)的街景（如 Small City），加速與畫質(zhì)收益越明顯；遮擋較弱或場(chǎng)景較小時(shí)仍有穩(wěn)定收益，且未帶來(lái)額外負(fù)擔(dān)。

Table 2. 跨數(shù)據(jù)集：不同遮擋強(qiáng)度與尺度的場(chǎng)景。

定性對(duì)比：在建筑物窗戶、紋理、路面結(jié)構(gòu)等細(xì)節(jié)上，Proxy-GS 相比基線能更好地保持清晰度與結(jié)構(gòu)一致性。

Figure 4. 定性對(duì)比：窗戶、紋理、路面等細(xì)節(jié)。

訓(xùn)練與推理策略的消融：在 Block 5 上對(duì)比四種設(shè)置。ID1：Octree-GS 原流程（baseline）。ID2：僅在推理時(shí)做 proxy 遮擋剔除，訓(xùn)練不變；FPS 提升超過 3×，但畫質(zhì)明顯下降，因訓(xùn)練時(shí)的錨點(diǎn)—高斯綁定與推理時(shí)可見性不一致。ID3：訓(xùn)練與推理均使用 proxy 遮擋剔除（遮擋一致性）；畫質(zhì)超過 baseline，F(xiàn)PS 較 ID2 略降（因更多錨點(diǎn)在訓(xùn)練中生長(zhǎng)后才被剔除）。ID4：在 ID3 基礎(chǔ)上加入 proxy-guided densification；畫質(zhì)與速度達(dá)到最佳平衡。說明僅推理剔除不夠，訓(xùn)練階段也需與遮擋先驗(yàn)一致，并配合 proxy 引導(dǎo)的增密。

Table 3. 不同訓(xùn)練與推理策略的消融（Block 5）。

對(duì) Proxy 質(zhì)量的依賴：通過兩類消融衡量對(duì) proxy 精度的敏感度。（1）網(wǎng)格分辨率：從較細(xì)（約 108MB）到較粗（約 824KB），PSNR 變化不大。城市場(chǎng)景以建筑立面、道路等大面為主，較粗的 proxy 仍能保留遮擋結(jié)構(gòu)，故分辨率影響有限。（2）頂點(diǎn)噪聲：對(duì)網(wǎng)格頂點(diǎn)施加隨機(jī)擾動(dòng)后，遮擋邊界被破壞，PSNR 明顯下降；噪聲越大，偽結(jié)構(gòu)越多、畫面越糊。

結(jié)論是：Proxy 可以粗，但不能亂——只要遮擋結(jié)構(gòu)正確，分辨率的降低影響有限；而幾何/頂點(diǎn)噪聲會(huì)破壞遮擋邊界，對(duì)畫質(zhì)影響更大。另外，由于錨點(diǎn)與解碼高斯之間存在固有偏移，在小擾動(dòng)（如 5% 以內(nèi)）下方法仍有一定魯棒性。這種抗擾動(dòng)性主要是來(lái)源于剔除anchor后，Gaussian本身還會(huì)相對(duì)于anchor學(xué)習(xí)一個(gè)offsets，這也是為什么需要Proxy-GS的訓(xùn)練階段，這樣每個(gè)不完美或者有瑕疵的proxy都會(huì)通過訓(xùn)練階段，得到最適合他的Gaussian分布。?下圖進(jìn)一步展示了不同分辨率與噪聲設(shè)置下的 proxy 網(wǎng)格可視化，以及對(duì)應(yīng)的 PSNR 變化曲線。

Figure 5. 不同分辨率與不同頂點(diǎn)噪聲下的 proxy 網(wǎng)格可視化：分辨率降低時(shí)整體遮擋結(jié)構(gòu)基本保持；噪聲增大時(shí)遮擋邊界被破壞，出現(xiàn)偽結(jié)構(gòu)。

Figure 6. PSNR 隨 proxy 分辨率和噪聲變化的曲線：分辨率影響有限，而噪聲增大帶來(lái)明顯的 PSNR 下降。

與其它加速方案的組合：Proxy-GS 主要減少參與渲染的錨點(diǎn)與高斯數(shù)量，因此可與 FlashGS、硬件光柵化 3DGS 等原有 3DGS 渲染加速技術(shù)疊加。在 Block 1 上的實(shí)驗(yàn)表明，在默認(rèn) 3DGS 渲染器基礎(chǔ)上替換為 FlashGS 或硬件 3DGS 渲染器，可進(jìn)一步提速；使用硬件 3DGS 時(shí) FPS 提升明顯，畫質(zhì)略有 trade-off。說明該方法與現(xiàn)有渲染管線兼容，便于落地。

結(jié)論

Proxy-GS 為基于 MLP 的結(jié)構(gòu)化 3D 高斯濺射提供了統(tǒng)一的遮擋先驗(yàn)：在推理端通過輕量 proxy 與硬件光柵化在約 1ms 內(nèi)得到遮擋深度并剔除被遮擋錨點(diǎn)；在訓(xùn)練端通過遮擋一致的渲染與 proxy-guided 增密，使錨點(diǎn)生長(zhǎng)更貼合表面、減少無(wú)效計(jì)算。在遮擋豐富的場(chǎng)景中，Proxy-GS在畫質(zhì)與速度上均優(yōu)于現(xiàn)有方法，可實(shí)現(xiàn)約2.5×的渲染加速，提升了 MLP-based 3DGS 在 VR/AR 等應(yīng)用中的實(shí)用性，為高效 3D 場(chǎng)景表示建立了新的標(biāo)桿。