該工作提出了一種將物理模擬與3D高斯?jié)姙R表示相結合的動態(tài)雨景合成框架，能夠在任意真實世界場景中，實時高效地（超過30fps）生成具有物理真實感的動態(tài)雨水、漣漪及反射效果，為自動駕駛、虛擬現實及游戲等領域提供了強大的天氣模擬與數據增強工具。

論文標題： RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting 論文鏈接： https://arxiv.org/abs/2503.21442 項目主頁： https://pku-vcl-geometry.github.io/RainyGS/

近年來，面向真實世界場景的動態(tài)天氣效果合成，在計算機圖形學、自動駕駛和虛擬現實等領域獲得了廣泛關注。以神經輻射場 (NeRF) 和3D高斯?jié)姙R (3DGS) 為代表的場景建模技術，雖然在靜態(tài)場景的新視角合成方面取得了巨大成功，但通常難以勝任基于物理的復雜動態(tài)編輯任務，例如逼真的降雨模擬。另一方面，傳統(tǒng)的物理模擬方法能夠生成真實的雨滴和水花效果，這些方法通常需要依賴專業(yè)藝術家為特定場景進行手動設置，整個過程缺乏靈活性與可擴展性，難以應用于廣泛的開放世界環(huán)境。因此，如何在保持物理準確性的同時，高效地為任意真實場景增添可控的動態(tài)降雨效果，成為了一個亟待解決的挑戰(zhàn)。

本文介紹的RainyGS模型，則通過一種將物理建模與高斯?jié)姙R技術相結合的新穎框架，系統(tǒng)性地解決了上述挑戰(zhàn)。首先，該方法利用多視圖輸入圖像，通過3DGS技術重建場景的外觀與幾何結構。隨后，其核心在于將基于物理的淺水模擬技術 (shallow-water simulation) 與快速的高斯?jié)姙R渲染框架相結合：通過從三維場景中提取高度圖 (height map)，模型可以在其上高效地模擬雨水在地面上的動態(tài)累積、漣漪和飛濺效果。在渲染階段，RainyGS利用屏幕空間光線追蹤等高效技術，精確地合成水面的反射、折射等高階光學效果。通過這種物理模擬與高效渲染相結合的設計，RainyGS實現了超過30幀/秒的實時渲染速度，并支持用戶從毛毛細雨到傾盆大雨的靈活強度控制，在視覺真實感和物理準確性上均超越了現有方法。

二、技術貢獻

本工作主要貢獻如下：

• 引入了一種基于物理的動態(tài)水體模擬框架，以從3DGS重建場景中提取的高度圖為基礎，構建了一套能在二維平面上高效模擬雨水累積、漣漪與飛濺等復雜流體動力學的淺水模擬系統(tǒng)；

• 設計了一種高效的水體光學效果渲染管線，實現了一套能夠實時生成水面鏡面反射、折射與高光等高階效果的光柵化渲染流程；

• 提出了一種動靜結合的統(tǒng)一場景表示與渲染框架，將靜態(tài)場景與動態(tài)生成的水體、雨滴統(tǒng)一建模為高斯橢球體，通過一次前向渲染即可完成所有元素的無縫融合，從而保證了跨視角的幾何一致性與最終效果的逼真度。

下表是RainyGS與其他方法在“Garden”場景下的性能定量對比。如表所示，RainyGS在渲染速度（單幀耗時）和顯存占用上均表現出顯著優(yōu)勢。相比于PGSR，RainyGS僅增加了極小的計算開銷，但其渲染速度（0.032秒/幀）遠超于基于光線追蹤的方案（1.942秒/幀）和主流視頻生成模型Runway-V2V（約0.48秒/幀）。這一結果表明，RainyGS在計算效率與資源控制方面更加出色，能夠在保證高視覺保真度的同時，實現超過30fps的實時交互性能：

表1 在“Garden”場景下不同方法的性能開銷定量比較 三、方法介紹

為實現對開放世界場景高效且物理真實的動態(tài)降雨模擬，RainyGS設計了一套將物理建模與高斯?jié)姙R渲染深度融合的框架。其流程首先利用多視圖圖像，通過改進的3D高斯?jié)姙R技術重建出兼具高保真外觀與高精度幾何的場景表示；隨后，從重建場景中提取關鍵的二維高度圖，作為物理模擬的載體；接著，在高度圖上運行高效的淺水動力學模擬，以計算雨水累積與動態(tài)效果；最終，通過一套感知反射的水體光柵化渲染管線，將模擬結果與原始場景無縫融合，生成最終的逼真雨景。

RainyGS的場景表示采用了3D高斯?jié)姙R (3DGS) 技術，該技術將三維場景解構為海量的各向異性3D高斯橢球體。每個高斯體由其中心位置 、 協(xié)方差矩陣 、 不透明度o以及表示視角相關顏色的球諧函數 (SH) 系數共同定義：

3DGS通過一個可微分的光柵化器，將這些3D高斯體高效地投影到二維圖像平面，并根據深度對顏色進行alpha混合，從而實現高質量的實時渲染：

標準的3DGS方法在幾何重建的精度上存在不足，無法滿足物理模擬需求。因此，RainyGS采用PGSR這一改進方法，通過引入幾何約束來聯(lián)合優(yōu)化場景的外觀與幾何，從而獲得高精度三維場景重建結果。

進一步，RainyGS會從中提取一系列用于模擬和渲染的輔助圖。首先是提取核心的高度圖（Height Map）。該過程通過主成分分析（PCA）確定場景的地面，并將其對齊至XY平面。隨后，一個正交頂視相機（orthographic camera）沿負 Z 軸方向渲染場景，生成一張深度圖。最終，將相機距XY平面的距離減去該深度圖的各像素值，便得到了代表地表起伏的高度圖 。 為處理屋檐等物體的遮擋，模型會提取分別代表地面 （ ） 與遮擋物 （ ） 的兩個高度層。這張高度圖是后續(xù)水體動力學模擬的核心載體。此外，對于任意給定的目標視角V，模型會利用3DGS的alpha混合渲染管線，生成該視角下的逐像素深度圖 D 和法線圖 N ,作為動力學模擬的必要幾何輸入。

圖1 RainyGS流程圖

RainyGS的動態(tài)模擬與渲染分為物理模擬和光學渲染兩個核心環(huán)節(jié)?；谠谟昃爸械孛娣e水、漣漪等現象可以被很好地近似為高度場的觀察，RainyGS引入了物理學中的淺水方程（Shallow Water Equations），直接在二維高度圖上進行流體模擬。該方法在效率和穩(wěn)定性上取得了很好的平衡，完美契合了雨水場景的物理特性：

在每個模擬時間步中，模型會隨機生成新的雨滴，并根據其物理狀態(tài)進行更新。當一個雨滴與場景發(fā)生碰撞時，模型會進行檢測：若雨滴落入水面（即其高度低于當前水面高度場），其體積將被合并到高度場中，從而影響水位的變化；若雨滴撞擊到屋檐等遮擋物，則直接消失：

為渲染出逼真的水面光學效果，RainyGS設計了一套包含兩個通道（pass）的高效光柵化流程。第一個通道負責渲染水面本身，其最終顏色 由折射顏色 、 鏡面反射顏色 和高光顏色 根據菲涅爾項F加權混合而成。第二個通道則負責渲染雨滴本身，空中的雨絲和撞擊物體表面產生的水花，均被建模為高斯橢球體。最終，水面渲染結果 與雨滴渲染結果 會根據各自的深度信息進行融合，得到最終的完整圖像：

其中鏡面反射 ( ) 計算考慮到傳統(tǒng)光線追蹤的巨大開銷，采用高效的屏幕空間反射（Screen-Space Reflection）技術，在已渲染的圖像和深度圖上進行光線步進，以近似計算反射顏色。高光 ( ) 項基于Blinn-Phong光照模型計算太陽等光源在起伏水面上形成的高光。折射顏色 ( ) 采用基于圖像的近似方法，根據水面法線對原始場景圖像進行擾動采樣，以模擬光線穿過淺水層時的扭曲效果。菲涅爾項(F)利用Fresnel-Slick方程計算不同視角下水面的反射率，決定反射與折射的混合比例。

通過這種將物理模擬與高效渲染技術相結合的設計，RainyGS不僅在水體動態(tài)上實現了物理真實性，更在反射、折射等關鍵視覺效果上達到了高保真度，同時維持了卓越的實時渲染性能。

四、部分結果展示

作者首先對比了不同方法的雨景合角下不同時間步的雨景合成效果：

圖2 雨景合成定性比較

圖3 雨景合成多時間步定性比較

對比結果顯示，雖然視頻生成方法能創(chuàng)造出視覺上引人注目的雨景風格，但不可避免地缺乏三維一致性，并且常常會改變原始場景的幾何形狀。正如在圖2中所見，Runway-V2V將花瓶變成了一個玻璃花瓶，并不斷地改變背景。此外，其動態(tài)雨景在模擬和渲染方面都不夠真實。如圖3所示，Runway-V2V會生成隨機的漣漪和雨滴，但當特定的雨滴落入水中時，卻無法產生預期的漣漪效果。另外，漣漪的反射和折射效果也不符合物理規(guī)律，例如，倒映在水中的桌腿本應因水面漣漪而扭曲，但合成結果中卻保持筆直。

由于缺乏適當的風格化和三維表示，Rain Motion工作在視覺真實感和動態(tài)準確性方面都表現不佳。Instruct-GS2GS缺乏高級的下雨效果，并且只支持靜態(tài)編輯。相比之下，RainyGS保留了場景的幾何形狀，并提供了符合物理規(guī)律的降雨動態(tài)和逼真的渲染，從而確保了更一致、更高效和更高質量的結果。

在定量分析之外，本文還展示了多種基于RainyGS的應用，RainyGS可以應用于大規(guī)模的駕駛場景，以合成相應的雨天天氣狀況，這有助于為惡劣的雨天條件創(chuàng)建具有挑戰(zhàn)性的駕駛環(huán)境，并提高自動駕駛的安全性。

圖4 針對Waymo場景的雨天合成效果 五、總結與展望

本文介紹的RainyGS提出了一種新穎的動態(tài)雨景合成框架，在方法上將基于物理的淺水模擬與3D高斯?jié)姙R技術深度融合。其核心機制在于，首先從多視圖圖像重建高精度三維場景，進而提取二維高度圖作為物理模擬的載體，并在此基礎上高效地計算雨水累積、漣漪等動態(tài)效果。相比于傳統(tǒng)物理模擬方法在開放世界場景中的局限性，以及其他AI方法在物理真實性上的不足，RainyGS在保證物理精確性的同時，實現了超過30fps的實時渲染性能。

當前RainyGS的模擬與渲染仍存在一定局限。其淺水動力學模型難以精確模擬具有較深波浪或多層深度的復雜水體交互，同時，基于圖像空間的渲染方式也使其無法處理被遮擋物體的反射與折射效果。未來工作將致力于解決這些挑戰(zhàn)，例如探索更復雜的流體動力學模型，或融合能夠處理遮擋的光線追蹤技術，以實現更高階的動態(tài)效果與渲染真實感。這將進一步提升其在自動駕駛惡劣天氣模擬、沉浸式虛擬現實環(huán)境構建等應用中的價值。

六、思考與討論

Q: RainyGS的淺水模擬對幾何重建誤差的魯棒性如何？

A: 該方法難以基于不規(guī)則的地面和水坑模擬雨景，如果從有缺陷的重建中提取的高度圖存在噪聲，那么直接作用于其上的淺水模擬會產生物理上不正確的現象，例如水流在不存在的洼地中匯集。論文也提出了一個緩解策略，即通過增加降雨量，“地面的不規(guī)則之處可以被更多的水量覆蓋”，從而實現逼真的下雨效果。這意味著，在暴雨場景下，大量的模擬積水可以在視覺上“淹沒”并平滑掉底層的微小幾何瑕疵。但在毛毛細雨或小雨場景下，這些由重建誤差導致的模擬缺陷會更加明顯。

Q: RainyGS淺水模擬的物理假設能否處理不同深度水體的動態(tài)過渡？

A: 當前RainyGS淺水模型確實無法平滑地處理這種過渡，對于具有較深波浪的流體交互不太準確，也不適用于模擬復雜的多深度水體效果。淺水方程的核心假設是流體的水平尺度遠大于垂直尺度。當積水加深，這一假設便不再成立，模擬將無法捕捉到復雜的垂直水流運動，如破碎的波浪或物體淹沒時產生的大幅濺射。該方法最適用于模擬典型的街道雨景，而非洪水或蓄水池等場景。

以下是開放性問題，歡迎讀者朋友留言討論：

Q: RainyGS成功地將“水”的物理模擬與3DGS結合，那么這套“重建-模擬-渲染”的框架能否被擴展為一種通用的、模塊化的天氣模擬系統(tǒng)？例如，是否可以替換掉淺水模擬模塊，接入基于粒子或流體動力學的雪花、大霧或風場模擬器，從而在同一個3DGS場景中實現雨、雪、霧、風等多種天氣效果的實時、可控合成？

參考文獻

[1] Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuhler, and George Drettakis. 3D gaussian splatting for real-time radiance field rendering. ACM TOG & SIGGRAPH. 42(4), 139:1-139:14, 2023.

[2] Yuan Li, Zhi-Hao Lin, David Forsyth, Jia-Bin Huang, and Shenlong Wang. ClimateNeRF: Extreme weather synthesis in neural radiance field. ICCV. 3204-3215, 2023.

[3] Tianyi Xie, Zeshun Zong, Yuxing Qiu, Xuan Li, Yutao Feng,Yin Yang, and Chenfanfu Jiang. PhysGaussian: Physics-integrated 3D gaussians for generative dynamics. CVPR. 4389-4398, 2024.

[4] Danpeng Chen, Hai Li, Weicai Ye, Yifan Wang, Weijian Xie, Shangjin Zhai, Nan Wang, Haomin Liu, Hujun Bao, and Guofeng Zhang. PGSR: Planar-based gaussian splatting for efficient and high-fidelity surface reconstruction. TVCG. 6100-6111, 2024.

來源：公眾號【深圳大學可視計算研究中心】

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。

投稿內容

// 最新技術解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關于我“門”

將門是一家以專注于數智核心科技領域的新型創(chuàng)投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。

如果您是技術領域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈