【USparkle專欄】如果你深懷絕技，愛“搞點(diǎn)研究”，樂于分享也博采眾長，我們期待你的加入，讓智慧的火花碰撞交織，讓知識(shí)的傳遞生生不息！

這是侑虎科技第1806篇文章，感謝作者Angelou供稿。歡迎轉(zhuǎn)發(fā)分享，未經(jīng)作者授權(quán)請(qǐng)勿轉(zhuǎn)載。如果您有任何獨(dú)到的見解或者發(fā)現(xiàn)也歡迎聯(lián)系我們，一起探討。（QQ群：793972859）

作者主頁：

https://www.zhihu.com/people/cong-ba-luo-ke-dao-lang-man-de-ni

本文提出了一種在離散高分辨率非均勻參與介質(zhì)中估計(jì)多重散射的有效方法，稱為“LightGraph”。該方法基于隨機(jī)生成的圖表，通過使用最短路徑查找來估計(jì)光在體積中的傳播方式。這種新方法提供了一種實(shí)現(xiàn)高質(zhì)量照片級(jí)多重散射效果的方式，而其計(jì)算成本相對(duì)較低。該方案的目標(biāo)不是物理上的準(zhǔn)確，也不是實(shí)時(shí)運(yùn)行，而是從實(shí)用的角度出發(fā)成為一種快速可靠且靈活性高的解決方案。

這項(xiàng)工作是Alexandre Sirois-Vigneux在蒙特利爾大學(xué)IFT-6042的背景下用一個(gè)學(xué)期的時(shí)間完成的，項(xiàng)目已開源，建立在OpenVDB之上，使用光線追蹤為基礎(chǔ)渲染方式。

PS：文章出現(xiàn)的部分文獻(xiàn)鏈接可在文末查看。

一、內(nèi)容介紹

視覺效果制作的當(dāng)前趨勢仍然圍繞著Arnold之類的路徑追蹤器，因?yàn)檫@些系統(tǒng)非常直接和可預(yù)測。大型工作室擁有的渲染農(nóng)場使得這些昂貴的技術(shù)在過去幾年中得以在實(shí)踐中使用。該行業(yè)傾向于使用更簡單的技術(shù)，這些技術(shù)使用更多的機(jī)器時(shí)間和更少的人工時(shí)間，并認(rèn)為這是生產(chǎn)方面最有效的權(quán)衡。但行業(yè)現(xiàn)正在迅速轉(zhuǎn)變?yōu)榱硪环N模式，過去需要數(shù)月才能完成的任務(wù)現(xiàn)在預(yù)計(jì)數(shù)周內(nèi)就能完成。在這種新趨勢下，工作室通常需要在幾個(gè)小時(shí)內(nèi)處理問題。

為此，我們提出了一種使用最短路徑查找（SPF）來估計(jì)多重散射影響的解決方案。單次散射事件由傳統(tǒng)的RayMarching進(jìn)行處理，而多次散射事件則通過對(duì)對(duì)應(yīng)于圖形頂點(diǎn)的點(diǎn)云執(zhí)行密度估計(jì)來近似。我們的思路是使用體積中的幾百個(gè)頂點(diǎn)隨機(jī)定義多個(gè)圖，然后根據(jù)用戶定義的密度網(wǎng)格對(duì)邊緣進(jìn)行射線行進(jìn)以評(píng)估它們的透射率，接著使用這些透射率作為權(quán)重以最短路徑查找找到每對(duì)頂點(diǎn)之間最少遮擋的路徑。這個(gè)過程可以并行重復(fù)多次并光柵化為一個(gè)體積網(wǎng)格。

最后，RayMarching估計(jì)器可以在渲染時(shí)將多次散射的網(wǎng)格視作自發(fā)輻射組件直接進(jìn)行距離采樣，這使得RTE評(píng)估過程非常有效。盡管這種技術(shù)本質(zhì)上存在Bias，但結(jié)果表明由于性能上極具優(yōu)勢，所以該技術(shù)仍然可以作為視效工作的有效手段。

二、前置工作

回顧一些和本文有關(guān)的工作。

B.Wang和N.Holzschuch在SIGGRAPH 2017提出了一種技術(shù)，用于預(yù)計(jì)算多個(gè)散射事件（假設(shè)介質(zhì)無限大），并將其存儲(chǔ)在兩個(gè)4D表中。他們的技術(shù)可以與多種渲染算法一起使用，并且能夠顯著加快收斂速度。不幸的是，它僅適用于參與介質(zhì)，因此無法用于渲染云、煙或者任何模擬流體等。這一工作發(fā)表《Precomputed multiple scattering for light simulation in participating medium》一文中。

Szirmay-Kalos等人在2005年提出了一種實(shí)時(shí)方法，用于計(jì)算具有一般相位函數(shù)的非均質(zhì)參與介質(zhì)中的多重散射。他們將參與介質(zhì)建模為一個(gè)粒子系統(tǒng)，假設(shè)體積是靜態(tài)的，而光和相機(jī)仍然可以運(yùn)動(dòng)。該方法將介質(zhì)粒子間的光線散射存儲(chǔ)在“照明網(wǎng)絡(luò)”中，這一工作發(fā)表在《Real-time multiple scattering in participating media with illumination networks》一文中。

我們之前在《參與介質(zhì)中的實(shí)時(shí)多重散射和照明網(wǎng)絡(luò)》中也有專門分析過。

雖然這一思路允許實(shí)時(shí)計(jì)算照明，但結(jié)果精度較低且不支持動(dòng)畫體積，這兩點(diǎn)極大限制了它的使用。

D.Koerner等人在2014年提出了一種稱為“flux-limited diffusion”（翻譯為“輻射通量限制擴(kuò)散”）的方法用于渲染參與介質(zhì)中的多重散射效應(yīng)。文章為：《Flux-Limited Diffusion for Multiple Scattering in Participating Media》?；跀U(kuò)散近似是蒙特卡洛路徑追蹤一種極其有效的替代方法。但是在足夠透明區(qū)域中，經(jīng)典擴(kuò)散近似會(huì)受到非物理輻射通量的影響，導(dǎo)致與正確的光傳輸匹配不佳，這阻止了將經(jīng)典擴(kuò)散近似應(yīng)用于非均質(zhì)材料領(lǐng)域。為了解決這個(gè)問題，Koerner引入了天體物理學(xué)中的一種技術(shù)——Flux-limited diffusion。新的擴(kuò)散算法能夠更準(zhǔn)確地呈現(xiàn)各種非均質(zhì)材料中的多重散射，但是目前這一技術(shù)尚未被證明在HDR照明環(huán)境下會(huì)表現(xiàn)如何，環(huán)境光散射的引入方式是視效類體積渲染器中非常重要的一部分，但往往也是最容易被忽略的一部分，在相當(dāng)多的工作中都是如此。

Kallweit等人在SIGGRAPH 2017提出了一種使用蒙特卡洛積分和神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法高效合成大氣云景, 也就是大家所熟知的Disney那篇《Deep scattering: rendering atmospheric clouds with radiance-predicting neural networks》，該方案相較于以往手段可以高效地推測云中任何一點(diǎn)的輻射，缺點(diǎn)就是神經(jīng)網(wǎng)絡(luò)和著色參數(shù)非常復(fù)雜且高度專注云渲染，很難直接推廣到其他材料比如煙和霧，從而限制了它的應(yīng)用。

PS: 當(dāng)然更輕量，泛化性更強(qiáng)的神經(jīng)網(wǎng)絡(luò)在SIGGRAPH 2023上被提出來，對(duì)此有機(jī)會(huì)我們?cè)僮龇治雠c解讀。因?yàn)楸疚乃懻摰墓ぷ鞒霈F(xiàn)在2020年，僅適合對(duì)之前的方案做對(duì)比。

Jensen等人在1998年提出了一種光子映射擴(kuò)展方法來計(jì)算參與介質(zhì)場景中的全局照明：《Efficient simulation of light transport in scenes with participating media using photon maps》雖然很老了，但非常經(jīng)典，影響也很大。這種方法適用于雙向路徑追蹤，使用體積光子圖來提高效率并降低噪聲。可以輕松重現(xiàn)多重散射等效果，但目前還不清楚這種技術(shù)在處理像火焰這種黑體輻射類體積時(shí)效果如何，且火焰煙霧是VFX中經(jīng)常出現(xiàn)的場景。

三、方案概述

本方法試圖利用參與介質(zhì)中多重散射的低頻特性，通過使用極少的樣本近似解，然后將這些樣本光柵化為稀疏的低分辨率網(wǎng)格以確保在渲染時(shí)快速查找。因此，多重散射在渲染開始之前會(huì)預(yù)先計(jì)算并存儲(chǔ)在內(nèi)存中。這個(gè)多重散射網(wǎng)格（MSG）將以類似于RTE中Le自發(fā)光的方式進(jìn)行采樣。該方法的一個(gè)特點(diǎn)是，使用SPF（最短路徑查找）來估計(jì)介質(zhì)中兩點(diǎn)之間傳播的光量，而不是依賴隨機(jī)游走，這會(huì)帶來Bias，但也顯著加快了收斂速度，因?yàn)榇蠖鄶?shù)路徑對(duì)解決方案都是有意義的貢獻(xiàn)。

以下是LightGraph的一些主要功能，它支持通過命令行以參數(shù)鏈形式提供場景描述，支持多光源（包括點(diǎn)光、定向光和環(huán)境光（類似天光或HDR照明之類的））。如下圖所示，每個(gè)渲染圖像都以EXR格式寫入磁盤，其中包括3個(gè)任意輸出變量（AOV），分別隔離單次散射，多重散射和自發(fā)光的貢獻(xiàn)。還有一個(gè)選項(xiàng)可以通過將LightGraph幾何圖形（動(dòng)態(tài)創(chuàng)建的以計(jì)算多次散射）輸出為ASCII文件，用于調(diào)試或可視化目的，還可以發(fā)送多個(gè)相機(jī)光線以減少混疊。內(nèi)置著色器處理溫度網(wǎng)格，并具有顏色漸變參數(shù)，允許用戶將溫度值重新映射到體積的發(fā)射色。

使用帶有日落HDR圖的環(huán)境光渲染Bunny，與純定向光照明相比計(jì)算成本并沒有更高

使用LightGraph渲染爆炸，單次散射，自發(fā)輻射，多次散射與單散射+自發(fā)光合成圖像渲染規(guī)格：一個(gè)定向光，一個(gè)恒定藍(lán)色的環(huán)境光，迭代次數(shù)：5000

四、實(shí)現(xiàn)細(xì)節(jié)

給出的倉庫中使用C++實(shí)現(xiàn), 基于Intel的TBB完成多線程。也嘗試使用了OpenMP多線程機(jī)制，但結(jié)果發(fā)現(xiàn)與TBB相比性能要慢很多?？傊讓?shí)現(xiàn)基于多個(gè)三方庫完成，并遵循了VFX行業(yè)中一些成熟的標(biāo)準(zhǔn)，數(shù)據(jù)結(jié)構(gòu)小節(jié)將更詳細(xì)地討論這些內(nèi)容。

1. 最短路徑查找作為重要性抽樣啟發(fā)式方法

MIS（多重重要性抽樣）是蒙特卡洛模擬方案中的關(guān)鍵部分，它具有無偏的理論優(yōu)勢，但即使最先進(jìn)的方法也難以在合理時(shí)間內(nèi)收斂，尤其是在涉及多重散射時(shí)。本文所討論的方法在理論上沒有保證能收斂到正確的，但經(jīng)驗(yàn)表明它可以收斂到結(jié)構(gòu)至少看起來是“正確的”。

如下圖所示，SPF試圖避免在不會(huì)對(duì)多重散射產(chǎn)生重大貢獻(xiàn)的路徑上浪費(fèi)時(shí)間。

可以看到，我們強(qiáng)制解決方案僅對(duì)高輻射傳輸?shù)穆窂讲蓸樱С诌@一決策的重要經(jīng)驗(yàn)是：假設(shè)僅考慮體積中每對(duì)頂點(diǎn)之間最有價(jià)值的路徑就足以產(chǎn)生最大影響的采樣分布。因此，我們將精力集中在對(duì)可感知信息產(chǎn)生最大影響的采樣上。正如稍后將討論的那樣，這種啟發(fā)式方法的計(jì)算成本比MIS路徑追蹤高得多，但它的隨機(jī)性也低得多。由于執(zhí)行多重散射估計(jì)得底層圖非常粗糙，因此單個(gè)LightGraph迭代返回的解決方案可能包含顯著的低頻方差。但隨著我們聚合更多這樣的迭代（如下圖所示），這種方差會(huì)減少，直到它無法被肉眼感知到。

左側(cè)是100個(gè)LightGraph迭代相互重疊的幾何圖形可視化，右側(cè)是100個(gè)迭代中的8個(gè)獨(dú)立迭代圖形的頂點(diǎn)由其輻射擴(kuò)散之后的值著色，整個(gè)過程在硬件上計(jì)算不超過8s

2. 數(shù)據(jù)結(jié)構(gòu)

既然是CPU渲染器，稀疏體素?cái)?shù)據(jù)結(jié)構(gòu)選擇OpenVDB就很好了。OpenVDB也依賴了Industrial Light & Magic開發(fā)的OpenEXR用于以高動(dòng)態(tài)范圍半浮點(diǎn)格式存儲(chǔ)渲染圖像。

3. 算法概述

算法偽代碼如下：

4. 多重散射估計(jì)

點(diǎn)云創(chuàng)建：我們首先使用“飛鏢投擲算法”將點(diǎn)散布在體積內(nèi)，以使用盡可能少的點(diǎn)來最大限制地提高估計(jì)質(zhì)量。根據(jù)經(jīng)驗(yàn)，每個(gè)LightGraph迭代750個(gè)點(diǎn)能夠在圖形分辨率和運(yùn)行時(shí)性能之間取得良好平衡，點(diǎn)僅散布在包含密度的體素中（空體素不撒點(diǎn)），每個(gè)點(diǎn)都以至少δ的距離添加到所有其他點(diǎn)以確保密度網(wǎng)格內(nèi)的均勻分布。用戶無需執(zhí)行任何特殊操作來強(qiáng)制執(zhí)行750點(diǎn)的約束，因?yàn)橄到y(tǒng)會(huì)在投擲飛鏢時(shí)動(dòng)態(tài)調(diào)整δ。首先根據(jù)邊界框的大小對(duì)δ進(jìn)行估計(jì)，以使其保持尺度不變。然后，預(yù)定義的多項(xiàng)式函數(shù)會(huì)估計(jì)點(diǎn)在點(diǎn)云中累積的預(yù)期速率。每投擲10000個(gè)點(diǎn)，就會(huì)與該預(yù)期值進(jìn)行比較，然后調(diào)整δ。增加δ可以減緩點(diǎn)的累積，因?yàn)檫@會(huì)迫使它們彼此之間距離更遠(yuǎn)。通過減少δ可以獲得相反的行為。每次LightGraph迭代中?？偣灿?00萬個(gè)點(diǎn)被投擲到密度網(wǎng)格邊界框中，這意味著每次迭代最多調(diào)整99次。有一個(gè)提前停止機(jī)制，如果累積點(diǎn)超過750. 就會(huì)停止投擲飛鏢。從測試實(shí)驗(yàn)來看，提前停止很少被觸發(fā)，并且當(dāng)使用時(shí)，迭代總是即將完成，這是預(yù)期的行為。如果迭代在投擲幾次飛鏢后就提前停止，點(diǎn)云分布的質(zhì)量很可能會(huì)受到影響，點(diǎn)云需要保持較小的主要原因是后續(xù)步驟中使用的SDF算法的復(fù)雜性。每次迭代都會(huì)修改自己的δ版本以啟用線程安全的讀/寫訪問，因此每次迭代都在單獨(dú)的線程上并行運(yùn)行。每次迭代會(huì)創(chuàng)建一個(gè)單獨(dú)的隨機(jī)數(shù)生成器實(shí)例，以確保算法的確定性結(jié)果。

圖創(chuàng)建：然后，我們構(gòu)造一個(gè)布爾鄰接矩陣來存儲(chǔ)散點(diǎn)之間的邊緣。在最大半徑1.7 X δ內(nèi)，最多允許與相鄰點(diǎn)建立12個(gè)連接。

射線行進(jìn)圖邊緣：然后將圖形的每個(gè)邊與輸入網(wǎng)格的密度網(wǎng)格進(jìn)行射線行進(jìn)，以計(jì)算每個(gè)段的透射率，將這些預(yù)計(jì)算的透射率值存儲(chǔ)在另外一個(gè)浮點(diǎn)值矩陣中。標(biāo)量參數(shù)可供用戶單獨(dú)調(diào)整密度值以進(jìn)行多次散射計(jì)算。根據(jù)Kyle Hegeman等人2005年《A lighting model for general participating media》中的研究，將用于單次散射的密度與用于多次散射的密度分離可以更好地適應(yīng)密度更大的介質(zhì)中的蒙特卡洛模擬。

最短路徑尋找解決方案：接下來，我們通過運(yùn)行Floyd-Warshall算法的修改版本找到每對(duì)頂點(diǎn)之間透射率最高的那條路徑。求解是按通道執(zhí)行的，因此如果要渲染的體積具有波長相關(guān)的散射值理論上它可以為每個(gè)RGB分量找到單獨(dú)的最佳路徑。此步驟將通過考慮當(dāng)前圖中每對(duì)頂點(diǎn)之間的所有可能路徑來確定透射率最高的路徑。在SPF求解后，結(jié)果透射率存儲(chǔ)在對(duì)稱權(quán)重矩陣中，路徑本身則永遠(yuǎn)不會(huì)被存儲(chǔ)。

頂點(diǎn)照明計(jì)算：通過陰影射線沿著密度網(wǎng)格向場景中的每個(gè)光源行進(jìn)，計(jì)算圖中每個(gè)頂點(diǎn)接收到的輻射度并將其存儲(chǔ)到數(shù)組中。

輻射擴(kuò)散：在執(zhí)行輻射擴(kuò)散之前，我們調(diào)整SPF步驟中計(jì)算出的對(duì)稱權(quán)重矩陣以強(qiáng)制能量守恒，即：我們確保每個(gè)頂點(diǎn)擴(kuò)散的能量不會(huì)超過其在頂點(diǎn)照明階段接收的能量，這是通過將從一個(gè)點(diǎn)到圖形中所有其他點(diǎn)的所有透射總和限制為1實(shí)現(xiàn)的。這樣，圖形在擴(kuò)散前后仍將包含相同的總輻射。然后我們執(zhí)行輻射擴(kuò)散，其中圖形的每個(gè)頂點(diǎn)將根據(jù)歸一化權(quán)重從所有其他點(diǎn)收集輻射。

將點(diǎn)聚合到稀疏網(wǎng)格：一旦計(jì)算完所有的LightGraph迭代，點(diǎn)就會(huì)聚集在稀疏網(wǎng)格中，以確?？焖俨檎也樵儭榱藢?shí)現(xiàn)最佳性能，網(wǎng)格的分辨率會(huì)動(dòng)態(tài)調(diào)整為每個(gè)體素存儲(chǔ)大約8個(gè)點(diǎn)，如OpenVDB所建議的那樣。這一步對(duì)于該技術(shù)至關(guān)重要，因?yàn)槲覀兛赡軙?huì)處理大量的點(diǎn)。這種加速結(jié)構(gòu)的質(zhì)量將對(duì)下一步的性能產(chǎn)生重大影響，我們將搜集到的輻射度光柵化為體積網(wǎng)格。

將多散射光柵化體積網(wǎng)格：使用與密度網(wǎng)格相同的稀疏樹創(chuàng)建多重散射網(wǎng)格（MSG）, 但默認(rèn)情況下其體素大小為原始體素大小的4倍，從而有效地創(chuàng)建體素?cái)?shù)為密度網(wǎng)格的

的體積。這種降采樣策略將保持較低的內(nèi)存占用，同時(shí)仍提供足夠的分辨率來正確捕獲本質(zhì)上是低頻的多重散射。此MSG可防止算法在渲染時(shí)對(duì)網(wǎng)格進(jìn)行RayMarching時(shí)在每個(gè)樣本處執(zhí)行點(diǎn)云查詢。由于數(shù)據(jù)結(jié)構(gòu)是稀疏的，我們?cè)诳s小的MSG中激活每個(gè)活動(dòng)體素周圍的一個(gè)體素的填充（最多3^3-1=26個(gè)體素），以防止由于MSG對(duì)密度網(wǎng)格的覆蓋范圍有限而產(chǎn)生偽影，如下圖所示：

藍(lán)色為密度網(wǎng)格，橙色為1/4分辨率的MSG網(wǎng)格，綠色為減少偽影而考慮的Padding

這種Padding很重要，因?yàn)槲覀儗⒃阡秩緯r(shí)使用密度網(wǎng)格作為MSG的掩碼，然后，我們迭代MSG的每個(gè)活動(dòng)體素，并使用各向同性高斯核進(jìn)行密度估計(jì)：

其中

是體素位置x處估計(jì)的多重散射，k(.)是具有參數(shù)μ=x和σ，它定義了所有考慮的相鄰點(diǎn)位置xi的權(quán)重。參數(shù)σ^2源自Points per Kernel用戶參數(shù)k，我們首先需要定義在點(diǎn)云中尋找其他點(diǎn)的最大距離。我們知道數(shù)據(jù)結(jié)構(gòu)平均每個(gè)體素包含8個(gè)點(diǎn)，那么將γ設(shè)置為體素的寬度，因此有：

其中V是預(yù)計(jì)包含8個(gè)點(diǎn)的體積，然后我們可以將V乘以比率k/8，并求解最大搜索半徑r:

對(duì)于具體情況，n維高斯核的表達(dá)式可以簡化為：

其中，

因?yàn)楹耸歉飨蛲缘?。我們使用截?cái)喔咚购?，并且只考慮權(quán)重大于經(jīng)驗(yàn)確定的閾值0.1的點(diǎn)。現(xiàn)在我們可以使用此信息求解σ^2了：

5. 逐像素RayMarching

此時(shí)，我們已經(jīng)將多重散射存儲(chǔ)在MSG中，因此可以在恒定時(shí)間內(nèi)在體積內(nèi)任意一點(diǎn)對(duì)其進(jìn)行三線性插值。因此，可以使用現(xiàn)有的射線追蹤技術(shù)對(duì)體積進(jìn)行射線行進(jìn)，將多重散射視為簡單的自發(fā)光網(wǎng)格一樣處理。

為了避免因密度和MSG之間的分辨率不匹配而導(dǎo)致的偽影，我們使用密度網(wǎng)格作為MSG的掩碼。對(duì)于此掩碼，密度網(wǎng)格的值范圍被限制在[0,1]范圍內(nèi)，然后默認(rèn)提升到0.25次方，與蒙特卡洛模擬相比，這可以提供最佳擬合度。

然后使用傳統(tǒng)技術(shù)對(duì)圖像進(jìn)行光線行進(jìn)以解決參與介質(zhì)中的單次散射。每條主射線都會(huì)對(duì)溫度網(wǎng)格（如果有對(duì)應(yīng)的VDB輸入）以及MSG進(jìn)行采樣。陰影射線也會(huì)從主體積樣本投射，并朝著場景中的每個(gè)貢獻(xiàn)光源進(jìn)行RayMarching。溫度值被重新映射到從內(nèi)置著色器的顏色漸變參數(shù)部分派生處的RGB顏色。當(dāng)所有像素都完成渲染后，每個(gè)像素的RGBA值以及3個(gè)額外的AOV將作為半浮點(diǎn)EXR圖像保存到磁盤。

6. 算法復(fù)雜性分析

創(chuàng)建MSG的大多數(shù)步驟都涉及O(n^2)的算法復(fù)雜度，其中n是第一步中生成的點(diǎn)云中的點(diǎn)數(shù)。不幸的是，SPF步驟的算法復(fù)雜度需要O(n^3)，一旦點(diǎn)數(shù)達(dá)到一定數(shù)量，它就會(huì)崩潰。為了解決這個(gè)限制，我們將計(jì)算分為λ個(gè)單獨(dú)的LightGraph迭代，然后將它們聚合起來。由于強(qiáng)制n→50，SPF以及迭代中的所有其他步驟在運(yùn)行時(shí)間方面變得非?？深A(yù)測，可以看作是恒定的計(jì)算時(shí)間。整個(gè)LightGraph在O(λn^3)下運(yùn)行，這是一個(gè)比O(λn)^3更可行的解決方案。這種分離還使算法可以輕松并行化。通過將多重散射光柵化為MSG，計(jì)算時(shí)間得到進(jìn)一步減少，從而有效地將渲染部分的算法從復(fù)雜度O(ps(log q+s))降低到O(ps^2), 其中p是圖像中的像素?cái)?shù)，s是每個(gè)路徑的“相機(jī)/陰影樣本數(shù)”的上限，q是從所有LightGraph迭代中聚合的點(diǎn)數(shù)。一旦計(jì)算完成，MSG便可在恒定時(shí)間內(nèi)有效地提供此信息。如下表中所看到的那樣，考慮單次迭代，MSG創(chuàng)建遠(yuǎn)非算法中昂貴的部分。在內(nèi)存占用方面，我們的方法為O((1/64)*v+750λ)，其中v是輸入密度網(wǎng)格中的體素?cái)?shù)。在大多數(shù)現(xiàn)代機(jī)器上，即使λ值很大，額外的內(nèi)存使用量也不會(huì)引人注目。

7. 預(yù)計(jì)算的優(yōu)勢

該方法的一個(gè)關(guān)鍵優(yōu)勢是，除非體積或光線被動(dòng)畫化，否則近似產(chǎn)生的噪聲是不可感知的。多重散射估計(jì)可能會(huì)有很大偏差，但在視覺上仍然可信，因?yàn)榕c我們通常使用蒙特卡羅積分獲得的噪聲相比，噪聲的頻率非常低。如果相機(jī)在體積周圍移動(dòng)，則只有單次散射會(huì)被重新計(jì)算為新解決方案，因?yàn)闊o論使用什么相機(jī)，多重散射解決方案始終相同。如果光線發(fā)生變化，底層LightGraph迭代在每一幀之間仍將保持不變。只有頂點(diǎn)照明計(jì)算和輻射擴(kuò)散會(huì)產(chǎn)生不同的結(jié)果。底層結(jié)構(gòu)不受干擾的事實(shí)使得解決方案即使迭代次數(shù)較少也能對(duì)光線變化保持高度穩(wěn)定。，如下圖所示：

3個(gè)定向燈，Iterations：25，Points Per Kernel：1, Scatter Scale：3.0，Scatter Density Scale：0.5，Scatter Density Min：0.025, Scatter Density Mask Power：0.25，Volume Color：1.0, Scattering：1.5

最后，如果體積被動(dòng)畫化，一切都會(huì)逐幀發(fā)生變化，這可能需要更多迭代才能實(shí)現(xiàn)整個(gè)序列的時(shí)間穩(wěn)定性。

8. 收斂速度

每個(gè)核的點(diǎn)數(shù)k以及LightGraph迭代次數(shù)λ是決定多重散射解決方案穩(wěn)定性的兩個(gè)用戶參數(shù)。在本節(jié)中，我們將重點(diǎn)介紹這些參數(shù)如何影響到解決方案的穩(wěn)定性、運(yùn)行時(shí)性能和細(xì)節(jié)水平，以便對(duì)控制估計(jì)質(zhì)量的因素形成直覺性認(rèn)識(shí)。為了評(píng)估該方法的收斂速度，需要使用RMSE（均方根誤差）指標(biāo)：

其中xi是根據(jù)收斂像素值μ測試的像素值。從下圖中，我們可以提取出0.135的收斂階數(shù)，這通常相當(dāng)糟糕，但在我們的案例中，圖中的橙色線表示近似閾值，在該閾值上，誤差變得無法被人眼察覺，在大多數(shù)情況下，這種情況發(fā)生在≈35秒的計(jì)算之后。

收斂和非收斂渲染之間的RMSE，相對(duì)于LightGraph迭代次數(shù)，橙色水平線表示誤差變得無法被眼睛察覺的大致點(diǎn)

從下圖可以看到，得益于并行實(shí)現(xiàn)，我們可以將λ從1增加到10而無需支付任何額外的成本，一旦我們超出了機(jī)器上可用的線程數(shù)，性能就會(huì)開始下降：

相較于λ和k的收斂速度，第一行顯示使用固定的每核點(diǎn)數(shù)看k=1然后增加LightGraph的迭代次數(shù)λ的結(jié)果。下面一行顯示使用固定的λ=10將多重散射估計(jì)光柵化為低分辨率MSG時(shí)不斷在增加k的結(jié)果，每個(gè)圖像頂部的運(yùn)行時(shí)分別表示計(jì)算LightGraph數(shù)據(jù)結(jié)構(gòu)（左）和光柵化（右）需要的時(shí)間。第二行的結(jié)果表明，增加k 的成本比增加λ的成本低得多。但我們也看到，這往往會(huì)使得估計(jì)值變得平滑，在某些情況下，我們可以用λ≈25獲得完美的結(jié)果。如果我們有一個(gè)動(dòng)畫體積序列，并且無法增加k來保留細(xì)節(jié)，我們可能需要轉(zhuǎn)到500才能在整個(gè)序列中達(dá)到時(shí)間穩(wěn)定性。注意，k總是乘以λ以使內(nèi)合大小和λ無關(guān)。這意味著在實(shí)踐過程中k=5和λ=10的組合定義了一個(gè)使用每體素估計(jì)50個(gè)點(diǎn)的內(nèi)核。

五、方案結(jié)果

為了解我們的技術(shù)與最先進(jìn)的解決方案相比如何，我們選擇使用LightGraph（我們的方法）和皮克斯生產(chǎn)渲染器的最新可用版本：RenderMan 23.2 [15] 來渲染多個(gè)場景。我們嘗試在相似的時(shí)間范圍內(nèi)渲染這兩幅圖像，以查看在緊張的渲染時(shí)間預(yù)算下這兩種軟件可以生成什么樣的結(jié)果。我們還提供了一個(gè)更加融合的RenderMan圖像版本作為參考。對(duì)于RenderMan，我們使用它們的路徑跟蹤積分器，如無特別說明，其多次散射反彈限制為10次。用于測試的硬件是英特爾Hexa-Core i7-3930K CPU@3.8GHz，配備64GB RAM。每幅圖像以960x540的分辨率渲染，就像素?cái)?shù)而言，相當(dāng)于全高清幀的四分之一。實(shí)驗(yàn)中每幅圖像的渲染規(guī)范將分別在每個(gè)小節(jié)中給出。

請(qǐng)注意，與路徑追蹤的渲染時(shí)間與圖像中的像素?cái)?shù)量成線性比例不同，我們的方法將多重散射計(jì)算與圖像大小分離開來。這意味著只有算法中相對(duì)便宜的單次散射部分將線性依賴于像素?cái)?shù)量。因此，多重散射的計(jì)算與像素?cái)?shù)無關(guān)，這對(duì)于覆蓋大部分幀的高分辨率圖像尤其有效。

1. 云用例

云用例使用了一個(gè)相當(dāng)簡化的相位函數(shù)模型，為了簡單起見，我們將每個(gè)體積視為各向同性（即均勻散射）。因此，下圖所展示的云不會(huì)具有正確的相位函數(shù)：具有前向和后向散射峰值。話雖如此，我們看到在很短的時(shí)間內(nèi)本方法實(shí)現(xiàn)了無噪聲圖像，該圖像對(duì)于相機(jī)和燈光動(dòng)畫都完全穩(wěn)定。關(guān)于右側(cè)的圖像，路徑跟蹤方法沒有利用多重散射預(yù)期解決方案的低頻特性。每個(gè)像素都在解決自己的問題，這導(dǎo)致進(jìn)行了大量不必要的計(jì)算。在圖像僅為960×540的設(shè)置中，使用右側(cè)的技術(shù)讓渲染在±2小時(shí)內(nèi)收斂可能不成問題。問題是大多數(shù)動(dòng)畫和實(shí)景電影現(xiàn)在都以4K渲染，這意味著像素增加了16倍，因此需要32小時(shí)才能渲染一幀。即使假設(shè)工作室可以在渲染農(nóng)場中使用無限的并行渲染能力，這種周轉(zhuǎn)時(shí)間也確實(shí)會(huì)開始損害生產(chǎn)。

Moana Cloud 1/4 Res渲染，具有2400萬體素，比較了LightGraph和RenderMan 23.2。如右圖所示，云的物理性質(zhì)使得蒙特卡洛路徑跟蹤很難在合理時(shí)間范圍內(nèi)收斂

2. 爆炸

渲染爆炸是一個(gè)非常昂貴的過程，因?yàn)轶w積光投射的軟陰影嵌入在高度非均質(zhì)的密度場中。爆炸內(nèi)部發(fā)出的大多數(shù)光都被密度吸收。只有靠近體積邊緣或低密度區(qū)域發(fā)出的光才能在被吸收之前傳播更長的距離。這是一個(gè)使用傳統(tǒng)路徑追蹤處理起來非常復(fù)雜的情況，因?yàn)榇蠖鄶?shù)路徑都無法將相機(jī)與自發(fā)射光連接起來。這個(gè)問題下面這張圖中間渲染中尤為明顯。這種高頻噪聲最終可以使用方差閾值自適應(yīng)采樣來清除，但該過程需要很長時(shí)間才能達(dá)到收斂。另一方面，我們的方法將能夠通過調(diào)整用于估計(jì)多重散射的核的大小來捕獲短路徑的貢獻(xiàn)。較長的路徑也將使用SPF進(jìn)行適當(dāng)近似。

對(duì)于每次迭代，在當(dāng)前圖的有限可能路徑集中，光將被使用遮擋最少的路徑進(jìn)行散射，這使得我們的方法在只有少數(shù)非常具體的路徑會(huì)對(duì)最終結(jié)果產(chǎn)生重大貢獻(xiàn)的情況下特別有效。使用我們的方法，只需幾次迭代（+25）就可以獲得非?？尚诺衅畹慕鉀Q方案，但就如同前文所討論的那樣，在體積場動(dòng)畫的情況下結(jié)果會(huì)不穩(wěn)定。這個(gè)動(dòng)畫場景需要500次LightGraph迭代才能達(dá)到穩(wěn)定的無閃爍解決方案。

渲染具有3100萬體素的爆炸

3. 上帝光

下面這個(gè)用例可能是單次散射方面最具挑戰(zhàn)性的，因?yàn)楣鈱W(xué)薄介質(zhì)填充了大部分屏幕，我們可以看到光束從一個(gè)云層流向另一個(gè)云層。在這種情況下，多重散射主要出現(xiàn)在光學(xué)厚區(qū)域，例如底部和頂部云層。多重散射的貢獻(xiàn)在像這樣的背光設(shè)置中尤其重要，因?yàn)樗峁┝擞嘘P(guān)體積物體的深度和整體形狀的重要信息。

3個(gè)定向光，Iterations:25, Points Per Kernel:2, Scatter Scale:3, Scatter Density Scale:1.0, Scatter Density Min:0.05, Scatter Density Mask Power:0.25, Volume Color:1.0, Scattering:1.5

使用RenderMan渲染的圖像即使渲染時(shí)間幾乎增加了兩倍，仍然非常嘈雜。他們的路徑跟蹤版本無論其貢獻(xiàn)如何，都會(huì)均勻地計(jì)算任何地方的多重散射。在現(xiàn)實(shí)世界中，這個(gè)場景將分為至少兩個(gè)渲染過程，以便正確控制。

渲染具有6500萬體素的God Rays，對(duì)比了LightGraph和RenderMan23.2的2次多重散射反彈

4. 煙柱用例

該用例的特點(diǎn)是煙柱具有波長依賴性，當(dāng)光線散射通過體積煙介質(zhì)時(shí)，光線的顏色會(huì)發(fā)生變化。RenderMan的圖像包含大量高頻噪聲，類似于前面示例中的噪聲。更具體地說，對(duì)于這個(gè)場景，我們看到感知噪聲被煙柱的光譜變化散射放大，噪聲不再像前面示例中那樣是單色的，這使得它更加明顯。對(duì)于左側(cè)的圖像，我們的方法通過將多重散射分量乘以散射參數(shù)的倒數(shù)來解釋這個(gè)矢量值散射，從而給出預(yù)期的色調(diào)。

3800萬個(gè)體素的煙柱渲染，RenderMan中光譜變化散射會(huì)增加感知噪聲水平渲染規(guī)格：3盞定向光，Iterations:500, Points Per Kernel:2, Scatter Scale: 2.0, Scatter Density Scale: 1.0, Scatter Density Min:0.075, Scatter Density Mask Power: 0.25, Volume Color:(0.8, 0.9, 1.0), Scattering: 0.75

5. 積雪

這個(gè)案例中嘗試使用高密度參與介質(zhì)來近似數(shù)百萬個(gè)單個(gè)冰晶的光傳輸，LightGraph允許我們能夠毫不費(fèi)力地單次散射的體積密度與多次散射的體積密度分離，因此我們可以避免創(chuàng)建顯式表面來模擬雪。

LightGraph渲染雪景模擬

下面左圖顯示了雪的詳細(xì)表面，該表面由非常高密度的體積加上軟的多重散射來近似，后者通過將密度值縮放0.001以獲得。這種分離再混合在路徑追蹤是不可能的，從而不得不用一些妥協(xié)的手段解決。

六、限制和待優(yōu)化點(diǎn)

盡管與目前生產(chǎn)中使用的方法相比，這種方法已被證明非常強(qiáng)大，但它仍然有相當(dāng)多的局限性。在本節(jié)中，我們將討論系統(tǒng)的弱點(diǎn)以及可以對(duì)當(dāng)前架構(gòu)進(jìn)行的改進(jìn)。

1. 密度場掩碼

為了減少內(nèi)存使用量和計(jì)算時(shí)間，我們將多重散射存儲(chǔ)在低分辨率網(wǎng)格 (MSG) 中，因?yàn)樗鼉H包含低頻信息。為了獲得正確的結(jié)果，我們?nèi)匀恍枰阡秩緯r(shí)使用高分辨率密度網(wǎng)格作為MSG的掩碼。這種掩碼操作在大多數(shù)情況下會(huì)產(chǎn)生正確的結(jié)果，但也可能會(huì)引入一些偽影。在爆炸場景中，我們觀察到爆炸底部的多重散射非常弱，而自發(fā)光貢獻(xiàn)顯然非常重要。當(dāng)應(yīng)用密度掩碼時(shí)，它會(huì)降低低密度區(qū)域的多重散射貢獻(xiàn)，從而導(dǎo)致這些區(qū)域的估計(jì)有偏差。

2. 屏幕空間和世界空間對(duì)比

該解決方案在開始實(shí)際逐像素渲染之前，預(yù)先計(jì)算整個(gè)體積的多重散射。這在渲染體積填充大部分幀的情況下非常理想。但如果我們只能看到渲染體積的中一小部分，也仍然需要計(jì)算整個(gè)體積的多重散射。同樣，如果我們考慮渲染由數(shù)千個(gè)云實(shí)例組成的完整云海，其中一些云僅作為子像素對(duì)象可見。在該方案下要做到這一點(diǎn)的唯一方法是計(jì)算當(dāng)前渲染隊(duì)列中云的MSG，然后盡快從內(nèi)存中清除這些數(shù)據(jù)，從而為下一個(gè)隊(duì)列的MSG騰出空間。這應(yīng)該可行，但肯定會(huì)比傳統(tǒng)的路徑跟蹤需要更多的內(nèi)存。

3. 不相連的介質(zhì)孤島

生成圖表時(shí)可能出現(xiàn)的一個(gè)問題是存在不連續(xù)的島狀結(jié)構(gòu)。在由三個(gè)不連續(xù)部分組成的云的場景中，其中一部分接收強(qiáng)烈的直接照明（見下圖）。我們可能希望第一部分云將光散射到?jīng)]有接收直接照明的其他云部分。事實(shí)證明，由于點(diǎn)云僅散布在密度大于0的體素內(nèi)，并且禁止超出一定搜索半徑的連接，因此兩個(gè)不連續(xù)的密度島狀結(jié)構(gòu)很可能在其LightGraph中也不連續(xù)，這將阻止它們?cè)诿芏葝u狀結(jié)構(gòu)之間傳輸輻射。LightGraph不使用點(diǎn)填充空白空間的原因是為了將點(diǎn)云分辨率集中在最重要的地方，因?yàn)辄c(diǎn)數(shù)上限為750?？赡苡幸环N方法可以連接這些密度島狀結(jié)構(gòu)而不會(huì)在空白空間中浪費(fèi)點(diǎn)，但在撰寫本文時(shí)尚未找到優(yōu)雅的解決方案。

4. 使用緩存進(jìn)行序列優(yōu)化

我們的方法以每幀彼此獨(dú)立的方式實(shí)現(xiàn)。根據(jù)需要渲染的幀序列，可以進(jìn)行一些進(jìn)一步的優(yōu)化。將中間步驟緩存到磁盤可以在渲染序列時(shí)節(jié)省大量時(shí)間。在體積和光照靜止而相機(jī)移動(dòng)的情況下，可以將MSG寫入磁盤，然后為后續(xù)幀讀回。因此，整個(gè)序列只需要計(jì)算多重散射一次即可，并且每幀只需要重新計(jì)算一次散射。在低分辨率設(shè)置下，這甚至可以接近實(shí)時(shí)性能。在體積是靜態(tài)但相機(jī)和照明是動(dòng)態(tài)的情況下，在將多重散射烘焙到網(wǎng)格之前，只需重新計(jì)算頂點(diǎn)照明計(jì)算和輻射擴(kuò)散步驟，就可以重用生成的LightGraph迭代。通過對(duì)整個(gè)序列計(jì)算一次多重散射估計(jì)的緩慢部分，這仍然可以節(jié)省大量計(jì)算量。

5. 隨機(jī)游走

研究隨機(jī)路徑生成而不是依賴最短路徑查找將會(huì)很有趣。這肯定會(huì)消除很多限制，例如每次迭代的點(diǎn)數(shù)，也可以產(chǎn)生一個(gè)統(tǒng)計(jì)上更合理、偏差更小的解決方案。另一方面，這種變化也可能導(dǎo)致噪聲大幅增加，并降低全局性能。由于解決方案是使用高斯核光柵化為網(wǎng)格的，即使我們使用類似的啟發(fā)式方法來確定光路，仍然可能有比路徑追蹤更快地收斂的方法。

6. GPU版本實(shí)現(xiàn)

隨著最近一波渲染器移植到GPU，我們已經(jīng)看到GPU可以大大加速可并行算法，其速度遠(yuǎn)遠(yuǎn)超過使用最好的CPU所能達(dá)到的速度。看看能獲得怎樣的改進(jìn)將會(huì)很有趣，因?yàn)橐恍﹫鼍霸谖覀儺?dāng)前的實(shí)現(xiàn)下已經(jīng)接近實(shí)時(shí)性能。這可能為交互式應(yīng)用程序打開可能性，以查看和操作使用多重散射渲染的體積。

7. 考慮幾何遮蔽

由于時(shí)間限制，系統(tǒng)中尚未實(shí)現(xiàn)幾何遮擋，但擴(kuò)展應(yīng)該相當(dāng)簡單。在執(zhí)行算法的Raymarch Graph Edges步驟之前，只需將LightGraph的每個(gè)邊緣投射到場景中的幾何圖形上即可。如果光線擊中位于形成邊緣的兩個(gè)點(diǎn)之間的幾何圖形，則透射率應(yīng)設(shè)置為0，這相當(dāng)于光線行進(jìn)無限密度的體素。然后，SPF算法將避開此邊緣，就像它通常會(huì)避開非常遮擋的邊緣一樣。MSG的低分辨率可能會(huì)導(dǎo)致遮擋物表面周圍漏出少量光線，但這不會(huì)產(chǎn)生任何明顯的偽影。

8. 各項(xiàng)異性相位

我們的方法目前不支持各向異性相函數(shù)，因此將所有體積視為各向同性。做出這一選擇是為了簡化系統(tǒng)，但這也可能是一種直接的擴(kuò)展。最短路徑查找解決方案只需要考慮相函數(shù)，同時(shí)通過查找連接邊之間的角度來評(píng)估圖的不同分支選項(xiàng)。這肯定會(huì)增加計(jì)算方面的負(fù)擔(dān)，但使用當(dāng)前架構(gòu)實(shí)現(xiàn)應(yīng)該不會(huì)太難。

七、方案總結(jié)

本文引入了LightGraph方法，它使用SPF（最短路徑查找）來近似大光學(xué)厚度和薄非均勻參與介質(zhì)中的多重散射。該方法需要少量的預(yù)計(jì)算，在幾秒鐘內(nèi)（而不是幾個(gè)小時(shí)）就可以估計(jì)出多重散射。用戶參數(shù)的數(shù)量保持在最低限度，同時(shí)仍保持非常高的靈活性。通過依靠高效的光線追蹤技術(shù)來評(píng)估單次散射，并使用近似值來估計(jì)多重散射，以便從這兩種技術(shù)的優(yōu)勢中受益。以上實(shí)現(xiàn)主要基于一個(gè)合理的假設(shè)，即多重散射是一種非常低頻的現(xiàn)象，這使得它特別適合密度估計(jì)算法。實(shí)驗(yàn)表明，這種技術(shù)可以產(chǎn)生視覺上引人注目的無噪聲圖像，而計(jì)算成本僅為蒙特卡羅積分的一小部分，這使其成為視覺效果行業(yè)的潛在實(shí)用解決方案。對(duì)于LightGraph，這里選擇了偏差而不是方差，靈活而不是簡化，并且“好看”而不是物理精確。

參考

項(xiàng)目Github地址

https://github.com/asiroisvigneux/LightGraph?tab=readme-ov-file

《Precomputed multiple scattering for light simulation in participating medium》

https://dl.acm.org/doi/10.1145/3084363.3085037

《Real-time multiple scattering in participating media with illumination networks》

https://dl.acm.org/doi/10.5555/2383654.2383693

《參與介質(zhì)中的實(shí)時(shí)多重散射和照明網(wǎng)絡(luò)》

https://zhuanlan.zhihu.com/p/13905065710

《Flux-Limited Diffusion for Multiple Scattering in Participating Media》

https://arxiv.org/abs/1403.8105

《Deep scattering: rendering atmospheric clouds with radiance-predicting neural networks》

https://dl.acm.org/doi/10.1145/3130800.3130880

《Efficient simulation of light transport in scenes with participating media using photon maps》

https://dl.acm.org/doi/10.1145/280814.280925

《A lighting model for general participating media》

https://dl.acm.org/doi/10.1145/1053427.1053446

文末，再次感謝Angelou 的分享， 作者主頁： https://www.zhihu.com/people/cong-ba-luo-ke-dao-lang-man-de-ni， 如果您有任何獨(dú)到的見解或者發(fā)現(xiàn)也歡迎聯(lián)系我們，一起探討。（QQ群： 793972859 ）。

近期精彩回顧

萬象更新UWA Gears Realtime模式實(shí)用小技巧（二）

【萬象更新】不妥協(xié)每一毫秒的性能 不浪費(fèi)每一字節(jié)的流量

Unreal Engine Shader 開發(fā)技巧

【學(xué)堂上新】從藝術(shù)資源到性能狂飆！