編輯｜杜偉

剛剛，李飛飛世界模型新成果來了，還是開源的！

就在今天凌晨，李飛飛空間智能獨(dú)角獸公司 World Labs 官宣推出「Spark 2.0」，將最具野心的 3DGS（3D 高斯?jié)姙R）世界帶入到 Web

這意味著，原本只有專業(yè)設(shè)備才能運(yùn)行的超大規(guī)模、高保真 3D 場(chǎng)景，現(xiàn)在變成任何人都可以在瀏覽器中訪問的內(nèi)容。

而隨著高保真 3D 內(nèi)容可以在任意設(shè)備上進(jìn)行訪問，包括手機(jī)、VR 設(shè)備等，空間敘事能力向前邁進(jìn)了一大步。

這個(gè)專為 3DGS 打造的渲染器還是開源的，可以流式加載 1 億 + 的 3DGS 數(shù)據(jù)，將構(gòu)建一個(gè)全新的 3D 物理世界。

3D 高斯?jié)姙R渲染神器，Spark 2.0 來了

作為一個(gè)面向 Web 的動(dòng)態(tài) 3D 高斯?jié)姙R（3DGS）渲染器，Spark 與當(dāng)前最流行的 Web 3D 框架 Three.js 集成，并基于 WebGL2 運(yùn)行，因此只要有瀏覽器，無論是桌面端、iOS、Android，還是 VR 設(shè)備，都可以使用。

在去年發(fā)布時(shí)，Spark 就帶來了不少其他渲染器沒有的能力：比如在同一場(chǎng)景中渲染多個(gè) 3DGS 對(duì)象、實(shí)時(shí)編輯與重光照，以及一個(gè)著色器圖系統(tǒng)讓用戶可以基于 splat 創(chuàng)建完全動(dòng)態(tài)的特效和動(dòng)畫。

而在 Spark 2.0 中，團(tuán)隊(duì)加入了一個(gè)細(xì)節(jié)層級(jí)（LoD）系統(tǒng)，可以在任意設(shè)備上流式加載并渲染超大規(guī)模的 3DGS 世界。當(dāng)你在場(chǎng)景中移動(dòng)時(shí)，Spark 會(huì)根據(jù)當(dāng)前視角自動(dòng)調(diào)整 3DGS 的細(xì)節(jié)等級(jí)，并通過網(wǎng)絡(luò)按需加載所需數(shù)據(jù)。我們先來看以下幾個(gè)場(chǎng)景的展示圖：

接著來看技術(shù)細(xì)節(jié)。

Spark 2.0 提供了一整套解決方案，用來在 Web 上為各類設(shè)備準(zhǔn)備、傳輸并渲染超大規(guī)模的 3DGS 場(chǎng)景。為了解決規(guī)?；瘞淼奶魬?zhàn)，它主要用了三類圖形學(xué)和系統(tǒng)層面的技術(shù)：

• Level-of-Detail（細(xì)節(jié)層級(jí)）：為 splat 生成不同分辨率的版本，并根據(jù)當(dāng)前相機(jī)視角決定實(shí)際渲染哪一部分。當(dāng)對(duì)象距離較遠(yuǎn)、細(xì)節(jié)難以分辨時(shí)，就減少渲染的 splat 數(shù)量，從而提升性能。
• 漸進(jìn)式流加載（Progressive Streaming）：隨著數(shù)據(jù)下載，從粗到細(xì)逐步加載 3DGS 的細(xì)節(jié)內(nèi)容，并優(yōu)先加載那些最能提升當(dāng)前視角清晰度的數(shù)據(jù)。
• 虛擬內(nèi)存（Virtual Memory）：在 GPU 中分配一塊固定大小的內(nèi)存池，用作 splat 的頁(yè)表，根據(jù)場(chǎng)景中的位置，自動(dòng)換入和換出所需的 3DGS 數(shù)據(jù)塊。這樣一來，就能訪問跨多個(gè) 3DGS 對(duì)象、通過網(wǎng)絡(luò)獲取的海量數(shù)據(jù)。

細(xì)節(jié)層級(jí)（LoD）高斯 splat 樹

Spark 的 LoD 設(shè)計(jì)采用的是連續(xù) LoD 方法，即所有 splat 都被組織在一個(gè)層級(jí)結(jié)構(gòu)中，也就是一棵 LoD splat 樹。Spark 會(huì)在這棵樹上選擇一條「切面」，從中逐個(gè)挑選 splat，使當(dāng)前視口中的細(xì)節(jié)達(dá)到最優(yōu)。

在這棵樹里，每一個(gè)內(nèi)部節(jié)點(diǎn)，都是由其子節(jié)點(diǎn)合并得到的低分辨率版本：通過把多個(gè)子 splat 合成為一個(gè)新的 splat，用來近似它們整體的形狀和顏色。這個(gè)過程不斷向上遞歸，直到樹的根節(jié)點(diǎn)，也就是：一個(gè)單一的大 splat 匯總了整個(gè)對(duì)象中所有 splat 的整體形狀與顏色。

Spark 2.0 提供了兩種用于生成 LoD splat 樹的算法：

• 一種輕量且速度更快的算法，叫做 Tiny-LoD，在 Web 端默認(rèn)使用；
• 一種質(zhì)量更高的算法，叫做 Bhatt-LoD，在命令行環(huán)境中默認(rèn)使用。

這兩種方法都「無需訓(xùn)練」，不依賴參考圖像或其他輸入數(shù)據(jù)，而是直接基于 3DGS 數(shù)據(jù)本身進(jìn)行處理。

漸進(jìn)式流

Spark 2.0 定義了一種新的文件格式 .RAD（Radiance fields），用于壓縮 3DGS 數(shù)據(jù)，并支持在網(wǎng)絡(luò)傳輸過程中進(jìn)行隨機(jī)訪問，實(shí)現(xiàn)逐步細(xì)化的流式加載。

在加載初期，3DGS 對(duì)象會(huì)以一個(gè)大約 6.4 萬 splat 的粗略版本幾乎瞬間呈現(xiàn)出來。隨后系統(tǒng)會(huì)分塊獲取數(shù)據(jù)，優(yōu)先細(xì)化當(dāng)前畫面中最粗糙、最需要提升細(xì)節(jié)的 LoD splat，并隨著用戶在場(chǎng)景中的移動(dòng)動(dòng)態(tài)調(diào)整加載優(yōu)先級(jí)。

虛擬內(nèi)存

虛擬內(nèi)存是一種內(nèi)存管理技術(shù)，通過一小塊固定的「物理內(nèi)存」，來提供對(duì)海量虛擬內(nèi)存的訪問能力。系統(tǒng)通過頁(yè)表，將虛擬地址與物理內(nèi)存中的固定大小頁(yè)進(jìn)行映射。

Spark 2.0 將這一機(jī)制引入到 3DGS 中，在 GPU 上分配一個(gè)固定容量（約 1600 萬 splat）的內(nèi)存池，并自動(dòng)管理 GPU 中 64K splat 的「頁(yè)」與 .RAD 文件中對(duì)應(yīng)的 64K 數(shù)據(jù)塊之間的映射關(guān)系。

數(shù)據(jù)塊會(huì)按照 LoD 遍歷順序加載進(jìn)空閑頁(yè)中；當(dāng)頁(yè)表已滿時(shí)，如果有新的、更高優(yōu)先級(jí)的數(shù)據(jù)需要加載，就會(huì)按照「最近最少使用」（LRU）的策略，把優(yōu)先級(jí)較低的舊數(shù)據(jù)塊替換出去。

更多技術(shù)細(xì)節(jié)請(qǐng)參考博客原文。

博客地址：https://www.worldlabs.ai/blog/spark-2.0