該工作由上海人工智能實(shí)驗(yàn)室鐘志航團(tuán)隊(duì)聯(lián)合四川大學(xué)、東京大學(xué)、上海交通大學(xué)、西北工業(yè)大學(xué)共同完成。

在李飛飛團(tuán)隊(duì) WorldLabs 推出 Marble、引爆「世界模型（World Model）」熱潮之后，一個(gè)現(xiàn)實(shí)問題逐漸浮出水面：世界模型的可視化與交互，依然嚴(yán)重受限于底層 Web 端渲染能力。

Marble 所依賴的基于 WebGL 的 3D Gaussian Splatting (3DGS) 渲染器 SparkJS，讓世界模型首次在瀏覽器中「跑起來」，但也暴露出明顯瓶頸：大場(chǎng)景以及復(fù)雜場(chǎng)景下，CPU 排序成為性能天花板，動(dòng)態(tài)場(chǎng)景與生成模型難以接入。

近日，開源項(xiàng)目Visionary給出了一個(gè)截然不同的答案：基于 WebGPU 與 ONNX，在瀏覽器中實(shí)現(xiàn)真正的動(dòng)態(tài) 3DGS / 4DGS 實(shí)時(shí)渲染，并在多項(xiàng)測(cè)試中全面超越 SparkJS。

• 論文標(biāo)題：Visionar y: The World Model Carrier Built on WebGPU-Powered Gaussian Splatting Platform
• 技術(shù)報(bào)告：https://arxiv.org/abs/2512.08478
• GitHub：https://github.com/Visionary-Laboratory/visionary
• 在線 Editor：https://visionary-laboratory.github.io/visionary/index_visionary.html

World Model 的「最后一公里」，

卡在 Web 端渲染

相比 Genie3 等視頻生成范式的世界模型，其對(duì)算力的依賴極為龐大，距離在 Web 端實(shí)現(xiàn)高質(zhì)量、實(shí)時(shí)運(yùn)行仍有不小差距。反觀神經(jīng)渲染路線，尤其是3D Gaussian Splatting，憑借其高效性，已經(jīng)成為構(gòu)建世界模型的重要表示形式。

3DGS 讓高質(zhì)量、實(shí)時(shí)的 3D 世界成為可能，但在實(shí)際落地中，仍存在明顯斷層：

桌面端 / 引擎方案（SIBR、Unity、Unreal）：性能強(qiáng)，但依賴沉重、部署復(fù)雜，難以傳播與復(fù)現(xiàn)；

現(xiàn)有 Web 端方案（SparkJS、SuperSplat）：受限于 WebGL 管線，主要支持靜態(tài)或預(yù)計(jì)算高斯，難以承載實(shí)時(shí)推理的動(dòng)態(tài) 3DGS、Neural Avatar，更難引入生成式模型。

World Model 想要真正「被看見、被交互」，Web 端渲染底座成為關(guān)鍵瓶頸。

Visionary：不是 Viewer，

而是 World Model 的 Web 渲染基座

Visionary 的定位并非「又一個(gè) 3DGS 查看器」，而是一個(gè)面向 World Model / 空間智能的 Web 原生渲染基座 (Rendering Substrate)

WebGPU 原生架構(gòu)：將 GPU 計(jì)算與渲染真正帶入瀏覽器，替代 WebGL；

ONNX 驅(qū)動(dòng)的統(tǒng)一接口：將「每幀高斯生成 / 更新」抽象為標(biāo)準(zhǔn)化的模型契約；

動(dòng)態(tài)友好設(shè)計(jì)：3DGS、4DGS、Neural Avatar 以及生成式后處理均可在線運(yùn)行。

Visionary 的核心設(shè)計(jì)在于提出了 Gaussian Generator Contract：

將各類 3DGS、4DGS 及 Avatar 方法統(tǒng)一導(dǎo)出為 ONNX 標(biāo)準(zhǔn)，每幀僅需輸入相機(jī)、時(shí)間等輕量控制信號(hào)，即可由 ONNX 輸出完整的高斯屬性緩沖。

這種設(shè)計(jì)使得渲染器不再受限于具體的算法細(xì)節(jié)，首次在瀏覽器端實(shí)現(xiàn)了每幀動(dòng)態(tài)生成與更新高斯、同一渲染器承載多種 3DGS 變體以及接入生成式后處理（如風(fēng)格化、增強(qiáng)）的能力。

性能實(shí)測(cè)：

全面超越 SparkJS

實(shí)驗(yàn)數(shù)據(jù)顯示，在相同 3DGS 資源條件下，Visionary 的渲染效率顯著優(yōu)于當(dāng)前主流 Web 端查看器。

在包含數(shù)百萬高斯點(diǎn)的典型場(chǎng)景中，Visionary 將排序與預(yù)處理完全遷移至 GPU (WebGPU)，顯著降低端到端延遲，而 SparkJS 的性能瓶頸主要集中在 CPU 排序階段。

不止更快：

渲染正確性與畫質(zhì)同樣重要

Visionary 采用逐幀 GPU 全局排序，徹底避免了類似 SparkJS 在快速視角變化下出現(xiàn)的 lazy sorting 視覺偽影。在 Mip-NeRF360 等基準(zhǔn)上，畫質(zhì)指標(biāo)與 SparkJS 持平甚至略有提升。

同時(shí)避免了 SuperSplat 等方案中的逐物體排序混合錯(cuò)誤。在多模型混合場(chǎng)景下，仍能保證透明度渲染正確。

面向研究、創(chuàng)作與工業(yè)的統(tǒng)一平臺(tái)

對(duì)研究者來說，任意 3DGS 變體只要能導(dǎo)出 ONNX，即可快速?gòu)?fù)現(xiàn)、對(duì)比與展示；創(chuàng)作者無需安裝專業(yè)軟件，即可在瀏覽器中完成編輯、錄制與渲染；

工業(yè)界則可將其應(yīng)用于數(shù)字孿生、仿真、XR、具身智能等大規(guī)模實(shí)時(shí)場(chǎng)景。

Visionary 已在 GitHub 完全開源，采用寬松協(xié)議，并已獲得 Firefox / Chrome WebGPU 相關(guān)開發(fā)者的關(guān)注與反饋。

目前已原生支持：MLP-based 3DGS (Scaffold-GS)、4D Gaussian Splatting、Neural Avatar (LHM、GauHuman、R3-Avatar 等)、ONNX 生成式后處理（風(fēng)格化、增強(qiáng)），全部渲染流程均在瀏覽器端完成。

團(tuán)隊(duì)表示，Visionary 只是邁向統(tǒng)一世界模型框架的第一步。未來將進(jìn)一步探索：

• 物理交互增強(qiáng)（碰撞檢測(cè)與 Mesh 管線融合）
• 物理感知建模（結(jié)合 MPM 等方法模擬真實(shí)動(dòng)力學(xué)）
• 空間智能體（基于多模態(tài)大模型的空間推理與交互）
• 下游應(yīng)用橋接（支持具身 AI 的 Sim-to-Real 遷移）

結(jié)語(yǔ)

World Model 的競(jìng)爭(zhēng)，最終會(huì)回到一個(gè)問題：誰(shuí)能把復(fù)雜世界，穩(wěn)定、快速、低門檻地呈現(xiàn)出來？

Visionary 給出的答案是：用 WebGPU + ONNX，把世界模型真正帶到 Web。