打開瀏覽器就能直接走進一個逼真的 3D 世界，還能像玩游戲一樣自由旋轉(zhuǎn)角度，更能看清每一個物體的細(xì)節(jié)，甚至還能看到會動的虛擬人向你招手。

這上海交通大學(xué)人工智能學(xué)院鐘志航副教授和上海人工智能實驗室等合作者打造的一個名為 Visionary 的平臺，能讓復(fù)雜的 3D 場景在瀏覽器里流暢運行，不需要下載任何軟件，也不需要高性能顯卡，點擊鏈接就能看。

圖 | 鐘志航（來源：受訪者）

以前要想看一個高質(zhì)量的 3D 模型，要么得下載幾個 G 的安裝包，要么得忍受卡頓和模糊的畫質(zhì)。現(xiàn)在，研究人員將一個名為 3D 高斯濺射的技術(shù)搬到瀏覽器里，而且跑得比很多本地軟件還快。

什么是 3D 高斯濺射？它好比一個超級智能的點彩畫技術(shù)。傳統(tǒng) 3D 模型要使用大量三角形網(wǎng)格拼出物體，計算量巨大。而高斯濺射使用成千上萬個帶有顏色和透明度的小點來代替場景，這些點像霧氣一樣懸浮在空間中，從不同角度看過去它們會組合成為完整的畫面。這項技術(shù)因為效果好、速度快，正在成為一些世界模型創(chuàng)業(yè)公司的核心工具。

（來源：https://visionary-laboratory.github.io/visionary/）

但是問題來了，這么牛的技術(shù)普通人怎么用？以前的方法要么依賴笨重的本地軟件，裝起來非常費勁；要么在網(wǎng)頁上跑，但使用的是老舊的 WebGL 技術(shù)，只能看靜態(tài)畫面，稍微動一下就卡頓，更別提那些會動的、會變化的場景了。

（來源：https://arxiv.org/pdf/2512.04597）

Visionary 的突破在于，它把整套技術(shù)棧搬到了 WebGPU 上。WebGPU 是新一代瀏覽器圖形標(biāo)準(zhǔn)，能讓網(wǎng)頁直接調(diào)用顯卡干活。Visionary 還做了一個很聰明的設(shè)計，他們把各種復(fù)雜的 3D 算法統(tǒng)一打包成為 ONNX 格式。

ONNX 就像一個通用語言，不管是用 PyTorch 還是用 TensorFlow 訓(xùn)練的模型，都成轉(zhuǎn)成為這個格式，然后在瀏覽器里直接運行。這就意味著，你不需要懂底層代碼，就能把最新的 3D 技術(shù)插進 Visionary 里用。

具體有多快？研究團隊拿一個包含 600 萬個高斯點的經(jīng)典場景做了測試?，F(xiàn)有的李飛飛 WorldLbas 團隊推出的網(wǎng)頁查看器 SparkJS 處理一幀需要 176 毫秒，而 Visionary 只需要 2 毫米，快樂將近 100 倍。而且畫質(zhì)一點都沒有打折，反而因為算法優(yōu)化變得更加細(xì)膩。

（來源：https://arxiv.org/pdf/2512.04597）

同時，Visionary 不只會處理靜態(tài)場景。它支持會動的 4D 場景，支持可驅(qū)動的虛擬人，甚至支持在渲染完成后加濾鏡和做風(fēng)格遷移。比如你導(dǎo)入一個虛擬人模型，輸入幾個動作參數(shù)，它就能在瀏覽器里實時跳舞。這些動態(tài)效果以前只能在專業(yè)的動畫軟件里看到，現(xiàn)在點開網(wǎng)頁就行。

研究團隊使用幾個案例展示了 Visionary 的能力。他們把 Scaffold GS 這種基于神經(jīng)網(wǎng)絡(luò)的 3D 模型跑進了瀏覽器，每幀只需要 9 到 16 毫秒生成畫面。

他們把 4D 高斯濺射也搬了過來，處理動態(tài)場景時每幀只要不到 8 毫秒。對于虛擬人動畫，即使是同時驅(qū)動 10 個虛擬人，也能保持在 55 毫秒左右，基本達(dá)到實時交互的標(biāo)準(zhǔn)。

（來源：https://arxiv.org/pdf/2512.04597）

這意味著未來的 3D/4D 內(nèi)容將觸手可及，不再受限于設(shè)備性能。設(shè)計師想展示一個視頻，發(fā)給客戶一個網(wǎng)址客戶就能沉浸式體驗；至于游戲開發(fā)者他們甚至可以在瀏覽器里跑起來輕量級的 3D 游戲。

Visionary 已經(jīng)在 GitHub 上開源了，任何人都能訪問。他們還做了一個在線編輯器，你可以在里面同時加載多個 3D 模型，和傳統(tǒng)網(wǎng)絡(luò)模型混合渲染，實時調(diào)整視角。

鐘志航告訴 DeepTech：“這項技術(shù)已經(jīng)有了實際應(yīng)用。在上海人工智能實驗室的 2025 世界人工智能大會成果中，有一個叫書生翼飛的項目，就是基于 Visionary 把上海一大塊區(qū)域的環(huán)境重建出來放在網(wǎng)頁端，用戶輸入想要的飛機型號，系統(tǒng)就能實時生成對應(yīng)的飛機，在上海上空模擬飛行。

在數(shù)字孿生領(lǐng)域，工廠或供應(yīng)鏈需要把各個環(huán)節(jié)數(shù)字化，有了這項技術(shù)，整個孿生體系會變得非常逼真，方便人交互，也方便智能體在接近真實環(huán)境的空間里學(xué)習(xí)操作?！?/p>

（來源：https://arxiv.org/pdf/2512.04597）

當(dāng)然，這項技術(shù)還在進化中。研究團隊在論文里也提到，WebGPU 和 ONNX Runtime 還在發(fā)展，不同瀏覽器可能存在兼容差異。瀏覽器安全策略也對內(nèi)存有約束，太大規(guī)模的場景和神經(jīng)網(wǎng)絡(luò)目前還跑不了。但是方向已然非常清晰：那就是未來的 3D 世界不再遙遠(yuǎn)，就存在于可能你此刻正在使用的瀏覽器。

鐘志航表示，Visionary 還打包成了一個 three.js 的庫，這意味著做游戲、做網(wǎng)頁端開發(fā)都可以直接使用，共享整個 three.js 的生態(tài)系統(tǒng)。

后續(xù)團隊計劃在物理交互上發(fā)力，比如在游戲場景中加入力的反饋，弓箭射中墻面得有反應(yīng)。同時也在構(gòu)建空間智能體的評測基準(zhǔn)，因為這套體系能把神經(jīng)網(wǎng)絡(luò)嵌到網(wǎng)頁端做推理，甚至可以讓體量不太大的多模態(tài)模型直接在網(wǎng)頁上跑，一邊做逼真的對話，一邊執(zhí)行空間任務(wù)。

鐘志航的 Visionary 團隊在招聘熟悉神經(jīng)渲染和圖形學(xué)的工程師和實習(xí)生，以及歡迎申請其在上海交通大學(xué)空間多媒體實驗室的碩士博士以及 RA。詳情請聯(lián)系郵箱 zzh.tech@gmail.com

參考資料：

相關(guān)論文：https://arxiv.org/pdf/2512.04597

相關(guān)開源代碼：https://github.com/Visionary-Laboratory/visionary

運營/排版：何晨龍