清華AIR DISCOVER Lab 投稿量子位 | 公眾號 QbitAI

具身人工智能領(lǐng)域，正向著以視覺為中心的感知范式，發(fā)生全面而深刻的轉(zhuǎn)型。

作為機(jī)器人感知世界時(shí)信息密度最高、與自然人機(jī)交互最契合的模態(tài)，視覺是解鎖通用機(jī)器人智能、實(shí)現(xiàn)仿真到真實(shí)無縫遷移的核心密鑰。

但當(dāng)研究者們試圖沿著這條路徑向前探索時(shí)，卻始終需要在“看得真”和“訓(xùn)得快”之間做艱難取舍：

高保真視覺渲染帶來了巨大計(jì)算與內(nèi)存開銷；人工建?？偸呛臅r(shí)耗力低效循環(huán)；現(xiàn)有平臺的兼容性缺陷不斷限制著創(chuàng)新邊界，嚴(yán)重束縛了具身智能研究的想象力。

為了攻克這些制約具身智能領(lǐng)域發(fā)展的核心難題，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）DISCOVER Lab聯(lián)合謀先飛技術(shù)、原力靈機(jī)、求之科技和地瓜機(jī)器人，提出了GS-Playground通用多模態(tài)仿真框架。

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

作為一套專為視覺中心的機(jī)器人學(xué)習(xí)打造的新一代仿真基礎(chǔ)設(shè)施，GS-Playground首次實(shí)現(xiàn)了高吞吐量并行物理仿真與高保真視覺渲染的深度融合，在保證物理仿真所需的高精度與強(qiáng)穩(wěn)定性的同時(shí)，提供了大規(guī)模視覺驅(qū)動(dòng)策略訓(xùn)練與仿真到現(xiàn)實(shí)遷移所需的渲染效率與環(huán)境支撐。

該成果已被機(jī)器人領(lǐng)域國際頂級學(xué)術(shù)會(huì)議RSS 2026（Robotics: Science and Systems）錄用。

Figure 1. GS-Playground Overview

通用全場景原生兼容：打造統(tǒng)一的具身智能仿真訓(xùn)練底座

GS-Playground設(shè)計(jì)之初，便定位于通用型全場景具身智能仿真平臺，平臺核心搭載了團(tuán)隊(duì)自研的跨平臺并行物理引擎，原生支持CPU/GPU雙后端與Windows/Linux/macOS全系統(tǒng)運(yùn)行，可無縫適配全品類機(jī)器人形態(tài)，包括市面上常見的四足機(jī)器人、 全尺寸人形機(jī)器人、多自由度工業(yè)機(jī)械臂，全部實(shí)現(xiàn)開箱即用的原生適配，無需額外的二次開發(fā)工作。

在此基礎(chǔ)上，平臺全面覆蓋機(jī)器人運(yùn)動(dòng)控制、自主導(dǎo)航、高接觸精度操作三大核心任務(wù)場景。

在接口設(shè)計(jì)上，平臺API全面兼容行業(yè)通用的MuJoCo MJCF格式，可實(shí)現(xiàn)現(xiàn)有仿真項(xiàng)目的零摩擦快速遷移，最大程度降低研究者的適配成本。

自研高性能并行物理引擎：為接觸密集型機(jī)器人學(xué)習(xí)提供穩(wěn)定底層動(dòng)力學(xué)

對于視覺中心的機(jī)器人學(xué)習(xí)而言，“看得真”只是第一步，真正決定策略能否遷移到真實(shí)世界的，是仿真系統(tǒng)能否在復(fù)雜接觸、摩擦、碰撞與多剛體耦合中，持續(xù)給出穩(wěn)定、可信的物理反饋。

針對這一核心瓶頸，GS-Playground從底層自研了一套高性能并行物理引擎，采用廣義坐標(biāo)下的速度-沖量動(dòng)力學(xué)公式，將接觸與摩擦統(tǒng)一建模為混合互補(bǔ)問題（MCP），并通過投影高斯-賽德爾（PGS）求解器實(shí)現(xiàn)穩(wěn)定求解。

相比依賴軟接觸正則化的傳統(tǒng)方式，這一設(shè)計(jì)更強(qiáng)調(diào)靜摩擦保持、高剛度約束與大時(shí)間步穩(wěn)定性，尤其適合足式運(yùn)動(dòng)、機(jī)械臂抓取和密集多體接觸等高動(dòng)態(tài)任務(wù)。

為了支撐大規(guī)模并行訓(xùn)練，團(tuán)隊(duì)進(jìn)一步引入約束島并行化接觸流形熱啟動(dòng)機(jī)制：

前者將彼此獨(dú)立的剛體交互系統(tǒng)拆分為多個(gè)約束島并行求解，后者利用上一幀已收斂的接觸沖量作為當(dāng)前幀初值，將穩(wěn)定堆疊場景中的PGS迭代次數(shù)從50次以上降低到10次以內(nèi)，大幅提升復(fù)雜接觸場景下的收斂效率。

實(shí)驗(yàn)結(jié)果充分驗(yàn)證了這一自研物理引擎的穩(wěn)定性與吞吐優(yōu)勢。

在Franka Panda動(dòng)態(tài)抓取搖晃測試中，GS-Playground CPU后端在0.002s與0.01s兩種時(shí)間步下，均實(shí)現(xiàn)90/90的完整保持成功率，顯著優(yōu)于MuJoCo、IsaacSim與Genesis等主流方案；

在27自由度人形機(jī)器人復(fù)雜多體交互基準(zhǔn)中，當(dāng)單環(huán)境擴(kuò)展到50個(gè)機(jī)器人時(shí)，GS-Playground CPU后端仍能保持1015 FPS的穩(wěn)定吞吐，相比MuJoCo實(shí)現(xiàn)32倍加速，相比MjWarp實(shí)現(xiàn)約600倍提升。

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

自研內(nèi)存高效Batch 3DGS渲染技術(shù)：打破保真與效率的行業(yè)不可能三角

數(shù)千個(gè)高保真3DGS場景同時(shí)渲染帶來的內(nèi)存與算力挑戰(zhàn)，一直是制約視覺驅(qū)動(dòng)機(jī)器人大規(guī)模訓(xùn)練的核心卡點(diǎn)。

針對剛體仿真環(huán)境，團(tuán)隊(duì)首先設(shè)計(jì)了專屬優(yōu)化的高效剪枝策略

該策略可將高斯點(diǎn)數(shù)量減少90%以上，同時(shí)峰值信噪比（PSNR）下降幅度不足0.05，視覺差異幾乎無法被視覺運(yùn)動(dòng)策略感知。

這一技術(shù)在大幅降低顯存占用的同時(shí)，幾乎無損地保留了場景的視覺質(zhì)量，為大規(guī)模高保真并行仿真奠定了核心基礎(chǔ)。

在此基礎(chǔ)上，團(tuán)隊(duì)研發(fā)了面向批處理深度優(yōu)化的批量3DGS渲染器，實(shí)現(xiàn)了多場景大規(guī)模高斯渲染的并行處理。

在單張NVIDIA RTX 4090 GPU上，渲染器在640×480分辨率下可實(shí)現(xiàn)最高10000 FPS的突破性吞吐量，最多可同時(shí)渲染2048個(gè)場景，不僅顯著提升了單位算力的渲染效率，更能完美適配大批次強(qiáng)化學(xué)習(xí)的訓(xùn)練工作流，讓大規(guī)模并行訓(xùn)練不再受限于渲染性能。

Figure 2. Rendering throughput comparison between GS-Playground and Isaac Sim’s ray-tracing renderer across varying resolutions

此外，團(tuán)隊(duì)還提出了剛性連桿高斯運(yùn)動(dòng)學(xué)（RLGK）機(jī)制，將3D高斯簇與物理引擎中的對應(yīng)剛體進(jìn)行精準(zhǔn)綁定，確保視覺表征與物理對象的位姿能偶實(shí)時(shí)同步更新，實(shí)現(xiàn)了零額外開銷的狀態(tài)同步。

即便是在機(jī)器人快速運(yùn)動(dòng)、頻繁接觸交互的動(dòng)態(tài)場景中，渲染器依然能夠?qū)崿F(xiàn)無偽影的動(dòng)態(tài)畫面輸出，從根源上解決了動(dòng)態(tài)場景中的渲染時(shí)間一致性與視覺偽影問題，保障了訓(xùn)練數(shù)據(jù)的穩(wěn)定性與可靠性。

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

自動(dòng)化“Sim-Ready”Real2Sim工作流：降低 Real2Sim門檻

傳統(tǒng)仿真場景的構(gòu)建，始終是機(jī)器人研發(fā)流程中效率最低、成本最高的環(huán)節(jié)之一。

無論人工建模多么精細(xì)，卻始終無法完全復(fù)刻真實(shí)環(huán)境的視覺細(xì)節(jié)與物理特性，感知與物理的雙重鴻溝成為了制約sim-to-real跨域遷移的核心卡點(diǎn)。

針對這一行業(yè)痛點(diǎn)，GS-Playground設(shè)計(jì)了一套全自動(dòng)化的“圖像到物理”Real2Sim工作流，僅需輸入單張RGB圖像，即可在數(shù)分鐘內(nèi)完成仿真就緒（Sim-Ready）數(shù)字資產(chǎn)的全流程創(chuàng)建，實(shí)現(xiàn)了真實(shí)場景到數(shù)字孿生的快速轉(zhuǎn)換，同時(shí)保證視覺真實(shí)感與物理一致性。

Figure 3. GS-Playground System Architecture

• 左：自動(dòng)化圖像到物理仿真管線，通過目標(biāo)分割、背景補(bǔ)繪、三維高斯濺射 / 網(wǎng)格重建，從RGB輸入構(gòu)建可直接用于仿真的資源。
• 中：物理與渲染仿真核心，包含CPU/GPU物理后端、集成傳感器與激光雷達(dá)仿真，以及經(jīng)過剪枝優(yōu)化與剛性連桿運(yùn)動(dòng)學(xué)適配的批量三維高斯濺射渲染。
• 右：下游應(yīng)用，包括操作任務(wù)、導(dǎo)航任務(wù)以及大規(guī)模并行強(qiáng)化學(xué)習(xí)。

基于這套成熟的自動(dòng)化工作流，團(tuán)隊(duì)還構(gòu)建了Bridge-GS數(shù)據(jù)集，在Bridge-v2數(shù)據(jù)集的基礎(chǔ)上，補(bǔ)充了場景與物體級的3DGS表征、物體級網(wǎng)格模型、6D位姿數(shù)據(jù)與校準(zhǔn)后的相機(jī)參數(shù)，為行業(yè)提供了標(biāo)準(zhǔn)化的高質(zhì)量仿真數(shù)據(jù)集。

同時(shí)團(tuán)隊(duì)在InteriorGS數(shù)據(jù)集上完成了完整的泛化性驗(yàn)證，充分證明了該管線對不同室內(nèi)場景的強(qiáng)適配能力與泛化性能。

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

全鏈路端到端驗(yàn)證：實(shí)現(xiàn)零微調(diào)的無縫仿真到真實(shí)遷移

基于三大核心技術(shù)的深度協(xié)同，GS-Playground完整構(gòu)建了從真實(shí)場景重建、大規(guī)模并行訓(xùn)練，到真機(jī)部署的全鏈路端到端閉環(huán)，真正實(shí)現(xiàn)了“重建即訓(xùn)練、訓(xùn)練即部署”的研發(fā)流程革新。

在策略訓(xùn)練與真機(jī)遷移的核心能力上，平臺可穩(wěn)定支持?jǐn)?shù)千個(gè)并行環(huán)境同時(shí)運(yùn)行，為四足機(jī)器人、人形機(jī)器人、工業(yè)機(jī)械臂等全品類機(jī)器人，提供大規(guī)模視覺強(qiáng)化學(xué)習(xí)訓(xùn)練支撐。

僅在GS-Playground仿真環(huán)境中完成訓(xùn)練的視覺驅(qū)動(dòng)策略，無需任何額外的微調(diào)與適配，就能直接部署到真實(shí)機(jī)器人上穩(wěn)定運(yùn)行：

1. 四足和人形機(jī)器人的運(yùn)動(dòng)策略均可zero-shot部署到真機(jī)；
2. 視覺導(dǎo)航任務(wù)實(shí)現(xiàn)了零樣本的真機(jī)直接部署；
3. 機(jī)械臂抓取任務(wù)在零微調(diào)的前提下，真實(shí)場景成功率達(dá)到90%。

Figure 4.Real-world deployment of policies trained in GS-Playground

這一系列實(shí)驗(yàn)結(jié)果，充分證明了平臺實(shí)現(xiàn)了真正無壁壘的仿真到真實(shí)遷移，也驗(yàn)證了其在打通具身智能感知與物理跨域鴻溝上的核心價(jià)值。

開源賦能：與全球社區(qū)共同推動(dòng)具身智能創(chuàng)新

GS-Playground作為行業(yè)內(nèi)首個(gè)實(shí)現(xiàn)高吞吐量并行物理仿真與高保真批量3DGS渲染深度融合的全棧仿真框架，從根源上突破了長期制約視覺驅(qū)動(dòng)機(jī)器人學(xué)習(xí)的算力、顯存與資產(chǎn)生成三大核心瓶頸。

其自動(dòng)化Real2Sim工作流，大幅降低了高保真仿真環(huán)境的構(gòu)建成本；

全維度的實(shí)驗(yàn)驗(yàn)證也充分證明，平臺在足式運(yùn)動(dòng)、自主導(dǎo)航、機(jī)器人操作等機(jī)器人主流任務(wù)中，能夠同時(shí)彌合物理與感知層面的仿真到現(xiàn)實(shí)鴻溝，實(shí)現(xiàn)真正的零微調(diào)真機(jī)部署。

未來，GS-Playground還將持續(xù)迭代優(yōu)化，不斷拓展能力邊界。

清華大學(xué)智能產(chǎn)業(yè)研究院DISCOVER Lab始終致力于推動(dòng)具身智能領(lǐng)域的前沿研究與技術(shù)創(chuàng)新，我們將正式開源GS-Playground的全?？蚣?，提供一套高性能、易使用、高泛化性的核心基礎(chǔ)設(shè)施，助力大規(guī)模端到端視覺驅(qū)動(dòng)機(jī)器人策略學(xué)習(xí)的進(jìn)一步發(fā)展與產(chǎn)業(yè)落地。

項(xiàng)目主頁：
https://gsplayground.github.io
論文鏈接：
https://arxiv.org/abs/2604.25459
倉庫鏈接：
https://github.com/discoverse-dev/gs_playground