• 由 NVIDIA、Google DeepMind 以及 Disney Research 聯(lián)合開發(fā)的開源物理引擎 Newton，現(xiàn)可在 NVIDIA Isaac Lab 中使用。這一物理引擎將助力科研人員及開發(fā)者打造功能更強(qiáng)大、適應(yīng)性更強(qiáng)的機(jī)器人。

• 全新的 NVIDIA Isaac GR00T 開源基礎(chǔ)模型將為機(jī)器人賦予接近人類的推理能力，使其能夠拆解復(fù)雜指令，并借助已有知識與常識執(zhí)行任務(wù)。

• 借助全新的 NVIDIA Cosmos 世界基礎(chǔ)模型，開發(fā)者可以生成多樣化數(shù)據(jù)，從而大規(guī)模加速物理 AI 模型的訓(xùn)練。

• 來自斯坦福大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、新加坡國立大學(xué)等頂尖高校的全球科研人員，正借助 NVIDIA 的加速計(jì)算技術(shù)及軟件推進(jìn)機(jī)器人研究工作。

• 包括 Agility Robotics、Boston Dynamics、Disney Research、Figure AI、Franka Robotics、Hexagon、Skild AI、Solomon 以及 Techman Robot 在內(nèi)的領(lǐng)先機(jī)器人公司，正在采用 NVIDIA Isaac 與 Omniverse 技術(shù)。

NVIDIA 今日在機(jī)器人學(xué)習(xí)大會（CoRL）上宣布，開源物理引擎 Newton 現(xiàn)已可以通過 NVIDIA Isaac? Lab 獲取，同時(shí)推出的還有用于機(jī)器人技能的開源推理視覺語言動(dòng)作模型 NVIDIA Isaac GR00T N1.6，以及全新 AI 基礎(chǔ)設(shè)施。上述技術(shù)為開發(fā)者和研究人員提供了開源的機(jī)器人加速平臺，該平臺能夠加快迭代周期、統(tǒng)一測試標(biāo)準(zhǔn)、整合訓(xùn)練與機(jī)器人端推理，并助力機(jī)器人安全可靠地將技能從仿真環(huán)境遷移到現(xiàn)實(shí)世界。

NVIDIA Omniverse 與仿真技術(shù)副總裁 Rev Lebaredian 表示：“人形機(jī)器人是物理 AI 的下一個(gè)前沿領(lǐng)域，需要在不可預(yù)測的世界中進(jìn)行推理，適應(yīng)環(huán)境并安全行動(dòng)。通過最新升級，開發(fā)者可以擁有將機(jī)器人從研發(fā)階段帶入日常生活的三大核心工具，包括充當(dāng)機(jī)器人‘大腦’的 Isaac GR00T，負(fù)責(zé)對機(jī)器人‘身體’運(yùn)作進(jìn)行仿真的物理引擎 Newton，以及作為機(jī)器人‘訓(xùn)練基地’的 NVIDIA Omniverse�！�

物理引擎 Newton

開創(chuàng)機(jī)器人物理仿真新標(biāo)準(zhǔn)

機(jī)器人在仿真環(huán)境中的學(xué)習(xí)速度更快、安全性更高，但人形機(jī)器人關(guān)節(jié)結(jié)構(gòu)、平衡控制和動(dòng)作模式非常復(fù)雜，現(xiàn)有物理引擎的性能已經(jīng)難以滿足。全球超過 25 萬機(jī)器人開發(fā)者亟需精準(zhǔn)的物理仿真技術(shù)，以確保在仿真環(huán)境中教會機(jī)器人技能，同時(shí)安全可靠地遷移到現(xiàn)實(shí)世界。

今天 NVIDIA 宣布，由 Linux Foundation 管理、GPU 加速的開源物理引擎 Newton 已發(fā)布測試版本。該物理引擎由 Google DeepMind、Disney Research 與 NVIDIA 聯(lián)合開發(fā)，基于 NVIDIA Warp 和 OpenUSD 框架構(gòu)建，現(xiàn)已開放使用。

憑借 Newton 靈活的設(shè)計(jì)，以及兼容多種物理求解器的能力，開發(fā)者現(xiàn)在可以對非常復(fù)雜的機(jī)器人動(dòng)作進(jìn)行仿真，例如在雪地或碎石路面行走、操控杯子和水果等，并且能夠成功地將這些動(dòng)作部署到現(xiàn)實(shí)場景中。

包括蘇黎世聯(lián)邦理工學(xué)院機(jī)器人系統(tǒng)實(shí)驗(yàn)室、慕尼黑工業(yè)大學(xué)及北京大學(xué)在內(nèi)的眾多知名高校，以及機(jī)器人技術(shù)公司光輪智能，仿真引擎公司 Style3D 已經(jīng)率先使用 Newton。

Cosmos Reason 為全新開源模型

Isaac GR00T N1.6 提升機(jī)器人推理能力

為了在物理世界中執(zhí)行類似人類的任務(wù)，人形機(jī)器人必須能夠理解模糊指令，并應(yīng)對各種以前未見過的復(fù)雜情況。

最新發(fā)布的開源機(jī)器人基礎(chǔ)模型 NVIDIA Isaac GR00T N1.6，即將在 Hugging Face 平臺上線。這一模型將集成 NVIDIA Cosmos? Reason——一款專為物理 AI 打造的開源、可定制的推理視覺語言模型。作為機(jī)器人的“深度思考大腦”，Cosmos Reason 能夠利用已有知識、常識和物理原理，將模糊的指令轉(zhuǎn)化為逐步執(zhí)行的計(jì)劃，從而應(yīng)對新場景并泛化到多種任務(wù)中去。

Cosmos Reason 的下載量已超過 100 萬次，目前在 Hugging Face 的物理推理模型排行榜上位居榜首。該模型還能夠篩選和標(biāo)注大量真實(shí)及合成數(shù)據(jù)，用于模型訓(xùn)練。Cosmos Reason 1 現(xiàn)已作為 NVIDIA NIM? 提供，NVIDIA NIM是一款易于使用的 AI 模型部署微服務(wù)。

借助 NVIDIA Isaac GR00T N1.6，人形機(jī)器人可以同時(shí)完成移動(dòng)和物體操控動(dòng)作，其軀干和手臂擁有更大的活動(dòng)自由度，能夠完成各種高難度任務(wù)，比如推開較重的房門。

開發(fā)者還可以利用 Hugging Face 平臺上的開源 NVIDIA 物理 AI 數(shù)據(jù)集，對 NVIDIA Isaac GR00T N 系列模型進(jìn)行后訓(xùn)練。該數(shù)據(jù)集包含數(shù)千條合成及來自真實(shí)世界的軌跡數(shù)據(jù)，目前下載量已超過 480 萬次。

AeiROBOT、Franka Robotics、LG Electronics、光輪智能、Mentee Robotics、Neura Robotics、Solomon、Techman Robot 和 UCR 等領(lǐng)先機(jī)器人制造商，正評估采用 Isaac GR00T N 系列模型來打造通用機(jī)器人。

面向物理 AI 開發(fā)的

全新 Cosmos 世界基礎(chǔ)模型

NVIDIA 宣布了開源 Cosmos 世界基礎(chǔ)模型（WFM）的全新更新。該模型的下載量已超過 300 萬次，開發(fā)者可通過文本、圖像和視頻提示，生成多樣化數(shù)據(jù)，從而大規(guī)模加速物理 AI 模型的訓(xùn)練。

• 即將推出的 Cosmos Predict 2.5 將三款 Cosmos 世界基礎(chǔ)模型進(jìn)行整合，集成為一個(gè)功能強(qiáng)大的模型，大幅降低了復(fù)雜度，節(jié)省開發(fā)時(shí)間并提高效率。它支持更長時(shí)長的視頻生成（最長可創(chuàng)建 30 秒視頻），同時(shí)提供多視角攝像頭輸出，以實(shí)現(xiàn)更豐富的世界仿真效果。

• 即將推出的 Cosmos Transfer 2.5 相比上一代模型，其生成結(jié)果速度更快、質(zhì)量更高，而模型大小僅為上一代模型的 1/3.5。該模型能夠根據(jù)真實(shí)的 3D 仿真場景和空間控制輸入，比如深度信息、分割數(shù)據(jù)、邊緣信息和高分辨率地圖等，生成逼真的合成數(shù)據(jù)。

訓(xùn)練機(jī)器人抓取技能的新工作流

教會機(jī)器人抓取物體是機(jī)器人領(lǐng)域最具挑戰(zhàn)性的任務(wù)之一。這不僅涉及機(jī)械臂的移動(dòng)，還需要將抽象的指令轉(zhuǎn)化為精準(zhǔn)的動(dòng)作，機(jī)器人必須通過反復(fù)試錯(cuò)才能掌握這項(xiàng)技能。

基于 NVIDIA Omniverse? 構(gòu)建的開發(fā)者預(yù)覽版 NVIDIA Isaac Lab 2.3 新增了靈巧抓取工作流。該工作流通過自動(dòng)化課程體系，在虛擬環(huán)境中對擁有多手指的機(jī)器人和機(jī)械臂進(jìn)行訓(xùn)練，從簡單任務(wù)開始，逐步提升難度。此工作流會調(diào)整重力、摩擦力、物體重量等參數(shù)，訓(xùn)練機(jī)器人在不可預(yù)測的環(huán)境中也能掌握技能。

Boston Dynamics 的 Atlas 機(jī)器人借助這一工作流學(xué)習(xí)抓取技能，其操控能力得到了顯著提升。

包括 Agility Robotics、Boston Dynamics、Figure AI、Hexagon、Skild AI、Solomon 以及 Techman Robot 在內(nèi)的領(lǐng)先的機(jī)器人公司，已經(jīng)采用 NVIDIA Isaac 和 Omniverse 技術(shù)。

在仿真環(huán)境中評估機(jī)器人的習(xí)得技能

讓機(jī)器人掌握一項(xiàng)新技能（如拿起杯子或穿過房間）非常困難，在實(shí)體機(jī)器人上測試這些技能不僅耗時(shí)且成本高昂。

仿真技術(shù)為解決這一問題提供了途徑，它能夠在無數(shù)場景、任務(wù)和環(huán)境中測試機(jī)器人習(xí)得的技能。但即便在仿真環(huán)境中，開發(fā)者構(gòu)建的測試場景往往零散且簡單化，無法真實(shí)反映現(xiàn)實(shí)世界的復(fù)雜情況。在完美且簡單的仿真環(huán)境中學(xué)會導(dǎo)航的機(jī)器人，一旦面臨現(xiàn)實(shí)世界的復(fù)雜狀況就會失敗。

為了讓開發(fā)者無需從零構(gòu)建系統(tǒng)，即可在仿真環(huán)境中開展復(fù)雜、大規(guī)模的評估，NVIDIA 與光輪智能聯(lián)合開發(fā)了 NVIDIA Isaac Lab Arena——這是一個(gè)用于大規(guī)模實(shí)驗(yàn)和標(biāo)準(zhǔn)化測試的開源策略評估框架，該框架即將推出。

全新 NVIDIA AI 基礎(chǔ)設(shè)施，

為機(jī)器人工作負(fù)載提供全面支持

為了讓開發(fā)者充分利用這些先進(jìn)的技術(shù)和軟件庫，NVIDIA 推出了專為高要求工作負(fù)載設(shè)計(jì)的 AI 基礎(chǔ)設(shè)施，包括：

• NVIDIA GB200 NVL72：這是一款集成了 36 個(gè) NVIDIA Grace? CPU 和 72 個(gè) NVIDIA Blackwell GPU 的機(jī)架式系統(tǒng)。各大云服務(wù)提供商已開始采用該系統(tǒng)，以加速 AI 訓(xùn)練和推理過程，包括復(fù)雜推理和物理 AI 任務(wù)。

• NVIDIA RTX PRO? 服務(wù)器：為機(jī)器人開發(fā)的各類工作負(fù)載（包括訓(xùn)練、合成數(shù)據(jù)生成、機(jī)器人學(xué)習(xí)和仿真）提供統(tǒng)一架構(gòu)。RAI Institute 已采用 RTX PRO 服務(wù)器。

• NVIDIA Jetson Thor?：搭載 Blackwell GPU，能夠支持機(jī)器人運(yùn)行多個(gè) AI 工作流，實(shí)現(xiàn)實(shí)時(shí)智能交互，帶來機(jī)器人端實(shí)時(shí)推理功能。這一突破對于高性能物理 AI 工作負(fù)載以及人形機(jī)器人等應(yīng)用具有重要意義。包括 Figure AI、銀河通用、Google DeepMind、Mentee Robotics、Meta、Skild AI 以及宇樹科技在內(nèi)的合作伙伴已采用 Jetson Thor。

NVIDIA 推進(jìn)機(jī)器人研究進(jìn)程

CoRL 收錄的論文中，近半數(shù)引用了 NVIDIA 的相關(guān)技術(shù)，包括 GPU、仿真框架和 CUDA 加速庫。這些技術(shù)已被卡內(nèi)基梅隆大學(xué)、華盛頓大學(xué)、蘇黎世聯(lián)邦理工學(xué)院和新加坡國立大學(xué)等領(lǐng)先研究實(shí)驗(yàn)室及機(jī)構(gòu)廣泛采用。

此次 CoRL 還重點(diǎn)展示了斯坦福視覺與學(xué)習(xí)實(shí)驗(yàn)室開展的機(jī)器人學(xué)習(xí)基準(zhǔn)測試項(xiàng)目 BEHAVIOR，以及由北京大學(xué)開發(fā)的用于推進(jìn)基于視覺的觸覺機(jī)器人研究的高性能仿真平臺 Taccel。

想要了解更多 NVIDIA 的機(jī)器人研究成果，請關(guān)注 9 月 27 日至 10 月 2 日在首爾舉辦的 CoRL。