ROBOT INDUSTRY

“通用”是機(jī)器人迭代演進(jìn)的目標(biāo)形態(tài)，這要求機(jī)器人具備高度泛化的感知、認(rèn)知和決策能力，需要依托海量數(shù)據(jù)對(duì)具身模型進(jìn)行訓(xùn)練。傳統(tǒng)的人工數(shù)據(jù)采集方式難度大、要求高、效率低，成為制約機(jī)器人智能化水平提升的關(guān)鍵“卡點(diǎn)”，NVIDIA打造的數(shù)據(jù)合成解決方案成為破解“數(shù)據(jù)荒”的關(guān)鍵一招。

當(dāng)前，具身智能無疑是風(fēng)靡全球的流行熱詞，這項(xiàng)技術(shù)的發(fā)展，使機(jī)器人不再是只能執(zhí)行預(yù)設(shè)程序的自動(dòng)化裝備，而是逐漸成為具有視覺感知、環(huán)境理解、自主決策和持續(xù)學(xué)習(xí)等綜合能力的智能體，加快推動(dòng)生產(chǎn)力重塑，賦能傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。

作為具身智能領(lǐng)域的“流量明星”，人形機(jī)器人的研發(fā)和應(yīng)用被給予厚望。馬拉松、拳擊賽、足球賽等競(jìng)技活動(dòng)引人矚目，進(jìn)工廠、進(jìn)商店、進(jìn)社區(qū)等實(shí)踐案例不勝枚舉，人形機(jī)器人商業(yè)化藍(lán)海吸引無數(shù)創(chuàng)業(yè)者投身其中，然而由0到1的規(guī)?；瘧?yīng)用突破仍然存在難以逾越的現(xiàn)實(shí)桎梏。近年來，國內(nèi)人形機(jī)器人訓(xùn)練場(chǎng)在多地陸續(xù)設(shè)立，國外部分企業(yè)不惜斥重金雇傭人類員工訓(xùn)練機(jī)器人，諸如此類的消息頻頻引發(fā)行業(yè)關(guān)注，究其原因在于這背后蘊(yùn)藏著共同的關(guān)切——數(shù)據(jù)——制約人形機(jī)器人智能化水平提升的“隱形門檻”。

如果說大模型是人形機(jī)器人的“大腦”，那么數(shù)據(jù)則是它“生長發(fā)育”所離不開的“養(yǎng)料”，這就不難理解數(shù)據(jù)為何會(huì)如此重要。舉例而言，僅僅一個(gè)倒水的動(dòng)作，就需要采集100條高質(zhì)量數(shù)據(jù)供大模型訓(xùn)練，而在現(xiàn)實(shí)生活中，杯子的外形、位置千差萬別，機(jī)器人想要靈活應(yīng)對(duì)各種情況，就需要采用更大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練學(xué)習(xí)。因此，機(jī)器人領(lǐng)域存在一個(gè)普遍共識(shí)：海量數(shù)據(jù)訓(xùn)練是實(shí)現(xiàn)智能化的核心前提。

1

“數(shù)據(jù)荒”成為人形機(jī)器人智能化瓶頸

人形機(jī)器人的能力進(jìn)化高度依賴數(shù)據(jù)“滋養(yǎng)”，而數(shù)據(jù)匱乏是行業(yè)面臨的共性難題?，F(xiàn)階段，大語言模型已經(jīng)得到成熟應(yīng)用，融入社會(huì)生產(chǎn)生活的諸多方面，但人形機(jī)器人在行走、取物、交互等方面仍“躡手躡腳”，沒有想象中靈巧聰慧，這就是數(shù)據(jù)量差異帶來的直觀表現(xiàn)?；诨ヂ?lián)網(wǎng)數(shù)十年的發(fā)展積累，可用于訓(xùn)練大語言模型的數(shù)據(jù)量規(guī)模達(dá)PB級(jí)，但能用于訓(xùn)練人形機(jī)器人的有效數(shù)據(jù)卻遠(yuǎn)不及此，盡管一部分整機(jī)企業(yè)開放了真機(jī)數(shù)據(jù)，但仍難填鴻溝。

人形機(jī)器人緣何面臨“數(shù)據(jù)荒”？主要原因可歸結(jié)為以下三點(diǎn)。

一是行業(yè)發(fā)展起步晚，數(shù)據(jù)積累不足。人形機(jī)器人的高速發(fā)展集中在近5年，盡管此前工業(yè)機(jī)器人已經(jīng)廣泛應(yīng)用于制造業(yè)，但由于其在物理結(jié)構(gòu)、傳感器配置、任務(wù)場(chǎng)景等方面均與前者存在顯著差異，因此相關(guān)數(shù)據(jù)難以遷移至人形機(jī)器人。除此之外，由于各家廠商的機(jī)器人在本體設(shè)計(jì)、傳感器配置等方面也存在區(qū)別，導(dǎo)致數(shù)據(jù)跨平臺(tái)復(fù)用率低。

二是數(shù)據(jù)采集難度大、成本高。人形機(jī)器人的運(yùn)行涉及視覺、力覺、觸覺等多維感知信息，需要同步各傳感器數(shù)據(jù)，時(shí)序?qū)R精度達(dá)毫秒級(jí)，現(xiàn)有技術(shù)誤差容易導(dǎo)致動(dòng)作失控；采集真實(shí)交互數(shù)據(jù)需部署高精度光學(xué)動(dòng)捕系統(tǒng)，并依托專業(yè)操作員手把手示教，硬件采購和人員成本普遍較高，并且一旦涉及工業(yè)等真實(shí)作業(yè)場(chǎng)景，還可能占用產(chǎn)線資源，第三方配合意愿低。

三是“數(shù)據(jù)孤島”現(xiàn)象突出。一方面，企業(yè)將數(shù)據(jù)視為核心競(jìng)爭(zhēng)力，紛紛組建私有數(shù)據(jù)集，即便一些開源社區(qū)上線了共享數(shù)據(jù)集，但大多聚焦簡(jiǎn)單任務(wù)，復(fù)雜場(chǎng)景數(shù)據(jù)依然十分稀缺。另一方面，數(shù)據(jù)集缺乏統(tǒng)一的質(zhì)量評(píng)估體系，難以規(guī)避錯(cuò)誤標(biāo)注帶來的現(xiàn)實(shí)風(fēng)險(xiǎn)，例如錯(cuò)誤的數(shù)據(jù)標(biāo)注可能造成醫(yī)療機(jī)器人拿錯(cuò)藥物，因而導(dǎo)致“數(shù)據(jù)信任”窘境。

目前，行業(yè)普遍認(rèn)同的數(shù)據(jù)破題路徑主要分為兩類，一是通過整合資源、規(guī)范標(biāo)準(zhǔn)、共建共享等手段多措并舉，打造高質(zhì)量真實(shí)數(shù)據(jù)集；二是借助物理仿真技術(shù)手段，降低真機(jī)數(shù)據(jù)采集成本，高效生成訓(xùn)練數(shù)據(jù)。針對(duì)前者，國家地方共建人形機(jī)器人創(chuàng)新中心、北京人形機(jī)器人創(chuàng)新中心等機(jī)構(gòu)已經(jīng)開展積極探索，收獲顯著成效。后者則涌現(xiàn)出了以NVIDIA為代表的科技企業(yè)先驅(qū)，基于深厚的行業(yè)積累，創(chuàng)新打造全棧機(jī)器人解決方案，幫助機(jī)器人開發(fā)者應(yīng)對(duì)未來的技術(shù)挑戰(zhàn)。

2

NVIDIA合成數(shù)據(jù)生成技術(shù)打造人形機(jī)器人數(shù)據(jù)“糧倉”

模仿學(xué)習(xí)是指人形機(jī)器人通過觀察和效仿演示操作的方式獲取新技能，這是機(jī)器人學(xué)習(xí)的一條重要途徑。其中，“演示操作”可以是人類錄制的真實(shí)視頻，也可以是仿真數(shù)據(jù)。經(jīng)過訓(xùn)練的人類演示員，平均每分鐘可以錄制一段高質(zhì)量示范動(dòng)作，但由于這種傳統(tǒng)的數(shù)據(jù)采集方式需要大量人力支持，且存在出錯(cuò)的可能，因此難以大規(guī)模推廣。相比之下，NVIDIA推出的NVIDIA Isaac GR00T Blueprint，能夠基于少量的人類演示數(shù)據(jù)創(chuàng)建大量合成運(yùn)動(dòng)軌跡，并用于訓(xùn)練機(jī)器人。測(cè)試結(jié)果表明，GR00T Blueprint可以在11小時(shí)內(nèi)生成780,000個(gè)合成軌跡，相當(dāng)于人類演示員連續(xù)9個(gè)月采集的數(shù)據(jù)總量。此外，GR00T Blueprint生成的數(shù)據(jù)還能與真實(shí)世界數(shù)據(jù)相結(jié)合，進(jìn)一步提升數(shù)據(jù)的質(zhì)量和規(guī)模，從而達(dá)到與人類演示數(shù)據(jù)相似的訓(xùn)練成功率。

圖1 NVIDIA Isaac GR00T Blueprint架構(gòu)

從運(yùn)行邏輯上看，GR00T Blueprint的工作流程可分為數(shù)據(jù)采集和生成合成軌跡兩部分。在數(shù)據(jù)采集階段，NVIDIA Isaac Lab平臺(tái)會(huì)生成機(jī)器人環(huán)境仿真，操作者通過佩戴Apple Vision Pro等高保真顯示設(shè)備沉浸式觀察作業(yè)環(huán)境，其手部動(dòng)作被Apple Vision Pro實(shí)時(shí)采集并傳輸回Isaac Lab平臺(tái)，以此讓操作者直觀地控制仿真世界中的機(jī)器人執(zhí)行任務(wù)，完成示教操作。在生成合成軌跡階段，Isaac GR00T-Mimic會(huì)從少量的人類示范中推算出大量合成運(yùn)動(dòng)軌跡，這個(gè)過程包括在示范中標(biāo)記關(guān)鍵點(diǎn)，使用插值法合成平滑且符合情境的運(yùn)動(dòng)軌跡，以及對(duì)生成的數(shù)據(jù)進(jìn)行評(píng)估和優(yōu)化等，確保仿真數(shù)據(jù)滿足訓(xùn)練標(biāo)準(zhǔn)。

仿真數(shù)據(jù)的生成過程看似簡(jiǎn)單，但要想縮小仿真和現(xiàn)實(shí)之間的訓(xùn)練差距，就需要使合成的機(jī)器人和場(chǎng)景具有足夠逼真的3D效果，并通過隨機(jī)設(shè)定照明、顏色和背景等各種參數(shù)來增加多樣性。通常，仿真的過程需要由專業(yè)的建模人員耗費(fèi)大量時(shí)間完成。如今，借助NVIDIA推出的Cosmos Transfer（WFMs），只需簡(jiǎn)單的文本提示，就能生成高質(zhì)量仿真場(chǎng)景，將耗時(shí)從數(shù)小時(shí)縮短至幾分鐘，大幅提升了建模效率。

圖2 NVIDIA Isaac GR00T N系列模型架構(gòu)

通過利用合成數(shù)據(jù)集進(jìn)行真實(shí)訓(xùn)練，NVIDIA驗(yàn)證了這項(xiàng)解決方案的實(shí)用價(jià)值。Isaac GR00T N系列模型是NVIDIA打造的用于通用人形機(jī)器人推理和技能的開源基礎(chǔ)模型，能夠流暢處理文本指令與圖像等多模態(tài)輸入，輸出機(jī)器人動(dòng)作指令，具備出色的跨實(shí)體、跨任務(wù)泛化能力。該模型基于來自互聯(lián)網(wǎng)的大規(guī)模數(shù)據(jù)和人類視頻進(jìn)行訓(xùn)練，此外還補(bǔ)充了通過GR00T Blueprint生成的合成數(shù)據(jù)，將這些合成數(shù)據(jù)與真實(shí)數(shù)據(jù)相結(jié)合后，與僅使用真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練的情況相比，GR00T N的性能能夠提升40%。2025年5月，NVIDIA發(fā)布了Isaac GR00T N1.5，借助GR00T-Dreams Blueprint生成合成訓(xùn)練數(shù)據(jù)，研究人員僅用36小時(shí)就完成了GR00T N1的迭代升級(jí)。如果采用人工數(shù)據(jù)收集的方式進(jìn)行訓(xùn)練，該過程則需耗時(shí)近3個(gè)月。

3

高質(zhì)量數(shù)據(jù)加速具身智能落地部署

近年來，越來越多的科技企業(yè)選擇運(yùn)用NVIDIA Isaac平臺(tái)技術(shù)，加快推進(jìn)人形機(jī)器人的開發(fā)與部署。

作為生成式AI與仿真技術(shù)合成數(shù)據(jù)提供商，光輪智能成功將GR00T N1人形機(jī)器人基礎(chǔ)模型部署至汽車制造生產(chǎn)線，實(shí)現(xiàn)了GR00T N1模型在行業(yè)場(chǎng)景的首次實(shí)戰(zhàn)應(yīng)用。通過構(gòu)建物理交互真實(shí)、場(chǎng)景多樣化的仿真環(huán)境，光輪智能模擬了汽車工廠中的復(fù)雜任務(wù)場(chǎng)景，并基于“人在環(huán)”的仿真遙操作，生成了覆蓋各類任務(wù)的大規(guī)模遙操作合成數(shù)據(jù)。這些高質(zhì)量合成數(shù)據(jù)不僅加速了GR00T N1模型的訓(xùn)練過程，還通過“Real2Sim2Real+Realism Validation”技術(shù)架構(gòu)，有效縮小了仿真環(huán)境與物理現(xiàn)實(shí)世界的差距，確保訓(xùn)練成果能夠順利遷移至真實(shí)應(yīng)用場(chǎng)景，從而大幅提升模型在實(shí)際環(huán)境中的表現(xiàn)水平。在汽車工廠中，搭載GR00T N1模型的人形機(jī)器人裝載通過質(zhì)檢的零部件并批量搬運(yùn)放置到精確位置的動(dòng)作，展現(xiàn)了其在工業(yè)場(chǎng)景中的應(yīng)用潛力。兩者合作為具身智能進(jìn)入智能制造樹立了新范式。

通用具身機(jī)器人領(lǐng)域的“明星企業(yè)”智元機(jī)器人，推出了基于Isaac GR00T-Teleop和GR00T-Mimic技術(shù)的仿真大規(guī)模數(shù)據(jù)采集方案和海量開源仿真數(shù)據(jù)集AgiBot Digital World，高效解決機(jī)器人數(shù)據(jù)稀缺的問題。智元機(jī)器人的仿真數(shù)據(jù)生成方案，借助Isaac Sim高度逼真的視覺渲染和精確的物理引擎，精準(zhǔn)還原機(jī)器人的訓(xùn)練環(huán)境，并結(jié)合GR00T-Teleop遠(yuǎn)程操作和GR00T-Mimic的數(shù)據(jù)增廣技術(shù)，快速生成高質(zhì)量且多樣化的專家軌跡數(shù)據(jù)，不僅大幅降低了數(shù)據(jù)采集的成本和時(shí)間，還為機(jī)器人模型訓(xùn)練提供了豐富的仿真數(shù)據(jù)資源，幫助機(jī)器人更高效地融入人類社會(huì)，推動(dòng)各行各業(yè)的智能化轉(zhuǎn)型。

專注于具身多模態(tài)大模型通用機(jī)器人研發(fā)的創(chuàng)新企業(yè)銀河通用，借助Isaac Lab和Isaac Sim搭建了靈巧手抓取模型的仿真測(cè)試環(huán)境，顯著加速了對(duì)于靈巧手抓取模型Scaling Law的探索進(jìn)程，以及靈巧手泛化抓取技能在真實(shí)應(yīng)用場(chǎng)景中的落地進(jìn)程。

隨著生成式AI與物理仿真的深度融合，機(jī)器人加速由“專用工具”向“通用數(shù)字勞動(dòng)力”轉(zhuǎn)型。正如黃仁勛所言：“通用機(jī)器人時(shí)代已經(jīng)到來?！盢VIDIA正依托全棧機(jī)器人解決方案，與全球開發(fā)者共同開啟人機(jī)協(xié)同新紀(jì)元。

閱讀更多內(nèi)容，歡迎訂購《機(jī)器人產(chǎn)業(yè)》雜志。

點(diǎn)擊跳轉(zhuǎn)！圈內(nèi)人都在看的專家觀點(diǎn)