6萬(wàn)+分鐘數(shù)據(jù)、六大真實(shí)作業(yè)場(chǎng)景全覆蓋！

作者 |程茜

編輯 |漠影

機(jī)器人前瞻11月24日?qǐng)?bào)道，近日，國(guó)內(nèi)規(guī)模最大的全尺寸人形機(jī)器人數(shù)據(jù)集LET數(shù)據(jù)集正式發(fā)布，開(kāi)源首批6w+分鐘真機(jī)數(shù)據(jù)，其還為開(kāi)發(fā)者提供了一套數(shù)據(jù)轉(zhuǎn)換、模型訓(xùn)練、仿真測(cè)試與真機(jī)部署的全流程數(shù)據(jù)工具鏈。

▲機(jī)器人真機(jī)實(shí)采與仿真數(shù)據(jù)

這一數(shù)據(jù)集是國(guó)內(nèi)最大的面向真實(shí)作業(yè)場(chǎng)景的全尺寸人形機(jī)器人真機(jī)數(shù)據(jù)集，發(fā)布并開(kāi)源首批6w+分鐘數(shù)據(jù)，由樂(lè)聚機(jī)器人、國(guó)家地方共建人形機(jī)器人創(chuàng)新中心、北京數(shù)聚通啟、吳江智訓(xùn)未來(lái)聯(lián)合主導(dǎo)構(gòu)建。

目前，其6萬(wàn)多分鐘數(shù)據(jù)已被捐獻(xiàn)至開(kāi)放原子開(kāi)源基金會(huì)，在Openloong開(kāi)源社區(qū)官網(wǎng)上線。

數(shù)據(jù)采集是人形機(jī)器人從實(shí)驗(yàn)室走向規(guī)模化應(yīng)用的核心前提，其數(shù)據(jù)質(zhì)量與有效性直接決定了機(jī)器人具身智能的智能化水平上限。但目前這一領(lǐng)域仍面臨諸多現(xiàn)實(shí)瓶頸，如數(shù)據(jù)采集難度高、數(shù)據(jù)價(jià)值挖掘不充分、行業(yè)標(biāo)準(zhǔn)化缺失等問(wèn)題尤為突出。

此次LET數(shù)據(jù)集的開(kāi)源，不僅為行業(yè)提供了高質(zhì)量數(shù)據(jù)解決方案，更構(gòu)建了全流程技術(shù)支撐體系，加速人形機(jī)器人技術(shù)落地進(jìn)程。

01.

統(tǒng)一真機(jī)實(shí)采

可應(yīng)對(duì)復(fù)雜多場(chǎng)景需求

數(shù)據(jù)獲取難度大、標(biāo)注流程復(fù)雜等問(wèn)題已成為人形機(jī)器人研發(fā)的核心瓶頸，再加上可用的高質(zhì)量數(shù)據(jù)稀缺，也直接制約了其模型訓(xùn)練效果與跨場(chǎng)景泛化能力的提升。

業(yè)界主流的數(shù)據(jù)采集方式涵蓋仿真生成、數(shù)據(jù)合成與真機(jī)實(shí)采等，其中真機(jī)實(shí)采因能獲取真實(shí)場(chǎng)景下的高保真多模態(tài)數(shù)據(jù)，是突破仿真和現(xiàn)實(shí)之間“域差”、確保模型訓(xùn)練質(zhì)量與泛化能力的最有效方式。

真機(jī)實(shí)采的優(yōu)勢(shì)在于，其數(shù)據(jù)直接源自真實(shí)環(huán)境中的物理交互，能精準(zhǔn)還原力覺(jué)反饋、環(huán)境干擾等仿真數(shù)據(jù)難以模擬的細(xì)節(jié)，還能同步采集視覺(jué)、視覺(jué)、運(yùn)動(dòng)、語(yǔ)音等多維度數(shù)據(jù)。如下面LET數(shù)據(jù)集中的物流場(chǎng)景，機(jī)器人可還原拿取、掃描、放置快遞全流程。

▲機(jī)器人真機(jī)實(shí)采與仿真數(shù)據(jù)

LET數(shù)據(jù)集正是當(dāng)下國(guó)內(nèi)開(kāi)源領(lǐng)域規(guī)模最大全尺寸人形機(jī)器人數(shù)據(jù)集，其完全基于真機(jī)實(shí)采。

LET數(shù)據(jù)集是基于樂(lè)聚夸父系列全尺寸人形機(jī)器人進(jìn)行統(tǒng)一采集。這一人形機(jī)器人具備40多個(gè)自由度，身高約1.66米、體重約55公斤，同時(shí)搭配頭部立體相機(jī)與腕部RGB-D相機(jī)，可有效避免因機(jī)器人形態(tài)差異導(dǎo)致的數(shù)據(jù)偏差問(wèn)題。

一方面，這一人形機(jī)器人的形態(tài)參數(shù)貼合實(shí)際應(yīng)用需求，另一方面，相機(jī)的協(xié)同感知能提升數(shù)據(jù)采集精度。如下面對(duì)日用品的擺放，其可以通過(guò)頭部和腕部相機(jī)協(xié)同，將物品放置到正確位置。

除了技術(shù)層面，人形機(jī)器人產(chǎn)業(yè)發(fā)展仍面臨一大核心短板，那就是相關(guān)國(guó)家標(biāo)準(zhǔn)的缺位，技術(shù)路線碎片化、資源浪費(fèi)等都會(huì)為未來(lái)人形機(jī)器人規(guī)?；慨a(chǎn)造成風(fēng)險(xiǎn)。

因此，LET數(shù)據(jù)集從一開(kāi)始就做到了標(biāo)準(zhǔn)化。

該數(shù)據(jù)集以國(guó)家地方共建人形機(jī)器人創(chuàng)新中心規(guī)范為基準(zhǔn)，從源頭確保數(shù)據(jù)的高質(zhì)量、專(zhuān)業(yè)合規(guī)性與可用性，通過(guò)統(tǒng)一流程與標(biāo)準(zhǔn)化處理，破解數(shù)據(jù)多源異構(gòu)、數(shù)據(jù)格式不一、質(zhì)量參差不齊等痛點(diǎn)，實(shí)現(xiàn)規(guī)模化、高質(zhì)量的數(shù)據(jù)生產(chǎn)。

據(jù)了解，樂(lè)聚機(jī)器人與國(guó)家地方共建人形機(jī)器人創(chuàng)新中心還在聯(lián)合開(kāi)展國(guó)家及行業(yè)標(biāo)準(zhǔn)研制，推動(dòng)國(guó)家級(jí)標(biāo)準(zhǔn)化試點(diǎn)標(biāo)準(zhǔn)驗(yàn)證與實(shí)施應(yīng)用，從根源上破解數(shù)據(jù)采集標(biāo)準(zhǔn)化難題。

綜上可以看出，以真機(jī)采集為核心數(shù)據(jù)來(lái)源，并且建立在統(tǒng)一基準(zhǔn)之上的LET數(shù)據(jù)集，或成為推動(dòng)具身智能高質(zhì)量訓(xùn)練與規(guī)模化落地的關(guān)鍵之一。

02.

多模態(tài)數(shù)據(jù)＋六大真實(shí)作業(yè)場(chǎng)景

精準(zhǔn)匹配數(shù)據(jù)需求痛點(diǎn)

結(jié)合當(dāng)前人形機(jī)器人從實(shí)驗(yàn)室走向多場(chǎng)景落地、行業(yè)亟需真實(shí)場(chǎng)景高質(zhì)量數(shù)據(jù)破解域差與泛化難題的背景，當(dāng)我們聚焦于其數(shù)據(jù)本身會(huì)發(fā)現(xiàn)，LET數(shù)據(jù)集正以多模態(tài)數(shù)據(jù)深度融合與六大貼合工業(yè)、服務(wù)等實(shí)際需求的真實(shí)作業(yè)場(chǎng)景為支撐，精準(zhǔn)匹配行業(yè)數(shù)據(jù)需求痛點(diǎn)。

首先在多模態(tài)數(shù)據(jù)方面，人形機(jī)器人往往需要模擬人類(lèi)的感知、決策、執(zhí)行的類(lèi)人化交互邏輯，而單一模態(tài)數(shù)據(jù)無(wú)法覆蓋真實(shí)場(chǎng)景中復(fù)雜的環(huán)境認(rèn)知與物理交互需求，因此需要多模態(tài)數(shù)據(jù)的協(xié)同。

LET數(shù)據(jù)集融合了機(jī)器人頭部和雙腕視角的清晰、穩(wěn)定視頻流，并同步采集RGB圖像、深度圖、關(guān)節(jié)狀態(tài)及末端執(zhí)行器狀態(tài)等關(guān)鍵模態(tài)信息，全方位捕捉人形機(jī)器人的操作細(xì)節(jié)，使得最后的數(shù)據(jù)有較高完整度。

為了進(jìn)一步提高數(shù)據(jù)質(zhì)量，該數(shù)據(jù)集還采用了一套系統(tǒng)的多模態(tài)對(duì)齊標(biāo)注體系，通過(guò)任務(wù)標(biāo)注細(xì)化與多維度語(yǔ)義標(biāo)簽，使得機(jī)器人能更精準(zhǔn)地學(xué)習(xí)類(lèi)人化交互邏輯。

其次在真實(shí)場(chǎng)景方面，人形機(jī)器人最終需要在多樣化真實(shí)環(huán)境中實(shí)現(xiàn)實(shí)用化落地，因此需要不同場(chǎng)景的真實(shí)作業(yè)數(shù)據(jù)，以讓機(jī)器人模型學(xué)習(xí)適配不同環(huán)境特征、任務(wù)邏輯與突發(fā)情況。

LET數(shù)據(jù)集涵蓋了工業(yè)、商業(yè)零售及日常生活3大領(lǐng)域中，汽車(chē)工廠、快消場(chǎng)景、3C工廠、酒店服務(wù)、生活服務(wù)及物流場(chǎng)景6大場(chǎng)景，以及涵蓋抓取放置、工具使用、搬運(yùn)、協(xié)作等典型任務(wù)，覆蓋移動(dòng)平臺(tái)、機(jī)械臂單臂抓取，多臂協(xié)作等多種操作形態(tài)的31項(xiàng)任務(wù)、117種原子技能。

如在日化生產(chǎn)場(chǎng)景，其數(shù)據(jù)案例就包括日化產(chǎn)品的定姿擺放：

在汽車(chē)制造場(chǎng)景，應(yīng)用案例會(huì)涉及SPS零件分揀：

在物流場(chǎng)景，LET數(shù)據(jù)集會(huì)包含快遞分揀的應(yīng)用：

在3C場(chǎng)景，其有傳送帶物料分揀應(yīng)用：

該數(shù)據(jù)集目前汽車(chē)工廠的占比較大，這也契合當(dāng)下人形機(jī)器人率先在汽車(chē)工廠落地的行業(yè)趨勢(shì)。

可以看出，這一數(shù)據(jù)集的場(chǎng)景基本覆蓋了當(dāng)下人形機(jī)器人的應(yīng)用場(chǎng)景，且圍繞率先規(guī)模化落地的具體場(chǎng)景完成定向優(yōu)化。其既能夠?yàn)闄C(jī)器人算法提供多樣化真實(shí)場(chǎng)景的實(shí)戰(zhàn)數(shù)據(jù)支撐，還可以提升泛化能力，為機(jī)器人之后學(xué)習(xí)復(fù)雜技能鋪路。

多模態(tài)數(shù)據(jù)融合與多場(chǎng)景真實(shí)作業(yè)，這樣的雙重優(yōu)勢(shì)疊加，既可以解決高質(zhì)量數(shù)據(jù)稀缺的行業(yè)痛點(diǎn)，又通過(guò)精準(zhǔn)感知、場(chǎng)景適配的組合，降低企業(yè)研發(fā)階段的樣本采集與模型調(diào)優(yōu)成本。

03.

以硬件、算法、流程組合方案

突破數(shù)據(jù)采集瓶頸

要實(shí)現(xiàn)這樣的全棧式數(shù)據(jù)集構(gòu)建，首要攻克的便是數(shù)據(jù)實(shí)采環(huán)節(jié)的技術(shù)壁壘。對(duì)于人形機(jī)器人數(shù)據(jù)實(shí)采而言，真實(shí)環(huán)境的不可預(yù)測(cè)性與硬件部署、流程銜接的協(xié)同復(fù)雜性，是繞不開(kāi)的核心挑戰(zhàn)。

在此基礎(chǔ)上，LET數(shù)據(jù)集通過(guò)數(shù)采鏈路實(shí)現(xiàn)了三大技術(shù)創(chuàng)新。

一是構(gòu)建視覺(jué)伺服閉環(huán)數(shù)據(jù)。一般而言機(jī)器人本體與傳感器存在固有制造誤差、校準(zhǔn)偏差，且不同設(shè)備的硬件參數(shù)存在異構(gòu)性，其將有誤差的機(jī)器人本體和傳感器，轉(zhuǎn)變?yōu)橐蕾?lài)一個(gè)統(tǒng)一的、抽象的坐標(biāo)系或特征，可有效解決多設(shè)備數(shù)據(jù)一致性難題，使數(shù)據(jù)質(zhì)量一致性達(dá)到90%以上。

如下面復(fù)雜場(chǎng)景中，機(jī)器人可以準(zhǔn)確拿取物品，并通過(guò)轉(zhuǎn)身、走路等運(yùn)動(dòng)將其放置到固定位置。

二是采用高效的組幀技術(shù)。傳感器數(shù)據(jù)傳輸、處理過(guò)程中的延遲會(huì)導(dǎo)致多源數(shù)據(jù)時(shí)序脫節(jié)，使得模型無(wú)法學(xué)習(xí)到精準(zhǔn)的動(dòng)作時(shí)序控制規(guī)律。其將多傳感器數(shù)據(jù)幀的時(shí)間戳誤差與延遲嚴(yán)格控制在10ms以?xún)?nèi)，顯著提升數(shù)據(jù)層時(shí)序同步的準(zhǔn)確性。

三是建立自動(dòng)化Benchmark評(píng)測(cè)體系。數(shù)據(jù)集缺乏對(duì)數(shù)據(jù)收斂度的系統(tǒng)性評(píng)估時(shí)，采集數(shù)據(jù)與目標(biāo)應(yīng)用場(chǎng)景的適配性可能無(wú)法量化，因此其對(duì)數(shù)據(jù)收斂度、樣本效率與穩(wěn)定性進(jìn)行全面評(píng)估，可確保數(shù)據(jù)遷移的有效性和泛化能力。

這種通過(guò)硬件校準(zhǔn)、算法優(yōu)化、流程標(biāo)準(zhǔn)化的組合方案正是其系統(tǒng)性提升數(shù)據(jù)質(zhì)量、對(duì)齊精度與模型可驗(yàn)證性的關(guān)鍵。

04.

結(jié)語(yǔ)：為人形機(jī)器人研發(fā)注入數(shù)據(jù)動(dòng)力

人形機(jī)器人實(shí)采需要面對(duì)高成本、低效率、規(guī)模化與數(shù)據(jù)質(zhì)量難以兼顧的現(xiàn)實(shí)制約，而其核心意義在于能夠突破仿真數(shù)據(jù)與現(xiàn)實(shí)世界的域差瓶頸，獲取高保真、強(qiáng)適配的真實(shí)場(chǎng)景多模態(tài)數(shù)據(jù)，為機(jī)器人具身智能模型提供貼近實(shí)際應(yīng)用的訓(xùn)練樣本。

此次由樂(lè)聚機(jī)器人主導(dǎo)開(kāi)源的國(guó)內(nèi)規(guī)模最大真機(jī)實(shí)采數(shù)據(jù)集，可以進(jìn)一步提升機(jī)器人動(dòng)作精度、環(huán)境適應(yīng)能力與跨場(chǎng)景泛化能力，最終破解行業(yè)落地適配難題，加速人形機(jī)器人從實(shí)驗(yàn)室研發(fā)走向規(guī)?；虡I(yè)應(yīng)用的進(jìn)程。