衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

“我們只交付100%可以復(fù)現(xiàn)的軌跡?！?/p>

具身智能創(chuàng)企鹿明機(jī)器人媒體溝通會(huì)上，聯(lián)席CTO丁琰對(duì)具身智能數(shù)據(jù)采集現(xiàn)狀、困境，以及最新興的采集方式UMI作了前沿的深度分享。

他在分享中反復(fù)強(qiáng)調(diào)，很多團(tuán)隊(duì)以為具身模型訓(xùn)不出來(lái)是卡在訓(xùn)練階段，實(shí)際多數(shù)問(wèn)題在數(shù)據(jù)生成的起點(diǎn)就已經(jīng)埋下了。后面再堆模型、堆算力，只是在給錯(cuò)誤輸入繼續(xù)加速。

丁琰的履歷能解釋他為什么會(huì)把“數(shù)據(jù)的可訓(xùn)練性”看得這么重。

他的研究方向是機(jī)器人學(xué)與具身智能，2024年3月從美國(guó)紐約州立大學(xué)計(jì)算機(jī)學(xué)院博士畢業(yè)。去年年底加入鹿明之前，他做過(guò)一星機(jī)器人的CTO，更早則在上海AI Lab擔(dān)任研究員。

按他的說(shuō)法，從2024年3月起，他就持續(xù)投入U(xiǎn)MI方向，是大陸最早做UMI方向的人。

UMI全稱(chēng)叫Universal Manipulation Interface，最早來(lái)自斯坦福在2024年2月提出的一套工作。

其核心是用與具體機(jī)器人本體解耦的方式，記錄人類(lèi)在真實(shí)物理世界中的操作行為，把“操作意圖+運(yùn)動(dòng)軌跡+多模態(tài)感知”統(tǒng)一到一個(gè)通用接口里，供不同形態(tài)的機(jī)器人學(xué)習(xí)和復(fù)現(xiàn)。

在去年9月之前，UMI還是一個(gè)偏冷門(mén)的方向。

具身智能進(jìn)入下半場(chǎng)后，數(shù)據(jù)的重要性與日俱增。

丁琰分享道，前段時(shí)間有人歸納了具身智能在解決數(shù)據(jù)難題時(shí)的四種解法。

• 遙操作數(shù)據(jù)，最著名的代表是智元機(jī)器人。
• 仿真數(shù)據(jù)，代表公司是銀河通用機(jī)器人。
• 人類(lèi)視頻數(shù)據(jù)，它石智能就是這種解法的代表。
• UMI，去年9月開(kāi)始冒頭，鹿明就是代表性公司。

鹿明基于現(xiàn)實(shí)需求，做出了一個(gè)名為FastUMI Pro的產(chǎn)品，這是一個(gè)無(wú)本體數(shù)采硬件。

系統(tǒng)適配市面主流機(jī)械臂和夾爪，機(jī)身重量在600多克量級(jí)，但能夾起兩三公斤物品，場(chǎng)景覆蓋工廠與家庭。

它還支持多模態(tài)輸入，包括觸覺(jué)、聽(tīng)覺(jué)、六維力等。

在UMI設(shè)備最核心的空間精度上，丁琰稱(chēng)FastUMI Pro的1mm是“全球最高精度”。

硬件產(chǎn)品背后，還有鹿明布局的數(shù)據(jù)采集、模型訓(xùn)練生態(tài)。

以“可復(fù)現(xiàn)”作為第一性原理做數(shù)據(jù)治理，丁琰帶領(lǐng)團(tuán)隊(duì)建立了8道工業(yè)級(jí)數(shù)據(jù)質(zhì)量評(píng)估體系，并承諾只交付100%可復(fù)現(xiàn)軌跡。

（以下為丁琰分享的關(guān)于具身行業(yè)數(shù)采、UMI等相關(guān)內(nèi)容，在不改變?cè)獾幕A(chǔ)上作了編輯調(diào)整）

具身數(shù)采的現(xiàn)存痛點(diǎn)

2024年3月起，我就開(kāi)始在做UMI，應(yīng)該是大陸最早做這一塊的人。

大家都知道，具身智能最關(guān)鍵的就是數(shù)據(jù)，海量的數(shù)據(jù)是訓(xùn)練的一個(gè)必經(jīng)之路。

但是數(shù)據(jù)現(xiàn)在有很多痛點(diǎn)。

第一個(gè)痛點(diǎn)就是成本，成本異常高昂。

美國(guó)那邊，為了采集一個(gè)小時(shí)的訓(xùn)練數(shù)據(jù)，大概要付出100-200美金的成本。

現(xiàn)在的具身模型都還很小，PI 0的訓(xùn)練數(shù)據(jù)大概是1萬(wàn)個(gè)小時(shí)，Generalist的GEN 0是27萬(wàn)個(gè)小時(shí)。這個(gè)規(guī)模對(duì)比GPT-3的訓(xùn)練數(shù)據(jù)，還是非常小的。

我們做了一個(gè)統(tǒng)計(jì)，大概相當(dāng)于7.9億個(gè)小時(shí)的數(shù)據(jù)，才能在具身智能界訓(xùn)出一個(gè)GPT-3規(guī)模的模型。按照現(xiàn)在的市場(chǎng)價(jià)格，需要耗費(fèi)數(shù)百億美金。

另外，具身數(shù)據(jù)整體采集效率還是比較低的。

2023年到2024年左右，業(yè)內(nèi)都是以遙操為主，一個(gè)小時(shí)大概能采集35條數(shù)據(jù)，效率異常低，成本也不可控。

遙操還有個(gè)問(wèn)題是什么呢，就是采集時(shí)，因?yàn)閿z像頭記錄的是機(jī)械臂本身的運(yùn)動(dòng)軌跡和畫(huà)面，但每家機(jī)器人長(zhǎng)得又都不一樣，所以用A機(jī)器人做遙操作采集的數(shù)據(jù)是很難很難用到B機(jī)器人上的，這就產(chǎn)生了數(shù)據(jù)孤島問(wèn)題。

大家重復(fù)造輪子，也會(huì)造成高昂的隱形成本。

這是我們想解決的關(guān)鍵問(wèn)題所在。

用UMI數(shù)采，你為什么訓(xùn)不出來(lái)模型？

前段時(shí)間我寫(xiě)了一篇小紅薯，題目叫《你為什么訓(xùn)練不出來(lái)UMI的模型？》。

我想就這次機(jī)會(huì)簡(jiǎn)單跟大家介紹一下UMI行業(yè)的現(xiàn)狀。大家可能看到的更多的是冰山的一角，但浮在水下面的一個(gè)世界還是比較深的。

一個(gè)很明顯的現(xiàn)狀就是什么呢？

做UMI的人陸陸續(xù)續(xù)越來(lái)越多，但是訓(xùn)出來(lái)模型的異常的少，可能一只手都數(shù)得過(guò)來(lái)。

很多UMI設(shè)備涌現(xiàn)出來(lái)，大家都會(huì)強(qiáng)調(diào)自己低成本、能即插即用、快速部署，但是基本上你看不到什么成功的案例，就這個(gè)是非常非常有意思的現(xiàn)象。

國(guó)外有兩家比較知名的公司，一個(gè)叫Sunday，一個(gè)叫Generalist，他們還是訓(xùn)出模型了。

國(guó)內(nèi)目前我們覺(jué)得訓(xùn)模型訓(xùn)得比較好的一家就是我們，再有就是清華一家，上交一家，總共也就兩、三家能訓(xùn)得出來(lái)。

大多數(shù)情況下，要么訓(xùn)不出來(lái)，要么即使是在相似的條件下能跑出來(lái)demo，時(shí)間也非常短，可能就3、4秒，也很卡頓，不絲滑。

關(guān)于為什么大家用UMI采集出來(lái)的數(shù)據(jù)訓(xùn)不出模型，最常見(jiàn)的解釋是“算法不是很成熟”“模型不夠大”“數(shù)據(jù)規(guī)模不足”，但是其實(shí)這些解釋都不是真正的原因。

真正的原因根本不在于訓(xùn)練階段，而在于訓(xùn)練之初它就不是太對(duì)——

大量的UMI數(shù)據(jù)從生成開(kāi)始就不具備進(jìn)入訓(xùn)練管線(xiàn)的這個(gè)條件。

說(shuō)白了就是數(shù)據(jù)不合格。

什么是可以訓(xùn)練的UMI數(shù)據(jù)

大家會(huì)有誤解，總覺(jué)得UMI數(shù)據(jù)就是人拿個(gè)夾爪，就把這個(gè)視頻數(shù)據(jù)記錄下來(lái)就行了，非常非常簡(jiǎn)單，所有人都可以做。

其實(shí)完全不是。

UMI其實(shí)是AI對(duì)物理世界的理解對(duì)齊，并且在這個(gè)物理空間里面可以復(fù)現(xiàn)的這種交互行為。

它必須滿(mǎn)足幾個(gè)條件。

拆開(kāi)了講，第一個(gè)就是說(shuō)畫(huà)面要跟動(dòng)作要嚴(yán)格對(duì)齊，要跟空間位置嚴(yán)格對(duì)齊；另外一個(gè)就是說(shuō)因?yàn)閁MI可以集成多個(gè)傳感器，每個(gè)傳感器之間也要做到毫秒級(jí)的同步。

舉個(gè)例子，一個(gè)人想去拿眼前的一瓶水，不對(duì)齊的話(huà)得反應(yīng)好幾秒，水就可能拿不起來(lái)。

另外，一個(gè)好的軌跡必須可以在物理空間運(yùn)動(dòng)中可復(fù)現(xiàn)的。

本質(zhì)要求是希望UMI采集的數(shù)據(jù)是高一致性的、高密度的，并且可復(fù)現(xiàn)的時(shí)序數(shù)據(jù)結(jié)構(gòu)。

為什么大多數(shù)UMI設(shè)備采不到好的數(shù)據(jù)？

現(xiàn)在大量的UMI設(shè)備采不出滿(mǎn)足條件的數(shù)據(jù)，兩個(gè)根本原因。

一，核心問(wèn)題是硬件能力完全不夠。

UMI的CMOS組件或者主控芯片，性能非常差。

導(dǎo)致的結(jié)果就是畫(huà)面覆蓋有限，畫(huà)質(zhì)不怎么好，曝光也不怎么好，幀率比較抖動(dòng)，這時(shí)候畫(huà)面就非常糟糕。

它破壞了動(dòng)作和視覺(jué)的因果關(guān)系。本來(lái)模仿學(xué)習(xí)就是我看到什么畫(huà)面就做什么動(dòng)作，結(jié)果畫(huà)面和動(dòng)作完全無(wú)法對(duì)齊，就會(huì)導(dǎo)致這個(gè)模型根本沒(méi)辦法學(xué)習(xí)。

二，市面上很多產(chǎn)品不是系統(tǒng)設(shè)計(jì)的，而是很多現(xiàn)成模塊拼湊起來(lái)，用USB Hub連接的。

這樣一來(lái)，產(chǎn)品的貸款架構(gòu)非常脆弱，每個(gè)模塊都會(huì)搶帶寬。一旦有什么負(fù)載，就會(huì)出現(xiàn)掉幀等一系列問(wèn)題，所以數(shù)據(jù)的質(zhì)量就非常糟糕，基本沒(méi)辦法穩(wěn)定復(fù)現(xiàn)交互記錄。

也就是說(shuō)，從硬件層面講，這些設(shè)備從一開(kāi)始就沒(méi)辦法訓(xùn)出模型需要的數(shù)據(jù)。

“臟數(shù)據(jù)”和“廢數(shù)據(jù)”

但即使設(shè)備好了，采的數(shù)據(jù)能不能訓(xùn)出數(shù)據(jù)也不是一定的。

舉個(gè)例子，別人拿到我們的設(shè)備，也不一定能訓(xùn)出好的數(shù)據(jù)。

為什么呢？這就要說(shuō)數(shù)據(jù)的質(zhì)量高低了。

數(shù)據(jù)質(zhì)量的高低其實(shí)并不是干凈程度，而是說(shuō)有效的信息密度。

低質(zhì)量的數(shù)據(jù)，包含大量抖動(dòng)、漂移、時(shí)間錯(cuò)位，非常不利于學(xué)習(xí)。特別是在單視角情況（很多UMI是單個(gè)機(jī)械臂），這種噪聲不會(huì)因?yàn)槟愕臄?shù)據(jù)量增大而被平滑掉，所以說(shuō)你學(xué)出來(lái)的策略會(huì)非常非常糟糕，基本上訓(xùn)不出來(lái)。

低價(jià)值數(shù)據(jù)不是完全沒(méi)有價(jià)值。

它還是有點(diǎn)價(jià)值，可以去認(rèn)識(shí)這個(gè)世界，知道什么是杯子，什么是麥克風(fēng)，但沒(méi)辦法從它身上學(xué)習(xí)到精確的物理交互信息。

它不知道桌上的麥克風(fēng)我是怎么拿到的，我到底該正著拿還是反著拿，還是需要傾斜角度去拿。

除了低質(zhì)量的臟數(shù)據(jù)，我還把一種數(shù)據(jù)叫“廢數(shù)據(jù)”。

廢數(shù)據(jù)是什么？

就是很多人拿著設(shè)備直接去眾包去采集了，人怎么采就拿它怎么采。

這種數(shù)據(jù)完全copy人類(lèi)的自然行為，沒(méi)有任何設(shè)計(jì)和技巧，過(guò)于“天然去雕飾”了，基本上是不可能訓(xùn)出來(lái)模型的。

現(xiàn)在都在做的疊衣服，其實(shí)是最需要采集技巧的一個(gè)任務(wù)。疊衣服的時(shí)候要抖一下，抖的過(guò)程中還要注意方向、速度，才能抖好。

但人在疊衣服的時(shí)候，很少會(huì)注意那么多tricks。

每家具身公司都有自己的采集技巧，所以如果沒(méi)有注入任何技巧，即便拿到很好的UMI設(shè)備，采集的數(shù)據(jù)很像人的行為，但其實(shí)是廢數(shù)據(jù)，基本上模型訓(xùn)練不了。

能當(dāng)然可能未來(lái)，十年、二十年，模型發(fā)展好了，這些數(shù)據(jù)可能就有用了。但目前很長(zhǎng)一段階段這些數(shù)據(jù)基本上訓(xùn)不了，所以稱(chēng)為廢數(shù)據(jù)。

硬件、數(shù)據(jù)和算法環(huán)環(huán)相扣

正確的UMI的工程范式首先是一種系統(tǒng)的自洽，而不是一種簡(jiǎn)單的功能拼接。

傳統(tǒng)的路徑下面大家做機(jī)器人，首先有個(gè)硬件，硬件弄完了之后再弄軟件，弄完軟件我再弄算法，我反過(guò)頭來(lái)我再去補(bǔ)點(diǎn)數(shù)據(jù)，把這個(gè)整個(gè)loop給跑通。

但在UMI這個(gè)很特殊的場(chǎng)景下，這個(gè)范式是失效的。

因?yàn)閁MI是一個(gè)強(qiáng)耦合系統(tǒng)，數(shù)據(jù)會(huì)決定整個(gè)模型的性能，硬件會(huì)決定這個(gè)數(shù)據(jù)的質(zhì)量；數(shù)據(jù)又會(huì)決定這個(gè)算法的性能，算法又會(huì)反向去約束我這個(gè)硬件的執(zhí)行和這個(gè)數(shù)據(jù)的設(shè)計(jì)。

硬件、數(shù)據(jù)和算法環(huán)環(huán)相扣，任何單點(diǎn)的這種失效都會(huì)導(dǎo)致訓(xùn)不出優(yōu)秀的模型。

關(guān)于UMI，團(tuán)隊(duì)做了什么

博士畢業(yè)后，我從2024年3月就開(kāi)始在做面向UMI的工作。

去年9月之前，UMI在行業(yè)里還是比較冷門(mén)的，除了我和我的團(tuán)隊(duì)基本沒(méi)人做。

當(dāng)時(shí)我們就有一個(gè)愿景，希望能打破這個(gè)數(shù)據(jù)獲取的這個(gè)不可能的三角，把非常高質(zhì)量的數(shù)據(jù)砍到白菜價(jià)，加速應(yīng)用來(lái)推進(jìn)這個(gè)整個(gè)具身智能行業(yè)的發(fā)展。

這里跟大家分享我和團(tuán)隊(duì)近兩年的一些典型工作。

首先就是FastUMI，我是這篇工作的通訊作者。

FastUMI應(yīng)該是全球首個(gè)將學(xué)術(shù)界（UMI，斯坦福，2024年2月）的工作升級(jí)成工業(yè)級(jí)別系統(tǒng)，然后推進(jìn)它進(jìn)入工業(yè)的。我們從2024年3月左右開(kāi)始做這個(gè)工作，在7、8月左右完成，當(dāng)年的9月中了CoRL 2025。

FastUMI主要解決的問(wèn)題是提高采集效率和數(shù)據(jù)質(zhì)量。

另外一個(gè)工作是FastUMI 100K。

在有了一個(gè)很穩(wěn)定的軟硬件系統(tǒng)后，我們開(kāi)始擴(kuò)大規(guī)模去采數(shù)據(jù)。當(dāng)時(shí)我在上海AI Lab建立了一個(gè)數(shù)采長(zhǎng)，我?guī)е?1個(gè)人在3個(gè)月時(shí)間里，采集了10萬(wàn)條真機(jī)數(shù)據(jù)，為機(jī)器學(xué)習(xí)提供了非常高質(zhì)量的數(shù)據(jù)支持。

這是全世界首個(gè)大型的UMI數(shù)據(jù)集。

從這個(gè)工作中FastUMI團(tuán)隊(duì)獲得了大規(guī)模的數(shù)據(jù)治理的經(jīng)驗(yàn)。

我們還有一個(gè)工作叫Fastumi-MLM，它把UMI這項(xiàng)技術(shù)用于“狗+臂”。

之前UMI都應(yīng)用在單臂、雙臂或者輪式雙臂工作上。這是大陸第一個(gè)能將UMI用在這種構(gòu)型機(jī)器人上的工作。

除此之外，還有Spatial VLA、Agibot World、AskVLA等等。