国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

鹿明聯(lián)席CTO丁琰:如何告別“臟、廢數(shù)據(jù)”,交付可復現(xiàn)的UMI數(shù)據(jù)?

0
分享至

數(shù)據(jù)這個難題,一直在和具身從業(yè)者“相愛相殺”。

一方面,所有人都認為高價值數(shù)據(jù)是決定機器人智能的關鍵,但另一方面,各種數(shù)據(jù)采集路徑依舊沒有統(tǒng)一。

不管是學習人類視頻、在仿真環(huán)境中生成無限合成數(shù)據(jù),還是使用觸覺手套、高精度機械臂、靈巧手等設備遙操,具身數(shù)據(jù)始終難以突破采集成本高、效率低、難規(guī)模化、不同本體互通難、泛化能力不足等問題。

甚至,國內(nèi)具身領域還出現(xiàn)了“數(shù)據(jù)四小龍”的名號。

在這個分類中,智元機器人被看作遙控真機數(shù)據(jù)派,銀河通用走仿真數(shù)據(jù)路線,它石智航則是人類視頻數(shù)據(jù)的代表,而大力落地UMI(無本體模仿學習)的公司,鹿明機器人是有些代表性的一家。

鹿明機器人成立于2024年9月,創(chuàng)始人喻超是前追覓人形機器人業(yè)務負責人,擁有近10年具身機器人研發(fā)經(jīng)驗。曾帶隊完成了小米Cyberdog的研發(fā)量產(chǎn)項目。

過去一年,這家公司推出過多款機器人整機產(chǎn)品,還自主研發(fā)FastUMI Pro數(shù)據(jù)采集系統(tǒng)。這個系統(tǒng)是鹿明針對UMI落地的產(chǎn)品,也是它現(xiàn)在的業(yè)務重點。


*鹿明的整機和數(shù)據(jù)采集系統(tǒng)

UMI是一種比較新興的數(shù)據(jù)采集模式。

根據(jù)一些定義,它的核心目標是通過一套統(tǒng)一的數(shù)據(jù)表達與采集方式,覆蓋不同形態(tài)、不同自由度的操作系統(tǒng)。這種模式首先將人類示教、視覺感知和操作軌跡映射到一個獨立于具體機器人形態(tài)的中間空間,并利用硬件設備記錄完整的運動軌跡和空間數(shù)據(jù),再經(jīng)過模仿學習算法的加工,把人類在現(xiàn)實世界中的自然操作轉化為機器人可學習的數(shù)據(jù)。

相比其他數(shù)據(jù)采集方式,UMI的主要特點是成本低、采集效率高,可以跨本體,能夠讓同一份操作數(shù)據(jù)在不同硬件平臺上被理解和學習。

2025年下半年,海外的兩個明星產(chǎn)品,Generalist的新模型Gen 0,以及Sunday Robotics,都采用了UMI。


*利用鹿明FastUMI Pro采集數(shù)據(jù),復現(xiàn)復雜任務

鹿明機器人也設計了UMI 數(shù)據(jù)采集系統(tǒng)——FastUMI Pro。目前,這家公司已經(jīng)與三菱電機、中遠海運、德馬科技等產(chǎn)業(yè)巨頭達成戰(zhàn)略合作,圍繞工業(yè)場景展開探索。

在最近的一場分享中,喻超稱,2026年,鹿明將達成超100萬小時的具身真機數(shù)據(jù)產(chǎn)能,目標建設全球規(guī)模最大的高質(zhì)量真機數(shù)據(jù)集。

鹿明機器人的聯(lián)席CTO丁琰,此前在上海AI Lab擔任研究員,在一星機器人擔任過CTO,是國內(nèi)最早推動UMI落地的從業(yè)者之一。

他觀察到,現(xiàn)在UMI正處于快速落地的階段,但同時也有很多不為人知的問題:

首先,市場快速涌現(xiàn)出多種UMI數(shù)采設備,但訓出來的UMI模型卻很少。

這是因為大量的UMI數(shù)據(jù)從生成之初就不具備進入訓練管線的條件,也就是數(shù)據(jù)質(zhì)量不合格。

很多人認為只要拿著夾爪、錄制一段視頻,就能生成UMI訓練數(shù)據(jù)。但事實遠非如此。真正的UMI 數(shù)據(jù),本質(zhì)上是 AI 對物理世界的“對齊”與“復現(xiàn)”。

可以訓練的UMI數(shù)據(jù)必須滿足幾個條件。第一是每一幀視覺和空間位姿都要嚴格對齊。另外,UMI可以集成多個傳感器,每個傳感器之間也要做到毫秒級的同步。比如,一個人想去拿眼前的一瓶水,不對齊的話得反應好幾秒,水就可能拿不起來。

而且,一個好的軌跡必須可以在物理空間運動中可復現(xiàn)。本質(zhì)要求是希望UMI采集的數(shù)據(jù)是高一致性的、高密度的,并且有可復現(xiàn)的時序數(shù)據(jù)結構。


而且,現(xiàn)在很多數(shù)據(jù)是低質(zhì)量的“臟數(shù)據(jù)”以及讓模型學習異常困難的“廢數(shù)據(jù)”。

“臟數(shù)據(jù)”中包含大量抖動、漂移、時間錯位,雖然有感知價值,但難以支撐動作策略學習。在單視角UMl + imitation learning場景中,這些“噪聲”不會被海量數(shù)據(jù)抵消,反而會被模型持續(xù)放大。

“廢數(shù)據(jù)”,完全復制人在自然狀態(tài)下隨性的動作,沒有注入采集技巧,無法用于模型訓練。舉個疊衣服的例子,人類自然的疊衣服動作對于機器人來說往往是無效的,因為機器人需要特定的“技巧性動作”(比如特定的抖動、鋪平軌跡)才能理解物理特性。

沒有經(jīng)過設計的、缺乏“信息密度”的自然行為數(shù)據(jù),機器人看了也學不會,數(shù)據(jù)不僅要“真”,還要“有教學意義”。

現(xiàn)在很多UMI設備采不出滿足條件的數(shù)據(jù),有兩個根本原因。

第一個核心問題是核心硬件模組能力不夠。如果UMI的CMOS組件或者主控芯片,性能非常差,就會導致畫面覆蓋有限,畫質(zhì)不好,曝光也不好,幀率比較抖動,破壞了動作和視覺的因果關系。模仿學習是機器看到什么畫面就做什么動作,但畫面和動作完全無法對齊,導致這個模型沒辦法學習。

第二,市面上很多產(chǎn)品不是系統(tǒng)設計的,而是很多現(xiàn)成模塊拼湊起來,用USB Hub連接的。這使得產(chǎn)品的帶寬架構非常脆弱,每個模塊都會搶帶寬。一旦有什么負載,就會出現(xiàn)掉幀等一系列問題,所以數(shù)據(jù)的質(zhì)量就非常糟糕,不能穩(wěn)定復現(xiàn)交互記錄。


丁琰介紹,正是希望UMI“正確”落地,鹿明在硬件產(chǎn)品、數(shù)據(jù)采集及模型訓練生態(tài)等維度都做了布局。

首先是公司自主研發(fā)的FastUMI Pro(無本體模仿學習)數(shù)據(jù)采集系統(tǒng),將單條數(shù)據(jù)采集時間從50秒縮短至10秒,效率提升5倍,同時將綜合成本降至傳統(tǒng)方法的五分之一。

并且,F(xiàn)astUMI Pro還集成了為UMI場景定制的高性能傳感器,能實現(xiàn)60Hz高頻記錄,讓多模態(tài)信息的毫秒級同步,使數(shù)據(jù)有效率從行業(yè)普遍的70%提升至95%以上。

據(jù)稱,現(xiàn)在全球具身智能圈里超過三分之二的團隊,正在使用FastUMI Pro。



*鹿明FastUMI Pro

在這次交流中,鹿明的創(chuàng)始團隊還向現(xiàn)場媒體分享了更多對具身數(shù)據(jù)和UMI的看法。

以下是交流節(jié)選:

Q:目前具身智能的數(shù)據(jù)獲取主要受限于高昂的成本與極低的效率。行業(yè)內(nèi)正圍繞遙控真機采集、仿真模擬、互聯(lián)網(wǎng)視頻學習三種方案展開探索。怎么看待這三個方案?

鹿明:我習慣從控制論和信息熵的角度來看待這個問題:

仿真數(shù)據(jù)不產(chǎn)生新的信息增量。仿真出的環(huán)境,跳不出構建系統(tǒng)時設定的規(guī)則。它能讓動作更絲滑,但給不了機器人面對物理世界時的“信息錨點”。

網(wǎng)絡視頻訓練的是機器人的“大腦”,讓它看懂世界,但這離真正的“上手干活”還差一層。

真機數(shù)據(jù)是解決物理交互的唯一路徑。有多少真實的交互數(shù)據(jù),機器人就有多少處理復雜物理問題的能力。

視頻數(shù)據(jù)負責理解環(huán)境,真實數(shù)據(jù)負責物理交互,仿真增加信息的豐富度。

Q:你覺得未來UMI和遙操作分別占多大比例?

鹿明:我們覺得UMI可能是數(shù)據(jù)采集的終極解決方案。從第一性原理來看,人手直接操作是真實物理世界中效率最高的數(shù)據(jù)采集方式。如果將人手的采集效率定義為 00%,那么UMI這種“人手持夾爪”的采集效率已經(jīng)達到了90%,已經(jīng)逼近數(shù)據(jù)采集的效率極限。

從2024年Pi0模型的1萬小時真機數(shù)據(jù),到2025年Gen-0模型使用的27萬小時UMI數(shù)據(jù),2026年的頭部算法公司的訓練數(shù)據(jù)規(guī)模必然會突破百萬小時。隨著需求的快速增長,具身智能數(shù)據(jù)領域的市場需求必然爆發(fā)。

在2023年至2024年間,遙操作占據(jù)了絕大部分的市場份額,但進入2025年和 2026年后,UMI的市場份額會迎來爆發(fā)式增長。

Q:目前業(yè)內(nèi)主流的數(shù)采工廠大多是為輪式人形機器人設計的,場景往往局限于一張桌子、幾個積木或水杯,空間相對固定。相比之下,UMI似乎天然具備擺脫空間約束的優(yōu)勢。那么,一個理想的UMI數(shù)采工廠應該如何設計?它的環(huán)境空間又該如何高效復刻?

鹿明:這是一個非常深刻的問題,涉及行業(yè)內(nèi)的一個普遍誤區(qū)。

首先,關于UMI“不需要空間限制”或“可以隨意眾包”的觀點其實并不準確。事實上,高質(zhì)量的UMI數(shù)據(jù)采集依然需要嚴密的物理空間設計,甚至有著極其嚴苛的規(guī)則限制。如果任由數(shù)采員無限制、無規(guī)則地自由發(fā)揮,產(chǎn)生的數(shù)據(jù)一致性將極差,最終導致模型無法收斂。這些關于空間設計的約束和技巧,是數(shù)據(jù)的核心商業(yè)機密之一。

關于 UMI 素材工廠的形態(tài),我們認為應根據(jù)任務場景進行差異化設計:

第一是桌面任務:雖然形式上也是桌子和物品,但我們會在工作站部署特殊的采集裝置。在這種半開放環(huán)境下,通過特定的設備配置,確保在看似自由的操作中捕捉到高一致性的數(shù)據(jù)特征。

還有移動操作任務:這是UMI真正的優(yōu)勢賽道。針對這類需要空間流轉的任務,我們提供了一套完整的解決方案:通過集成頭部相機、特殊傳感器以及雙手夾爪的硬件組合,記錄人在空間中移動、交互的全過程。

但必須強調(diào)的是,即使在移動操作中,數(shù)采員也并非“隨意亂走”。我們會制定一套復雜的空間引導規(guī)則,通過軟硬件結合的方式,確保采集過程既具備現(xiàn)實世界的豐富度,又符合模型訓練所需的邏輯一致性。目前,鹿明已經(jīng)擁有三個成熟的數(shù)采工場,將通過這種“有規(guī)則的自由”,持續(xù)輸出百萬小時級的高質(zhì)量具身數(shù)據(jù)。

Q:具身公司采用了UMI訓練后,模型能力有沒有顯著提升?有Benchmark嗎?

鹿明:通過UMI能讓模型的上限提升,目前算是行業(yè)內(nèi)的共識。

至于Benchmark,在模型泛化能力的考驗上,很多行業(yè)里的公司傾向于用某個單一任務的成功率來看具身智能模型是否實現(xiàn)泛化。

舉個例子,比如說你要去評驗一個任務,它可能會出現(xiàn)很多“極端/邊緣場景”(corner case)。為了這些場景,唯一的途徑可能就是堆數(shù)據(jù),堆的越多模型見過的場景越多,成功率才會提升。

比如在Generalist疊紙盒子這個案例上,隨著數(shù)據(jù)越來越多,成功率是明顯提升的。

Q:怎么看數(shù)據(jù)、模型以及跨本體泛化的關系?

鹿明:這里的邏輯比想象中更加復雜,其實可以定位為數(shù)據(jù)、模型與硬件本體三個核心維度。

首先,數(shù)采硬件作為直接決定性因素,性能高低決定了數(shù)據(jù)的質(zhì)量,進而數(shù)據(jù)質(zhì)量決定了模型的智能上限。劣質(zhì)數(shù)據(jù)絕無可能訓練出優(yōu)秀的模型。鹿明首創(chuàng)了“為模型成功率負責”的系統(tǒng)工程范式,從硬件設計源頭保障數(shù)據(jù)質(zhì)量。在UMI設備最核心的空間精度上,F(xiàn)astUMI Pro達到了1mm,是全球最高精度。

模型訓練完成后需要部署在硬件本體上,若本體執(zhí)行能力不足,模型的效果也無法得到極致發(fā)揮,它們之間是相互影響的關系。我們即將發(fā)布一款最適配UMI數(shù)據(jù)的輕量型機械臂,希望通過算法與硬件的深度耦合,將性能的表現(xiàn)提升到極致。

針對跨本體的物理泛化問題,其實我只要在不同的機械臂上放一模一樣的相機,末端執(zhí)行器也保持相同,數(shù)據(jù)就可以互用了。

Q:整體看下來,你覺得數(shù)據(jù)采集過程中最難的是什么?

鹿明:人,人,還是人。 流程設計得再完美,最后執(zhí)行的還是人。

數(shù)據(jù)需要高度的一致性,但“千人千面”很難統(tǒng)一,比如抓門把手關門,十個人有十種關法。如果這種不規(guī)范的數(shù)據(jù)喂進去,模型就徹底亂了。

為了解決這個問題,我們走過不少彎路。最初我們用了一個笨辦法:每采一段數(shù)據(jù)就丟進小模型里訓一下,能訓通就說明數(shù)據(jù)好。但成本太恐怖了,算力貴如金。

后來我們做了一套全自動的評估體系。這套體系的核心就是解決“前處理”和“后處理”的矛盾。以前大家都是采完一堆拿回去慢慢挑,但經(jīng)驗告訴我:數(shù)據(jù)必須瞬時評估。

通過軟件的自適應培訓方式,熟練采集工14天可以將數(shù)據(jù)有效率提升到95%以上

如果你不在采的那一刻告訴他“這條不行,重來”,那最后收回來的全是廢數(shù)據(jù)。所以我們堅持要做及時評估系統(tǒng),通過軟硬件結合,在采集發(fā)生的瞬間就卡死質(zhì)量關。這不是拍腦袋決定的,而是從無數(shù)“廢數(shù)據(jù)”堆里總結出來的實戰(zhàn)經(jīng)驗。

因此以“可復現(xiàn)”作為第一性原理做數(shù)據(jù)治理,我?guī)е鴪F隊建立了8道工業(yè)級數(shù)據(jù)質(zhì)量評估體系,只交付100%可復現(xiàn)軌跡。不同類型的客戶會給我們提出不同的標準,在給客戶交付數(shù)據(jù)的時候,我們數(shù)據(jù)質(zhì)量都能夠符合、甚至遠高于客戶的標準。


特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
陪讀媽媽反對牢A觀點,脖子上的“認主項鏈”露餡了,老公天塌了

陪讀媽媽反對牢A觀點,脖子上的“認主項鏈”露餡了,老公天塌了

澤澤先生
2026-01-26 21:36:11
阿里納斯:沒人知道喬丹92奧運決賽打得差,因為當時媒體都捧他臭腳

阿里納斯:沒人知道喬丹92奧運決賽打得差,因為當時媒體都捧他臭腳

懂球帝
2026-01-26 12:30:08
交易大地震!詹姆斯!騎士!

交易大地震!詹姆斯!騎士!

老壥說體育
2026-01-26 15:31:53
兩戰(zhàn)轟37+24!中國男籃22歲2米26中鋒崛起:郭艾倫助他再蛻變

兩戰(zhàn)轟37+24!中國男籃22歲2米26中鋒崛起:郭艾倫助他再蛻變

李喜林籃球絕殺
2026-01-26 12:17:18
罪有應得!官方徹查后,閆學晶再迎噩耗,她最擔心的事還是發(fā)生了

罪有應得!官方徹查后,閆學晶再迎噩耗,她最擔心的事還是發(fā)生了

來科點譜
2026-01-23 11:08:02
吃10根山藥不如1個它!天然的“養(yǎng)胃高手”,時常吃一點,胃健康

吃10根山藥不如1個它!天然的“養(yǎng)胃高手”,時常吃一點,胃健康

江江食研社
2026-01-25 22:55:03
梁小龍葬禮,陳惠敏陳光標等送別,骨灰葬內(nèi)地,妻子兒女低調(diào)現(xiàn)身

梁小龍葬禮,陳惠敏陳光標等送別,骨灰葬內(nèi)地,妻子兒女低調(diào)現(xiàn)身

有范又有料
2026-01-26 13:53:40
李思思現(xiàn)身邢臺主持,又矮又胖,1米7看著就像1米5,臉還變圓潤了

李思思現(xiàn)身邢臺主持,又矮又胖,1米7看著就像1米5,臉還變圓潤了

小娛樂悠悠
2026-01-26 11:36:45
4個去中國化最徹底的國家,一個已全盤西化,一個正試圖恢復漢字

4個去中國化最徹底的國家,一個已全盤西化,一個正試圖恢復漢字

泠泠說史
2026-01-26 18:36:40
29歲女子被丈夫砍死!受害者完全可以逃生,3條生路被堵死

29歲女子被丈夫砍死!受害者完全可以逃生,3條生路被堵死

細品名人
2026-01-26 07:36:25
騰訊宣布:春節(jié)發(fā)10億元現(xiàn)金!單個紅包最高達1萬元,可直接提現(xiàn)到微信

騰訊宣布:春節(jié)發(fā)10億元現(xiàn)金!單個紅包最高達1萬元,可直接提現(xiàn)到微信

每日經(jīng)濟新聞
2026-01-25 19:55:05
剛剛!利好,直線暴漲!

剛剛!利好,直線暴漲!

中國基金報
2026-01-26 22:09:40
1月26日俄烏:各方都必須妥協(xié),烏克蘭將在2027年加入歐盟?

1月26日俄烏:各方都必須妥協(xié),烏克蘭將在2027年加入歐盟?

山河路口
2026-01-26 18:57:56
西安事變真相:蔣家7侄陣亡護蔣,雙方死傷超600,血債被記五十四年

西安事變真相:蔣家7侄陣亡護蔣,雙方死傷超600,血債被記五十四年

磊子講史
2025-12-30 18:03:15
汪希玥穿14000元羽絨服,在朝陽公園溜冰,又白又瘦,越長越像大S

汪希玥穿14000元羽絨服,在朝陽公園溜冰,又白又瘦,越長越像大S

李健政觀察
2026-01-26 22:13:05
后悔也晚了!大批F35逼到家門口,伊朗卻發(fā)現(xiàn)紅旗9和殲10還未到位

后悔也晚了!大批F35逼到家門口,伊朗卻發(fā)現(xiàn)紅旗9和殲10還未到位

文雅筆墨
2026-01-25 03:11:20
楊紫新劇邀林志玲演上海名媛,兩人11年前親吻畫面曝光,泄好交情

楊紫新劇邀林志玲演上海名媛,兩人11年前親吻畫面曝光,泄好交情

小邵說劇
2026-01-26 21:01:10
情況有變!日本產(chǎn)生大膽想法,從中國東面動手,美一隊人馬上就到

情況有變!日本產(chǎn)生大膽想法,從中國東面動手,美一隊人馬上就到

原來仙女不講理
2026-01-27 00:00:09
2-0到2-2!中國男足痛失好局,2球領先遭絕平,邵佳一帶隊3場不敗

2-0到2-2!中國男足痛失好局,2球領先遭絕平,邵佳一帶隊3場不敗

綠茵舞著
2026-01-27 00:01:16
老道士揭秘:家中這三樣東西消失,一定是被人借運了!千萬要小心

老道士揭秘:家中這三樣東西消失,一定是被人借運了!千萬要小心

古怪奇談錄
2026-01-05 11:32:51
2026-01-27 00:44:49
四木相對論 incentive-icons
四木相對論
嘮嘮科技,看看世界
101文章數(shù) 1關注度
往期回顧 全部

科技要聞

印奇再上牌桌,階躍融資50億

頭條要聞

女子被丈夫和閨蜜背叛一夜白頭:聽到兒子叫第三者媽媽

頭條要聞

女子被丈夫和閨蜜背叛一夜白頭:聽到兒子叫第三者媽媽

體育要聞

叛逆的大公子,要砸了貝克漢姆這塊招牌

娛樂要聞

張雨綺被抵制成功!遼視春晚已將她除名

財經(jīng)要聞

從美式斬殺線看中國社會的制度韌性構建

汽車要聞

賓利第四臺Batur敞篷版發(fā)布 解鎖四項定制創(chuàng)新

態(tài)度原創(chuàng)

教育
藝術
游戲
親子
公開課

教育要聞

小學階段的分數(shù),從來都不是重點

藝術要聞

沙特急剎車,NEOM規(guī)模大縮水,線性摩天樓留小段

分析師稱PS6不會在2027年到來!停滯兩年或不是壞事

親子要聞

兒童洞洞鞋測評:樸西、森馬、起步的樣品化學成分超標

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版