文 | 硅谷101

2026年，人形機(jī)器人將迎來(lái)規(guī)?；慨a(chǎn)的元年。最清晰的信號(hào)來(lái)自特斯拉，“金色擎天柱”O(jiān)ptimus Gen 3預(yù)計(jì)在2026年第一季度亮相，并計(jì)劃在年底前建成產(chǎn)能高達(dá)100萬(wàn)臺(tái)的生產(chǎn)線。馬斯克曾多次表示，特斯拉未來(lái)約80%的價(jià)值來(lái)自這里，而非汽車。而“擎天柱”的攻關(guān)關(guān)鍵，正在于它的“手與前臂”。

靈巧手，從驅(qū)動(dòng)方案上可分為三大路徑，每一派都有各自的代表：

【連桿方案】充分展現(xiàn)了機(jī)械設(shè)計(jì)的美感，但通常意味著低自由度，但也有以韓國(guó)ILDA為代表的高自由度靈巧手。

【繩驅(qū)方案】?jī)?yōu)勢(shì)是輕量化、自由度高、力量輸出穩(wěn)定。特斯拉的Optimus和在硅谷101 Alignment科技大會(huì)上表演開(kāi)可樂(lè)罐的TetherIA靈巧手，都是繩驅(qū)方案中“單向拉繩”的代表選手；“雙向拉繩”的代表則有被譽(yù)為“靈巧手皇冠明珠”的Shadow Robot和ORCA Hand。但這類方案也面臨著走線延伸、材料蠕變、裝配難度高等問(wèn)題。

【直驅(qū)方案】?jī)?yōu)點(diǎn)在于方便精細(xì)控制。在行業(yè)展會(huì)上，Sharpa機(jī)器人憑著一雙電機(jī)直驅(qū)靈巧手驚艷了眾人，它一張一張地發(fā)撲克牌，拿著相機(jī)按下快門。劣勢(shì)則是抗沖擊力差，重量較大等。

本期《硅谷101》，泓君邀請(qǐng)了靈巧手模型算法方面和硬件方面的兩位專家——來(lái)自的亞馬遜&前Meta機(jī)器人研究科學(xué)家齊浩之，TetherIA聯(lián)合創(chuàng)始人陶一偉，一起聊聊靈巧手的現(xiàn)狀，不同技術(shù)路線的特點(diǎn)，以及它在數(shù)據(jù)和算法上面臨的挑戰(zhàn)。

嘉賓們認(rèn)為，對(duì)靈巧手頭部公司來(lái)說(shuō)，短期內(nèi)針對(duì)單項(xiàng)任務(wù)打造成功一個(gè)的Demo并不難，真正的突破在于通用性與可擴(kuò)展性。當(dāng)算法能讓機(jī)器人在短時(shí)間內(nèi)學(xué)會(huì)開(kāi)可樂(lè)、開(kāi)門、擰螺絲等多樣化的靈巧操作，才意味著靈巧手到達(dá)了類似ChatGPT的泛化突破階段。

以下是這次對(duì)話內(nèi)容的精選：

01機(jī)器人靈巧手的能力與挑戰(zhàn)

泓君：可能聽(tīng)眾最迷惑，在很多Demo里，大家看到機(jī)器人可以去拿吸塵器、倒垃圾、燒水，甚至把盤子放在洗碗機(jī)里。我記得特斯拉有一年的發(fā)布會(huì)，擎天柱現(xiàn)場(chǎng)給大家倒酒，看起來(lái)這個(gè)手已經(jīng)是很智能了。所以可不可以概括一下，現(xiàn)在機(jī)器人的手它能做哪些場(chǎng)景？它到了一個(gè)什么樣的發(fā)展程度？

齊浩之：好的，我會(huì)認(rèn)為，在遙操作的情況下，如果這個(gè)手的手指不需要很精細(xì)的動(dòng)作，那它是一個(gè)比較簡(jiǎn)單的問(wèn)題，比如說(shuō)擎天柱倒酒，它就是把手放到出酒的那個(gè)把手上，往下壓，這個(gè)在控制上是比較簡(jiǎn)單的。

與此相對(duì)的是，比如說(shuō)今天我們想讓一個(gè)機(jī)器人使用我們家庭里面的各種工具，比如說(shuō)像螺絲刀、像剪刀這樣的東西，在這個(gè)過(guò)程中我們的手指需要更加精細(xì)靈巧的操作，在這種情況下它的操作就會(huì)變得很難。以及我們需要它適應(yīng)于千家萬(wàn)戶不同的工具，這個(gè)難度就會(huì)呈指數(shù)級(jí)的上升。

“擎天柱”（Optimus）展示倒酒 圖片來(lái)源：X

泓君：你剛剛提到了一個(gè)詞是“精細(xì)運(yùn)動(dòng)”，還有一個(gè)我理解就是講它的“泛化能力”，就是把它放在不同的場(chǎng)景中，在這兩塊是還需要加強(qiáng)的。

陶一偉：我稍微補(bǔ)充一點(diǎn)，剛才齊老師可能是從系統(tǒng)端的角度來(lái)講這個(gè)問(wèn)題，我可能更多地是從硬件這方面去切入。一是把現(xiàn)有的硬件方案做得更可靠，就是說(shuō)讓機(jī)器人能夠在真實(shí)的環(huán)境中不停地長(zhǎng)時(shí)間穩(wěn)定的運(yùn)行，并且和自然物體的交互，在長(zhǎng)時(shí)間使用中不會(huì)損壞，這個(gè)事情實(shí)際上也沒(méi)有完全地去做到。

并且這個(gè)硬件還是需要繼續(xù)地去迭代，比如增加它的自由度，增加它的觸覺(jué)傳感。在這個(gè)過(guò)程中，由于系統(tǒng)復(fù)雜性的增加，它的可靠性又變成了更大的挑戰(zhàn)。這也是從硬件端還需要我們?nèi)プ龅暮芏喙ぷ鳌?/p>

泓君：我給聽(tīng)眾一個(gè)更加形象的例子，今年我們的年會(huì)上，Evan是在現(xiàn)場(chǎng)用機(jī)器人表演了開(kāi)可樂(lè)的。其實(shí)在彩排的時(shí)候，它是一個(gè)不穩(wěn)定的狀態(tài)。比如說(shuō)當(dāng)時(shí)我也想去試讓這個(gè)機(jī)器人打開(kāi)可樂(lè)，但是我隨意放了一個(gè)角度，這個(gè)時(shí)候可能需要機(jī)器人旋轉(zhuǎn)一下才能把這個(gè)可樂(lè)打開(kāi)。旋轉(zhuǎn)一下這個(gè)動(dòng)作，對(duì)機(jī)器人很難嗎？

陶一偉：沒(méi)錯(cuò)，這個(gè)是一個(gè)非常好的問(wèn)題。首先開(kāi)可樂(lè)本身，看似只要一雙手，再加上一個(gè)指甲就可以實(shí)現(xiàn)，但是真正把它放到一個(gè)雙臂機(jī)器人系統(tǒng)上，還是非常有挑戰(zhàn)的工作，而我們也只是淺淺Demo了一下，未來(lái)還有非常多的工作，怎樣能讓整個(gè)事情變得完全自動(dòng)地實(shí)現(xiàn)起來(lái)，并且成功率非常高地去實(shí)現(xiàn)，還是一個(gè)很長(zhǎng)的路要走。

可樂(lè)怎么去對(duì)準(zhǔn)這個(gè)事，精度是一個(gè)方面的問(wèn)題，還要感知到現(xiàn)在可樂(lè)的狀態(tài)，以及，人可以實(shí)現(xiàn)用任意姿態(tài)去抓起這一罐可樂(lè)，然后在單手調(diào)整可樂(lè)的角度，去達(dá)到最完美的狀態(tài)，再讓另一只手過(guò)來(lái)，又以一個(gè)最完美的狀態(tài)把它拉開(kāi)。這個(gè)機(jī)器人還是需要一個(gè)過(guò)程，包括手的硬件設(shè)計(jì)、控制這些方面的能力。

泓君：現(xiàn)在世界上有其他的公司，比如說(shuō)它在自由度上做得更多的，他們能做到很好地去旋轉(zhuǎn)可樂(lè)，然后再把它打開(kāi)嗎？

陶一偉：我覺(jué)得一些比較頭部的公司去調(diào)整優(yōu)化一下他們的硬件，包括去更多地在這方面下一些工夫，也是可以實(shí)現(xiàn)這么一個(gè)Demo的。但是目前說(shuō)讓它完全自主去做，我覺(jué)得可能還是沒(méi)有看到哪一家可以去做到。這個(gè)可能更多的我要看看齊老師的觀點(diǎn)。

泓君：對(duì)對(duì)，齊老師還有論文是講用視覺(jué)跟觸覺(jué)做手內(nèi)旋轉(zhuǎn)的，應(yīng)該是這方面的專家了。

齊浩之：我的看法是，現(xiàn)在大家有不同的宣傳策略，或者說(shuō)他們的一些發(fā)展或者研究的側(cè)重點(diǎn)。比如說(shuō)，對(duì)于像陶總這樣的硬件廠商，他們可能目標(biāo)是為了證明他們的硬件非常地好用，無(wú)論是從機(jī)械結(jié)構(gòu)上，或者說(shuō)用它做的一些控制系統(tǒng)上，所以去展示一些很炫酷的Demo是非常好的。

與此相對(duì)的，還有一些做靈巧手的算法，但是不做靈巧手硬件的公司，他們可能就會(huì)比較少的展示這樣方面的能力，而更多的是一種展示它的泛化性的能力。

就正如陶總所說(shuō)，如果我們只優(yōu)化這一個(gè)視頻，那有一些頭部的硬件廠商或者算法的研究院，他們可以做出來(lái)。但是從長(zhǎng)遠(yuǎn)的角度來(lái)看，我們更應(yīng)該專注的是什么樣靈巧手的構(gòu)型是能夠適用于最多種類的任務(wù)，以及對(duì)于算法的接口最好。

圖片來(lái)源：Figure

泓君：所以現(xiàn)在，浩之，根據(jù)你的研究，你覺(jué)得已經(jīng)有公司它能做到我隨意擺上去——我們不說(shuō)任何環(huán)境、任何場(chǎng)景——我們就說(shuō)這個(gè)可樂(lè)罐，它的瓶跟它的開(kāi)口，不一定是正對(duì)著這個(gè)機(jī)器人的手的，它能把它打開(kāi)的這樣的一些公司嗎？

齊浩之：我覺(jué)得現(xiàn)在是沒(méi)有這樣的公司的。如果一個(gè)公司他們今天想要完成這個(gè)任務(wù)，他們可能會(huì)從技術(shù)上花幾個(gè)月去做到這件事情，但是他們可能需要花費(fèi)非常多的資源和非常多的時(shí)間，可能就是出于對(duì)他們本身公司路線的考量，他們不會(huì)去做這件事情本身，而更傾向做一些算法上的改進(jìn)，讓他能夠縮短以后想要做這件事情的時(shí)間。

泓君：就是他們不會(huì)針對(duì)單個(gè)的任務(wù)去做這種優(yōu)化，而是他是希望現(xiàn)在在優(yōu)化的方向是讓他適應(yīng)盡可能多的任務(wù)，就是還是更加看重它的泛化性。

齊浩之：是的。

泓君：了解。如果照這個(gè)來(lái)說(shuō)的話，我印象中之前Figure AI他們放了一些視頻出來(lái)，大概就是有機(jī)器人它能把盤子放進(jìn)洗碗機(jī)里。所以這個(gè)視頻它可能是拍很多次失敗挑出來(lái)的一些成功的案例？還是像你說(shuō)的，它其實(shí)是通過(guò)遙操，它只是一個(gè)展示類的視頻，它并不代表機(jī)器人擁有這樣的一些能力？

齊浩之：我覺(jué)得這里面沒(méi)有一個(gè)確定的信息源吧。但是我覺(jué)得就是現(xiàn)有的算法是可以做到在一個(gè)固定的場(chǎng)景下能比較容易地拍出這種視頻，比如說(shuō)它整個(gè)任務(wù)的成功率可能有80%-90%，在這種情況下拍一個(gè)視頻，也是自主完成的，它的難度也沒(méi)有特別高。但是距離讓這種人形機(jī)器人走入千家萬(wàn)戶，它可能差的是如何在每一個(gè)場(chǎng)景下都可以以100%的成功率去完成這些任務(wù)。比如說(shuō)把盤子放到洗碗機(jī)里，很可能90%也是不夠的，因?yàn)橛?0個(gè)盤子，如果碎了一個(gè)，大家就不想用這個(gè)機(jī)器人了。所以可能需要改進(jìn)的就是成功率，以及老生常談的泛化性的問(wèn)題。

泓君：所以現(xiàn)在在靈巧手的問(wèn)題上，大家關(guān)注的也還是泛化性。

陶一偉：對(duì)，我這里也補(bǔ)充一下，實(shí)際上我們?cè)诿恳粋€(gè)任務(wù)中還是要去細(xì)分地看它整體的難度。因?yàn)閯偛陪岬窖b洗碗碟和從洗碗機(jī)里往外拿，這個(gè)任務(wù)拆解下來(lái)，它主要是機(jī)器人拿起碗碟，打開(kāi)洗碗機(jī)的門，然后放進(jìn)洗碗機(jī)的架，這幾個(gè)就像齊老師說(shuō)的，做簡(jiǎn)單的抓取物體，并且拉動(dòng)一些拉桿，屬于相對(duì)比較簡(jiǎn)單的任務(wù)。這個(gè)難度實(shí)際上跟剛才我們談到的開(kāi)可樂(lè)還不是一個(gè)數(shù)量級(jí)。

因?yàn)殚_(kāi)可樂(lè)仔細(xì)去分析這個(gè)事情，它實(shí)際上是一個(gè)用左手或者右手把可樂(lè)從桌面上拿起來(lái)，調(diào)整好罐口方向，再用另外一只手從空氣中對(duì)準(zhǔn)之后，以一個(gè)合適的角度卡入拉環(huán)，并且以一個(gè)合適的角度和力去打開(kāi)這個(gè)可樂(lè)。并且在這個(gè)過(guò)程中，因?yàn)樗请p手對(duì)一個(gè)物體進(jìn)行同時(shí)操作，你的另外一只手要對(duì)抗這個(gè)拉可樂(lè)的力，對(duì)抗的過(guò)程中你又要怎么保證你的手指不會(huì)產(chǎn)生過(guò)大的力把這個(gè)易拉罐給捏爆？從整體機(jī)器人控制系統(tǒng)上來(lái)說(shuō)，這是比收納碗碟難得非常多的一件事情。

圖片來(lái)源：TetherIA

泓君：所以大家覺(jué)得，現(xiàn)在如果我們綜合來(lái)說(shuō)整個(gè)靈巧手它的瓶頸是在哪？它是整個(gè)機(jī)器人行業(yè)的問(wèn)題，就比如說(shuō)我們還是說(shuō)這個(gè)模型的問(wèn)題、泛化性的問(wèn)題，還是說(shuō)靈巧手它除了這個(gè)之外，它還是有很多它自己這個(gè)行業(yè)獨(dú)有的難題？

陶一偉：靈巧手我們不能光看它是硬件的一個(gè)模塊，它能產(chǎn)生它的價(jià)值肯定是要配上至少一個(gè)雙臂的這么一個(gè)系統(tǒng)。這個(gè)雙臂的系統(tǒng)會(huì)形成一個(gè)最小可以用來(lái)工作的機(jī)器人。但是當(dāng)我們想要真正讓它泛化地去在一個(gè)環(huán)境里執(zhí)行任務(wù)，你就會(huì)需要一個(gè)移動(dòng)的底盤、移動(dòng)的平臺(tái)。有了這樣移動(dòng)的平臺(tái)，大家就會(huì)說(shuō)輪式的是不是可以針對(duì)一些可能更復(fù)雜的路面情況，包括機(jī)器人的上下的運(yùn)動(dòng)？大家又會(huì)說(shuō)，那可能還真的是一個(gè)全人形的更合適。所以說(shuō)真正能讓靈巧手有價(jià)值，肯定不是簡(jiǎn)簡(jiǎn)單單一個(gè)硬件模塊可以去解決的事情。

齊浩之：它的難點(diǎn)肯定是整個(gè)機(jī)器人到處都是難點(diǎn)。經(jīng)常也會(huì)有人問(wèn)我做靈巧手最難的地方是什么？我認(rèn)為現(xiàn)在來(lái)看，硬件和軟件還會(huì)有一個(gè)很大的提升空間。

從軟件層面來(lái)說(shuō)，我的理解是一些比較成熟的在機(jī)械臂或者一些輪式機(jī)器人上面的算法，就是一些機(jī)器學(xué)習(xí)的算法，當(dāng)把它們直接應(yīng)用在靈巧手或者人形機(jī)器人這種更復(fù)雜系統(tǒng)的時(shí)候，它會(huì)出現(xiàn)一些之前沒(méi)有預(yù)料到的問(wèn)題。比如說(shuō)現(xiàn)在的靈巧手可能有四五個(gè)手指，然后每一個(gè)手指有各種各樣的關(guān)節(jié)，每一個(gè)關(guān)節(jié)都可能與這個(gè)環(huán)境發(fā)生交互、與這個(gè)物體發(fā)生交互。那么怎么能在保證這些交互所產(chǎn)生的一些影響是對(duì)我們有利的？比如說(shuō)我們今天想要抓一個(gè)物體，如果我們用一個(gè)夾爪去抓，我們只需要考慮兩個(gè)接觸點(diǎn)該怎么去觸碰這個(gè)物體？但是如果我們現(xiàn)在給了10個(gè)接觸點(diǎn)，那么這10個(gè)接觸點(diǎn)該怎么去分別地接觸這個(gè)物體？有的接觸點(diǎn)之間可能是互相對(duì)抗的作用，這種情況下在計(jì)算復(fù)雜度上就會(huì)顯著地變難。

從硬件層面來(lái)說(shuō)，我開(kāi)始研究靈巧手可能是2021年、2022年，在那個(gè)時(shí)候是只有非常少的選擇，我們可以買到并且還可以用的靈巧手。在最近的一兩年，我們的靈巧手硬件，尤其是國(guó)內(nèi)廠商，還有美國(guó)這邊一些造硬件的公司都有了長(zhǎng)足的進(jìn)步，所以我覺(jué)得這方面的瓶頸在逐漸地減少。但是我的預(yù)測(cè)是還需要幾輪的迭代，才能做到一個(gè)比如說(shuō)大家現(xiàn)在能看到的宇樹(shù)機(jī)器人那樣，一個(gè)逐漸收斂的構(gòu)型。

泓君：現(xiàn)在的靈巧手，市面上能買到的，大家的形狀、硬件都各不一樣，那你就要去根據(jù)這個(gè)硬件調(diào)配自己的軟件。

齊浩之：嗯，就是以像人的靈巧手居多。但是每一家公司他們的技術(shù)路線都會(huì)有所不同，像陶總的公司應(yīng)該是繩驅(qū)的技術(shù)方案，也有一些公司是把電機(jī)放在靈巧手的手指上這種驅(qū)動(dòng)方案。

02盤點(diǎn)靈巧手硬件三大技術(shù)路徑

泓君：其實(shí)說(shuō)到技術(shù)路徑，就我知道現(xiàn)在業(yè)界比較流行的有幾種，一種是連桿驅(qū)動(dòng)的，一種是繩驅(qū)的，繩驅(qū)還分單向繩驅(qū)跟雙向繩驅(qū)，還有電機(jī)驅(qū)動(dòng)的。要不要跟大家簡(jiǎn)單地介紹一下，這些技術(shù)路線各自的優(yōu)劣勢(shì)是什么？現(xiàn)在業(yè)界的主流方向在向哪個(gè)方向發(fā)展？它有沒(méi)有收斂的趨勢(shì)？

陶一偉：我先從硬件本身這個(gè)角度來(lái)談一下，之后可能麻煩齊老師再補(bǔ)充，從使用者的角度來(lái)看，到底哪一種是它更傾向的。

首先我們先看三個(gè)主要的方式，一個(gè)就是連桿，另外一個(gè)繩驅(qū)，最后一個(gè)就是直驅(qū)。

連桿最早應(yīng)該是大家比較傳統(tǒng)意義上的那種假肢手，是采取這樣的一個(gè)結(jié)構(gòu)驅(qū)動(dòng)方式，它通過(guò)底下驅(qū)動(dòng)器，無(wú)論是直線的推桿、電缸，或者是用蝸輪蝸桿的方式產(chǎn)生一個(gè)旋轉(zhuǎn)運(yùn)動(dòng)，最后實(shí)現(xiàn)手指彎曲。

這是屬于傳統(tǒng)意義上六自由度的低自由度靈巧手，它更多的是像手的一個(gè)形狀，但是它的手指的運(yùn)動(dòng)軌跡其實(shí)是相對(duì)還是比較低自由度的，它的指尖是跟隨一個(gè)固定的路線，是個(gè)一維的這么一個(gè)軌跡。大拇指它的設(shè)計(jì)也是它側(cè)擺之后直接正對(duì)應(yīng)食指或者中指之間，它也是通過(guò)這么一個(gè)固定軌跡的方式去合攏，所以說(shuō)從使用的角度來(lái)說(shuō)，它和夾爪相比，特點(diǎn)并沒(méi)有那么的明顯。這是低自由度連桿手的一個(gè)特點(diǎn)。

泓君：低自由度靈巧手，六個(gè)自由度，差不多就是五個(gè)手指這樣合攏，然后還有一個(gè)自由度在哪？

陶一偉：是大拇指的側(cè)面擺動(dòng)。

泓君：就是大拇指有兩個(gè)自由度，然后其他的手指各一個(gè)自由度。

由韓國(guó)阿猶大學(xué)的智能機(jī)器人研究實(shí)驗(yàn)室（IRLAB）設(shè)計(jì)并開(kāi)源的ILDA靈巧手圖片來(lái)源：Iir LAB AJOU

陶一偉：沒(méi)錯(cuò)。連桿手實(shí)際上還有另外一條路線，也是高自由度的路線，就是之前韓國(guó)一篇論文叫ILDA，這篇論文的手基本上思路也是通過(guò)一個(gè)相對(duì)更復(fù)雜的連桿方式，把每個(gè)手指根部設(shè)計(jì)出三個(gè)主動(dòng)的直線驅(qū)動(dòng)器，然后通過(guò)也是比較復(fù)雜的連桿系統(tǒng)，實(shí)現(xiàn)每個(gè)手指三個(gè)自由度的方式。這樣的手的確還是比較先進(jìn)，但是它可能存在的問(wèn)題是它的體積還是比較大，并且它的所有的零部件進(jìn)行剛性的連接，使用中缺少一些柔性。這個(gè)柔性不僅在抓握物體的過(guò)程中感覺(jué)并不是非常的柔順，并且它也會(huì)在碰撞的過(guò)程中相對(duì)來(lái)說(shuō)更容易損壞一些。

泓君：這是第一個(gè)，連桿驅(qū)動(dòng)優(yōu)劣勢(shì)。

陶一偉：然后我談一下第二個(gè)，直接驅(qū)動(dòng)的這些方式。直驅(qū)的靈巧手其實(shí)是這一兩年才逐漸出現(xiàn)的這么一個(gè)方案。實(shí)際上現(xiàn)在電機(jī)驅(qū)動(dòng)器也有很多的發(fā)展，把電機(jī)驅(qū)動(dòng)器做得足夠小，使得這樣的直驅(qū)方案變得可行了。

優(yōu)點(diǎn)是它的自由度可以做得非常高，它可以在每個(gè)關(guān)節(jié)排布一個(gè)驅(qū)動(dòng)器，并且它從控制角度來(lái)說(shuō)，因?yàn)殛P(guān)節(jié)和電機(jī)直接對(duì)應(yīng)的，是相對(duì)來(lái)說(shuō)比較容易去做的。它的缺點(diǎn)可能更多的是一個(gè)貴。我覺(jué)得最終可能應(yīng)該成本也能往下走，但是它更多的一個(gè)點(diǎn)在于它把電機(jī)做得微小之后，它的減速比還是相對(duì)來(lái)說(shuō)比較高，它大的減速比會(huì)使得整個(gè)的傳動(dòng)透明性比較差一些。也就是說(shuō)它里面的齒輪、零部件都比較精密，也是在實(shí)際的應(yīng)用中可能壽命或者是抗沖擊能力會(huì)是它的一個(gè)問(wèn)題。并且因?yàn)榘阉碾姍C(jī)所有的這些零件做得非常小型化，使得它的所有結(jié)構(gòu)都非常需要有高強(qiáng)度的金屬結(jié)構(gòu)，這就使得整個(gè)手的系統(tǒng)的重量沒(méi)有辦法做得非常的小而輕。所以普遍直驅(qū)的靈巧手都是在將近一公斤或者一公斤以上，這個(gè)在機(jī)器人末端來(lái)說(shuō)還是挺大的一個(gè)負(fù)載。

泓君：一公斤的手那好重啊，這設(shè)計(jì)平衡都是一個(gè)問(wèn)題。

陶一偉：的確，對(duì)，這些是它的一些問(wèn)題，還有一些就是包括剛才提到的可靠性、易維護(hù)性，這可能我們還是看一看這個(gè)方面的發(fā)展。

圖片來(lái)源：Sharpa

泓君：所以它現(xiàn)在算是業(yè)界里面從靈活度來(lái)說(shuō)是做得比較高的這樣的一種靈巧手，就是也可以理解成它是能完成更多的精細(xì)運(yùn)動(dòng)跟復(fù)雜動(dòng)作的類型。因?yàn)橹笆怯腥烁彝扑]過(guò)，說(shuō)我們應(yīng)該去聊一聊Sharpa這家公司，就覺(jué)得它做得還挺好的，他們好像就用的這種電機(jī)直驅(qū)的方式。

陶一偉：沒(méi)錯(cuò)沒(méi)錯(cuò)，他們做得真的是非常的驚艷。它的產(chǎn)品的完成度非常高，感覺(jué)它集成的很好，整個(gè)工業(yè)設(shè)計(jì)還非常不錯(cuò)，它每個(gè)關(guān)節(jié)有獨(dú)立的電機(jī)，使得它的整個(gè)真的是非常靈活。

泓君：它能做到哪些其他靈巧手做不到的工作？

齊浩之：我覺(jué)得從展示這個(gè)視頻的角度來(lái)說(shuō)，他們可能做了一些，比如說(shuō)用相機(jī)拍照，比如說(shuō)有一個(gè)雙臂靈巧手的系統(tǒng)給大家發(fā)撲克牌，這個(gè)會(huì)比較難，因?yàn)楸热缯f(shuō)我們想象一疊撲克牌的時(shí)候，兩張牌之間它的間隔很小，當(dāng)我們自己人手發(fā)牌的時(shí)候，我們需要控制一個(gè)比較精確的力，才能把這個(gè)牌從這個(gè)牌堆上面拿出來(lái)，然后再給大家。如果說(shuō)碰牌的點(diǎn)不是很準(zhǔn)，或者是力太大，很容易一下發(fā)很多張牌，或者把牌堆給打散，所以他們做的這個(gè)視頻還是相當(dāng)驚艷。

泓君：嗯，就是如果要一張牌一張牌地發(fā)，對(duì)手部精細(xì)度的要求還是比較高的。對(duì)，這個(gè)是直驅(qū)的方案。然后還有一種應(yīng)該是Evan你這邊比較熟悉的，就是拉繩跟繩驅(qū)的這種方案。

陶一偉：對(duì)的，繩驅(qū)的方案其實(shí)現(xiàn)在市面上幾家主流的公司方案的話也主要分兩種，一個(gè)是雙向拉繩的方案，一個(gè)是單向拉繩的方案。雙向拉繩的主要以最早的我們可能都聽(tīng)說(shuō)過(guò)，靈巧手的皇冠的明珠吧，Shadow Hand他們的一個(gè)產(chǎn)品，是一個(gè)15萬(wàn)美金的天價(jià)產(chǎn)品，超高26個(gè)自由度的靈巧手。他們的方案就是在每個(gè)關(guān)節(jié)用兩根繩同時(shí)連到旋轉(zhuǎn)電機(jī)的兩個(gè)方向上，使得旋轉(zhuǎn)電機(jī)向順時(shí)針轉(zhuǎn)就是彎曲，逆時(shí)針轉(zhuǎn)就是伸直，是這樣的一個(gè)思路。

圖片來(lái)源：Shadow Robot

還有比較類似的另外一款目前開(kāi)源的手叫ORCA Hand，是蘇黎世理工做出來(lái)的，他們這個(gè)也是非常不錯(cuò)的一款雙向拉繩開(kāi)源的靈巧手方案。這樣的靈巧手比較大的難度在于一個(gè)雙向拉繩、一個(gè)張緊問(wèn)題。因?yàn)楫?dāng)你一個(gè)旋轉(zhuǎn)軸去控制末端的另外一個(gè)旋轉(zhuǎn)軸的時(shí)候，它需要兩側(cè)繩的長(zhǎng)度長(zhǎng)時(shí)間保持不變，因?yàn)槔K在使用的過(guò)程中材料會(huì)產(chǎn)生蠕變，這個(gè)蠕變一旦發(fā)生就會(huì)有一個(gè)松動(dòng)的現(xiàn)象發(fā)生，這個(gè)松動(dòng)的現(xiàn)象使得系統(tǒng)的精度降低，并且比較難以控制。

從解決的角度來(lái)說(shuō)，ORCA Hand有一個(gè)比較聰明的方式，一個(gè)精妙的設(shè)計(jì)，就是在它驅(qū)動(dòng)器上用了一系列的棘輪機(jī)構(gòu)，使得你可以輕松地去張緊這個(gè)繩。但是這個(gè)問(wèn)題也是在于你還是要在使用過(guò)程中時(shí)不時(shí)要去調(diào)整一下這個(gè)東西，這是這個(gè)方案比較大的一個(gè)難度。

ORCA Hand中的棘輪機(jī)構(gòu) 圖片來(lái)源：ORCA

還有一點(diǎn)就是，這種高自由度靈巧手，其實(shí)繩子本身雖然不占太多的體積，但是繩驅(qū)設(shè)計(jì)的走線，在機(jī)械設(shè)計(jì)中它對(duì)空間的利用率實(shí)際上非常低。它不像是你設(shè)計(jì)齒輪或者設(shè)計(jì)其他類似的方案，你可以說(shuō)很緊密地把電機(jī)排布在一起。你要去考慮到整個(gè)繩的走線，然后整個(gè)關(guān)節(jié)運(yùn)動(dòng)中繩的一個(gè)范圍變化，一個(gè)非常動(dòng)態(tài)的事情。所以使得高自由度靈巧手，尤其是繩驅(qū)方案，很少有能夠全部做在手掌內(nèi)的，這就使得它的驅(qū)動(dòng)器都要往手腕以下去延伸。像Shadow Hand和ORCA Hand，以及特斯拉。實(shí)際上我們國(guó)內(nèi)有一家公司源升智能，他們做的繩驅(qū)方案是把驅(qū)動(dòng)器全部整合在手掌內(nèi)，但是這樣也的確使得他們手掌的體積稍微還是比較大的。

泓君：特斯拉是哪種方案？

陶一偉：特斯拉是單向拉繩的方案。然后就說(shuō)到單向拉繩，這也是一個(gè)主流的方案。單向拉繩好處就是說(shuō)，對(duì)于腱繩材料的蠕變它不是那么的敏感，它可以通過(guò)算法的方式相對(duì)容易地去克服這個(gè)事情。但它的缺點(diǎn)就是說(shuō)它的伸直運(yùn)動(dòng)是沒(méi)有主動(dòng)的力，相當(dāng)于是靠彈簧去實(shí)現(xiàn)伸直。這個(gè)彈簧伸直的過(guò)程中，一是這個(gè)力相對(duì)來(lái)說(shuō)還是比較小的，如果你想要盡量去優(yōu)化你的抓握力的話，因?yàn)槟阍谧ノ者^(guò)程中實(shí)際上是跟你的彈簧力一個(gè)對(duì)抗，你有更強(qiáng)的伸展力，你就浪費(fèi)掉你的抓握力。但是有的時(shí)候人在一些精細(xì)的操作，人用手的過(guò)程中，反向地推這樣的力，的確也會(huì)有它的作用，但是現(xiàn)在這個(gè)階段我們還是在解決抓握的事情。

泓君：就沒(méi)有想到張開(kāi)的事情，是吧？

陶一偉：對(duì)，張開(kāi)的的確還用得并不是那么多。反向推，你可以想象你如果去閉著眼睛在你的書(shū)包里掏一些東西，你可能需要把其他東西撥開(kāi)。這個(gè)的確是需要一個(gè)推的動(dòng)作，但是更多的還是要整手的觸覺(jué)，這個(gè)確實(shí)是非常難的一個(gè)問(wèn)題了，現(xiàn)在大家都沒(méi)有去考慮這個(gè)事情。

泓君：對(duì)，那業(yè)界現(xiàn)在大家在向哪幾個(gè)方向收斂呢？

陶一偉：從我看來(lái)，硬件上業(yè)界現(xiàn)在主要是朝著直驅(qū)和單向拉繩這個(gè)方向去收斂，包括特斯拉還有我們都是這樣的一個(gè)方式。直驅(qū)的話也是非常驚艷的，連桿的手可能相對(duì)高自由度的做的公司會(huì)少一些。

泓君：Figure AI他們用的是什么方案？還有Physical Intelligence。

陶一偉：Figure AI，我簡(jiǎn)單看了一下他們的專利，它可能是一個(gè)六自由度的，或許是連桿，或者是其他的一些方案的一個(gè)手。

圖片來(lái)源：Figure

泓君：浩之有什么補(bǔ)充的？講講你作為使用者的體驗(yàn)。

齊浩之：我自己是用過(guò)連桿和直驅(qū)電機(jī)的這兩種，我確實(shí)沒(méi)有用過(guò)繩驅(qū)動(dòng)的手。

我們現(xiàn)在去做“機(jī)器人+AI”，大概有兩種比較主流的方式。第一種方式就是先用遙操作采數(shù)據(jù)，然后去訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)去完成某些任務(wù)。在這種情況下，比較經(jīng)典的代表可能是Aloha，還有像Physical Intelligence的這條路徑。

另外一條比較主流的路徑是在一個(gè)物理的模擬器中，去用強(qiáng)化學(xué)習(xí)去訓(xùn)練這么一個(gè)網(wǎng)絡(luò)，就直接把這個(gè)網(wǎng)絡(luò)從仿真器里面遷移到真實(shí)世界。比較成功的案例就是基本上所有大家看到的四足機(jī)器人、雙足機(jī)器人跳舞、走路都是走的這條技術(shù)方案。

靈巧手的話，任何一種方案在現(xiàn)在這個(gè)時(shí)間點(diǎn)都有它的缺陷。但是其中的這套從仿真器中訓(xùn)練一個(gè)網(wǎng)絡(luò)，再遷移到真實(shí)世界也是非常流行的。所以這個(gè)就有一個(gè)問(wèn)題，就是我們?cè)谶x擇靈巧手的時(shí)候會(huì)去衡量它有多容易被仿真。之前我們比如說(shuō)比較連桿的手以及直驅(qū)的手，我們會(huì)覺(jué)得直驅(qū)的手相比于連桿的手，會(huì)容易仿真很多，所以在我們做一些需要高自由度，需要一些用強(qiáng)化學(xué)習(xí)才能學(xué)到的這種靈巧操作的時(shí)候，就會(huì)選擇用直驅(qū)的這個(gè)手。在之前這種直驅(qū)的手，就像剛才Evan說(shuō)的，它最大的缺陷是當(dāng)時(shí)的電機(jī)非常大，也是在最近幾年這個(gè)電機(jī)才做得越來(lái)越小，比如說(shuō)Sharpa。

當(dāng)時(shí)我們覺(jué)得Sharpa驚艷的另外一個(gè)原因就是說(shuō)，在Sharpa之前，跟人手差不多大小的這種機(jī)器人的手，它一般都是要么是連桿驅(qū)動(dòng)，要么是繩驅(qū)，對(duì)于我們想做的這個(gè)技術(shù)路線不太適用。所以當(dāng)時(shí)我們覺(jué)得它既有人類的大小，然后又是電機(jī)驅(qū)動(dòng)的，就是很適用于我們做這方面的研究。

圖片來(lái)源：Sharpa

泓君：所以我覺(jué)得挺有意思的，就是如果用仿真的方式去研究靈巧手的話，其實(shí)你首先需要這個(gè)手長(zhǎng)得跟人類的手一樣，甚至你的自由度、你的關(guān)節(jié)數(shù)有多少要跟人類的手越接近越好。剛剛大家提到Sharpa的手，我看它的價(jià)格好像是10萬(wàn)美元一只。還有Evan你剛剛提到Shadow Hand的那個(gè)手，它是15萬(wàn)美元。誰(shuí)在買這些這么貴的靈巧手？都是科研機(jī)構(gòu)跟大公司的研發(fā)部門嗎？

齊浩之：Sharpa應(yīng)該是5萬(wàn)一只。

泓君：5萬(wàn)一只，10萬(wàn)兩只，它會(huì)按對(duì)賣嗎？

齊浩之：應(yīng)該是可以按對(duì)賣的。我的理解是，首先這些廠商他們不會(huì)靠賣這個(gè)硬件去盈利，至少在此時(shí)此刻，因?yàn)樗麄冞€遠(yuǎn)遠(yuǎn)沒(méi)有到量產(chǎn)的那個(gè)階段。他們現(xiàn)在對(duì)于這個(gè)公司最重要的可能是先確定他們現(xiàn)在這個(gè)構(gòu)型哪里還值得被優(yōu)化，接下來(lái)再去往一個(gè)正確的方向繼續(xù)迭代。這樣的迭代可能還有很多很多輪。他們的這個(gè)價(jià)錢很多時(shí)候我個(gè)人的理解可能是有一些篩選作用在的，就是他們只想給那些真正對(duì)他們的硬件有一個(gè)很強(qiáng)烈的需求的人，可能是大廠，或者是一些來(lái)自于政府資助的高校。舉一個(gè)例子，當(dāng)時(shí)Shadow Hand的一個(gè)主要客戶就是17、18年的OpenAI，他們當(dāng)時(shí)做靈巧手轉(zhuǎn)魔方，他沒(méi)有足夠的財(cái)力去支持他們做這樣的工作。

泓君：挺有意思的。我理解，其實(shí)他們現(xiàn)在也不是靠賣硬件賺錢，還是希望能把這條路跑通。他們其實(shí)也是希望能夠吸引在上面的開(kāi)發(fā)者，然后把整個(gè)生態(tài)搭起來(lái)，讓更多的人去用到他們?nèi)ジ倪M(jìn)這個(gè)方案。

齊浩之：嗯，我是這么理解的。Evan可以從硬件從業(yè)者的角度來(lái)討論一下。

陶一偉：或者從我的創(chuàng)業(yè)者的角度來(lái)討論一下這個(gè)事吧。我們公司的商業(yè)模式可能還跟他略有不同。因?yàn)榫拖駝偛琵R老師說(shuō)的，這些機(jī)構(gòu)是一個(gè)走高端學(xué)術(shù)路線，包括篩選精品客戶的角度來(lái)做這個(gè)事情。

的確，像現(xiàn)在泓君您看到很多Demo在應(yīng)用場(chǎng)景中似乎已經(jīng)是可以落地。而我們思路是做一款穩(wěn)定可靠、價(jià)格更低，能讓真正地做應(yīng)用端的客戶能夠很快地去部署的這么一個(gè)產(chǎn)品。可能我的自由度，包括整個(gè)的性能，包括觸覺(jué)沒(méi)有那么的高級(jí)，但是我們會(huì)去做一款這樣的產(chǎn)品。這樣使得大家可以在落地的過(guò)程中逐漸建立起這個(gè)生態(tài)，然后幫我們更多地獲得和客戶的反饋。這是我們從創(chuàng)業(yè)公司的角度來(lái)說(shuō)，我們的一個(gè)策略。價(jià)格比較便宜的靈巧手并不代表沒(méi)有技術(shù)含量，也并不代表它沒(méi)有商業(yè)價(jià)值。

03特斯拉靈巧手研發(fā)故事

泓君：Evan，其實(shí)你進(jìn)特斯拉的時(shí)候應(yīng)該是在兩年多以前，2023年7月份，對(duì)吧？正好是特斯拉Optimus手的研發(fā)，你要不要跟大家簡(jiǎn)單介紹一下它整個(gè)的手是怎么演進(jìn)的？

陶一偉：沒(méi)問(wèn)題。其實(shí)是最早我加入的時(shí)候，當(dāng)時(shí)做手的團(tuán)隊(duì)，我們整個(gè)Optimus做機(jī)械硬件的團(tuán)隊(duì)?wèi)?yīng)該大概是十幾個(gè)人這么一個(gè)團(tuán)隊(duì)。我和另外一個(gè)人主要是負(fù)責(zé)這個(gè)手的項(xiàng)目。實(shí)際上外界現(xiàn)在也不是很清楚當(dāng)時(shí)那一代手是個(gè)什么樣的方案。它是個(gè)蝸輪蝸桿繩驅(qū)方案，六個(gè)主動(dòng)自由度，十一個(gè)全關(guān)節(jié)，這么一個(gè)欠驅(qū)動(dòng)靈巧手。

當(dāng)時(shí)在內(nèi)部，我們已經(jīng)是迭代到了第三代。我當(dāng)時(shí)加入的時(shí)候最主要的一個(gè)升級(jí)就是增加靈巧手的關(guān)節(jié)編碼器，就是怎么能夠捕捉到靈巧手在空間中的位姿，另外一個(gè)是增加它的觸覺(jué)。

雖然這兩個(gè)工作似乎只是電路上的升級(jí)，但是從整個(gè)系統(tǒng)設(shè)計(jì)的角度，因?yàn)橛辛诉@些新的功能的加入，整個(gè)靈巧手當(dāng)時(shí)沿用第一代的構(gòu)型，就使得裝配過(guò)程中非常困難。

我剛進(jìn)去的第一個(gè)星期的任務(wù)，就是帶領(lǐng)生產(chǎn)團(tuán)隊(duì)親手去組裝這個(gè)剛設(shè)計(jì)好的第三代靈巧手。的確是個(gè)非常痛苦的過(guò)程?？赡芤粋€(gè)手我們從早裝到晚也裝不出來(lái)。從沒(méi)有搞機(jī)械的角度來(lái)說(shuō)可能很難理解，就是你每一個(gè)工序可能都要花一兩個(gè)小時(shí)在那里慢慢地做，這個(gè)實(shí)際上就是一個(gè)硬件構(gòu)型設(shè)計(jì)上還不完善的地方。

泓君：就是Tesla自己做的，他也沒(méi)有用其他的硬件的方案，就相當(dāng)于他全部是自己設(shè)計(jì)、自己研發(fā)，然后你來(lái)正好就是趕上要自己組裝這個(gè)事情。

陶一偉：沒(méi)錯(cuò)。馬斯克實(shí)際上當(dāng)時(shí)看到的那個(gè)第三代的手他沒(méi)有特別滿意，因?yàn)槭菑耐庑蔚脑O(shè)計(jì)包括各方面還是更多的有點(diǎn)像實(shí)驗(yàn)室的樣機(jī)這么一個(gè)狀態(tài)。

泓君：他想要什么樣的？他是對(duì)外形不滿意？還是對(duì)里面的技術(shù)方案不滿意？

陶一偉：馬斯克看到的是一個(gè)外形、一個(gè)是產(chǎn)能。外形他覺(jué)得不是很滿意，另外一個(gè)產(chǎn)能當(dāng)時(shí)可能一天只能組裝一兩臺(tái)，就這樣的產(chǎn)能太差。

泓君：所以他其實(shí)當(dāng)時(shí)可能在質(zhì)疑整個(gè)的這個(gè)設(shè)計(jì)環(huán)節(jié)，就是從外形到這個(gè)方案是不是好落地？

陶一偉：是的，所以這就是我當(dāng)時(shí)進(jìn)去的時(shí)候第一個(gè)任務(wù)就是帶領(lǐng)整個(gè)項(xiàng)目把它的手重新設(shè)計(jì)一遍，和工業(yè)設(shè)計(jì)很緊密地去合作，整個(gè)把它的結(jié)構(gòu)從里外重新的架構(gòu)調(diào)整了一下，包括很多的設(shè)計(jì)細(xì)節(jié)也是我們獨(dú)創(chuàng)的。這是我們做出來(lái)的一個(gè)我們內(nèi)部叫3.1代的手，但對(duì)外就是我們所有目前看到的裝機(jī)，還是大規(guī)模裝機(jī)，一直到現(xiàn)在用的這款手。

圖片來(lái)源：Tesla

泓君：改進(jìn)以后，現(xiàn)在裝一只手要多久？

陶一偉：離開(kāi)的時(shí)候，我記得是一個(gè)星期要一百多臺(tái)，是我們的技術(shù)工人在現(xiàn)場(chǎng)裝，自己有條產(chǎn)線。從我們工程師的角度來(lái)說(shuō)，我們肯定先要自己先做一遍，先要走一遍這個(gè)流程之后才能交給工人去做。

泓君：那馬斯克對(duì)靈巧手的這個(gè)問(wèn)題上，提出過(guò)哪些他的想法？

陶一偉：馬斯克他是非常堅(jiān)信第一性原理，所以說(shuō)他的很多的指導(dǎo)也是從這個(gè)角度來(lái)的，包括去做仿生這樣的事情。

泓君：仿生的問(wèn)題上，就我知道特斯拉內(nèi)部你們其實(shí)是做過(guò)人體的分析，去看人體是怎么感知力的，就是人的手他是怎么工作的。

陶一偉：沒(méi)錯(cuò)，首先我們是看了很多生物解剖上面的學(xué)術(shù)論文，學(xué)習(xí)了人的肌腱的運(yùn)動(dòng)的發(fā)力的方式。還有甚至一個(gè)小小的故事，就是說(shuō)我們其中有一個(gè)伙伴的媽媽是一個(gè)手部的外科醫(yī)生，我們也正好有這么一個(gè)機(jī)會(huì)去到現(xiàn)場(chǎng)觀察真的人手的結(jié)構(gòu)，當(dāng)時(shí)這個(gè)經(jīng)歷還是很有趣的。

泓君：然后你剛剛提到其實(shí)你們有看過(guò)很多生物學(xué)的論文，你從中獲得的最大的一個(gè)啟發(fā)是什么？或者說(shuō)整個(gè)特斯拉他從人體的工作里面得到的啟發(fā)是什么？

陶一偉：其實(shí)特斯拉從上一代，到未來(lái)馬上要發(fā)的這一代手，最大的一個(gè)變化就是把驅(qū)動(dòng)器從手掌內(nèi)移到小臂，這個(gè)也是借鑒了一部分人的設(shè)計(jì)，因?yàn)槿说氖种傅膹澢尿?qū)動(dòng)的肌肉是在小臂上的存在。

泓君：不是在手掌內(nèi)，是在小臂上。

陶一偉：其實(shí)是都有，所以說(shuō)這也是我們自己方案和特斯拉有一些差異的點(diǎn)。它的小臂控制更多的是一個(gè)大的抓握力的肌肉，你可以這樣理解，因?yàn)樗募∪膺€是比較大的。手掌內(nèi)分布的肌肉更多的是控制手的一個(gè)靈巧的精細(xì)化的操作運(yùn)動(dòng)。

齊浩之：我有一個(gè)比較好奇的問(wèn)題，剛才二位也提到了裝配一個(gè)繩驅(qū)的靈巧手可能要花的時(shí)間非常多，而且要非常專業(yè)的人去做。我比較好奇的是，這會(huì)不會(huì)使它的產(chǎn)能相比直驅(qū)的靈巧手有一個(gè)比較大的區(qū)別？

陶一偉：是的，我認(rèn)為是這樣的，直驅(qū)靈巧手因?yàn)樽鳛榭赡芨駛鹘y(tǒng)意義上的機(jī)械結(jié)構(gòu)，包括機(jī)器人系統(tǒng)，它通過(guò)傳統(tǒng)的一些比較成熟的機(jī)械的工藝的方式，可以實(shí)現(xiàn)比較容易的裝配，你可以通過(guò)擰螺絲或者是焊接的這種方式去組裝，這樣的方式都是已經(jīng)比較成熟的方式，它既能保證精度，也可以保證整個(gè)效率。

但是繩驅(qū)，因?yàn)殡炖K的方案，傳統(tǒng)意義上這方面的整合的事情就做得不是那么多，所以說(shuō)這方面是需要整個(gè)行業(yè)去推進(jìn)的一個(gè)事情，包括腱繩怎么兩端固定的驅(qū)動(dòng)器和末端的執(zhí)行元件的連接，既能保證它生產(chǎn)速度，同時(shí)保證它的精度，這個(gè)事情大家還是在探索的過(guò)程中。但是這個(gè)事情最終還是一個(gè)工程的問(wèn)題，它并不是一個(gè)基礎(chǔ)的科學(xué)問(wèn)題。所以說(shuō)隨著整個(gè)行業(yè)的推進(jìn)，我們認(rèn)為這個(gè)事情最終是能被克服的。

04揭秘靈巧手“數(shù)據(jù)金字塔”

泓君：我們剛剛聊了很多跟靈巧手的硬件相關(guān)的問(wèn)題，那接下來(lái)我們可以聊一聊算法層面的，就是浩之你這邊主要在研究的。

齊浩之：在過(guò)去的幾個(gè)月里面，我主要研究的是如何從一些人類的視頻中學(xué)習(xí)這些靈巧操作的技能。

現(xiàn)在大家可能比較了解的是應(yīng)用一些遙操作的方式。遙操作就是現(xiàn)在我們有一個(gè)操作員，他可以戴一些動(dòng)作捕捉的手套或者一些動(dòng)作捕捉的衣服，然后把這些人的動(dòng)作映射到機(jī)器人的手上。但是這樣其實(shí)可能有一些缺陷，第一個(gè)缺陷就是說(shuō)每一個(gè)操作員都要適配一臺(tái)機(jī)器人，那么如果我們想要把機(jī)器手操作的數(shù)據(jù)一直把它推廣到像有語(yǔ)言數(shù)據(jù)那么多，是非常困難的，因?yàn)闆](méi)有那么多機(jī)器人以及產(chǎn)能不夠。

所以另外一條路就是說(shuō)我們能不能根據(jù)一些現(xiàn)有的數(shù)據(jù)，比如說(shuō)有很多視頻是包括人去錄制自己如何做飯、如何去清理家務(wù)，有一些手的動(dòng)作，我們就想要研究能不能通過(guò)讓機(jī)器人觀看這些手的動(dòng)作，然后讓它自己就學(xué)會(huì)了這些技能。

泓君：現(xiàn)在表現(xiàn)怎么樣？

齊浩之：現(xiàn)在我會(huì)把它歸類為還在研究的階段。如果我們的目標(biāo)是想要達(dá)到一個(gè)最好的效果，那么肯定是直接用遙操作的方式去采集機(jī)器人本身的數(shù)據(jù)會(huì)是最好的。但是因?yàn)楝F(xiàn)在我們還沒(méi)有把從人類視頻中學(xué)習(xí)數(shù)據(jù)的這個(gè)樣本數(shù)目推廣到足夠多。我相信從長(zhǎng)遠(yuǎn)來(lái)看，這條路徑很有可能會(huì)取代遙操作。

泓君：我覺(jué)得挺有意思的，而且我注意到之前1X它還發(fā)了一個(gè)機(jī)器人Neo，這個(gè)Neo它是可以進(jìn)家庭，可以幫你做一些基礎(chǔ)的家務(wù)的，但是很可怕的是大家是以出賣隱私的方式去讓這個(gè)機(jī)器人工作的，因?yàn)槊總€(gè)機(jī)器人后面有一個(gè)遙操的人在控制這個(gè)機(jī)器人。那我理解，其實(shí)這也是他們自己收集數(shù)據(jù)的一種方式。

Neo演示廣告片 圖片來(lái)源：1X

齊浩之：對(duì)，沒(méi)錯(cuò)，就是我的理解是現(xiàn)在還沒(méi)有一家公司能夠把機(jī)器人賣到用戶的家里，完成他們想要做的任務(wù)。所以1X相當(dāng)于是一種有點(diǎn)像特斯拉在自動(dòng)駕駛上面的策略，先把車賣給用戶，用戶去開(kāi)這個(gè)車，開(kāi)這個(gè)車的同時(shí)就采集到了數(shù)據(jù)。只不過(guò)是人形機(jī)器人的話，用戶自己并不能操作這個(gè)人形機(jī)器人，所以就有一個(gè)他們自己的操作員去操作這個(gè)機(jī)器人。當(dāng)然他涉及到的一些隱私問(wèn)題、一些道德層面上的問(wèn)題，其實(shí)都是需要更多地被討論。

泓君：你剛剛提到，你2021年~2022年開(kāi)始去做機(jī)器人的這些部分的，那個(gè)時(shí)候其實(shí)GPT3已經(jīng)出來(lái)了，但是能不能用端到端的方式去訓(xùn)練機(jī)器人跟靈巧手，我覺(jué)得在那個(gè)時(shí)候它還不是市場(chǎng)的一個(gè)主流方向，那時(shí)候大家研究機(jī)器人的一些主要的方向在哪里呢？

齊浩之：我會(huì)認(rèn)為那個(gè)時(shí)候大家研究的機(jī)器人主要是想讓機(jī)器人在某一個(gè)任務(wù)上，在有限的泛化性的要求下去完成這個(gè)任務(wù)。因?yàn)槟莻€(gè)時(shí)候硬件也不是很多，能做靈巧手科研的課題組也不是很多，靈巧手這個(gè)問(wèn)題本身大家也沒(méi)有很想做。特斯拉宣布做人形機(jī)器人之后，整個(gè)人形機(jī)器人行業(yè)和這個(gè)靈巧手行業(yè)迎來(lái)了一波爆發(fā)，大家才逐漸開(kāi)始做這個(gè)方面。

然后在后來(lái)最近的幾年，就有越來(lái)越多的人試圖用GPT的研究方式去做一些端到端的模型，包括在一些比較簡(jiǎn)單的機(jī)器人本體上也做得還行，就是也有了一些初步的驗(yàn)證結(jié)果，比如說(shuō)Physical Intelligence，他們就用很大規(guī)模的數(shù)據(jù)加上遙操作去展示了這個(gè)機(jī)器人有很強(qiáng)的能力。但是對(duì)于靈巧手的話，有一個(gè)更難的地方，就是靈巧手采集數(shù)據(jù)會(huì)比其他機(jī)器人采集數(shù)據(jù)要難很多。

圖片來(lái)源：TetherIA

泓君：你是說(shuō)手部的數(shù)據(jù)？

齊浩之：對(duì)。所以即使我們有操作員不停地一直在采集數(shù)據(jù)，距離到GPT那個(gè)等級(jí)的數(shù)據(jù)，或者說(shuō)Physical Intelligence那個(gè)等級(jí)的數(shù)據(jù)還不是一個(gè)非常簡(jiǎn)單的任務(wù)。

泓君：我上次其實(shí)有跟他們的研究員聊，他們?chǔ)?.5好像是說(shuō)1萬(wàn)多個(gè)小時(shí)的數(shù)據(jù)，對(duì)吧？就1萬(wàn)多個(gè)小時(shí)已經(jīng)算整個(gè)機(jī)器人行業(yè)最大的真實(shí)數(shù)據(jù)集，當(dāng)然這個(gè)是高質(zhì)量的數(shù)據(jù)。

齊浩之：對(duì)，肯定有很多公司在收集數(shù)據(jù)的過(guò)程中，他們所產(chǎn)生的數(shù)據(jù)遠(yuǎn)超1萬(wàn)個(gè)小時(shí)。但是還有一個(gè)問(wèn)題就是在于什么樣的數(shù)據(jù)，對(duì)于訓(xùn)練機(jī)器人來(lái)說(shuō)是有用的。

泓君：我們聊一下你的研究，我知道你在研究用視覺(jué)跟觸覺(jué)去做比如說(shuō)手內(nèi)旋轉(zhuǎn)，或者是用兩只多手指去學(xué)習(xí)一些復(fù)雜操作的。整體上你的工作其實(shí)是證明觸覺(jué)帶來(lái)的提升，就你能不能簡(jiǎn)單跟大家解釋一下，為什么機(jī)器人它要有觸覺(jué)？加進(jìn)去了以后機(jī)器人多了哪些能力？

齊浩之：我覺(jué)得機(jī)器人有觸覺(jué)其實(shí)是有幾個(gè)方面的好處。我之前做過(guò)一個(gè)比較有趣的實(shí)驗(yàn)。在美國(guó)這邊可以買到那些有一些麻醉凝膠，像牙醫(yī)做一些小手術(shù)，會(huì)把那些麻醉凝膠放到牙齦上，我當(dāng)時(shí)就把一些麻醉凝膠放到我的手上，這個(gè)是完全無(wú)害的，只是有一些時(shí)間讓你感覺(jué)不到一些東西，然后我就去試圖在這種情況下去做一些操作，很多時(shí)候這個(gè)操作也可以被完成，但是就會(huì)感覺(jué)它做得很慢，因?yàn)閷?shí)際上我是要用我的眼睛仔細(xì)地去看我的手到底有沒(méi)有接觸到，我想比如說(shuō)拿一根鉛筆，或者說(shuō)拿一個(gè)板擦這種東西。

所以我覺(jué)得首先有觸覺(jué)，當(dāng)你的手指和物體交互的時(shí)候，它能給到更精確的信息。比如說(shuō)我們現(xiàn)在想象一個(gè)人形機(jī)器人，它去進(jìn)行一些操作，它的手可能拿到了一個(gè)東西，這個(gè)時(shí)候這個(gè)視覺(jué)一定是很難看到它到底有沒(méi)有拿到東西了，因?yàn)槭职堰@個(gè)接觸點(diǎn)擋住了，所以天然地來(lái)說(shuō)在這種情況下觸覺(jué)會(huì)更有用。

泓君：所以觸覺(jué)就是加傳感器，對(duì)不對(duì)？

齊浩之：對(duì)。另外一個(gè)非常有用的點(diǎn)是說(shuō)，它可以控制力的大小。比如說(shuō)回到最初我們提到的開(kāi)可樂(lè)瓶的例子，剛才Evan提到我們需要一個(gè)手用足夠多控制住這個(gè)可樂(lè)瓶的力，但是又不能把它捏爆，另一只手可能就需要去拉可樂(lè)瓶的拉環(huán)，然后這個(gè)拉環(huán)當(dāng)然也是要有一定的角度，就是使力的角度要非常的精確，不然很可能把這個(gè)拉環(huán)拉斷了，但是可樂(lè)瓶還沒(méi)有開(kāi)。在這種情況下去感知你操作時(shí)候它所用的力也是非常重要的，這樣感知力最好的方式就是通過(guò)一些觸覺(jué)的傳感器。

泓君：所以觸覺(jué)的傳感器，它是不僅僅能感知到我摸到了這個(gè)物體，它還是能感知力的。感知力這個(gè)是怎么做到的？

齊浩之：現(xiàn)在的有各種技術(shù)方案，我可能就簡(jiǎn)單說(shuō)兩三種。比如說(shuō)我們可以把一些壓感傳感器放到手指尖上，然后這個(gè)壓感傳感器大概就是說(shuō)當(dāng)外界給一定的壓力的時(shí)候，這個(gè)電路會(huì)產(chǎn)生不一樣的電流，然后根據(jù)這個(gè)電流的大小來(lái)判斷這個(gè)壓力有多大。

另外的一些方案，就比如說(shuō)，有一種叫視觸覺(jué)傳感器。比如說(shuō)我們現(xiàn)在有一個(gè)手指，我們就在手指內(nèi)部加了一個(gè)另外的相機(jī)，這個(gè)相機(jī)會(huì)往外看，它會(huì)有一些材料能夠當(dāng)手指進(jìn)行接觸的時(shí)候產(chǎn)生一些形變，相機(jī)就會(huì)捕捉到這些形變。當(dāng)它捕捉到這些形變之后，就可以反向地推斷出外界的力是從哪個(gè)方向來(lái)的，是有多大的力，把這些信息放到一些視覺(jué)處理器或者一些神經(jīng)網(wǎng)絡(luò)中就可以得到我們想要的觸覺(jué)信號(hào)。

陶一偉：對(duì)，我可以稍微再補(bǔ)充一點(diǎn)，關(guān)于觸覺(jué)，剛才齊老師說(shuō)的主要是在手指或者手表面覆蓋的這樣的一些觸覺(jué)傳感器，實(shí)際上從我們跟客戶的交流過(guò)程中，另一部分客戶比較在意的靈巧手的力反饋信息，其實(shí)也是來(lái)自于驅(qū)動(dòng)器的一個(gè)電流的大小。就是說(shuō)驅(qū)動(dòng)器到底用多大的力來(lái)拉動(dòng)這個(gè)手指，這個(gè)也是另外一部分比較重要的力反饋信息。這個(gè)其實(shí)和人類的感知系統(tǒng)也比較類似，因?yàn)楫?dāng)人類去抓握物體或者操作物體的時(shí)候，人的皮膚表面是有一層的觸覺(jué)信號(hào)，還有另外一層是來(lái)自于你的肌肉收縮的感知能力。

泓君：我覺(jué)得挺有意思的，就是我聊了這么多，其實(shí)有一個(gè)感受是我們之所以把機(jī)器設(shè)計(jì)得這么復(fù)雜，是因?yàn)槲覀儗?duì)人體跟我們自身一無(wú)所知。

陶一偉：沒(méi)錯(cuò)。

齊浩之：我覺(jué)得剛才Evan補(bǔ)充得非常好，就是繩驅(qū)這條技術(shù)路線一個(gè)很大的優(yōu)勢(shì)就是在于它可以比較容易地實(shí)現(xiàn)力控，因?yàn)樗梢酝ㄟ^(guò)收縮這個(gè)力的大小來(lái)達(dá)到這一點(diǎn)。

泓君：你覺(jué)得像你這樣的一個(gè)研究科學(xué)家大概一天能收集多少這種遙操的力的數(shù)據(jù)呢？

齊浩之：這個(gè)其實(shí)很取決于我想要什么樣的任務(wù)。假如說(shuō)我現(xiàn)在最簡(jiǎn)單的用這個(gè)手去抓取一個(gè)東西放到另外一個(gè)地方，這個(gè)其實(shí)可以收集很多，只要我不累，我就可以一直以很高的成功率收集這樣的數(shù)據(jù)。

但是比如說(shuō)一些更難的任務(wù)，比如說(shuō)我現(xiàn)在要去遙操作一個(gè)機(jī)器人去用剪子剪窗花或者折紙這種，即使是收集一條都非常難。這個(gè)也是我們?cè)谧鏊惴ǖ臅r(shí)候，想要去解決的一些任務(wù)，就是這種很難去采集數(shù)據(jù)的任務(wù)，能不能用一些其他的算法上的突破去解決？

泓君：所以現(xiàn)在大家主流的方案是跟著視頻學(xué)。

齊浩之：對(duì)，大家現(xiàn)在有不同的探索路徑，視頻是其中一條很多人在研究的路徑。還有就是用模擬器作為路徑。還有一種就有點(diǎn)像最近出的Sunday和Generalist，就是用一些特定的設(shè)備去采這樣的數(shù)據(jù)，然后把它轉(zhuǎn)化成機(jī)器人可以用的數(shù)據(jù)。

圖片來(lái)源：Sunday Robotics

泓君：這個(gè)其實(shí)是從數(shù)據(jù)不同的收集方式來(lái)訓(xùn)練模型的角度去考慮的。我們說(shuō)遙操它的數(shù)據(jù)量小，但是它的數(shù)據(jù)質(zhì)量非常高，視頻的數(shù)據(jù)可能缺乏了很多比如說(shuō)力的這些信息，但是它的優(yōu)點(diǎn)是多，哪一種效果是好的？就是現(xiàn)在這個(gè)事情業(yè)內(nèi)有共識(shí)嗎？

齊浩之：如果對(duì)于一個(gè)公司來(lái)說(shuō)，他們還是用遙操作的比較多，因?yàn)樗麄冃枰非蠼^對(duì)的效果。用視頻數(shù)據(jù)很多人在研究，但是我覺(jué)得它是一種研究的階段，包括特斯拉最近也發(fā)布了他們用人類視頻學(xué)到的一些操作的視頻，但是我覺(jué)得從絕對(duì)的能力來(lái)說(shuō)還是不如遙操作的。之所以在這種情況下還要研究視頻，是因?yàn)榇蠹蚁嘈趴赡茉谖磥?lái)的幾個(gè)月或者一年或者更久，當(dāng)視頻的量積累到了一定程度之后，它的能力可以超過(guò)遙操作。但是應(yīng)該不是此時(shí)此刻。

泓君：可能它追求的東西是不太一樣的，精確性就是還是需要遙操的數(shù)據(jù)，泛化性可能視頻也很重要，我不知道我的總結(jié)對(duì)不對(duì)。

齊浩之：對(duì)，我覺(jué)得可以這么理解，不同的數(shù)據(jù)它有不同的特征，有的數(shù)據(jù)就是能讓你得到一個(gè)比較快的能力上的提升，但是它比較難采集，然后有一些數(shù)據(jù)是很容易采集，但是大家如何最好地利用它也沒(méi)有一個(gè)定論。

我們業(yè)界研究的時(shí)候會(huì)有一個(gè)金字塔這樣的模型，比如說(shuō)遙操作，它就在金字塔尖，它的量比較少，但是很有用，視頻的數(shù)據(jù)可能就在金字塔的底座，就是它非常的多，但是它并不是最能夠提升機(jī)器人效果的這一個(gè)數(shù)據(jù)。

中間部分有各種各樣，比如說(shuō)有機(jī)器，比如說(shuō)有仿真。

泓君：對(duì)，我記得之前我有在一個(gè)活動(dòng)上跟很多像DeepMind、OpenAI的這些科學(xué)家也討論過(guò)，問(wèn)大家什么樣是他們喜歡的方式。那天正好其實(shí)是Genie3這個(gè)世界模型剛出來(lái)，我發(fā)現(xiàn)大家分成兩派截然相反的看法，一派是覺(jué)得Genie3對(duì)整個(gè)的機(jī)器人行業(yè)幫助不大，不是一個(gè)很重要的事情。但另一派就會(huì)覺(jué)得這個(gè)事情很重要，它可以幫助訓(xùn)練機(jī)器人。

齊浩之：我覺(jué)得從做研究的角度來(lái)看，我肯定是覺(jué)得這種新的基礎(chǔ)模型肯定是有幫助的，只是我們需要找到方式最好地利用它。說(shuō)它完全沒(méi)用，肯定有失偏頗，但是我覺(jué)得說(shuō)它我們只需要去訓(xùn)練一個(gè)很大的視頻生成模型，它就能解決機(jī)器人，其實(shí)也是不現(xiàn)實(shí)的，因?yàn)楹芎?jiǎn)單的道理就是現(xiàn)在的視頻生成還沒(méi)有完全解決它的物理的真實(shí)性。

雖然我們每年都看到它在物理層面上有越來(lái)越多的進(jìn)步。但是我想我之前比較愛(ài)舉的一個(gè)例子是說(shuō)，假設(shè)我們能夠靠學(xué)習(xí)視頻模型把這個(gè)預(yù)測(cè)物理世界會(huì)發(fā)生什么解決，那這也就意味著我們可以訓(xùn)練這個(gè)語(yǔ)言模型，讓它能夠沒(méi)有Hallucination（幻覺(jué)）。因?yàn)樗喈?dāng)于學(xué)到了一些真實(shí)數(shù)據(jù)的物理規(guī)則，而并不是說(shuō)去簡(jiǎn)單地過(guò)擬合這個(gè)數(shù)據(jù)。

所以我覺(jué)得語(yǔ)言模型我們現(xiàn)在仍然沒(méi)有解決Hallucination，那我覺(jué)得距離視頻模型學(xué)到真正的物理世界的規(guī)律還是任重而道遠(yuǎn)。所以我們不能完全依賴于視頻模型去訓(xùn)練我們的機(jī)器人，但是它可以提供一些很好的初始化也好，或者是一些其他方面的信號(hào)，就都是可以有幫助的。

泓君：還挺有意思的。你們覺(jué)得實(shí)現(xiàn)手部的靈巧動(dòng)作，我們就說(shuō)開(kāi)可樂(lè)，回到開(kāi)始的問(wèn)題，有多難？它到了一個(gè)GPT3時(shí)刻嗎？

陶一偉：說(shuō)不定我覺(jué)得還的確是，如果機(jī)器人能夠真正做到開(kāi)可樂(lè)，是很好的一個(gè)benchmark（基準(zhǔn)測(cè)試），達(dá)到了GPT時(shí)刻，我認(rèn)為因?yàn)樗拇_是靈巧性的綜合能力的考量。

齊浩之：對(duì)，我可能想稍微說(shuō)遠(yuǎn)一點(diǎn)，舉一個(gè)例子，比如說(shuō)我們看20年前其實(shí)就有一些能跑步的機(jī)器人，就是本田，就是Honda的ASIMO，它已經(jīng)能在舞臺(tái)上很好地跑步、上下樓梯。就有很多質(zhì)疑的聲音說(shuō)，為什么我們過(guò)了20多年，這個(gè)人形機(jī)器人也就能達(dá)到20多年前的水平？這其實(shí)涉及到一個(gè)問(wèn)題，就是有多簡(jiǎn)單能夠達(dá)到這樣的水平。現(xiàn)有的算法是可以很容易，當(dāng)它達(dá)到了跑步，然后你就稍微改一些東西，它可以很容易地達(dá)到跳舞，這個(gè)跟20年前讓一個(gè)機(jī)器人跑步可能需要很多高精尖的團(tuán)隊(duì)一起負(fù)責(zé)迭代幾個(gè)月或者幾年是完全不一樣的。

所以我覺(jué)得如果我們未來(lái)有一個(gè)算法，這個(gè)算法框架本身確定了以后，它可以用很短的時(shí)間讓機(jī)器人開(kāi)可樂(lè)，它還可以讓這個(gè)機(jī)器人做開(kāi)門、擰螺絲這樣各種各樣的任務(wù)，那我覺(jué)得確實(shí)就是GPT時(shí)刻了。

泓君：我們離這樣的一個(gè)時(shí)刻有多遠(yuǎn)？

齊浩之：這個(gè)預(yù)測(cè)總感覺(jué)會(huì)被打臉，我覺(jué)得可能還有3-5年。

泓君：那這個(gè)比我想象中快太多了。

陶一偉：我覺(jué)得從硬件的角度、產(chǎn)品的角度，應(yīng)該是今年內(nèi)就會(huì)有產(chǎn)品能夠滿足這樣的能力。

泓君：你是說(shuō)在任何場(chǎng)景下開(kāi)一罐可樂(lè)，機(jī)器人也可以旋轉(zhuǎn)它、隨便放，就是自主操作，不是遙控。

陶一偉：可以這么說(shuō)。我認(rèn)為硬件是非?？炷軌蜻_(dá)到這個(gè)。的確，硬件是相當(dāng)于給整個(gè)機(jī)器人行業(yè)提供一個(gè)基石，更多它的上限的天花板，要靠軟件和背后的模型能力的提升來(lái)釋放出整個(gè)系統(tǒng)的能力的。

齊浩之：據(jù)我觀察，最近這兩年靈巧手實(shí)現(xiàn)了一個(gè)井噴式的飛躍，感覺(jué)有一個(gè)非常光明的未來(lái)。

第一方面就是市場(chǎng)上來(lái)說(shuō)，人形機(jī)器人火起來(lái)之后，大家首先更容易有一些硬件，更容易有一些能夠做復(fù)雜硬件的廠商，然后他們?nèi)プ鲮`巧手以及人形機(jī)器人。

其二就是有很多比較簡(jiǎn)單的本體，像是輪式或者說(shuō)平行夾爪，它們?cè)诳蒲袉?wèn)題本身做得也比較開(kāi)始大同小異了，就是沒(méi)有一個(gè)新的爆點(diǎn)。所以大家正在探索在更復(fù)雜系統(tǒng)上如何迭代算法，也就是靈巧手和人形機(jī)器人。

我覺(jué)得這兩點(diǎn)共同促進(jìn)了整個(gè)研究行業(yè)的發(fā)展。

泓君：好的，非常期待。今天聊得非常精彩，謝謝兩位。