近期，波士頓動(dòng)力Atlas機(jī)器人重磅升級(jí)，已經(jīng)具備3D空間感知和實(shí)時(shí)物體追蹤能力，讓人形機(jī)器人真正擁有開(kāi)始“看”世界的能力。

同時(shí)，Atlas表現(xiàn)出超乎尋常的運(yùn)動(dòng)流暢性，其背后涉及到的部分技術(shù)、理念讓人著迷。

▍從浮夸走向?qū)嶋H

人形機(jī)器人在工廠、倉(cāng)庫(kù)甚至家中執(zhí)行的大量復(fù)雜任務(wù)，涉及的核心能力包括幾個(gè)方面：1）感知其與環(huán)境的接觸狀態(tài)。2）估計(jì)其基礎(chǔ)框架的姿態(tài)和速度。3）計(jì)劃何時(shí)移動(dòng)其末端執(zhí)行器。4）計(jì)劃將其末端執(zhí)行器移動(dòng)到哪里。5）計(jì)劃如何移動(dòng)其末端執(zhí)行器、質(zhì)心和身體。

為了靈活且適應(yīng)性強(qiáng)地完成這些任務(wù)，人形機(jī)器人需要一個(gè)同樣靈活且適應(yīng)性強(qiáng)的感知系統(tǒng)，需要理解世界的幾何和語(yǔ)義屬性——即與其交互的物體的形狀和關(guān)聯(lián)。目前除了Atlas，還沒(méi)有任何一個(gè)人形機(jī)器人，能長(zhǎng)期、反復(fù)在一個(gè)工位上執(zhí)行動(dòng)態(tài)任務(wù)，敢于一鏡到底的展示幾乎看不到。這表明了在這些領(lǐng)域，全球人形機(jī)器人的技術(shù)仍然還遠(yuǎn)未達(dá)到極致。

全電動(dòng)版人形機(jī)器人Atlas在波士頓動(dòng)力2024年4月正式推出以來(lái)，陸續(xù)推出的多個(gè)視頻少了很多浮夸的動(dòng)作展示，而是嘗試聚焦在一個(gè)固定的場(chǎng)景上，新Atlas進(jìn)行一個(gè)看似非常簡(jiǎn)單的任務(wù)：拿起汽車(chē)零件并將其放入到移動(dòng)料箱正確的位置上。也就是從零件排序開(kāi)始，解決真實(shí)問(wèn)題。

這種零件排序其實(shí)是汽車(chē)工廠及類(lèi)似制造環(huán)境中常見(jiàn)的物流任務(wù)。在汽車(chē)工廠中，許多不同車(chē)型和內(nèi)飾級(jí)別的汽車(chē)在同一條生產(chǎn)線上組裝；安裝人員需要按正確的順序?yàn)槊枯v車(chē)配備正確的單個(gè)零件。排序是一個(gè)預(yù)處理步驟，用于根據(jù)當(dāng)天組裝的汽車(chē)正確排列這些零件。

數(shù)以千計(jì)的零件從供應(yīng)商處流入這些制造工廠，裝在單個(gè) SKU 容器中，每個(gè)容器都包含一個(gè)零件變體；然后，工作人員取出這些零件，并根據(jù)生產(chǎn)線的需要，按照正確的順序?qū)⑺鼈冎匦路诸?lèi)到輸出小車(chē)上。

Atlas近期展示的視頻中，其實(shí)每一次都有不足，但每一次卻也都有進(jìn)步。減少浮夸，真實(shí)探索落地場(chǎng)景的更多細(xì)節(jié)，將技術(shù)持續(xù)推到極致，這或許才應(yīng)該是人形機(jī)器人的實(shí)際路徑。

▍長(zhǎng)程任務(wù)難點(diǎn)拆解

讓人形機(jī)器人全自主在一個(gè)場(chǎng)景長(zhǎng)期進(jìn)行任務(wù)，難度除了精度、魯棒性、續(xù)航等基本物理性能要求，更進(jìn)一步是對(duì)于任務(wù)執(zhí)行步驟的持續(xù)打磨優(yōu)化，也就是讓機(jī)器人能更好這個(gè)任務(wù)，最終真正像人類(lèi)一樣。

但這并非易事，零件排序涵蓋了許多核心問(wèn)題，這種實(shí)際場(chǎng)景任務(wù)落到人形機(jī)器人上，需要分解成多個(gè)步驟，每個(gè)步驟都需要機(jī)器人對(duì)環(huán)境有深入的了解。例如任務(wù)的多樣性。完整的零件排序解決方案需要 Atlas 能處理數(shù)千個(gè)不同的零件，并完成不同類(lèi)型的拾取、搬運(yùn)和放置任務(wù)。這些零件尺寸各異、形狀不規(guī)則，重量也各不相同。

又例如抓取行為的復(fù)雜性。排序是一個(gè)長(zhǎng)程多步驟行為，需要高度可靠性，Atlas 需要了解拾取、傳輸或插入過(guò)程中可能出現(xiàn)的所有不同錯(cuò)誤，識(shí)別其中任何一種情況，并知道如何處理。還有例如環(huán)境復(fù)雜性。真實(shí)的工業(yè)環(huán)境中，可能混亂且復(fù)雜，涉及許多移動(dòng)的部件和意外的狀況。

但如果一個(gè)人形機(jī)器人需要耗費(fèi)大量精力來(lái)編寫(xiě)每個(gè)邊緣情況的程序，需要頻繁的人工協(xié)助，或者容易損壞零件，那它就毫無(wú)價(jià)值！

想要執(zhí)行零件排序這類(lèi)長(zhǎng)程任務(wù)，將任何一個(gè)環(huán)節(jié)不斷趨于最優(yōu)值，才有希望組合達(dá)到更完美的機(jī)器人任務(wù)方案。而波士頓動(dòng)力一直就在做這件事。

首先，Atlas會(huì)檢測(cè)并識(shí)別所抓取物體。但問(wèn)題在于工廠里的許多零件要么是閃亮的金屬，要么是低對(duì)比度的暗色物體，這使得機(jī)器人的攝像頭難以清晰區(qū)分。其次，Atlas需要推斷物體的位置以便抓取它。最后，Atlas會(huì)在拾取物體后，決定將其放置在哪里，以及如何將其送到那里。

因?yàn)楣S環(huán)境是動(dòng)態(tài)變化的，所以工作人員還會(huì)不斷調(diào)整變量。而且Atlas必須精準(zhǔn)地放置物體，因?yàn)槿魏畏较蛑灰袔桌迕椎钠?，物體就可能卡住或掉落。所以Atlas還需要能夠在出現(xiàn)問(wèn)題時(shí)，采取糾正措施。這也是人形機(jī)器人必須達(dá)到的目標(biāo)，但是國(guó)內(nèi)少有人重視這些細(xì)節(jié)環(huán)節(jié)。例如，如果插入失敗，人形機(jī)器人是否可以從地面搜索并拾取掉落的部件，并且重新?lián)炱饋?lái)？

想要突破這些工廠環(huán)境的挑戰(zhàn)，人形機(jī)器人需要在感知系統(tǒng)進(jìn)一步升級(jí)。例如需要更具通用性的基礎(chǔ)視覺(jué)模型，能識(shí)別處理各類(lèi)工廠零件，又例如機(jī)器人本體需要更強(qiáng)的機(jī)器學(xué)習(xí)感知模型，以及強(qiáng)大的位置、狀態(tài)估計(jì)能力。

▍波士頓動(dòng)力的“傳統(tǒng)”解法

波士頓動(dòng)力怎么解決類(lèi)似物料搬運(yùn)插片類(lèi)似問(wèn)題？

從視頻中可以看到，他們采用了機(jī)器人視覺(jué)引導(dǎo)技術(shù)，這是一種在工業(yè)機(jī)器人與傳送帶協(xié)同較為成熟的技術(shù)，也就是多個(gè)二維像素標(biāo)記點(diǎn)的使用。但正是這種并不復(fù)雜點(diǎn)線面的系統(tǒng)重構(gòu)與使用，融合視覺(jué)語(yǔ)言模型(VLM)，提高Atlas人形機(jī)器人的實(shí)時(shí)感知能力。

Atlas將障礙物或者抓取物的角點(diǎn)視為關(guān)鍵點(diǎn)，為每個(gè)物品分配邊界框和關(guān)鍵范圍，從而基于外部關(guān)鍵點(diǎn)捕捉物體的包絡(luò)線，能夠?qū)⒏兄降氖澜缗c其固定裝置外觀的內(nèi)部模型進(jìn)行匹配，從而計(jì)算物體類(lèi)型、所占的體積、形狀、尺寸和抓取力。再結(jié)合內(nèi)部多個(gè)標(biāo)記點(diǎn)，判斷區(qū)隔、分布、堆疊等信息，重構(gòu)拾取和放置位置的參考坐標(biāo)。為了執(zhí)行固定裝置分類(lèi)和關(guān)鍵點(diǎn)預(yù)測(cè)，Atlas還使用了一種輕量級(jí)網(wǎng)絡(luò)架構(gòu)，在性能和實(shí)時(shí)感知之間取得了平衡，防止過(guò)熱風(fēng)險(xiǎn)。

除了基礎(chǔ)的位置識(shí)別，導(dǎo)航與抓取更需要3D模型的建立。為了抓取固定裝置內(nèi)的物體，Atlas首先會(huì)估算自身相對(duì)于該特定固定裝置的位置。Atlas依然是使用基于關(guān)鍵點(diǎn)的固定裝置定位模塊來(lái)判斷自身相對(duì)位置和方向。

這套固定裝置定位系統(tǒng)從物體檢測(cè)流程中提取內(nèi)部和外部關(guān)鍵點(diǎn)，并通過(guò)最小化它們的重投影誤差，將它們與預(yù)期空間分布的先驗(yàn)?zāi)Ｐ蛯?duì)齊。同時(shí)系統(tǒng)提取運(yùn)動(dòng)里程計(jì)，用于測(cè)量Atlas的移動(dòng)速度和方向，以將固定裝置姿態(tài)估計(jì)融合到一致的幀中，從而提高關(guān)鍵點(diǎn)噪聲預(yù)測(cè)的可靠性。

實(shí)現(xiàn)可靠固定裝置姿態(tài)估計(jì)的關(guān)鍵挑戰(zhàn)在于處理頻繁的遮擋和視野外的關(guān)鍵點(diǎn)。例如，當(dāng)Atlas靠近固定裝置時(shí)，一些外部關(guān)鍵點(diǎn)可能不在視野范圍內(nèi)。傾斜視圖也具有挑戰(zhàn)性，因?yàn)檩^遠(yuǎn)的關(guān)鍵點(diǎn)通常不可靠。定位系統(tǒng)通過(guò)感知固定裝置內(nèi)部（插槽分隔線之間的角點(diǎn)）的大量關(guān)鍵點(diǎn)來(lái)解決這個(gè)問(wèn)題，這些關(guān)鍵點(diǎn)與物體的插入或提取方式直接相關(guān)。

這就產(chǎn)生了2D關(guān)鍵點(diǎn)和3D角點(diǎn)之間的關(guān)聯(lián)挑戰(zhàn)——圖像中每個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)哪個(gè)角點(diǎn)？Atlas根據(jù)外部關(guān)鍵點(diǎn)進(jìn)行初步近似，從而可以對(duì)內(nèi)部關(guān)鍵點(diǎn)關(guān)聯(lián)做出初步猜測(cè)。然后，內(nèi)外關(guān)鍵點(diǎn)的組合可以對(duì)固定裝置及其所有插槽的姿態(tài)進(jìn)行更可靠的估計(jì)。

Atlas強(qiáng)大的物體操控技能依賴于準(zhǔn)確、實(shí)時(shí)的以物體為中心的感知，評(píng)估該零件的拓?fù)浣Y(jié)構(gòu)確定如何操作以及將其放置在何處。Atlas的物體姿態(tài)追蹤系統(tǒng)SuperTracker融合了不同的信息流：機(jī)器人運(yùn)動(dòng)學(xué)、視覺(jué)以及必要時(shí)的力。來(lái)自Atlas關(guān)節(jié)編碼器的運(yùn)動(dòng)學(xué)信息使其能夠確定Atlas的夾持器在空間中的位置。

例如當(dāng)Atlas識(shí)別出它已經(jīng)抓住了一個(gè)物體時(shí)，這些信息可以為Atlas在移動(dòng)身體時(shí)物體應(yīng)該在的位置提供強(qiáng)有力的先驗(yàn)信息。通過(guò)融合運(yùn)動(dòng)學(xué)數(shù)據(jù)，Atlas可以處理物體在視覺(jué)上被遮擋或超出其攝像頭視野的情況，并在物體從其抓握中滑落時(shí)通知Atlas預(yù)判具體情況。

萬(wàn)一當(dāng)物體滑落時(shí)，或者物體位于攝像頭視野范圍內(nèi)時(shí)，機(jī)器人會(huì)被動(dòng)地運(yùn)行相同的視覺(jué)模型，通過(guò)物體姿態(tài)估計(jì)模型，也就是如果在正常運(yùn)行過(guò)程中檢測(cè)到物體脫離夾具，則可以觸發(fā)前述相同的行為，采用渲染與比較方法，從單目圖像中估計(jì)姿態(tài)再次抓取物體。

該模型使用大規(guī)模合成數(shù)據(jù)進(jìn)行訓(xùn)練，并基于CAD模型將零樣本模型推廣到新物體。也就是未來(lái)在物體的識(shí)別以及抓取環(huán)節(jié)，機(jī)器人會(huì)使用3D姿態(tài)先驗(yàn)進(jìn)行初始化，而后該模型會(huì)迭代地對(duì)其進(jìn)行優(yōu)化，以最小化渲染的CAD模型與捕獲的攝像頭圖像之間的差異。

姿態(tài)估計(jì)器也可以使用二維感興趣區(qū)域先驗(yàn)進(jìn)行初始化，之后，Atlas會(huì)生成一批姿態(tài)假設(shè)，并將其輸入到評(píng)分模型中，最終優(yōu)化出最佳擬合假設(shè)。簡(jiǎn)單來(lái)說(shuō)，當(dāng)物體位于攝像頭視野范圍內(nèi)時(shí)，Atlas會(huì)使用一個(gè)物體姿態(tài)估計(jì)模型，該模型采用渲染和比較的方法，從單目圖像中估計(jì)姿態(tài)。

當(dāng)使用3D姿態(tài)先驗(yàn)進(jìn)行初始化時(shí)，該模型會(huì)迭代地對(duì)其進(jìn)行優(yōu)化，并使用一系列過(guò)濾器來(lái)驗(yàn)證這些姿態(tài)估計(jì)，以最大限度地減少渲染的CAD模型與捕獲的攝像頭圖像之間的差異，從而最終使得機(jī)器人能夠應(yīng)對(duì)其運(yùn)行環(huán)境的細(xì)微變化和宏觀變化。

▍老方法的新作用

在這套動(dòng)作展示中，我們看到了機(jī)器人前所未有的流暢性，減少了大部分的抖動(dòng)。一般而言，多傳感器融合后，會(huì)導(dǎo)致多系統(tǒng)的耦合出現(xiàn)較多的冗余，因?yàn)闄C(jī)器運(yùn)算速率很難跟上快速處理先進(jìn)傳感器的數(shù)據(jù)量。但波士頓動(dòng)力相對(duì)采取了一套成熟的老方法，精簡(jiǎn)代碼集以提高運(yùn)算速率。這種雙層分析架構(gòu)使 Atlas 能夠以驚人的精度定位單個(gè)槽位。感知模型實(shí)時(shí)運(yùn)行，確保 Atlas 能夠在性能和速度之間保持平衡，這對(duì)其動(dòng)態(tài)運(yùn)動(dòng)至關(guān)重要。

通過(guò)為每個(gè)物品分配邊界框和關(guān)鍵點(diǎn)，Atlas 可以有效地繪制其環(huán)境地圖。在工業(yè)環(huán)境中，它經(jīng)常會(huì)遇到形狀和尺寸各異的存儲(chǔ)裝置。這些裝置使用關(guān)鍵點(diǎn)進(jìn)行剖析，外部關(guān)鍵點(diǎn)定義物體的大致形狀，內(nèi)部關(guān)鍵點(diǎn)則精確定位內(nèi)部槽位。

為了使不同層級(jí)架構(gòu)數(shù)據(jù)匹配，官方的解釋是依然使用了較為傳統(tǒng)的機(jī)器人固定滯后平滑器進(jìn)行運(yùn)動(dòng)學(xué)和相機(jī)輸入的異步處理。該平滑器會(huì)收集來(lái)自Atlas關(guān)節(jié)編碼器的高速運(yùn)動(dòng)學(xué)輸入歷史記錄，以及來(lái)自機(jī)器學(xué)習(xí)模型的低速視覺(jué)姿態(tài)估計(jì)，使用一批擾動(dòng)初始化而不是單一姿勢(shì)先驗(yàn)，并確定最佳擬合的6自由度物體軌跡即可。

為了確保人形機(jī)器人動(dòng)作與視覺(jué)相機(jī)建圖的一致性，Atlas還有一個(gè)類(lèi)似工業(yè)機(jī)器人的額外類(lèi)似校準(zhǔn)程序。也就是在執(zhí)行排序等精確操作任務(wù)時(shí)，Atlas會(huì)有一個(gè)短暫的類(lèi)似工業(yè)機(jī)器人重定向流程。這背后是一套精心設(shè)計(jì)的攝像頭和運(yùn)動(dòng)校準(zhǔn)程序，用于補(bǔ)償機(jī)器人身體制造和組裝過(guò)程中的不精確性，以及由于溫度變化或反復(fù)物理沖擊等外部因素造成的物理變化。

良好校準(zhǔn)的手眼協(xié)調(diào)有利于幫助Atlas將所看到的內(nèi)容與Atlas的行為方式之間達(dá)成精確可靠的映射，準(zhǔn)確的手眼校準(zhǔn)也是實(shí)現(xiàn)高性能操作和感知驅(qū)動(dòng)自主的關(guān)鍵因素。Atlas 的空間記憶和上下文理解能力更進(jìn)一步增強(qiáng)了該系統(tǒng)，使其能夠區(qū)分看似相同的夾具，這在雜亂的工業(yè)環(huán)境中至關(guān)重要。

▍結(jié)語(yǔ)與未來(lái)

波士頓動(dòng)力依然旨在“開(kāi)發(fā)世界上最先進(jìn)的機(jī)器人”。

但人形機(jī)器人是一個(gè)新技術(shù)迭出的跨時(shí)代產(chǎn)品，如何將這些新技術(shù)更好融合在機(jī)器人系統(tǒng)中，真正以目標(biāo)為導(dǎo)向?qū)崿F(xiàn)匹配，幫助人形機(jī)器人跨越從實(shí)驗(yàn)室到物理現(xiàn)實(shí)任務(wù)的障礙，可能仍需要機(jī)器人研發(fā)工程師能夠持續(xù)將機(jī)器人技術(shù)推到更極致的水平。

那么在探索階段，我們是否也應(yīng)該考慮，最先進(jìn)的技術(shù)與產(chǎn)品有時(shí)候并不意味著最好用，尤其在面對(duì)陌生場(chǎng)景探索時(shí)，傳統(tǒng)但成熟且穩(wěn)定的技術(shù)，有時(shí)候在機(jī)器人工程學(xué)的大視角下，整合應(yīng)用到極致，或許依然可以帶來(lái)超乎想象的能效。

更多關(guān)于人形機(jī)器人賽道深度文章可在“人形機(jī)器人發(fā)布”公眾號(hào)中查看，歡迎前來(lái)關(guān)注。