此前已向大家介紹過基于觸覺的抓取微調(diào)模型 TacRefineNet 和機(jī)器人 VLA（Vision-Language-Action）大模型 Xiaomi-Robotics-0，它們讓機(jī)器人不僅擁有“博學(xué)的大腦”與“敏捷的身手”，更補(bǔ)上了機(jī)器人智能的“最后一塊拼圖”——觸覺感知。

當(dāng)我們真正從實(shí)驗(yàn)室走向汽車工廠，一道巨大的現(xiàn)實(shí)鴻溝赫然出現(xiàn)：生產(chǎn)節(jié)拍和合格率。在實(shí)驗(yàn)室中，可以進(jìn)行成千上萬次的失敗迭代，而工廠要求動(dòng)作精準(zhǔn)可靠，生產(chǎn)節(jié)拍分秒不差。如何從“學(xué)徒工”成長(zhǎng)為“正式工”，是機(jī)器人面臨的硬核考驗(yàn)。

今天我們向大家匯報(bào)，在真實(shí)汽車工廠里，小米機(jī)器人在自攻螺母上件工站中連續(xù)自主運(yùn)行 3 小時(shí)的成果：雙側(cè)同時(shí)安裝成功率為 90.2%，同時(shí)滿足了最快76 秒的產(chǎn)線生產(chǎn)節(jié)拍要求。

在該任務(wù)中，機(jī)器人連續(xù)從自動(dòng)送釘設(shè)備中精準(zhǔn)抓取自攻螺母，并放置在自攻擰緊的定位工裝上，配合滑臺(tái)輸送和自攻工位的自動(dòng)定位鎖定，實(shí)現(xiàn)汽車一體化壓鑄后地板零件自攻螺母的自動(dòng)化自攻擰緊作業(yè)。

其中，難度最高的環(huán)節(jié)集中在自攻螺母的安裝過程，需要確保其與定位銷軸的精確對(duì)準(zhǔn)和可靠貼合。而自攻螺母內(nèi)側(cè)的花鍵結(jié)構(gòu)，每次抓取不固定的手內(nèi)姿態(tài)，以及定位銷軸上磁吸力帶來的拉扯影響，都大幅增加了裝配難度。以下是在完成任務(wù)時(shí)遇到“精準(zhǔn)對(duì)位”的不同情況：

自攻螺母和定位銷軸的結(jié)構(gòu)細(xì)節(jié)

01 技術(shù)實(shí)現(xiàn)細(xì)節(jié)

▍端到端訓(xùn)練

為應(yīng)對(duì)實(shí)際作業(yè)中的復(fù)雜情況，避免繁瑣的規(guī)則編程，我們采用了端到端數(shù)據(jù)驅(qū)動(dòng)的控制方法。在VLA大模型Xiaomi-Robotics-0的基礎(chǔ)上，結(jié)合強(qiáng)化學(xué)習(xí)技術(shù)，使機(jī)器人能夠快速適配不同下游工況，并持續(xù)從真實(shí)物理環(huán)境的交互經(jīng)驗(yàn)中學(xué)習(xí)，保障其在復(fù)雜工況下實(shí)現(xiàn)長(zhǎng)時(shí)間、穩(wěn)定、高可靠的作業(yè)表現(xiàn)。其主要技術(shù)特點(diǎn)如下：

• 通用 VLA 基座模型：通過統(tǒng)一的動(dòng)作空間設(shè)計(jì)與跨本體數(shù)據(jù)預(yù)訓(xùn)練，顯著增強(qiáng)模型在操作任務(wù)理解、空間感知以及動(dòng)作執(zhí)行等方面的泛化能力；
• VLA + RL 聯(lián)合訓(xùn)練框架：通過引入強(qiáng)化學(xué)習(xí)有效地降低了對(duì)真實(shí)機(jī)器人遙操作數(shù)據(jù)的依賴，增強(qiáng)了模型在不同本體和環(huán)境下的泛化能力；
• 觸覺信息融合：在涉及大量密集接觸的工廠作業(yè)場(chǎng)景中引入觸覺反饋，有效提升任務(wù)執(zhí)行過程中的穩(wěn)定性與魯棒性。

模型框架與訓(xùn)練流程

▍多模態(tài)感知

為支持任務(wù)規(guī)劃決策和提供在線強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)信號(hào)，我們?nèi)诤狭艘曈X、觸覺以及關(guān)節(jié)本體感知等多模態(tài)信息，對(duì)作業(yè)過程進(jìn)行協(xié)同感知與綜合判斷，顯著降低復(fù)雜工況下的狀態(tài)誤判概率。

以抓取任務(wù)為例，僅依賴視覺感知在光照變化或局部遮擋情況下容易產(chǎn)生不確定性，無法準(zhǔn)確判斷自攻螺母與手指之間的真實(shí)接觸狀態(tài)；而僅依賴觸覺信息，則可能受到手指與環(huán)境或者手指之間非預(yù)期接觸的干擾。

▍全身運(yùn)動(dòng)控制

全身運(yùn)動(dòng)控制是機(jī)器人穩(wěn)定作業(yè)的基礎(chǔ)，我們采用了融合優(yōu)化控制與強(qiáng)化學(xué)習(xí)的混合架構(gòu)，并依據(jù)系統(tǒng)穩(wěn)定性指標(biāo)對(duì)兩類控制策略進(jìn)行選擇性執(zhí)行。在該架構(gòu)中，優(yōu)化控制器基于二次規(guī)劃方法，通過零空間投影機(jī)制實(shí)現(xiàn)四級(jí)嚴(yán)格優(yōu)先級(jí)控制，依次滿足平衡約束、安全約束、任務(wù)約束以及其他優(yōu)化指標(biāo)，單次求解耗時(shí)小于1 ms。

強(qiáng)化學(xué)習(xí)控制器則依托大規(guī)模并行仿真平臺(tái)進(jìn)行訓(xùn)練。我們對(duì)虛擬環(huán)境中的數(shù)千個(gè)機(jī)器人進(jìn)行了上億次隨機(jī)擾動(dòng)與失穩(wěn)場(chǎng)景的模擬，從而使機(jī)器人學(xué)會(huì)在極端干擾條件下保持平衡的控制策略。該策略可實(shí)現(xiàn)零樣本遷移部署至真實(shí)機(jī)器人，保障系統(tǒng)的穩(wěn)定性與魯棒性。

02
典型失效案例

前面提到，自攻螺母內(nèi)側(cè)存在花鍵結(jié)構(gòu)，且每次抓取在手內(nèi)的姿態(tài)并不固定。若對(duì)齊精度不足，極易在旋擰過程中產(chǎn)生卡滯，從而導(dǎo)致裝配失?。淮送?，在實(shí)際工況下，機(jī)器人受環(huán)境干擾或者作業(yè)視角受限，也可能影響其對(duì)貼合狀態(tài)的準(zhǔn)確判斷，進(jìn)而出現(xiàn)花鍵與鍵槽貼合不緊密、安裝不到位等問題。

03
其他試點(diǎn)工站

自攻螺母上件工站，是小米人形機(jī)器人邁出在汽車制造場(chǎng)景規(guī)?；瘧?yīng)用的第一步。然而，面向更大范圍的產(chǎn)業(yè)化部署，仍需系統(tǒng)性突破“生產(chǎn)節(jié)拍和合格率”這一核心瓶頸，包括移動(dòng)操作任務(wù)中的全身高效協(xié)同，以及借助靈巧手提升作業(yè)效率等關(guān)鍵技術(shù)挑戰(zhàn)。為此，小米還在其他很多典型工站開展了實(shí)際部署與驗(yàn)證工作，目前正穩(wěn)步推進(jìn)中，相關(guān)進(jìn)展將在后續(xù)向大家匯報(bào)。

來源：小米技術(shù)