隨著生成式模仿學(xué)習(xí)在機(jī)器人領(lǐng)域的廣泛應(yīng)用，基于擴(kuò)散模型和流匹配的機(jī)器人策略已經(jīng)能夠完成復(fù)雜且長(zhǎng)周期的任務(wù)。然而，這些策略在真實(shí)世界中的部署常常面臨環(huán)境分布偏移和動(dòng)作誤差累積等問(wèn)題，從而導(dǎo)致不可預(yù)測(cè)的失敗行為，嚴(yán)重影響其在安全關(guān)鍵場(chǎng)景中的可靠性。因此，在運(yùn)行時(shí)對(duì)策略失敗進(jìn)行早期、準(zhǔn)確的預(yù)測(cè)，以實(shí)現(xiàn)及時(shí)干預(yù)，已成為一個(gè)關(guān)鍵研究問(wèn)題。本文提出了一種名為FIPER的方法，旨在實(shí)時(shí)預(yù)測(cè)并緩解生成式機(jī)器人策略中的任務(wù)失敗。FIPER的核心創(chuàng)新在于結(jié)合觀察空間的OOD檢測(cè)與生成動(dòng)作不確定性的熵度量，在無(wú)需依賴失敗數(shù)據(jù)的前提下，成功地識(shí)別并預(yù)警潛在的故障情境。實(shí)驗(yàn)結(jié)果表明，F(xiàn)IPER在多種模擬和現(xiàn)實(shí)環(huán)境中表現(xiàn)出色，顯著優(yōu)于現(xiàn)有的故障預(yù)測(cè)方法，在準(zhǔn)確性、響應(yīng)速度和魯棒性方面均實(shí)現(xiàn)了全面提升，為生成式機(jī)器人的安全部署提供了有效的解決方案。

論文題目： Failure Prediction at Runtime for Generative Robot Policies 文章鏈接： https://arxiv.org/abs/2510.09459 代碼地址： https://github.com/utiasDSL/fiper 項(xiàng)目： https://tum-lsy.github.io/fiper_website/

模仿學(xué)習(xí)（Imitation Learning, IL）[1] 是機(jī)器人學(xué)習(xí)復(fù)雜任務(wù)的重要范式，其核心在于通過(guò)學(xué)習(xí)專家的演示數(shù)據(jù)，使機(jī)器人能夠復(fù)現(xiàn)任務(wù)行為。近年來(lái)，擴(kuò)散模型和流匹配等生成式模型的引入，極大地推動(dòng)了模仿學(xué)習(xí)的發(fā)展。盡管生成式模仿學(xué)習(xí)策略在性能上表現(xiàn)優(yōu)異，但在實(shí)際部署中仍面臨關(guān)鍵挑戰(zhàn)：分布偏移或誤差累積可能導(dǎo)致不可預(yù)測(cè)且不穩(wěn)定的行為，最終導(dǎo)致任務(wù)失敗?，F(xiàn)有的故障預(yù)測(cè)方法包括基于OOD檢測(cè)[2][3]和基于外部行為監(jiān)控[4]等多種方法，但它們均存在明顯不足：

（1）學(xué)習(xí)任何 OOD 觀察/操作數(shù)據(jù)：無(wú)法有效區(qū)分策略可以泛化的全新場(chǎng)景和可能導(dǎo)致任務(wù)失敗的異常場(chǎng)景，容易發(fā)生誤報(bào)。

（2）基于VLM的回顧性故障檢測(cè)：通常在錯(cuò)誤發(fā)生后進(jìn)行故障檢測(cè)，難以滿足實(shí)時(shí)性需求，無(wú)法提前預(yù)警。

（3）依賴大量失敗數(shù)據(jù)：收集這些數(shù)據(jù)的過(guò)程存在安全隱患且不切實(shí)際。

（4）未能考慮生成策略的多模態(tài)動(dòng)作分布特性。

二、本文方法

下圖展示了FIPER框架的整體構(gòu)建流程，F(xiàn)IPER 的構(gòu)建基于一個(gè)關(guān)鍵洞察：真實(shí)的策略故障會(huì)同時(shí)伴隨著觀測(cè)空間的連續(xù)偏移與動(dòng)作空間的高不確定性。

為此，本文作者分別設(shè)計(jì)了RND-OE和ACE兩個(gè)子模塊來(lái)捕捉這兩個(gè)信號(hào)。FIPER 的運(yùn)行遵循上圖所示流程：離線階段利用少量成功的軌跡數(shù)據(jù)來(lái)校準(zhǔn)子模塊與閾值，在線階段則實(shí)時(shí)聚合兩個(gè)模塊的不確定性信號(hào)，并在兩者均超閾時(shí)觸發(fā)報(bào)警。

2.1 通過(guò)隨機(jī)網(wǎng)絡(luò)蒸餾檢測(cè)OOD數(shù)據(jù)（RND-OE）

RND-OE旨在識(shí)別那些可能引發(fā)策略失敗的、與訓(xùn)練分布不符的觀測(cè)序列。RND-OE采用了隨機(jī)網(wǎng)絡(luò)蒸餾(RDN)[5]的架構(gòu)，隨機(jī)網(wǎng)絡(luò)蒸餾的核心是通過(guò)固定目標(biāo)網(wǎng)絡(luò)與可訓(xùn)練預(yù)測(cè)網(wǎng)絡(luò)的輸出差異來(lái)度量輸入的新穎性，具體操作流程如下圖所示。

RND-OE包含一個(gè)隨機(jī)初始化并固定的目標(biāo)網(wǎng)絡(luò) 和一個(gè)可訓(xùn)練的預(yù)測(cè)網(wǎng)絡(luò) 。在訓(xùn)練階段，使用一組來(lái)自成功軌跡的觀測(cè)嵌入 作為輸入，通過(guò)優(yōu)化以下?lián)p失函數(shù)，驅(qū)使預(yù)測(cè)網(wǎng)絡(luò)學(xué)會(huì)模仿目標(biāo)網(wǎng)絡(luò)在分布內(nèi)數(shù)據(jù)上的輸出行為：

訓(xùn)練完成后，對(duì)于一個(gè)新的觀測(cè) ，RND-OE分?jǐn)?shù)即由兩個(gè)網(wǎng)絡(luò)輸出的歐氏距離 定義。根據(jù)“連續(xù)的離群觀測(cè)更可能導(dǎo)致動(dòng)作預(yù)測(cè)誤差的累積，最終引發(fā)策略無(wú)法恢復(fù)的任務(wù)失敗”這一重要觀察，F(xiàn)IPER并不基于單一時(shí)序的分?jǐn)?shù)進(jìn)行判斷，而是引入了一個(gè)滑動(dòng)窗口機(jī)制，對(duì)最近的 個(gè)策略步的RND-OE分?jǐn)?shù)進(jìn)行累積：

2.2 通過(guò)動(dòng)作熵（ACE）檢測(cè)不確定性

為了提高模型的可解釋性，F(xiàn)IPER需要在意圖層面（例如策略輸出層面）捕捉不確定性。為此，ACE模塊引入了動(dòng)作熵這一核心度量指標(biāo)。在每個(gè)策略步 ，基于當(dāng)前觀測(cè)歷史 從策略 中采樣 個(gè)獨(dú)立的動(dòng)作塊。ACE采用時(shí)序解耦的估計(jì)策略，將動(dòng)作塊的整體熵分解為預(yù)測(cè)范圍（horizon）內(nèi)各時(shí)間步 的動(dòng)作熵之和：

其中， 為單步動(dòng)作分布的熵估計(jì)器。ACE采用一種無(wú)模型的維度分箱法，該方法依據(jù)訓(xùn)練數(shù)據(jù)的全局范圍 為每個(gè)動(dòng)作維度設(shè)定自適應(yīng)箱寬 ，隨后對(duì)每步的 個(gè)樣本進(jìn)行動(dòng)態(tài)離散化，構(gòu)建多維直方圖，并直接計(jì)算其信息熵，以此量化該時(shí)間步的不確定性，形式化為：

其中， 是樣本落入第 個(gè)箱格的頻率。與RND-OE模塊類似，為了捕捉持續(xù)性的高不確定性而非瞬時(shí)波動(dòng)，ACE分?jǐn)?shù)同樣會(huì)通過(guò)一個(gè)大小為 的滑動(dòng)窗口進(jìn)行聚合：

2.3 故障預(yù)測(cè)邏輯

FIPER的最終故障預(yù)測(cè)器通過(guò)“邏輯與”組合兩個(gè)子模塊的輸出，確保只有觀測(cè)偏移且動(dòng)作高不確定時(shí)才觸發(fā)報(bào)警，計(jì)算公式如下：

其中， 和 分別是觀測(cè)基和動(dòng)作基的二值預(yù)測(cè)器（1 表示超閾值，0 表示未超）。

三、實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)主要在三個(gè)常用的基準(zhǔn)測(cè)試環(huán)境：SORTING、STACKING和PUSHT，以及兩個(gè)真實(shí)世界的任務(wù)：PRETZEL和PUSHCHAIR。這些環(huán)境在機(jī)器人具身性、觀察和動(dòng)作空間、動(dòng)作多模態(tài)程度以及任務(wù)持續(xù)時(shí)間方面各不相同，因此代表了多種不同的故障模式。此外，作者選擇了四種常見(jiàn)的策略故障檢測(cè)方法作為對(duì)比baseline，分別是PCA-kmeans、logpZO、STAC和RND-A。

3.1 定量實(shí)驗(yàn)

作者首先進(jìn)行了定量實(shí)驗(yàn)，基礎(chǔ)評(píng)價(jià)指標(biāo)選用真陽(yáng)性率 (TPR) 和真陰性率 (TNR)，為了衡量成功和失敗數(shù)量不平衡的問(wèn)題，作者也進(jìn)一步報(bào)告了平衡準(zhǔn)確率 Acc。實(shí)驗(yàn)結(jié)果如下表所示，F(xiàn)IPER在絕大多數(shù)實(shí)驗(yàn)環(huán)境中展現(xiàn)出的故障預(yù)測(cè)性能均顯著優(yōu)于baseline模型。

3.2 定性分析

上圖通過(guò)對(duì)比四種環(huán)境下的不確定性評(píng)分，驗(yàn)證了FIPER核心設(shè)計(jì)的有效性。RND-OE在Success-OOD和Fail-ID組之間表現(xiàn)出明顯的區(qū)分度，說(shuō)明其能夠識(shí)別真正危險(xiǎn)的異常，而非僅僅是新奇場(chǎng)景。雖然ACE的整體趨勢(shì)正確，但其區(qū)分度相對(duì)較弱，反映了從動(dòng)作層面判斷故障的缺陷。兩種評(píng)分方法均優(yōu)于相應(yīng)基線，且呈現(xiàn)出一種互補(bǔ)的特性：RND-OE對(duì)潛在風(fēng)險(xiǎn)敏感，而ACE則可以提供對(duì)意圖進(jìn)行預(yù)測(cè)。

隨后作者通過(guò)對(duì)比多種分?jǐn)?shù)聚合的策略，來(lái)反映FIPER實(shí)現(xiàn)早期故障預(yù)測(cè)的效果。實(shí)驗(yàn)結(jié)果如上圖所示，其中對(duì)比baseline方法STAC采用的累積分?jǐn)?shù)法本質(zhì)上是一種事后檢測(cè)機(jī)制，其報(bào)警主要源于對(duì)失敗回合持續(xù)時(shí)間的判斷，因而存在固有的檢測(cè)延遲。相比之下，F(xiàn)IPER采用的滑動(dòng)窗口機(jī)制則通過(guò)聚焦早期信號(hào)，能夠真正捕捉持續(xù)異常的前兆，實(shí)現(xiàn)早期預(yù)警。

3.3 消融實(shí)驗(yàn)

作者隨后對(duì)“邏輯與”和“邏輯或”兩種策略進(jìn)行了消融研究，結(jié)果如下表所示。

可以看出，“邏輯與”策略是實(shí)現(xiàn)高精度預(yù)測(cè)的關(guān)鍵，它通過(guò)要求觀測(cè)和動(dòng)作信號(hào)同時(shí)異常，在保持高故障檢出率的同時(shí)，顯著降低了誤報(bào)率。相比之下，“邏輯或”策略雖然能夠?qū)崿F(xiàn)更快的檢測(cè)，但會(huì)引發(fā)大量誤報(bào)，導(dǎo)致模型的實(shí)用性降低。

04. 總結(jié)

本文提出了FIPER，一個(gè)專為生成式機(jī)器人策略設(shè)計(jì)的實(shí)時(shí)故障預(yù)測(cè)框架。其核心創(chuàng)新在于構(gòu)建了一個(gè)基于雙信號(hào)融合的數(shù)據(jù)預(yù)測(cè)范式。FIPER通過(guò)RND-OE模塊檢測(cè)觀測(cè)嵌入空間中的連續(xù)分布偏移，并結(jié)合ACE模塊量化生成動(dòng)作的不確定性熵，從策略的輸入與輸出端分別捕捉故障前兆。FIPER借助滑動(dòng)窗口聚合機(jī)制，成功實(shí)現(xiàn)了對(duì)持續(xù)異常模式的早期捕捉，在多種環(huán)境中顯著優(yōu)于基線方法，既保持了高故障檢出率，又有效控制了誤報(bào)，為生成式機(jī)器人策略的安全可靠部署提供了有效的解決方案。

參考文獻(xiàn)

[1] Zhang T, McCarthy Z, Jow O, et al. Deep imitation learning for complex manipulation tasks from virtual reality teleoperation[C]//2018 IEEE international conference on robotics and automation (ICRA). Ieee, 2018: 5628-5635.

[2] Lee S W, Kang X, Kuo Y L. Diff-dagger: Uncertainty estimation with diffusion policy for robotic manipulation[C]//2025 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2025: 4845-4852.

[3] Xu C, Nguyen T K, Dixon E, et al. Can we detect failures without failure data? uncertainty-aware runtime failure detection for imitation learning policies[J]. arXiv preprint arXiv:2503.08558, 2025.

[4] Agia C, Sinha R, Yang J, et al. Unpacking failure modes of generative policies: Runtime monitoring of consistency and progress[J]. arXiv preprint arXiv:2410.04640, 2024.

[5] Burda Y, Edwards H, Storkey A, et al. Exploration by random network distillation[J]. arXiv preprint arXiv:1810.12894, 2018.

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈