用于穩(wěn)定機(jī)器人控制的層次主動推理框架

A hierarchical active inference framework for stable robotic control

https://www.sciencedirect.com/science/article/abs/pii/S095741742504518X

摘要
本文提出“主動推理–視覺運(yùn)動策略學(xué)習(xí)”（AIF-VPL），一種新穎的主動推理框架，將神經(jīng)科學(xué)原理與機(jī)器人模仿學(xué)習(xí)相融合。當(dāng)前方法難以兼顧穩(wěn)定性與適應(yīng)性，而本架構(gòu)展示了皮層–小腦–脊髓層級計(jì)算原理如何解決這一挑戰(zhàn)：在皮層層面，混合Conv-xLSTM網(wǎng)絡(luò)結(jié)合多模態(tài)注意力模塊（MAM），處理時(shí)空視覺–本體感覺輸入以進(jìn)行任務(wù)規(guī)劃；受小腦啟發(fā)的中層采用精度加權(quán)變分自編碼器（VAE）實(shí)現(xiàn)主動推理，通過迭代動作優(yōu)化最小化感覺預(yù)測誤差，顯著提升運(yùn)動穩(wěn)定性（急動度降低35%）；脊髓層面則由xLSTM–Transformer網(wǎng)絡(luò)實(shí)現(xiàn)低延遲、結(jié)構(gòu)化的動作序列執(zhí)行。在拖拽（Drag）、轉(zhuǎn)移（Transfer）與推–T（Push-T）三項(xiàng)操作任務(wù)上評估表明，AIF-VPL達(dá)成93–100%成功率，優(yōu)于擴(kuò)散策略與行為克隆基線。消融實(shí)驗(yàn)驗(yàn)證了各神經(jīng)生物學(xué)啟發(fā)組件的必要性：MAM生成時(shí)序一致的表征，主動推理機(jī)制使軌跡急動度降低35%。本工作首次實(shí)現(xiàn)了層級化主動推理在機(jī)器人中的可部署應(yīng)用，為神經(jīng)機(jī)器人學(xué)與計(jì)算神經(jīng)科學(xué)搭建了原理性橋梁。

引言
在非結(jié)構(gòu)化環(huán)境中實(shí)現(xiàn)機(jī)器人操作，需無縫整合感知、決策與運(yùn)動控制（Panda 等，2025；Yang 等，2025）。盡管機(jī)器學(xué)習(xí)已有進(jìn)展，現(xiàn)有系統(tǒng)仍難以企及生物感覺運(yùn)動系統(tǒng)的魯棒性與適應(yīng)性（Billard & Kragic，2019；Todorov，2004）。其根本局限在于：多數(shù)機(jī)器人架構(gòu)將感知與動作視為分離模塊（Merel 等，2019），忽略了支撐生物運(yùn)動控制的層級性、預(yù)測性與誤差校正機(jī)制（Ijspeert，2008；Tani & Nolfi，1999）。

生物系統(tǒng)通過皮層–小腦–脊髓層級架構(gòu)應(yīng)對該挑戰(zhàn)：皮層利用多模態(tài)上下文規(guī)劃動作（Friston，2010）；小腦通過最小化感覺預(yù)測誤差精細(xì)調(diào)節(jié)運(yùn)動；脊髓則執(zhí)行低延遲運(yùn)動指令（Pimentel 等，2023）。盡管該架構(gòu)已啟發(fā)若干計(jì)算模型（Buckley 等，2017），現(xiàn)有機(jī)器人實(shí)現(xiàn)或過度簡化層級結(jié)構(gòu)，或未能在真實(shí)任務(wù)中部署——尤其缺失一個(gè)類小腦的主動推理（AIF）層，以通過持續(xù)誤差校正穩(wěn)定運(yùn)動（Oliver 等，2022）。

為應(yīng)對上述挑戰(zhàn)，我們提出一種基于生物學(xué)的架構(gòu)，統(tǒng)一感覺運(yùn)動控制三大核心原理：

1. 皮層層級處理：采用Conv-xLSTM（長短期記憶）網(wǎng)絡(luò)與多模態(tài)關(guān)聯(lián)層，實(shí)現(xiàn)視覺與本體感覺輸入的時(shí)空整合，支持任務(wù)規(guī)劃與模仿；
2. 類小腦預(yù)測處理：通過精度加權(quán)變分自編碼器（VAE）持續(xù)最小化感覺預(yù)測誤差，模擬主動推理過程；
3. 類脊髓反射控制：由xLSTM–Transformer編碼器網(wǎng)絡(luò)實(shí)現(xiàn)，確保低延遲運(yùn)動響應(yīng)。

該三層架構(gòu)彌合了高層決策與底層動作執(zhí)行的傳統(tǒng)鴻溝，同時(shí)保持生物學(xué)保真度。

本工作的意義體現(xiàn)于三項(xiàng)貢獻(xiàn)：
? 首次在機(jī)器人中實(shí)現(xiàn)完整皮層–小腦–脊髓主動推理層級的實(shí)用化部署，突破了既往純理論或單層建模的局限；
? 證實(shí)自由能最小化可有效化解模仿學(xué)習(xí)中的穩(wěn)定性–適應(yīng)性權(quán)衡——在任務(wù)成功率保持93–100%的前提下，軌跡平滑度提升35.29%；
? 提出一種生物學(xué)合理、模塊化的架構(gòu)，既推動神經(jīng)機(jī)器人學(xué)（作為感覺運(yùn)動理論的實(shí)驗(yàn)平臺），亦促進(jìn)應(yīng)用機(jī)器人學(xué)（作為穩(wěn)定、可泛化的控制框架）。

章節(jié)片段

機(jī)器人控制中的模仿學(xué)習(xí)模仿學(xué)習(xí)已成為機(jī)器人技能習(xí)得的基礎(chǔ)范式，可高效地從專家示范中學(xué)習(xí)操作行為（Hussein 等，2017）。該領(lǐng)域已從早期的行為克隆方法演進(jìn)為現(xiàn)代概率建模方法。盡管傳統(tǒng)行為克隆實(shí)現(xiàn)簡便，卻易受誤差累積與分布偏移影響（Zare 等，2024）。交互式方法（如 DAgger）通過……

整體層級控制框架人類感覺運(yùn)動系統(tǒng)具有三層架構(gòu)（圖1a），因此我們亦構(gòu)建了一種層級化生成式控制框架。高層控制器模擬大腦皮層與基底神經(jīng)節(jié)的運(yùn)作機(jī)制，整合本體感覺與視覺輸入，并確定運(yùn)動目標(biāo)（圖1b）。為模擬皮層對多模態(tài)信息的學(xué)習(xí)與注意加工過程，我們引入多模態(tài)注意力模塊（MAM），用于融合并……

任務(wù)描述我們的隱式層級生成模型使機(jī)器人能在仿真環(huán)境中自主習(xí)得并執(zhí)行指定的操作任務(wù)。我們在三種不同場景中驗(yàn)證該模型（圖4）：

• Drag（拖拽）任務(wù)：機(jī)器人利用末端執(zhí)行器將箱子拉近，隨后拾取隨機(jī)生成的木塊并投入箱中，最后將箱子推回原位；
• Transfer（轉(zhuǎn)移）任務(wù)：要求機(jī)器人使用……

討論本研究結(jié)果表明，我們提出的生物學(xué)啟發(fā)式層級主動推理框架顯著推進(jìn)了機(jī)器人模仿學(xué)習(xí)的發(fā)展水平。通過映射生物運(yùn)動系統(tǒng)的皮層–小腦–脊髓組織結(jié)構(gòu)，該架構(gòu)在穩(wěn)定性與泛化能力上均優(yōu)于現(xiàn)有方法。其核心創(chuàng)新在于將多模態(tài)感知與層級化控制緊密整合——各層級專精于特定功能……

結(jié)論本文提出了 AIF-VPL——一種用于機(jī)器人模仿學(xué)習(xí)的層級化主動推理框架，成功將神經(jīng)科學(xué)原理與可部署控制架構(gòu)相聯(lián)結(jié)。通過仿照生物運(yùn)動系統(tǒng)的皮層–小腦–脊髓組織，本方法實(shí)現(xiàn)了三項(xiàng)關(guān)鍵進(jìn)展：（1）皮層層級通過 Conv-xLSTM 網(wǎng)絡(luò)與注意力機(jī)制實(shí)現(xiàn)多模態(tài)融合，構(gòu)建魯棒任務(wù)表征；（2）類小腦的主動推理機(jī)制通過預(yù)測……

原文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S095741742504518X