導(dǎo)語

當機器人在春晚舞臺上完成高度同步的群體表演時，公眾看到的是技術(shù)突破與視覺震撼；研究者則更關(guān)注一個問題：這種“群體協(xié)同”究竟意味著什么？

從工程角度看，春晚機器人的協(xié)同動作通常依賴中央控制與精確編排，屬于高度優(yōu)化的集中式系統(tǒng)。然而，從復(fù)雜系統(tǒng)與人工智能的視角出發(fā)，這一現(xiàn)象也引出了一個更深層的問題——機器人能否在沒有中央調(diào)度的情況下，通過局部感知與分布式?jīng)Q策實現(xiàn)真正的群體智能？

近年來，具身神經(jīng)形態(tài)智能（Embodied Neuromorphic Intelligence）作為融合類腦計算、事件驅(qū)動感知與低功耗神經(jīng)動力學(xué)的新興方向，為這一問題提供了新的理論與技術(shù)路徑。該方向不僅關(guān)注單體機器人的感知—行動閉環(huán)能力，也為未來分布式機器人系統(tǒng)與群體自組織機制奠定潛在的計算基礎(chǔ)。

這篇2022 年發(fā)表于 Nature Communications 的綜述論文系統(tǒng)梳理了具身神經(jīng)形態(tài)智能的理論框架與技術(shù)挑戰(zhàn)。

研究領(lǐng)域：具身認知、類腦智能、神經(jīng)形態(tài)工程

??

Chiara Bartolozzi, Giacomo Indiveri, Elisa Donati | 作者

趙林 | 譯者

趙樂、梁金 | 審校

論文題目： Embodied neuromorphic intelligence 論文鏈接： https://www.nature.com/articles/s41467-022-28487-2

目錄

摘要

一、機遇與挑戰(zhàn)

二、智能機器人的需要

1. 神經(jīng)形態(tài)感知

2. 神經(jīng)形態(tài)行為

3. 神經(jīng)感知和行為的計算基元

4. 贏者通吃網(wǎng)絡(luò)

5. 狀態(tài)依賴的智能處理

三、展望

摘要

春晚機器人所呈現(xiàn)的是多體協(xié)同的視覺結(jié)構(gòu)，但其協(xié)作機制主要依賴集中式控制。若要實現(xiàn)真正的分布式群體智能，則需要在單體層面構(gòu)建低功耗、自主決策的計算單元——這正是具身神經(jīng)形態(tài)智能試圖回答的問題。

設(shè)計與環(huán)境自主交互并能夠完成復(fù)雜行為的機器人是一個公開的挑戰(zhàn)，通過研究理解是什么讓生物適應(yīng)這個世界，我們將會從中獲益。神經(jīng)形態(tài)工程研究的是神經(jīng)計算原理，目標是開發(fā)出可用于構(gòu)建緊湊和低功耗處理系統(tǒng)的計算技術(shù)。本文討論了為什么將神經(jīng)形態(tài)技術(shù)——從感知到運動控制——賦予機器人，這一非常有前途的方法能夠?qū)崿F(xiàn)創(chuàng)造無縫融入社會的機器人。本文陳述了在這個方向上的初步嘗試，強調(diào)開放的挑戰(zhàn)，并提出可以克服發(fā)展限制的措施。

一、機遇與挑戰(zhàn)

如果說春晚舞臺展示了機器人“可編排能力”的極致，那么產(chǎn)業(yè)真正關(guān)心的問題是：機器人能否在開放場景中穩(wěn)定運行？能否在不可預(yù)測環(huán)境下自主決策？

我們將智能定義為能夠有效地與環(huán)境互動，基于感官信號和內(nèi)部狀態(tài)的正確解析來規(guī)劃合適的行為，實現(xiàn)其目標，學(xué)習(xí)和預(yù)測其行動的效果，并能夠不斷適應(yīng)無約束情景的變化。最終，具身智能實現(xiàn)機器人在通用條件和任務(wù)中與環(huán)境快速交互[1]。這一切要高效完成，意味著在處理噪音、可變性和不確定性的同時，盡量少地消耗電源、內(nèi)存和空間計算等資源來執(zhí)行穩(wěn)健的信息處理。這就要求找到改善性能和增強穩(wěn)健性的方法，該方法與在系統(tǒng)中增加通用計算資源、冗余和控制結(jié)構(gòu)的標準工程方法不同。

機器學(xué)習(xí)和計算神經(jīng)科學(xué)的當前研究進展正在深刻影響人工智能領(lǐng)域 （AI） [2-4]。然而，傳統(tǒng)的計算和機器人技術(shù)遠遠不能像人類或其他動物那樣執(zhí)行依賴具身智能的任務(wù)[1,5]。例如，制定長期導(dǎo)航的空間感知任務(wù)，以及需要快速反應(yīng)時間和適應(yīng)外部條件的精細電機控制任務(wù)。在此背景下，產(chǎn)生智能行為的一個核心要求是需要在多時間尺度上處理數(shù)據(jù)。這種多尺度方法支持即時感知分析、分層信息提取和時間結(jié)構(gòu)化數(shù)據(jù)的記憶，用于終身學(xué)習(xí)、適應(yīng)和記憶重組。雖然，傳統(tǒng)計算可以通過高精度 （比如32位浮點） 的數(shù)值參數(shù)和將數(shù)據(jù)長期存儲在外部存儲器庫中的方式實現(xiàn)在不同時間尺度上的處理，但是，這樣操作會導(dǎo)致計算基底的功耗和面積/體積的需求大增，與生物神經(jīng)網(wǎng)絡(luò)相比性能堪憂[6]。

神經(jīng)形態(tài)工程方法采用混合信號模擬/數(shù)字信號硬件來支持生物智能啟發(fā)的神經(jīng)計算基元 （Neural Computational Primitives） ，這些基元與傳統(tǒng)馮·諾依曼計算機體系架構(gòu)[7]中使用的基元完全不同。神經(jīng)形態(tài)工程方法能夠提供節(jié)能且緊湊的解決方案，支持實現(xiàn)智能及其在機器人平臺上的嵌入[8]。然而，在機器人技術(shù)中應(yīng)用神經(jīng)形態(tài)工程方法需要克服許多阻力，往往使研究者無法遵循這一充滿前景的方法。其挑戰(zhàn)領(lǐng)域包括從全定制神經(jīng)形態(tài)傳感器芯片、傳統(tǒng)計算模塊與電機系統(tǒng)集成，到集成神經(jīng)形態(tài)芯片的神經(jīng)處理系統(tǒng)“編程”，也亟需一個原理框架使用神經(jīng)元代替數(shù)字在這些設(shè)備中實現(xiàn)和組合計算基元、功能和操作。

無論是常規(guī)機器人，還是神經(jīng)形態(tài)機器人，都面臨著開發(fā)兼顧魯棒性和自適應(yīng)的計算模塊，以解決通用任務(wù)的挑戰(zhàn)，尤其是在人-機協(xié)作任務(wù)中的應(yīng)用。兩者都亟需一個旨在組合這類模塊的設(shè)計框架，以賦能給一個真正的自主智能體。在這一視角下，我們討論了當前機器人技術(shù)和神經(jīng)形態(tài)技術(shù)所面臨的挑戰(zhàn)，并提出克服當前挑戰(zhàn)的潛在研究方向。

二、從“舞臺智能”到“現(xiàn)實智能”：

智能機器人的真正需求

在日益強大的可用計算資源的支持下，目前機器學(xué)習(xí)的發(fā)展在機器人領(lǐng)域取得了豐碩成果[2-4]。然而，除了經(jīng)過精確校準的機器人在受控環(huán)境中執(zhí)行重復(fù)操作外，在自然環(huán)境中的自主操作仍然具有挑戰(zhàn)性，這是因為動態(tài)環(huán)境具有可變性和不可預(yù)測性的特點。

如方框1所述，與非控制環(huán)境和人類的交互，需要不斷地推斷、預(yù)測和適應(yīng)環(huán)境、人類以及機器人平臺本身的狀態(tài)?，F(xiàn)有的機器學(xué)習(xí)、深度網(wǎng)絡(luò)和人工智能機器人技術(shù)并不能適應(yīng)這類場景，因為這些現(xiàn)有方法通常需要很高的計算 （功耗） 資源。例如，深度神經(jīng)網(wǎng)絡(luò)一般有大量的參數(shù)，需要非常大的數(shù)據(jù)集，花費大量的訓(xùn)練時間訓(xùn)練，即使使用大型圖形處理單元 （GPU） 集群，也未必能改善性能。而且，現(xiàn)有方法所使用的數(shù)據(jù)集大多是不符合實際情況的理想化數(shù)據(jù)構(gòu)成的，對于機器人來說，這些數(shù)據(jù)集需要被定制和配置到特定平臺[9]。對于端到端強化學(xué)習(xí)，數(shù)據(jù)集依賴于機器人的運動和驅(qū)動，數(shù)據(jù)的采集和創(chuàng)建過程非常昂貴并且耗時。雖然虛擬仿真可以一定程度上改善這種不足，但是遷移學(xué)習(xí)技術(shù)并不能使用將預(yù)先訓(xùn)練好的體系架構(gòu)遷移到實際應(yīng)用場景。在大型數(shù)據(jù)集上離線訓(xùn)練需要使用高性能、功能強，昂貴且耗電的計算基礎(chǔ)設(shè)施。相反，推理方法較少受到這個問題的困擾，可以在性能較低的嵌入式平臺上運行，但是這是以非常有限或沒有適應(yīng)能力為代價換取來的，從而使系統(tǒng)很難被用于變幻莫測的現(xiàn)實世界場景[10]。

方框1：機器人適應(yīng)領(lǐng)域的需要

雖然，目前大多數(shù)工業(yè)機器人都在受控環(huán)境中操作，以執(zhí)行可編程和重復(fù)的動作，但是機器人研究正朝著人-機器人協(xié)作的方向發(fā)展，在日常任務(wù)中[133,134]，機器人有望在無控制的環(huán)境中與人類進行互動和協(xié)作。不同個體的行為和環(huán)境物理狀況可能會隨時間和任務(wù)發(fā)生變化。因此，機器人的適應(yīng)能力對于在現(xiàn)實世界和人類互動至關(guān)重要。在工業(yè)應(yīng)用中，機器人設(shè)備會隨著運行周期發(fā)生磨損，控制器需要在很長的時間尺度上適應(yīng)設(shè)備特性的變化。

在康復(fù)機器人領(lǐng)域，控制器既要適應(yīng)醫(yī)生個體的治療過程，也要適應(yīng)不同患者長期和短期的要求[136]。在大多數(shù)交互式應(yīng)用中，機器人必須能夠在短時間內(nèi)對突發(fā)的環(huán)境變化做出反應(yīng)，例如切換到以前學(xué)習(xí)過的配置。自主飛行器需要應(yīng)對環(huán)境的變化，比如風力和方向的變化；仿人和挖沙機器人需要適應(yīng)不同類型的地形[137]；機械手需要學(xué)會操縱不同重量和柔軟度的物體。

生物學(xué)為解決這些需求提供了豐富的案例集合，以適應(yīng)上文描述的變化[138,139]。在短時間尺度上，生物系統(tǒng)能夠適應(yīng)具有短期可塑性機制的恒定輸入[140]；對于較長的時間尺度，它們的傳感器需要能夠應(yīng)對編碼信號的靈敏度 （例如，感光器適應(yīng)全球平均光照，弱光下更敏感，或太陽直射下不敏感） [141]。在更長的時間尺度上，穩(wěn)態(tài)機制調(diào)節(jié)整體神經(jīng)活動，使其保持在定義的界限內(nèi)，從而應(yīng)對環(huán)境的緩慢變化，或者種群的整體驅(qū)動[142]。

因此，機器人技術(shù)的關(guān)鍵是減少或盡可能消除對數(shù)據(jù)和計算密集型算法的需要，有效地利用傳感數(shù)據(jù)，并為持續(xù)在線學(xué)習(xí)制定解決方案，使機器人能夠通過弱監(jiān)督或自我監(jiān)督獲取新知識。實現(xiàn)這一目標的一個重要步驟是從靜態(tài) （或基于框架） 轉(zhuǎn)移到動態(tài) （或基于事件） 的計算范式，能夠泛化和適應(yīng)不同的應(yīng)用場景、用戶、機器人和目標。

神經(jīng)形態(tài)感知直接從傳感器采集的層面來解決這些問題。它采用新穎的生物啟發(fā)傳感器，以異步事件策略高效地編碼感官信息[11]。它還采用計算基元從傳感器獲取的事件中提取信息，依靠一組多樣化的脈沖驅(qū)動的計算模塊。神經(jīng)形態(tài)行為遵循的控制策略，通過整合多種感官輸入來適應(yīng)不同環(huán)境和操作條件，利用基于事件的計算基元來完成預(yù)期的任務(wù)。

神經(jīng)形態(tài)感知和行為都是基于計算基元，這些基元來源于生物大腦中神經(jīng)回路的模型，因此非常適合用混合信號模擬/數(shù)字信號電路來實現(xiàn)[12]。這為機器人技術(shù)中的神經(jīng)形態(tài)感知和行為提供了高效的技術(shù)基礎(chǔ)。例如，依賴于語境的合作和競爭信息處理，以及多時間尺度上的學(xué)習(xí)和適應(yīng)[13,14]。

利用硬件神經(jīng)形態(tài)計算基元開發(fā)和集成神經(jīng)形態(tài)感知和行為，最終目的是設(shè)計具有端到端神經(jīng)形態(tài)智能的機器人，如圖1所示。

圖1. 具有端到端神經(jīng)形態(tài)智能的機器人。從感知（紫紅色）、智能行為（綠色）到動作執(zhí)行（藍色）都將采用脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network，SNN）硬件技術(shù)來實現(xiàn)。| 來源：iCub picture ?IIT author Agnese Abrusci.

下一章節(jié)將介紹神經(jīng)形態(tài)感知、動作規(guī)劃和認知處理策略，總結(jié)這些領(lǐng)域最前沿的特征和問題。以一個路線圖和一個“行動號召”來總結(jié)具身神經(jīng)形態(tài)智能領(lǐng)域的進展。

1. 神經(jīng)形態(tài)感知：讓機器人“看到變化”而非“看到圖像”

機器人通常包括許多收集外界信息的傳感器，如攝像機、麥克風、觸摸壓力傳感器、激光雷達、飛行時間記錄傳感器、溫度傳感器、力矩傳感器、和距離傳感器。在常規(guī)裝置中，所有傳感器都測量相應(yīng)的物理信號，以固定的時間間隔采樣，不論信號本身的狀態(tài)和動態(tài)。它們通常提供一系列外部世界的靜態(tài)快照。當信號靜止時，它們繼續(xù)傳輸冗余的數(shù)據(jù)，但沒有額外的信息，并且當信號發(fā)生快速變化時可能會錯過重要的數(shù)據(jù)樣本，因此我們需要在采樣率 （用于捕捉動態(tài)信號） 和數(shù)據(jù)負載之間進行權(quán)衡。

相反，在大多數(shù)神經(jīng)形態(tài)的傳感系統(tǒng)中，只有當信號本身有足夠大的變化時，才會采樣并轉(zhuǎn)換成數(shù)字脈沖 （“事件”或“脈沖”） ，采用基于事件的時間編碼方案[15,16]，如脈沖密度或Σ-Δ調(diào)制[17]。因此，數(shù)據(jù)采集適應(yīng)于信號動力學(xué)，對于快速變化的刺激，事件速率增大，而對于緩慢變化的刺激，事件速率減小。這種類型的編碼不會丟失信息[18-20]，在活動稀疏場景下是效果更好。這種事件表征對于高效、快速、穩(wěn)健和信息量很大的感知至關(guān)重要。技術(shù)改進包括減少對數(shù)據(jù)傳輸、存儲和處理，以及高時間分辨率和低延遲。這對于機器人的實時應(yīng)用極其有用。

從運動傳感器和瞬態(tài)成像儀[21]的設(shè)計出發(fā)，第一種具有足夠分辨率、低噪聲和傳感器失配的事件驅(qū)動視覺傳感器——動態(tài)視覺傳感器 （Dynamic Vision Sensor，DVS） [22]和異步時間成像傳感器 （Asynchronous Time Imaging Sensor，ATIS） [23]——引發(fā)了事件驅(qū)動視覺處理算法的發(fā)展以及在機器人平臺上的適配應(yīng)用[24]。這些傳感器信息編碼方式打破了使用幾十年的傳統(tǒng)攝像機靜態(tài)幀編碼方式。它們的新穎性要求發(fā)展一種新的原理方法來處理事件驅(qū)動感知。采用事件驅(qū)動的機器視覺方法快速目標跟蹤[25]、光流[26-28]或立體聲[29]和同步定位與地圖創(chuàng)建 （SLAM） [30]等具體任務(wù)，遠優(yōu)于常規(guī)算法。但是，這些算法及其硬件實現(xiàn)仍然存在任務(wù)特異性和適應(yīng)性有限的問題。

這些事件驅(qū)動的傳感處理模塊將逐步替代機器人框架中的對應(yīng)模塊 （見圖2） 。然而，雖然已經(jīng)取得了令人鼓舞的成果，但是由于需要改變思維方式來處理事件流而不是靜態(tài)幀，因此在機器人技術(shù)中采用事件驅(qū)動的感知仍然困難。此外，這種新的數(shù)據(jù)表示要求開發(fā)新的特定接口、通信協(xié)議 （如方框2和圖3所示） 和處理事件的軟件庫。開源的JAVA[31]和C++[32]已經(jīng)開發(fā)了33個庫，在兩個主要的機器人中間件——ROS和YARP——中開發(fā)，但是它們需要大型社區(qū)提供的額外貢獻才能發(fā)展并達到機器人的成熟應(yīng)用。最終，機器人領(lǐng)域可能更廣泛采用一種結(jié)合基于幀和事件驅(qū)動模塊的混合方法，并促進圍繞它的社區(qū)的發(fā)展。然而，這種混合神經(jīng)形態(tài)/傳統(tǒng)的設(shè)計策略并不能充分利用神經(jīng)形態(tài)范式的所有優(yōu)點。

圖2. 機器人的神經(jīng)形態(tài)感知

為了實現(xiàn)具有完全神經(jīng)形態(tài)視覺的機器人，神經(jīng)形態(tài)和計算神經(jīng)科學(xué)界已經(jīng)開始深入研究立體視覺[34]和邊緣[35]、注意力[36]和物體識別[37]的感知模塊。這些算法可以在神經(jīng)形態(tài)計算基底上運行，以實現(xiàn)高效率、適應(yīng)性和低延遲。

神經(jīng)形態(tài)傳感器發(fā)展的路線圖，從視覺開始非常弱地受到生物光傳導(dǎo)的啟發(fā)，再到聽覺受到耳蝸的啟發(fā)，后來才發(fā)展到觸覺和嗅覺。事件驅(qū)動的采集原理在應(yīng)用于其他感官模式時也非常有價值，特別是那些具有時間和空間局部化激活特性的模式，如觸覺、聽覺和力矩模式，那些需要極低的閉環(huán)控制延時的模式，如編碼器和慣性測量單元 （IMU） 、激光雷達、飛行時間 （Time-of-flight） 、3D和接近傳感器 （Proximity Sensor） ，以及幫助機器人檢測人類狀態(tài)的傳感器，例如肌電圖 （EMG） 、腦電圖 （EEG） 、質(zhì)心等[38]。

可用的耳蝸要么依賴于亞閾值混合模硅基器件[39,40]，要么依賴于現(xiàn)場可編程邏輯門陣列 （FPGA） [41]。它們主要應(yīng)用于聲源定位和聽覺注意，基于左右信號極其精確的時間足跡[42,43]和視聽語音識別[44]實現(xiàn)。然而，它們在機器人上的集成仍然非常有限：與事件驅(qū)動的愿景一樣，它們需要應(yīng)用開發(fā)工具，以及可以被語音處理利用。

觸覺感知問題因為三個因素變得復(fù)雜化。首先，可用的不同物理傳感器的數(shù)量；其次，傳感器與硅讀出裝置之間交互非常困難；再次，在機器人平臺上集成觸覺傳感器存在工程挑戰(zhàn)，包括微型化，以及設(shè)計和實現(xiàn)具有良好機械性能、布線和魯棒性的柔性和耐用材料。

迄今為止，只有很少的神經(jīng)形態(tài)觸覺傳感器被開發(fā)出來[45-48]，除了實驗室原型外，還沒有穩(wěn)定集成在機器人平臺上的產(chǎn)品。在這些傳感器集成到機器人上的同時，現(xiàn)有的基于時鐘的集成傳感可以用來支持事件驅(qū)動的機器人應(yīng)用的開發(fā)。在這種“軟”神經(jīng)形態(tài)學(xué)方法中，前端時鐘樣本通過在軟件[49–51]中實現(xiàn)的算法，或嵌入在數(shù)字信號處理器 （DSPs） [52]或FPGAs[53,54]中的算法，轉(zhuǎn)換為基于事件的表示。同樣的方法在其他感官模式中也很有價值，例如本體感覺[55,56]，以支持事件驅(qū)動算法的開發(fā)并驗證其在機器人中的應(yīng)用。然而，它在大小、功率和延遲方面并不是最優(yōu)的。

對于所有的傳感模式，最基本的神經(jīng)形態(tài)學(xué)原理是“變化檢測” （Change Detection） ，它是捕捉生物感覺編碼本質(zhì)的一種高度抽象。它也是一個定義良好的操作，使得從數(shù)據(jù)流[15]中提取信息的算法和方法得以形式化。更好地理解感知信號屬性的復(fù)雜神經(jīng)編碼及其與主體行為決策的關(guān)系[57]，以及它們在新型神經(jīng)形態(tài)傳感器設(shè)計中的應(yīng)用，將增強人工智能提取相關(guān)信息并做出合適決策的能力。

方框2：神經(jīng)形態(tài)通信協(xié)議

像神經(jīng)系統(tǒng)一樣，神經(jīng)形態(tài)系統(tǒng)依賴于數(shù)字通信：信息編碼在電壓脈沖（或尖峰）的時間上。在神經(jīng)組織的三維結(jié)構(gòu)的支持下，生物神經(jīng)元與巨大的扇入和扇出有專門的連接。相反，硅神經(jīng)元只能在二維平面使用導(dǎo)線，但它們可以利用金屬導(dǎo)線比軸突快幾個數(shù)量級的傳輸速度。因此，通過采用時間多路復(fù)用技術(shù)，使用相同的物理線路發(fā)送不同神經(jīng)元的脈沖信號，可以部分解決物理連接上的這些限制。為了區(qū)分在同一根導(dǎo)線上傳播的脈沖，源或目標神經(jīng)元的身份會編碼在數(shù)字世界中，實現(xiàn)所謂的地址事件表征 （Address Event Representation，AER） 協(xié)議[143]。

自90年代末以來，AER已經(jīng)被神經(jīng)形態(tài)社區(qū)在許多不同的設(shè)置及變體中實施。在機器人平臺上集成這種通信協(xié)議的需求定義了一系列的要求，如事件通信的稀疏性、高噪聲抑制、低延遲、足夠的帶寬和最小數(shù)量的導(dǎo)線，這些都可以導(dǎo)致廣泛采用的標準的定義。在組合多個分布式傳感器的機器人應(yīng)用中，異步串行實現(xiàn)是最好的[147]，因為使用同步協(xié)議將需要包括和同步多個時鐘。鑒于最近大型行業(yè)對神經(jīng)形態(tài)技術(shù)的吸收和研究團體的增長，定義一個通用標準是必要的，也是時機合適的，可以允許不同傳感、計算和執(zhí)行模塊之間的互操作性。

根據(jù)圖3中應(yīng)用、數(shù)據(jù)和物理層的定義，可以對通信協(xié)議進行標準化和優(yōu)化。應(yīng)用層包括發(fā)送或接收異步地址事件的神經(jīng)形態(tài)組件。在應(yīng)用層，時間代表自身：事件在發(fā)生時是異步通信的。在數(shù)據(jù)層，事件被捆綁到更大的包中，包的大小可以固定也可以變化。如果要使用MIPI或USB等良好建立的標準，這是一個必要的步驟。將AER接口到同步設(shè)施，需要在數(shù)據(jù)流中嵌入事件的精確時間信息 （例如通過時間戳） 。物理層定義了傳輸實際比特的方式。為了適應(yīng)最先進的視覺傳感器所需的帶寬，可以使用成熟的高速通信標準，如差分信號。

對于每一層，社區(qū)將必須定義通用規(guī)范，并開發(fā)必要的芯片集成接口電路，消除對橋接設(shè)備 （如FPGA） 的需求。從這個角度來看，標準應(yīng)用層的定義將降低開發(fā)許多特定應(yīng)用接口的成本。然而，最佳協(xié)議的需求定義在社區(qū)中仍然是一個開放的問題，并強烈依賴于應(yīng)用。

圖3. AER：事件驅(qū)動傳感器（三角形斑塊，每個斑塊有6個感知區(qū)域）與脈沖神經(jīng)網(wǎng)絡(luò)（SNN）芯片之間的通信示例。每個傳感元件發(fā)出異步脈沖，通過仲裁發(fā)送給總線。同樣被解復(fù)用送至SNN芯片上正確的突觸。

2. 神經(jīng)形態(tài)行為：從動作執(zhí)行到?jīng)Q策生成

機器人為了與環(huán)境進行有效的交互，需要選擇最恰當?shù)男袨?，依靠對其他智能體的注意、分配、預(yù)期、推理，根據(jù)它們對外部世界和自身狀態(tài)的理解，規(guī)劃正確的動作和動作序列。生物智能行為將執(zhí)行高水平任務(wù)的能力，與從經(jīng)驗中估計未來事件的后果聯(lián)系起來，產(chǎn)生目標導(dǎo)向的行動。

關(guān)于哺乳動物神經(jīng)系統(tǒng)如何進行智能行為的一個假設(shè)是，整個大腦皮層中使用一組有限的計算基元。計算基元是可組合的結(jié)構(gòu)單元，可以從多個感覺模式中提取信息，并協(xié)調(diào)一組復(fù)雜的動作，這些動作依賴于智能體的目標和偶然場景 （例如，障礙的存在、人類協(xié)作、工具） 。

目前，在神經(jīng)形態(tài)域中選擇最合適的行為或動作僅限于概念驗證模型。方框3回顧了在神經(jīng)形態(tài)設(shè)備上實現(xiàn)感知和處理的機器人的研究現(xiàn)狀。大多數(shù)實現(xiàn)包括一個雙穩(wěn)態(tài)網(wǎng)絡(luò)，區(qū)分模糊的外部刺激[58]和選擇兩個可能的動作之一。動態(tài)場理論 （Dynamic Field Theory，DFT） 是建模這類網(wǎng)絡(luò)的參考框架，其基本計算單元是一個動態(tài)神經(jīng)場 （Dynamic Neural Field，DNF） [59]，在計算上相當于一個軟贏者通吃網(wǎng)絡(luò) （Winner-Take-All，WTA） 。如方框4所述，WTA網(wǎng)絡(luò)是可以在神經(jīng)形態(tài)硬件中實現(xiàn)的核心計算基元之一。因此，動態(tài)神經(jīng)場代表了一個理想的框架，可以將智能模型轉(zhuǎn)換為與神經(jīng)形態(tài)架構(gòu)兼容的語言的可行實現(xiàn)[60]。這類系統(tǒng)目前面臨的挑戰(zhàn)是，為在不確定條件下參與決策的皮層區(qū)域開發(fā)一個多區(qū)域和多任務(wù)的脈沖神經(jīng)元模型。

機器人技術(shù)的不同分支應(yīng)對這一挑戰(zhàn)時，通過探索生物啟發(fā)的具身腦結(jié)構(gòu)來實現(xiàn)更高級別的功能[61]，為機器人提供與現(xiàn)實世界實時交互的技能。這些架構(gòu)需要通過與環(huán)境的交互以及通過增量開發(fā)階段來學(xué)習(xí)感覺運動技能[62,63]。

方框3：神經(jīng)形態(tài)機器人

輪式機器人

輪式機器人 （Wheeled Robots） 常被用來執(zhí)行空間導(dǎo)航任務(wù)。然而，雖然最近在研究方面取得了進展[300,148-150]，但是機器人在地圖生成時視覺場景變化的魯棒性，或者存儲地圖和路徑規(guī)劃數(shù)據(jù)的功耗和效能方面，仍然無法與生物系統(tǒng)相比。神經(jīng)形態(tài)輪式機器人被用來驗證神經(jīng)系統(tǒng)如何以低功耗和有限資源 （例如利用脈沖神經(jīng)網(wǎng)絡(luò)） 完成任務(wù)。這些研究還處于初期階段，但是在小型機器人智能體[58,148,151,152]中已經(jīng)存在利用硬件脈沖神經(jīng)網(wǎng)絡(luò)實現(xiàn)基本導(dǎo)航任務(wù) （如左轉(zhuǎn)/右轉(zhuǎn)或調(diào)諧機器人的速度等） 的成功實例。

iCub

iCub是一種類人型機器人，可以用來與神經(jīng)形態(tài)設(shè)備進行閉環(huán)實驗，因為它支持使用事件驅(qū)動的視覺和與神經(jīng)形態(tài)處理器交互的觸摸傳感器。文獻[56]的作者提出了一種神經(jīng)形態(tài)結(jié)構(gòu)，用于使用Loihi神經(jīng)形態(tài)處理器實現(xiàn)頭部姿態(tài)估計和場景表示[70]。在一個基于動態(tài)神經(jīng)場 （DNF） 的神經(jīng)路徑整合過程中，網(wǎng)絡(luò)整合了電機命令來估計iCub的頭部姿態(tài)。文獻[55]使用的閉環(huán)PID控制器，采用關(guān)系型神經(jīng)網(wǎng)絡(luò)控制iCub頭部旋轉(zhuǎn)。該網(wǎng)絡(luò)采用混合信號DYNAP-SE神經(jīng)形態(tài)處理器實現(xiàn)[69]。文獻[153] Vestibulo-Ocular Reflex (VOR) 采用自適應(yīng)實時控制環(huán)路內(nèi)的脈沖小腦模型。VOR協(xié)議移動了iCub的頭和眼睛，其中包含一個攝像頭，可以用來檢查視網(wǎng)膜上的圖像運動。在這些概念證明中，機器人表現(xiàn)出適應(yīng)行為，但是僅限于一個自由度。無人機SNNs是控制需要快速反應(yīng)時間 （例如UAV的低延遲和快速響應(yīng)時間） 的資源受限智能體的有效途徑。文獻[154]中的無人機執(zhí)行光流著陸，伴隨著演化的SNN高頻 （超過250kHz） 運行。與常規(guī)移動GPU相比，表現(xiàn)為更低（1/75）的功耗，性能沒有任何損失，但仍然是一個自由度。類似的工作是將Loihi應(yīng)用到無人機上，利用脈沖比例積分微分 （Proportional Integral Derivative，PID） 控制單個自由度。該控制器用神經(jīng)元集群構(gòu)建，其中單個脈沖攜帶傳感和控制信號[77]。

機械臂

文獻[155]的作者按照共同基準比較了Loihi和SpiNNaker2這兩個平臺機械臂控制的計算時間和有功能量。兩個平臺在特定參數(shù)區(qū)域都是高效的，SpiNNaker2在輸入維數(shù)較高時效率更高，而Loihi在輸入維數(shù)較低時效率更高。另一個例子部署了基于神經(jīng)工程框架 （NEF） 的神經(jīng)形態(tài)算法，用于逆運動學(xué)和PID控制的六自由度機械臂[156]。該算法使用Nengo進行設(shè)計，并在Loihi上進行評估。同樣，文獻[79]中采用脈沖PID控制四自由度機械臂。將脈沖PID與PFM電機控制相結(jié)合，當所有電機同時工作時，系統(tǒng)達到1A以下的電流消耗。在現(xiàn)場可編程邏輯門陣列 （FPGA） 上實現(xiàn)控制器，可以運行在DYNAP-SE平臺，機器人關(guān)節(jié)的控制命令被硅基神經(jīng)元集群中接收，這些硅基神經(jīng)元產(chǎn)生用于FPGA脈沖頻率調(diào)制 （PFM） 的參考信號。

足式機器人（Legged-robot）

中樞模式發(fā)生器 （CPG） 是一種產(chǎn)生和控制節(jié)律運動的計算基元。脈沖CPG技術(shù)被用在昆蟲機器人的運動控制、協(xié)調(diào)單腿和多腿協(xié)調(diào)運動。脈沖CPG表現(xiàn)出穩(wěn)定協(xié)調(diào)的運動模式，具有魯棒性，適應(yīng)外部擾動[157]，可運行在FPGA上[158]。

一旦選擇合適的行為，就必須將其轉(zhuǎn)化為一系列動作的組合或動態(tài)運動基元，以產(chǎn)生豐富的復(fù)雜動作和行為切換，例如通過中樞模式發(fā)生器 （Central Pattern Generator，CPG） 產(chǎn)生的行走和游泳等不同節(jié)奏動作之間的切換。這些系統(tǒng)在產(chǎn)生多樣化動作方面的穩(wěn)定性和能力已經(jīng)被有效證明[65]。這促進了它們實施脈沖以進一步提高生物可塑性[66]。因此，機器人從動物運動技能的生物學(xué)中獲益，可以作為工具測試動物移動和運動控制模型，以及它們?nèi)绾问艿絺鞲蟹答佊绊慬67]。

雖然從神經(jīng)計算中得到啟發(fā)，但是受神經(jīng)系統(tǒng)啟發(fā)的機器人最近才開始使用脈沖神經(jīng)網(wǎng)絡(luò) （Spiking Neural Network，SNN） 和生物上可信的感知輸入，以及支持脈沖神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)的相應(yīng)計算基底。神經(jīng)形態(tài)技術(shù)朝著這個方向邁進了一步。近年來，在開發(fā)大規(guī)模類腦計算技術(shù)[68-71]方面取得了實質(zhì)性進展，這些技術(shù)允許探索不同神經(jīng)處理基元的計算作用，以構(gòu)建智能系統(tǒng)[72-74]。雖然人們對這些功能背后的神經(jīng)活動的認識在不斷增加，但是我們還不能明確和定量地將智能與神經(jīng)結(jié)構(gòu)和活動聯(lián)系起來。這阻礙了大規(guī)模系統(tǒng)的配置以實現(xiàn)有效的行為和行動規(guī)劃。開發(fā)工具以脈沖神經(jīng)元為基礎(chǔ)來實現(xiàn)數(shù)學(xué)功能的一個案例是神經(jīng)工程框架 （Neural Engineering Framework，NEF） [75]，它已經(jīng)被成功地部署到一個具有自適應(yīng)電機控制的機器人手臂[76]。NEF形式化允許使用神經(jīng)元作為計算單元，實現(xiàn)標準控制理論，卻忽略了實現(xiàn)相同功能的腦結(jié)構(gòu)和典型回路。

目前基于類腦計算基元的運動控制的研究，主要集中在將成熟的機器人控制器轉(zhuǎn)換為在神經(jīng)形態(tài)設(shè)備上運行的脈沖神經(jīng)網(wǎng)絡(luò)[56,77-79]。盡管許多成果顯示這項技術(shù)的應(yīng)用潛力，但這些實現(xiàn)仍然遵循一種混合方法，即神經(jīng)形態(tài)模塊必須與標準的機器人模塊實現(xiàn)通信接口。在上文的例子中，電機被具有專有算法和封閉/無法訪問的電子元件的嵌入式控制器所驅(qū)動。因此，需要對由經(jīng)典傳感器測量的連續(xù)感知信號進行脈沖編碼，并將脈沖信息解碼為與經(jīng)典電機控制器兼容的信號。這就不可避免地限制了混合系統(tǒng)的性能，性能改善需要采用基于端到端的事件處理機制。

在這方面，由于系統(tǒng)層級的接口問題，標準電機控制器及其相應(yīng)的脈沖設(shè)備的性能無法在相同的機器人任務(wù)上進行基準測試。為了設(shè)計完全神經(jīng)形態(tài)的端到端機器人系統(tǒng)，必須設(shè)計新的基于事件的傳感器 （例如，IMU、編碼器、壓力） 來彌補現(xiàn)有的傳感器 （例如音頻、視頻、觸摸） 。另外，電機或執(zhí)行器應(yīng)由脈沖訓(xùn)練直接控制，從脈沖寬度調(diào)制 （PWM） 轉(zhuǎn)變?yōu)槊}沖頻率調(diào)制 （PFM） [80–82]。

此外，端到端的神經(jīng)形態(tài)機器人系統(tǒng)可以受益于，將目前機器人研究中使用的基本方法 （例如，模型預(yù)測控制（MPC）、比例積分微分（PID）） 替換為生物上更可信的方法 （如運動神經(jīng)元-Golgi-肌梭結(jié)構(gòu)[83]） ，這些方法可以直接由神經(jīng)形態(tài)處理器上的脈沖神經(jīng)網(wǎng)絡(luò)回路實現(xiàn)。然而，這種方法的缺點在于這些處理器所使用的有限分辨率和噪聲計算基底，以及缺乏一種既定的控制理論，即利用脈沖神經(jīng)網(wǎng)絡(luò) （例如整合、適應(yīng)、整流） 中存在的線性和非線性算子。提出的生物啟發(fā)的控制策略可能會受益于生物啟發(fā)執(zhí)行器的使用，如肌腱[48]、激動劑-拮抗劑肌肉[84]、軟執(zhí)行器[85]。在提供更柔順的行為的同時，這些行為引入了傳統(tǒng)方法難于實現(xiàn)控制的非線性，但是符合由神經(jīng)元和突觸網(wǎng)絡(luò)驅(qū)動的生物驅(qū)動的內(nèi)在特性。

方框4：硬件神經(jīng)基元詞典

傳感器 將模擬和連續(xù)的物理信號轉(zhuǎn)變成模擬神經(jīng)感知編碼的電離散脈沖。依靠物理位置、形狀和局部計算，它們可以采用非平庸方式對傳感信號進行預(yù)處理。例如，視覺神經(jīng)形態(tài)傳感器作為邊緣特征提取器[11]，神經(jīng)形態(tài)耳蝸起頻率作為調(diào)諧濾波器[159]。

神經(jīng)元 會隨著時間的推移整合多源信息，并根據(jù)影響其狀態(tài)的多個因素，通過數(shù)字電壓脈沖 （動作電位或脈沖） 將模擬運算結(jié)果傳遞給其他神經(jīng)元。起始于Hodgkin和Huxley神經(jīng)元模型[160]的硅基實現(xiàn)，其中不同的離子電流調(diào)節(jié)膜電位，人們提出了更緊湊的回路來更好地權(quán)衡精確建模和功能行為。Leaky Integration-and-Fire（LIF）[162]模型捕捉到了這一原理，隨時間推移整合脈沖，并產(chǎn)生與輸入成正比的輸出放電。廣義LIF回路再現(xiàn)神經(jīng)元的特征簇狀發(fā)放 （Burst） 行為[163-165]。

突觸 連接神經(jīng)元，介導(dǎo)信息在神經(jīng)元之間的傳播。它們最簡單的實現(xiàn)方式是向神經(jīng)元膜內(nèi)注入一定量電流；使用少量晶體管來增加突觸后電流的時間動態(tài)[166]。該信息通過興奮或抑制連接傳遞，增加或減少接收神經(jīng)元的活性。

可塑性 （Plasticity） 是根據(jù)突觸的狀態(tài)和輸入活動改變神經(jīng)計算和突觸傳遞行為的機制。它支持自適應(yīng)和學(xué)習(xí)。一些電路實現(xiàn)了短時 （幾十毫秒） 活動相關(guān)的可塑性，如短時抑制 （STD） [167]和短時激勵 （STF） [168]，或脈沖頻率適應(yīng) （SFA） [169]，有助于增強傳輸信息的變化和過濾恒定活動。由連接神經(jīng)元的一致激活驅(qū)動的長期 （秒級） 可塑性支持Hebbian類型的學(xué)習(xí)[170–175]。納米技術(shù)[46,176–178]的進步正在促成硬件可塑性基元，朝著密集集成的方向發(fā)展。在長期可塑性范圍內(nèi)，學(xué)習(xí)突觸中的多個時間尺度使用離散和約束狀態(tài)[179]增加網(wǎng)絡(luò)的記憶容量。非常長期的可塑性 （以天為長度） 支持整體網(wǎng)絡(luò)活動的同態(tài)調(diào)節(jié)。面對網(wǎng)絡(luò)的長期變化或輸入刺激的變化，保持在功能范圍內(nèi)[14].

神經(jīng)振蕩器 （Neural Oscillator） 發(fā)現(xiàn)于神經(jīng)皮層，依靠兩個相互連接的神經(jīng)群體通過節(jié)律活動的產(chǎn)生來支持特征融合和運動協(xié)調(diào)。神經(jīng)振蕩器的一個具體實例是中樞模式發(fā)生器 （CPG） 。它們依賴于神經(jīng)元脈沖頻率適應(yīng)，能夠產(chǎn)生豐富多樣的復(fù)雜運動和轉(zhuǎn)換行為，支持步行、游泳和飛行[100]。

延遲/時間測量 電路從昆蟲大腦中獲得靈感，其中運動計算為刺激從一個感知元件到鄰居的行程時間[180]。這種類型的計算基元對運動估計和避障[88]是有用的。

合作-競爭網(wǎng)絡(luò) 依賴于循環(huán)連接的神經(jīng)元網(wǎng)絡(luò)。從功能上講，它們處理信息的方式考慮了語境和不同單位的相對激活。對一個興奮神經(jīng)元群的循環(huán)抑制 （Recurrent Inhibition） 有助于提高神經(jīng)元對特定特征的選擇性，因為具有相似選擇性的神經(jīng)元相互強化對方的反應(yīng)，抑制其他被調(diào)諧到不同特征的神經(jīng)元的響應(yīng)[34,181]。關(guān)系網(wǎng)絡(luò)使用循環(huán)連接來表示變量之間的相對依賴關(guān)系，例如計算被測信號與目標值[78]之間的誤差。

執(zhí)行器 （Actuator） 移動并控制身體的部分，達到預(yù)期的動作。不同類型的執(zhí)行器依賴于不同物理性質(zhì)的機器人。

3. 智能感知和行為的計算基元

除了采用神經(jīng)形態(tài)傳感器外，完全端到端的神經(jīng)形態(tài)傳感運動系統(tǒng)的實現(xiàn)需要從根本上改變信號處理和計算的方式。特別是，它要求將通常使用標準計算平臺 （如微控制器、DSP或FPGA器件） 替換為可以使用神經(jīng)形態(tài)處理系統(tǒng)實現(xiàn)的計算基元。也就是說，由大量脈沖神經(jīng)元實現(xiàn)的計算基元，這些神經(jīng)元作用于從內(nèi)部和外部傳感器獲得的信號，學(xué)習(xí)預(yù)測統(tǒng)計數(shù)字，處理并將連續(xù)的傳感輸入流轉(zhuǎn)換成離散的符號，并表示內(nèi)部狀態(tài)和目標。通過在神經(jīng)形態(tài)硬件基底中支持這些計算基元，這樣的架構(gòu)將能夠進行感知、規(guī)劃和預(yù)測。它將能夠產(chǎn)生狀態(tài)依賴的決策和電機命令來驅(qū)動機器人并產(chǎn)生自主行為。這種方法將允許集成多個神經(jīng)形態(tài)感知處理系統(tǒng)，完成實時感知和動作之間的循環(huán)，具有自適應(yīng)、低延遲和低功耗特點。

實現(xiàn)一個模擬物理或生物神經(jīng)處理系統(tǒng)的硬件基底，并使用它來實現(xiàn)計算基元，可以被視為一種實現(xiàn)具身智能的方法 。在這方面，人們可以把這些硬件計算基元看作“認知的元素”[86]，從而可以在具身神經(jīng)形態(tài)智能與認知機器人技術(shù)[87]的研究之間架起橋梁。

目前已有一些關(guān)于神經(jīng)形態(tài)處理系統(tǒng)的案例，通過模擬真實神經(jīng)元的動力學(xué)進行信號處理和計算，支持實現(xiàn)腦啟發(fā)計算基元[42,69,88]。這些系統(tǒng)不是使用串行、二進制、時鐘、時分復(fù)用表示，而是使用大規(guī)模并行的內(nèi)存計算模擬電路。最近，在開發(fā)遵循這種并行內(nèi)存計算策略的大規(guī)模腦啟發(fā)計算技術(shù)方面也取得了實質(zhì)性進展，其中硅基電路可以放慢到與機器人應(yīng)用相關(guān)的時間尺度[69,71,89]。

通過神經(jīng)形態(tài)模擬回路的多個并行陣列的動力學(xué)實現(xiàn)計算基元，可以繞過使用時鐘化的、時分復(fù)用回路將物理時間與處理時間解耦的需要，避免可惡的馮·諾依曼瓶頸問題[7,8,90]——這要求以非常高的時鐘速率來回將數(shù)據(jù)從外部存儲器中傳輸?shù)綍r分復(fù)用處理單元。雖然神經(jīng)形態(tài)學(xué)方法顯著降低了功耗，但它需要電路和處理元件，能夠在與被感知信號相匹配的時間尺度上集成信息。例如，機器人關(guān)節(jié)運動的控制、語音命令的感知，或?qū)σ曈X目標或人體手勢的跟蹤，都需要突觸和神經(jīng)回路具有在5ms-500ms范圍內(nèi)時間常數(shù)。

除了實現(xiàn)能夠具有如此長久記憶痕跡的緊湊可靠電路元件的技術(shù)挑戰(zhàn)外，還有一個重要的理論挑戰(zhàn)是理解如何利用這類非線性動力系統(tǒng)進行期望狀態(tài)計算。與傳統(tǒng)的計算方法不同，仍然缺乏編譯器”工具的等價物，它允許將所需的復(fù)雜計算或行為映射到基本計算單元的“機器碼”級配置中，如動態(tài)突觸或“整合與放電”神經(jīng)元。解決這一挑戰(zhàn)的一個方法是，確定一組受大腦啟發(fā)的神經(jīng)計算基元，這些基元與用于實現(xiàn)它們的神經(jīng)形態(tài)電路的特征和限制兼容 [12,91-94]，并且可以模塊化方式組合以實現(xiàn)所需的高級計算基元功能。方框4列出了這類基元的建議詞典。

此外，機器人系統(tǒng)的計算要求必須把傳感器和執(zhí)行器當作計算基元，根據(jù)它們的物理形狀 （例如，復(fù)眼相對于視網(wǎng)膜樣的凹形或均勻視覺傳感器，無刷和直流電機相對于軟執(zhí)行器） 、位置 （例如，雙眼與單眼視覺，觸覺傳感器的非均勻分布以及電機相對于移動的身體部位的位置） 和局部計算 （如傳感器中的特征提取或低水平閉環(huán)控制等） 來決定對感知信號和運動的編碼。

基于所要求的結(jié)果，神經(jīng)回路可以被賦予實現(xiàn)非線性的附加性質(zhì)，如脈沖頻率自適應(yīng) （SFA） 或不應(yīng)期設(shè)置。這些要素可以進一步組合生成計算基元，如軟WTA網(wǎng)絡(luò)[95–99]、神經(jīng)振蕩器[100]或狀態(tài)相關(guān)計算網(wǎng)絡(luò)[7,12,101]，以識別或生成動作序列[8,78,102–107]。通過將這些與感知和驅(qū)動神經(jīng)基元相結(jié)合，可以創(chuàng)造出機器人的豐富行為。

4. 贏者通吃網(wǎng)絡(luò)

贏者通吃（WTA，Winner-Take-All）網(wǎng)絡(luò) 代表一種典型的回路，在新皮質(zhì)的多個部分中都可以找到[108,109]。理論研究表明，這類網(wǎng)絡(luò)提供了可以穩(wěn)定對神經(jīng)元動力學(xué)進行去噪的基本計算單元[108,110,111]。這些特性已通過神經(jīng)形態(tài)SNN實現(xiàn)得到驗證，以在封閉的感覺運動回路 （Sensorimotor Loop） 中產(chǎn)生穩(wěn)健的行為[97,101,112–114]。由n個單元組成的WTA網(wǎng)絡(luò)可以用群體編碼 （Population Coding） 表示n值變量。這樣就有可能將多個WTA網(wǎng)絡(luò)相互耦合，實現(xiàn)不同變量間的關(guān)系網(wǎng)絡(luò)[115,116] （例如表示給定電機指令值與期望關(guān)節(jié)角度之間的關(guān)系[78]） 。由于WTA網(wǎng)絡(luò)能夠創(chuàng)造持續(xù)的激活以保持神經(jīng)元狀態(tài)的活躍，即使在網(wǎng)絡(luò)的輸入被移除后，它們也能提供工作記憶的模型[100,102,117,118]。

WTA動力學(xué)創(chuàng)造穩(wěn)定的吸引子在計算上等價于動態(tài)神經(jīng)場 （DNF） ，它使得能夠在封閉的感覺運動回路中進行行為學(xué)習(xí)，感覺輸入隨著智能體產(chǎn)生動作而不斷變化。為了學(xué)習(xí)感覺狀態(tài)與其結(jié)果之間的映射，或者一個先決條件與一個動作之間的映射，動作前的感覺狀態(tài)需要存儲在神經(jīng)元表征中。這可以通過在神經(jīng)元群中創(chuàng)建一個重復(fù)激活來實現(xiàn)，即使初始輸入停止，激活也可以在動作期間持續(xù)。當獲得獎勵或懲罰信號時[60,119]，持續(xù)活動可用于更新感覺運動映射。最后，這些基于吸引子的表示可以穩(wěn)健的方式將神經(jīng)元回路動力學(xué)與機器人行為時間尺度聯(lián)系起來[8,118,120]，并被用來開發(fā)更復(fù)雜的嵌入式神經(jīng)形態(tài)智能系統(tǒng)。然而，要實現(xiàn)這一目標，必須開發(fā)更高層次的控制策略和理論框架，與具有組成性和模塊化特性的混合信號神經(jīng)形態(tài)硬件兼容。

5. 狀態(tài)依賴的智能處理：讓機器人“記住情境”

狀態(tài)依賴的智能處理是一個計算框架，可以支持開發(fā)更復(fù)雜的神經(jīng)形態(tài)智能系統(tǒng)。在生物學(xué)中，真實的神經(jīng)網(wǎng)絡(luò)利用WTA型工作記憶結(jié)構(gòu)執(zhí)行狀態(tài)相關(guān)計算，該結(jié)構(gòu)由循環(huán)激發(fā)維持并由負反饋抑制調(diào)節(jié)[121–126]。具體來說，皮質(zhì)網(wǎng)絡(luò)中狀態(tài)相關(guān)處理的建模研究表明，耦合WTA網(wǎng)絡(luò)如何能夠復(fù)現(xiàn)有限狀態(tài)機 （Finite State Machines，F(xiàn)SMs） [101,123,127]的計算性質(zhì)。FSM是一種抽象計算機，只能處于它的n個可能狀態(tài)中的一個，并且在接受適當?shù)耐獠枯斎霑r可以在狀態(tài)之間轉(zhuǎn)換。真正的FSM可以在二進制編碼的數(shù)字計算機中穩(wěn)健地實現(xiàn)。但是，它們使用神經(jīng)形態(tài)的SNN架構(gòu)構(gòu)建的相應(yīng)神經(jīng)實現(xiàn)受到噪聲和可變性的影響，與它們的生物學(xué)對應(yīng)物非常相似。除了利用WTA網(wǎng)絡(luò)的穩(wěn)定特性外，神經(jīng)形態(tài)工程師發(fā)現(xiàn)利用含噪的硅基神經(jīng)元回路實現(xiàn)穩(wěn)健可靠的FSM狀態(tài)依賴處理的解決方案，是求助于類似許多腦區(qū)的去抑制機制[128，129]。這些依賴于硬件狀態(tài)的處理SNN被稱為神經(jīng)狀態(tài)機 （Neural State Machines, NSMs） [101，105]。它們代表了脈沖神經(jīng)網(wǎng)絡(luò)實現(xiàn)狀態(tài)依賴和語境依賴計算的基本結(jié)構(gòu)。多個神經(jīng)狀態(tài)機以模塊化的方式交互，可以作為構(gòu)建神經(jīng)形態(tài)智能體[105,130]復(fù)雜認知計算的模塊。

神經(jīng)形態(tài)傳感器、計算基底和執(zhí)行器結(jié)合起來，通過類似大腦的異步數(shù)字通信，構(gòu)建具有具身智能的自主智能體 ?，F(xiàn)有智能體從單片實現(xiàn)——即傳感器直接連接到一個神經(jīng)形態(tài)計算設(shè)備——到模塊化實現(xiàn)，其中分布式傳感器和處理設(shè)備通過中間件抽象層連接，在緊湊性和具有靈活性的特定任務(wù)實現(xiàn)之間進行權(quán)衡。這兩種方法都將受益于通信協(xié)議的標準化 （在方框2中討論） 。

方框5：行動號召

對神經(jīng)形態(tài)社區(qū)的號召

為了吸收和建立由用戶群體和具身神經(jīng)形態(tài)智能相關(guān)人士組成的更大社區(qū)，神經(jīng)形態(tài)社區(qū)應(yīng)側(cè)重于設(shè)計模塊化且可重用的感知和計算模塊。一個通用通信協(xié)議的標準化如方框2所述，已經(jīng)實現(xiàn)了模塊和系統(tǒng)的共享。開源的算法和數(shù)據(jù)集共享將促進該領(lǐng)域的繁榮。一個里程碑將是定義一組基準，可以用來定量比較不同神經(jīng)形態(tài)系統(tǒng)的特征和效益，如方框6所述。

對計算神經(jīng)科學(xué)社區(qū)的號召

神經(jīng)元回路需要將感知信號轉(zhuǎn)換為地址事件以便進一步處理。計算神經(jīng)科學(xué)社區(qū)可以指出神經(jīng)系統(tǒng)用來將模擬輸入轉(zhuǎn)換為脈沖和編碼感知信號的原理和策略，來啟發(fā)和教育神經(jīng)形態(tài)工程師。與神經(jīng)科學(xué)社區(qū)的緊密合作將帶來對神經(jīng)形態(tài)感知回路的重要改進[57,182]。同樣，這個社區(qū)可以為設(shè)計由噪聲和非均勻電路組成的循環(huán)脈沖神經(jīng)網(wǎng)絡(luò) （Recurrent Spiking Neural Networks） 來進行信號處理和計算提供有益的見解[183-185]。在這方面，將特定的神經(jīng)科學(xué)觀察與它們最基本的計算作用聯(lián)系起來，以便分離出足以實現(xiàn)給定功能的基本機制將非常重要。然后，硬件實現(xiàn)將重現(xiàn)這樣一個簡化的“極小”模型，其中特征、復(fù)雜性、細節(jié)和多樣性具有相應(yīng)的計算功能。

對材料科學(xué)社區(qū)的號召

新興的存儲技術(shù)為改進傳統(tǒng)的計算結(jié)構(gòu)提供了巨大的希望，但同時也為設(shè)計能夠直接模擬真實突觸物理的新型固態(tài)納米器件提供了重要的機遇，從而為更有效地實現(xiàn)神經(jīng)計算原理提供了計算基礎(chǔ)。因此，材料科學(xué)界應(yīng)該嘗試利用這些器件的非線性物理，以優(yōu)化具身神經(jīng)形態(tài)計算架構(gòu)的設(shè)計[94]。

對計算機科學(xué)社區(qū)的號召

與計算機使用抽象層次來管理復(fù)雜運算的定義類似，計算機科學(xué)可以利用迄今為止發(fā)展起來的概念和工具來定義新的結(jié)合神經(jīng)計算基元的方法來實現(xiàn)智能功能[186]，如方框4所述。未來面臨的一個挑戰(zhàn)也是如何利用非線性動力學(xué)、隨機和概率方法形式化計算，包括嵌入到機器人平臺。

對軟機器人社區(qū)的號召

由于神經(jīng)形態(tài)方法很好地適用于非平庸控制的復(fù)雜系統(tǒng)，它很適合軟機器人技術(shù)。需要向神經(jīng)形態(tài)社區(qū)提供未定義的用例。由此產(chǎn)生的感知和認知功能——使用神經(jīng)形態(tài)計算基底實現(xiàn)——必須嵌入到機器人，適配平臺的形態(tài)可能影響感知信號的獲取方式 （例如，通過傳感器的不同放置方式） 和動作的執(zhí)行方式 （例如，不同的運動方式，硬驅(qū)動和軟驅(qū)動等） 。神經(jīng)形態(tài)工程，由于其能夠?qū)崿F(xiàn)自適應(yīng)回路和系統(tǒng)來求解非線性控制系統(tǒng)，可以為軟機器人的復(fù)雜控制提供解決方案。

方框6：數(shù)據(jù)集和基準

用于評估不同神經(jīng)形態(tài)處理器和行為系統(tǒng)性能的基準任務(wù)和數(shù)據(jù)集的定義是一項困難和具有挑戰(zhàn)性的工作，目前還沒有完全解決[187]。雖然大多數(shù)現(xiàn)有的數(shù)據(jù)集 （主要由機器學(xué)習(xí)社區(qū)開發(fā)） 依賴于大量的靜態(tài)數(shù)據(jù)集合，但是，神經(jīng)形態(tài)數(shù)據(jù)集應(yīng)該考慮神經(jīng)形態(tài)系統(tǒng)使用的不同空間和時間表征。事實上，已經(jīng)有人嘗試創(chuàng)建新的數(shù)據(jù)集，對基于事件的處理算法和方法進行基準測試[188,189,190,191,192]。

然而，這些數(shù)據(jù)集只能用于比較非常有限的系統(tǒng)和方法。評估神經(jīng)形態(tài)系統(tǒng)時空能力的特定基準將需要超越機器學(xué)習(xí)的標準模式。為了驗證和比較大腦啟發(fā)的神經(jīng)形態(tài)行為系統(tǒng)的廣泛光譜，有必要定義多個基準集，用于對復(fù)雜任務(wù)從端到端評估系統(tǒng)的性能。需要評估的計算例子包括時空模式識別、預(yù)測、注意力、決策、記憶、語言和空間感知，以及回歸、聚類和降維。

單獨來看，這些任務(wù)對于機器學(xué)習(xí)社區(qū)正在解決的一些問題來說是常見的。但神經(jīng)形態(tài)系統(tǒng)也應(yīng)該包括性能作為使用資源的函數(shù)如何變化。與機器學(xué)習(xí)不同的是，神經(jīng)形態(tài)系統(tǒng)的設(shè)計目的是最小化內(nèi)存和功耗。所以效果的基準也應(yīng)該包括節(jié)省功耗 （如自主機器人） ，減少體積和重量 （如無人機） ，減少延遲和響應(yīng)時間，使得對輸入信號和系統(tǒng)內(nèi)部狀態(tài)的噪聲和變化的穩(wěn)健性最大化。對于這些基準測試，內(nèi)存和時間也是需要考慮的重要方面。鑒于神經(jīng)形態(tài)系統(tǒng)使用“內(nèi)存計算”，不能在任意時間訪問外部存儲庫以獲取信息，基準測試需要評估神經(jīng)形態(tài)系統(tǒng)在需要將當前感知到的信號與幾秒、幾分鐘甚至幾小時前測量到的數(shù)據(jù)聯(lián)系起來的任務(wù)中，能多好地運行。開發(fā)適當?shù)娜蝿?wù)來評估神經(jīng)形態(tài)系統(tǒng)的存儲性能，以適當?shù)禺a(chǎn)生所期望的行為本身就是一個挑戰(zhàn)。

一旦定義了任務(wù)，基準測試還需要考慮上面討論的其他穩(wěn)健性、延遲或功耗。目前用于評估傳統(tǒng)處理器和計算系統(tǒng)的標準數(shù)值，如精度、每秒浮點運算數(shù) （FLOPS） 、每秒兆運算次數(shù) （TOPS） 或每秒乘法和累加運算次數(shù) （MAC） ，在這種情況下是不合適的。

三、展望

春晚展示了具身神經(jīng)形態(tài)智能體的“能力”。具身神經(jīng)形態(tài)智能體正在快速發(fā)展。它們通過大腦啟發(fā)的計算方法，與環(huán)境和人類進行更順暢地互動。它們被設(shè)計為以一種考慮到許多不同信息源的方式自主決策和執(zhí)行相應(yīng)的行動，減少來自感知的不確定性和模糊性，不斷學(xué)習(xí)和適應(yīng)不斷變化的條件。

總的來說，傳統(tǒng)機器人技術(shù)甚至目前的神經(jīng)形態(tài)方法的整體系統(tǒng)設(shè)計，都還遠遠沒有得到任何生物學(xué)的啟發(fā)。如果整個系統(tǒng)設(shè)計以生物計算原理為基礎(chǔ)，讓對周圍環(huán)境和機器人自身狀態(tài)的估計、決策、計劃和行動之間有緊密的交互，那么該領(lǐng)域?qū)l(fā)生真正的突破。擴展到更復(fù)雜的任務(wù)仍然是一個挑戰(zhàn)，需要進一步發(fā)展感知和行為，進一步協(xié)同設(shè)計能夠自然映射到神經(jīng)形態(tài)計算平臺上、并被電子元件物理支持的計算基元。

在系統(tǒng)層面，對于如何將所有感知和計算組件整合成一個連貫系統(tǒng)，有效地感知行為，我們?nèi)匀蝗狈斫?。此外，該領(lǐng)域還缺乏如何利用生物神經(jīng)處理系統(tǒng)的復(fù)雜非線性特性的概念，例如在不同時間尺度上整合適應(yīng)和學(xué)習(xí)。在理論/算法、硬件層面，可以利用新技術(shù)來滿足這種需求。

正如方框5、方框6所討論的那樣，神經(jīng)形態(tài)智能成功的路線圖包括神經(jīng)形態(tài)社區(qū)的成長，需要與其他研究領(lǐng)域交流探討。

具身神經(jīng)形態(tài)智能體的發(fā)展，為機器人產(chǎn)業(yè)打開新的想象空間。迄今為止，神經(jīng)形態(tài)計算技術(shù)的特點已經(jīng)通過概念應(yīng)用得到驗證，用于構(gòu)建高效、緊湊的智能機器人系統(tǒng)，能夠在充滿挑戰(zhàn)的現(xiàn)實環(huán)境中感知、行動和學(xué)習(xí)。在這項技術(shù)足夠成熟能被用于解決復(fù)雜機器人任務(wù)并進入主流機器人技術(shù)前，還有許多問題需要解決。在短期內(nèi)，當務(wù)之急是開發(fā)用戶友好的工具以便集成和編程神經(jīng)形態(tài)裝置，使用戶和機器人專家使用神經(jīng)形態(tài)方法。研究遵循的路徑可以類似于機器人技術(shù)所采用的路徑，使用開源平臺和開發(fā)用戶友好的中間件。同樣，社區(qū)應(yīng)該有一套通用的指導(dǎo)原則來開發(fā)基于神經(jīng)基元的智能。 新的信息和信號處理理論應(yīng)該在神經(jīng)形態(tài)硬件和神經(jīng)編碼回路中設(shè)計異步的、基于事件的處理。這應(yīng)該通過計算神經(jīng)科學(xué)和信息論的神經(jīng)形態(tài)社區(qū)的交互性影響來完成；此外，與材料和 （軟） 機器人社區(qū)的互動將更好地界定神經(jīng)形態(tài)方法的應(yīng)用領(lǐng)域。最后，神經(jīng)形態(tài)方法在機器人領(lǐng)域的應(yīng)用同樣也適用于其他領(lǐng)域，例如智能空間、汽車、假肢、康復(fù)和腦機接口，在這些領(lǐng)域可能需要解析不同類型的信號，以便做出決策并實時生成動作。

春晚機器人的爆火，或許只是一個起點。真正的產(chǎn)業(yè)躍遷，不在于機器人是否能完成一場演出，而在于它們是否能在真實世界中持續(xù)、自主、可靠地行動。當機器人不再只是“舞臺演員”，成為具身智能體時，產(chǎn)業(yè)的價值鏈也將被重新定義。而神經(jīng)形態(tài)工程，正試圖為這場轉(zhuǎn)型提供底層計算范式。

參考文獻

1. Barrett, L. Beyond the Brain: How Body a nd Environment Shape Animal 5and Human Minds (Princeton University Press, 2011). https://doi.org/ 10.1515/9781400838349. Barrett provides an in-depth overview on what shapes human and animal’s intelligent behaviour, exploiting their brains, but also bodies and environment. She describes how physical structure contributes to cognition, and how it employs materials and resources in specific environments.

2. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015).

3. Schmidhuber, J. Deep learning in neural networks: an overview. Neural Netw. 61, 85–117 (2015).

4. Sejnowski, T. J. The unreasonable effectiveness of deep learning in artificial intelligence. Proc. Natl Acad. Sci. (2020). https://www.pnas.org/content/early/2020/01/23/1907373117.full.pdf.

5. Jordan, M. I. Artificial intelligence—the revolution hasn’t happened yet. Harvard Data Sci. Rev. 1 (2019-07-01). https://hdsr.mitpress.mit.edu/pub/wot7mkc1.

6. Silver, D. et al. Mastering the game of go with deep neural networks and tree search. Nature 529, 484–489 (2016).

7. Indiveri, G. & Liu, S.-C. Memory and information processing in neuromorphic systems. Proc. IEEE 103, 1379–1397 (2015).

8. Indiveri, G. & Sandamirskaya, Y. The importance of space and time for signal processing in neuromorphic agents. IEEE Signal Process. Mag. 36, 16–28(2019).

9. Pasquale, G., Ciliberto, C., Odone, F., Rosasco, L. & Natale, L. Are we done ith object recognition? the icub robot’s perspective. Robot. Autonomous Syst.112, 260–281 (2019).

10. Hadsell, R., Rao, D., Rusu, A. & Pascanu, R. Embracing change: continual learning in deep neural networks. Trends Cogn. Sci. 24, 1028–1040 (2020).

11. Liu, S.-C. & Delbruck, T. Neuromorphic sensory systems. Curr. Opin.Neurobiol. 20, 288–295 (2010).

12. Chicca, E., Stefanini, F., Bartolozzi, C. & Indiveri, G. Neuromorphic electronic circuits for building autonomous cognitive systems. Proc. IEEE 102(September), 1367–1388 (2014). A description of neuromorphic computational primitives, their implementation in mixed-mode subthreshold CMOS circuits, and their computational relevance in supporting cognitive functions.

13. Qiao, N. et al. A reconfigurable on-line learning spiking neuromorphic processor comprising 256 neurons and 128k synapses. Front. Neurosci. 9, 141 (2015).

14. Qiao, N., Bartolozzi, C. & Indiveri, G. An ultralow leakage synaptic scaling homeostatic plasticity circuit with configurable time scales up to 100 ks. IEEE Transactions on Biomedical Circuits and Systems 11, 1271–1277 (2017).

15. Lazar, A. A. & To?th, L. T. Perfect recovery and sensitivity analysis of time encoded bandlimited signals. IEEE Transactions on Circuits and Systems I: Regular Papers. 51, 2060–2073 (2004).

16. Karen, A., Scholefield, A., & Vetterli M. Sampling and reconstruction of bandlimited signals with multi-channel time encoding. IEEE Transactions on Signal Processing 68, 1105–1119 (2020).

17. Singh Alvarado, A., Rastogi, M., Harris, J. G. & Príncipe, J. C. The integrateand-fire sampler: a special type of asynchronous σ-δ modulator. In 2011 IEEE International Symposium of Circuits and Systems (ISCAS), 2031–2034 (2011).

18. Akolkar, H. et al. What can neuromorphic event-driven precise timing add to spike-based pattern recognition? Neural Comput. 27, 561–593 (2015).

19. Bartolozzi, C. et al. Event-driven encoding of off-the-shelf tactile sensors for ompression and latency optimisation for robotic skin. In 2017 IEEE/RSJ nternational Conference on Intelligent Robots and Systems (IROS), 166–173 (2017-09).

20. Scheerlinck, C. et al. Fast image reconstruction with an event camera. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) (2020-03).

21. Kramer, J. An integrated optical transient sensor. IEEE Trans. Circuits Syst. II: Analog Digital Signal Process. 49, 612–628 (2002).

22. Lichtsteiner, P., Posch, C. & Delbruck, T. A 128x128 120 dB 15 μs latency asynchronous temporal contrast vision sensor. IEEE J. Solid-State Circuits 43, 566–576 (2008). This paper describes the first event-driven sensor used outside the designer’s lab. The DVS usability (robust hardware and friendly open source software) pushed the field of neuromorphic vision.

23. Posch, C., Matolin, D. & Wohlgenannt, R. A QVGA 143 dB dynamic range frame-free PWM image sensor with lossless pixel-level video compression and time-domain CDS. IEEE J. Solid-State Circuits 46, 259–275 (2011).

24. Gallego, G. et al. Event-based vision: a survey. IEEE Transactions on Pattern Analysis and Machine Intelligence 44, 154–180 (2020). Comprehensive review of the plethora of different approaches used i event-driven vision, from adapting computer vision and DL, to biologically inspired vision.

25. Glover, A., Vasco, V. & Bartolozzi, C. A controlled-delay event camera framework for on-line robotics. In 2018 IEEE International Conference on Robotics and Automation (2018-05).

26. Benosman, R., Ieng, S.-H., Clercq, C., Bartolozzi, C. & Srinivasan, M. Asynchronous frameless event-based optical flow. Neural Netw. 27, 32–37(2012).

27. Gallego, G., Rebecq, H. & Scaramuzza, D. A unifying contrast maximization framework for event cameras, with applications to motion, depth, and optical flow estimation. In IEEE Int. Conf. Comput. Vis. Pattern Recog.(CVPR), vol. 1 (2018).

28. Zhu, A. Z., Yuan, L., Chaney, K. & Daniilidis, K. Unsupervised event-based learning of optical flow, depth, and egomotion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019-06).

29. Zhou, Y., Gallego, G. & Shen, S. Event-based stereo visual odometry. IEEE Transactions on Robotics 37, 1–18 (2021).

30. Vidal, A. R., Rebecq, H., Horstschaefer, T. & Scaramuzza, D. Ultimate SLAM? combining events, images, and imu for robust visual SLAM in hdr and highspeed scenarios. IEEE Robot. Autom. Lett. 3, 994–1001 (2018).

31. Delbruck, T. Jaer open source project. http://jaerproject.org (2007).

32. Glover, A., Vasco, V., Iacono, M. & Bartolozzi, C. The event-driven software library for yarp with algorithms and icub applications. Front. Robot. AI. 4, 73 (2017).

33. Mueggler, E., Huber, B. & Scaramuzza, D. Event-based, 6-DOF pose tracking for high-speed maneuvers. In Intelligent Robots and Systems (IROS), 2014 IEEE/RSJ International Conference on, 2761–2768 (IEEE, 2014).

34. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. A spiking neural network model of 3Dperception for event-based neuromorphic stereo vision systems. Sci. Rep. 7, 1–11 (2017).

35. Vasco, V. et al. Vergence control with a neuromorphic icub. In IEEE-RAS International Conference on Humanoid Robots (Humanoids 2016), 732–738 (2016-11).

36. Iacono, M. et al. Proto-object based saliency for event-driven cameras. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 805–812 (2019).

37. Illing, B., Gerstner, W. & Brea, J. Biologically plausible deep learning. but how far can we go with shallow networks? Neural Netw. 118, 90–101 (2019).

38. Romano, F. et al. The codyco project achievements and beyond: toward human aware whole-body controllers for physical human robot interaction. IEEE Robot. Autom. Lett. 3, 516–523 (2018).

39. Hamilton, T. J., Jin, C., Van Schaik, A. & Tapson, J. An active 2-d silicon cochlea. IEEE Trans. Biomed. circuits Syst. 2, 30–43 (2008).

40. Liu, S.-C., van Schaik, A., Minch, B. A. & Delbruck, T. Asynchronous binaural spatial audition sensor with 2 × 64 × 4 channel output. Biomed. Circuits Syst., IEEE Trans. 8, 453–464 (2014). Latest version of event-based cochlea. It only outputs data in response to energy at its input.

41. Jiménez-Fernández, A. et al. A binaural neuromorphic auditory sensor for fpga: a spike signal processing approach. IEEE Trans. Neural Netw. Learn. Syst. 28, 804–818 (2017).

42. Schoepe, T. et al. Neuromorphic sensory integration for combining sound source localization and collision avoidance. In 2019 IEEE Biomedical Circuits and Systems Conference (BioCAS), 1–4 (2019).

43. Anumula, J., Ceolini, E., He, Z., Huber, A. & Liu, S. An event-driven probabilistic model of sound source localization using cochlea spikes. In 2018 IEEE International Symposium on Circuits and Systems (ISCAS), 1–5 (2018).

44. Li, X., Neil, D., Delbruck, T. & Liu, S. Lip reading deep network exploiting multi-modal spiking visual and auditory sensors. In 2019 IEEE International Symposium on Circuits and Systems (ISCAS), 1–5 (2019).

45. Caviglia, S., Pinna, L., Valle, M. & Bartolozzi, C. Spike-based readout of posfet tactile sensors. IEEE Trans. Circuits Syst. I – Regul. Pap. 64, 1421–1431 (2016).

46. John, R. et al. Self healable neuromorphic memtransistor elements for decentralized sensory signal processing in robotics. Nat. Commun. 11, 4030 (2020). Neuromorphic tactile system encompassing healable materials and memristive elements to perform proof-of-concept edge tactile sensing, demonstrated in a prosthetic application.

47. Wan, C. et al. An artificial sensory neuron with tactile perceptual learning. Adv. Mater. 30, 1801291 (2018).

48. Lee, J.-H., Chung, Y. S. & Rodrigue, H. Long shape memory alloy tendonbased soft robotic actuators and implementation as a soft gripper. Sci. Rep. 9, 1–12 (2019).

49. Rongala, U., Mazzoni, A., Camboni, D., Carrozza, M. & Oddo, C. Neuromorphic artificial sense of touch: Bridging robotics and neuroscience. In Bicchi A., B. W. (ed.) Robotics Research. Springer Proceedings in Advanced Robotics, chap. 3 (Springer, Cham., 2018). 50. Ward-Cherrier, B., Pestell, N. & Lepora, N. F. Neurotac: A neuromorphic optical tactile sensor applied to texture recognition. In International conference on Robotics and Automation (ICRA) 2020 (2020).

51. Nguyen, H. et al. Dynamic texture decoding using a neuromorphic multilayer tactile sensor. In 2018 IEEE Biomedical Circuits and Systems Conference (BioCAS), 1–4 (2018).

52. Bergner, F., Dean-Leon, E. & Cheng, G. Design and realization of an efficient large-area event-driven e-skin. Sensors 20, (2020). https://www.mdpi.com/ 1424-8220/20/7/1965. 53. Motto Ros, P., Laterza, M., Demarchi, D., Martina, M. & Bartolozzi, C. Eventdriven encoding algorithms for synchronous front-end sensors in robotic platforms. IEEE Sens. J. 19, 7149–7161 (2019). 54. Lee, D.-H., Zhang, S., Fischer, A. & Bengio, Y. Difference target propagation. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, 498–515 (Springer, 2015).

55. Zhao, J. et al. Closed-loop spiking control on a neuromorphic processor implemented on the icub. IEEE J. Emerg. Sel. Top. Circuits Syst. 10, 546–556 (2020). Example of the use of Spiking Neural Networks for the implementation of a cooperative/collaborative network for the control of a single joint of the iCub humanoid robot.

56. Kreiser, R. et al. An on-chip spiking neural network for estimation of the head pose of the iCub robot. Front. Neurosci. 14, 551 (2020).

57. Panzeri, S., Harvey, C. D., Piasini, E., Latham, P. E. & Fellin, T. Cracking the neural code for sensory perception by combining statistics, intervention, and behavior. Neuron 93, 491–507 (2017). Computational neuroscience that can support neuromorphic computing. Panzeri and colleagues explore the information content of spike patterns and their correlate with information about the input stimulus and about the behavioural choice of the subject. Understanding the encoding and decoding of the neural code can provide insights on how to design efficient and powerful Spiking Neural Network for robotics.

58. Milde, M. B., Dietmüller, A., Blum, H., Indiveri, G. & Sandamirskaya, Y. Obstacle avoidance and target acquisition in mobile robots equipped with neuromorphic sensory-processing systems. In International Symposium on Circuits and Systems, (ISCAS) (IEEE, 2017).

59. Zibner, S. K. U., Faubel, C., Iossifidis, I. & Schoner, G. Dynamic neural fields as building blocks of a cortex-inspired architecture for robotic scene representation. IEEE Trans. Autonomous Ment. Dev. 3, 74–91 (2011). Theory of Dynamic Neural Fields and this can be used to develop cognitive robots. DNF is one of the proposed computational frameworks that can support the principled design of neuromorphic intelligent robots.

60. Sandamirskaya, Y. Dynamic neural fields as a step toward cognitive neuromorphic architectures. Front. Neurosci. 7, 276 (2014).

61. Falotico, E. et al. Connecting artificial brains to robots in a comprehensive simulation framework: the neurorobotics platform. Front. Neurorobotics 11, 2 (2017).

62. Patacchiola, M. & Cangelosi, A. A developmental cognitive architecture for trust and theory of mind in humanoid robots. IEEE Transactions on Cybernetics PP(99), 1–13 (2020).

63. Richter, M., Sandamirskaya, Y. & Sch?ner, G. A robotic architecture for action selection and behavioral organization inspired by human cognition. In Intelligent Robots and Systems (IROS), 2012 IEEE/RSJ International Conference on, 2457–2464 (IEEE, 2012).

64. Ijspeert, A., Crespi, A., Ryczko, D. & Cabelguen, J. From swimming to walking with a salamander robot driven by a spinal cord model. Science 315, 1416–1420 (2007).

65. M. Wensing, P. & Slotine, J.-J. Sparse control for dynamic movement primitives. IFAC-PapersOnLine 50, 10114–10121 (2017).

66. Tieck, J. C. V. et al. Generating pointing motions for a humanoid robot by combining motor primitives. Front. Neurorobotics 13, 77 (2019).

67. Ijspeert, A. J. Amphibious and sprawling locomotion: from biology to robotics and back. Annu. Rev. Control, Robot., Autonomous Syst. 3, 173–193 (2020).

68. Furber, S., Galluppi, F., Temple, S. & Plana, L. The SpiNNaker project. Proc. IEEE 102, 652–665 (2014).

69. Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. A scalable multicore architecture with heterogeneous memory structures for dynamic neuromorphic asynchronous processors (DYNAPs). Biomed. Circuits Syst., IEEE Trans. 12, 106–122 (2018). Mixed-signal analog/digital multi-core neuromorphic processor for implementing spiking neural networks with biologically realistic dynamics.

70. Davies, M. et al. Loihi: a neuromorphic manycore processor with on-chip learning. IEEE Micro 38, 82–99 (2018).

71. Neckar, A. et al. Braindrop: a mixed-signal neuromorphic architecture with a dynamical systems-based programming model. Proc. IEEE 107, 144–164 (2019).

72. Rhodes, O. et al. spynnaker: A software package for running pynn simulations on spinnaker. Front. Neurosci. 12, 816 (2018). 73. Lin, C.-K. et al. Mapping spiking neural networks onto a manycore neuromorphic architecture. In Proceedings of the 39th ACM SIGPLAN Conference on Programming Language Design and Implementation PLDI, 78–89 (ACM, 2018). 74. Stefanini, F., Sheik, S., Neftci, E. & Indiveri, G. Pyncs: a microkernel for highlevel definition and configuration of neuromorphic electronic systems. Front. Neuroinfo. 8,

73 (2014). 75. Eliasmith, C. & Anderson, C. Neural engineering: Computation, representation, and dynamics in neurobiological systems (The MIT Press, 2004).

76. DeWolf, T., Stewart, T. C., Slotine, J.-J. & Eliasmith, C. A spiking neural model of adaptive arm control. Proc. R. Soc. B: Biol. Sci. 283, 20162134 (2016). Neural Engineering Framework applied to the adaptive control of a robotic arm. NEF is one of the mathematical frameworks that could support the development of neuromorphic robotics.

77. Stagsted, R. K. et al. Event-based PID controller fully realized in neuromorphic hardware: a one dof study. In Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference on (2020).

78. Zhao, J., Donati, E. & Indiveri, G. Neuromorphic implementation of spiking relational neural network for motor control. In International Conference on Artificial Intelligence Circuits and Systems (AICAS), 2020, 89–93 (IEEE, 2020).

79. Linares-Barranco, A., Perez-Pe?a, F., Jimenez-Fernandez, A. & Chicca, E. EDBiorob: a neuromorphic robotic arm with FPGA-based infrastructure for bioinspired spiking motor controllers. Front. Neurorobotics 14, 590163 (2020).

80. Jimenez-Fernandez, A. et al. A neuro-inspired spike-based PID motor controller for multi-motor robots with low cost FPGAs. Sensors 12, 3831–3856 (2012).

81. Perez-Pe?a, F., Le?ero-Bardallo, J. A., Linares-Barranco, A. & Chicca, E. Towards bioinspired close-loop local motor control: a simulated approach supporting neuromorphic implementations. In 2017 IEEE International Symposium on Circuits and Systems (ISCAS) (2017).

82. Donati, E., Perez-Pefia, F., Bartolozzi, C., Indiveri, G. & Chicca, E. Open-loop neuromorphic controller implemented on VLSI devices. In Biomedical Robotics and Biomechatronics (BIOROB), 7th IEEE International Conference on, 827–832 (2018-08).

83. Shadmehr, R. et al. The computational neurobiology of reaching and pointing: a foundation for motor learning (MIT press, 2005).

84. Huang, X. et al. Highly dynamic shape memory alloy actuator for fast moving soft robots. Adv. Mater. Technol. 4, 1800540 (2019).

85. Schaffner, M. et al. 3d printing of robotic soft actuators with programmable bioinspired architectures. Nat. Commun. 9, 1–9 (2018).

86. Sch?ner, G. Dynamical systems approaches to cognition. In Sun, R. (ed.) TheCambridge Handbook of Computational Psychology, 101–126 (CambridgeUniversity Press, 2008).

87. Yang, C., Wu, Y., Ficuciello, F., Wang, X. & Cangelosi, A. Guest editorial:special issue on human-friendly cognitive robotics. IEEE Trans. Cogn.Developmental Syst. 13, 2–5 (2021).

88. Milde, M. B. et al. Obstacle avoidance and target acquisition for robot navigation using a mixed signal analog/digital neuromorphic processing system. Front. Neurorobotics 11, 28 (2017).

89. Thakur, C. S. et al. Large-scale neuromorphic spiking array processors: a quest to mimic the brain. Front. Neurosci. 12, 891 (2018). Review of large-scale emulators of neural networks that also discuss promising applications.

90. Backus, J. Can programming be liberated from the von Neumann style: a functional style and its algebra of programs. Commun. ACM 21, 613–641 (1978).

91. Neckar, A. et al. Braindrop: a mixed-signal neuromorphic architecture with a dynamical systems-based programming model. Proc. IEEE 107, 144–164 (2018).

92. Payvand, M., Nair, M. V., Müller, L. K. & Indiveri, G. A neuromorphic systems approach to in-memory computing with non-ideal memristive devices: from mitigation to exploitation. Faraday Discuss. 213, 487–510 (2019).

93. Dalgaty, T. et al. Hybrid neuromorphic circuits exploiting non-conventional properties of RRAM for massively parallel local plasticity mechanisms. APL Mater. 7, 081125 (2019).

94. Chicca, E. & Indiveri, G. A recipe for creating ideal hybrid memristive-CMOS neuromorphic processing systems. Appl. Phys. Lett. 116, 120501 (2020). Guidelines and specifications for the integration of memristive devices on neuromorphic chips and their relevance in the design of truly low-power and compact building blocks to support always-on learning in neuromorphic computing systems.

95. Horiuchi, T. A spike-latency model for sonar-based navigation in obstacle fields. Circuits Syst. I: Regul. Pap., IEEE Trans. 56, 2393–2401 (2009).

96. Oster, M., Douglas, R. & Liu, S.-C. Computation with spikes in a winner-takeall network. Neural Comput. 21, 2437–2465 (2009).

97. H?fliger, P. Adaptive WTA with an analog VLSI neuromorphic learning chip. IEEE Trans. Neural Netw. 18, 551–572 (2007). 98. Mostafa, H. & Indiveri, G. Sequential activity in asymmetrically coupled winner-take-all circuits. Neural Comput. 26, 1973–2004 (2014). 99. Indiveri, G. A current-mode hysteretic winner-take-all network, with excitatory and inhibitory coupling. Analog Integr. Circuits Signal Process. 28(September), 279–291 (2001).

100. Donati, E., Krause, R. & Indiveri, G. Neuromorphic pattern generation circuits for bioelectronic medicine. In 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), 1117–1120 (2021).

101. Giulioni, M. et al. Robust working memory in an asynchronously spiking neural network realized in neuromorphic VLSI. Front. Neurosci. 5 (2012). http://www.frontiersin.org/neuromorphic_engineering/10.3389/ fnins.2011.00149/abstract.

102. Neftci, E. et al. Synthesizing cognition in neuromorphic electronic systems. Proc. Natl Acad. Sci. 110, E3468–E3476 (2013). In this paper, one of the cited computational primitives (the Winner-Take-All) is used as building block to implement a cognitive function, performing real-time context-dependent classification of motion patterns observed by a silicon retina/decision making.

103. Kreiser, R., Aathmani, D., Qiao, N., Indiveri, G. & Sandamirskaya, Y. Organising sequential memory in a neuromorphic device using dynamic neural fields. Front. Neurosci. 12, 717 (2018).

104. Duran, B. & Sandamirskaya, Y. Learning temporal intervals in neural dynamics. IEEE Trans. Cogn. Developmental Syst. 10, 359–372 (2018).

105. Liang, D. & Indiveri, G. A neuromorphic computational primitive for robust context-dependent decision making and context-dependent stochastic computation. IEEE Trans. Circuits Syst. II: Express Briefs 66, 843–847 (2019).

106. Liang, D. & Indiveri, G. Robust state-dependent computation in neuromorphic electronic systems. In Biomedical Circuits and Systems Conference, (BioCAS), 2017, 108–111 (IEEE, 2017-10).

107. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision. Front. Neurorobotics 14, 93 (2020). 108. Douglas, R. J. & Martin, K. A. Neuronal circuits of the neocortex. Annu. Rev. Neurosci. 27, 419–451 (2004). 109. Douglas, R. & Martin, K. Recurrent neuronal circuits in the neocortex. Curr. Biol. 17, R496–R500 (2007). 110. Maass, W. On the computational power of winner-take-all. Neural Comput. 12, 2519–2535 (2000). 111. Rutishauser, U., Douglas, R. & Slotine, J. Collective stability of networks of winner-take-all circuits. Neural Comput. 23, 735–773 (2011).

112. Indiveri, G. Neuromorphic analog VLSI sensor for visual tracking: Circuits and application examples. IEEE Trans. Circuits Syst. II 46, 1337–1347 (1999).

113. Indiveri, G. Modeling selective attention using a neuromorphic analog VLSI device. Neural Comput. 12, 2857–2880 (2000).

114. Bartolozzi, C. & Indiveri, G. Selective attention in multi-chip address-event systems. Sensors 9, 5076–5098 (2009).

115. Cook, M. & Bruck, J. Networks of relations for representation, learning, and generalization (2005). https://resolver.caltech.edu/CaltechPARADISE:2005.ETR071.

116. Cook, M., Jug, F., Krautz, C. & Steger, A. Unsupervised learning of relations.In Artificial Neural Networks–ICANN 2010, 164–173 (Springer, 2010).

117. Hahnloser, R. Emergence of neural integration in the head-direction systemby visual supervision. Neuroscience 120, 877–891 (2003).

118. Johnson, J. S., Spencer, J. P. & Sch?ner, G. Moving to higher ground: Thedynamic field theory and the dynamics of visual cognition. N. Ideas Psychol.26, 227–251 (2008).

119. Sandamirskaya, Y. & Conradt, J. Increasing autonomy of learning sensorimotortransformations with dynamic neural fields. In International Conference on Robotics and Automation (ICRA), Workshop “Autonomous Learning" (2013).

120. Sandamirskaya, Y., Zibner, S. K., Schneegans, S. & Sch?ner, G. Using dynamic field theory to extend the embodiment stance toward higher cognition. N. Ideas Psychol. 31, 322–339 (2013).

121. Douglas, R., Koch, C., Mahowald, M., Martin, K. & Suarez, H. Recurrent excitation in neocortical circuits. Science 269, 981–985 (1995).

122. Compte, A., Brunel, N., Goldman-Rakic, P. S. & Wang, X.-J. Synaptic mechanisms and network dynamics underlying spatial working memory in a cortical network model. Cereb. Cortex 10, 910–923 (2000).

123. Dayan, P. Simple substrates for complex cognition. Front. Neurosci. 2, 255(2008).

124. Harris, K. D. & Thiele, A. Cortical state and attention. Nat. Rev. Neurosci. 12, 509 (2011).

125. Cheng-yu, T. L., Poo, M.-m & Dan, Y. Burst spiking of a single cortical neuron modifies global brain state. Science 324, 643–646 (2009).

126. Sch?lvinck, M. L., Saleem, A. B., Benucci, A., Harris, K. D. & Carandini, M. Cortical state determines global variability and correlations in visual cortex. J. Neurosci. 35, 170–178 (2015).

127. Rutishauser, U. & Douglas, R. State-dependent computation using coupled recurrent networks. Neural Comput. 21, 478–509 (2009).

128. Hangya, B., Pi, H.-J., Kvitsiani, D., Ranade, S. P. & Kepecs, A. From circuit motifs to computations: mapping the behavioral repertoire of cortical interneurons. Curr. Opin. Neurobiol. 26, 117–124 (2014).

129. Letzkus, J. J., Wolff, S. B. & Lüthi, A. Disinhibition, a circuit mechani...