Brain in the Dark: Design Principles for Neuromimetic

《黑暗中的大腦：自由能原理下的神經(jīng)模擬推理設(shè)計(jì)原則》

Inference under the Free Energy Principle

https://github.com/MLDawn/PC-network-NeurIPs-2024

https://arxiv.org/pdf/2502.08860

摘要

深度學(xué)習(xí)通過從原始數(shù)據(jù)中實(shí)現(xiàn)自動(dòng)特征提取和函數(shù)近似，徹底改變了人工智能（AI）。然而，它面臨著諸如缺乏分布外泛化能力、災(zāi)難性遺忘和可解釋性差等挑戰(zhàn)。相比之下，生物神經(jīng)網(wǎng)絡(luò)（如人腦中的神經(jīng)網(wǎng)絡(luò)）并不存在這些問題，這激發(fā)了AI研究人員探索神經(jīng)模擬深度學(xué)習(xí)，其目標(biāo)是在AI模型中復(fù)制大腦機(jī)制。這種方法的一個(gè)基礎(chǔ)理論是自由能原理（FEP），盡管它具有潛力，但由于需要跨多個(gè)領(lǐng)域的跨學(xué)科理解，通常被認(rèn)為在AI中理解和實(shí)現(xiàn)起來過于復(fù)雜。本文旨在揭開FEP的神秘面紗，并為設(shè)計(jì)具有類人感知能力的神經(jīng)模擬模型提供一個(gè)全面的框架。我們提出了一個(gè)實(shí)現(xiàn)這些模型的路線圖，并提供了一個(gè)Pytorch代碼庫，用于在預(yù)測編碼網(wǎng)絡(luò)中應(yīng)用FEP。

1 引言

盡管被限制在頭骨的黑暗中，人腦卻擁有令人驚嘆的能力，能夠解釋周圍的世界，理解并分析外部環(huán)境，為不可預(yù)見的未來做計(jì)劃，并做出能夠改變事件進(jìn)程的決策。大腦這種非凡的能力被認(rèn)為源于其作為預(yù)測機(jī)器的功能，它不斷地推斷感覺輸入背后的隱藏原因，以保持對環(huán)境的連貫理解。這種觀點(diǎn)可以追溯到赫爾姆霍茨關(guān)于“感知作為無意識推斷”的想法，并后來發(fā)展為“貝葉斯大腦”假設(shè)，它表明大腦作為一個(gè)復(fù)雜的統(tǒng)計(jì)器官運(yùn)行。大腦根據(jù)傳入的感覺數(shù)據(jù)更新其對外部世界的信念，并通過生成模型（GM）優(yōu)化這一過程。這種生成模型使大腦能夠推斷出產(chǎn)生其感覺輸入的外部環(huán)境的動(dòng)態(tài)狀態(tài)，以及這些輸入產(chǎn)生的機(jī)制。本質(zhì)上，大腦不斷根據(jù)貝葉斯推斷的原則，完善其對世界隱藏狀態(tài)的概率信念。

更具體地說，給定一個(gè)感覺觀測值y，感知的目標(biāo)是推斷出導(dǎo)致這一觀測的最可能的世界隱藏狀態(tài)x，這是通過貝葉斯定理實(shí)現(xiàn)的。自由能原理（FEP）是開發(fā)受大腦啟發(fā)的計(jì)算最有前景的框架之一，它是一種信息論原理，認(rèn)為大腦的運(yùn)行是為了最小化一個(gè)稱為變分自由能（VFE）的量。VFE為貝葉斯模型證據(jù)的負(fù)對數(shù)提供了一個(gè)上界，定義為 - ln(p(y|M))，其中M是生成模型（GM）。在某些假設(shè)下，VFE可以定義為大腦預(yù)測的感覺數(shù)據(jù)與實(shí)際接收到的感覺數(shù)據(jù)之間的差異。該原理表明，大腦試圖減少這種差異以維持一種平衡狀態(tài)，從而在不可預(yù)測的環(huán)境中保持“自我”的生存和持續(xù)存在。

盡管自由能原理提供了基礎(chǔ)性的見解，但將其應(yīng)用于神經(jīng)模擬人工智能（AI）是具有挑戰(zhàn)性的，因?yàn)樗枰鐒?dòng)態(tài)系統(tǒng)建模（通過狀態(tài)空間模型（SSMs））、隨機(jī)過程、概率論、變分微積分和神經(jīng)科學(xué)等領(lǐng)域的跨學(xué)科理解。因此，由于追求這一研究方向所需的博學(xué)多才，只有少數(shù)人工智能研究人員使用自由能原理。進(jìn)一步限制其在人工智能界廣泛使用的是，自由能原理的最初實(shí)現(xiàn)是在Matlab*中完成的，這在人工智能界不如Python或Pytorch常用。為解決這些障礙，本文貢獻(xiàn)了以下內(nèi)容：

1. 一個(gè)準(zhǔn)確且高效地使用自由能原理設(shè)計(jì)神經(jīng)模擬AI的路線圖。

2. 一個(gè)輕量級且基于CPU的Pytorch代碼庫，實(shí)現(xiàn)了在預(yù)測編碼（PC）網(wǎng)絡(luò)中的自由能原理[^?^]。

本文的其余部分如下：第2節(jié)介紹變分自由能和模型反演；第3節(jié)詳細(xì)闡述了各種問題表述及其在基于自由能原理的神經(jīng)模擬AI設(shè)計(jì)中的影響；第4節(jié)介紹預(yù)測編碼并提供其數(shù)學(xué)表述；第5節(jié)詳細(xì)介紹實(shí)驗(yàn)和結(jié)果。最后，第6節(jié)總結(jié)本文。

2 推理、學(xué)習(xí)和不確定性估計(jì)

為了使神經(jīng)模擬人工智能模型能夠在動(dòng)態(tài)且不斷變化的世界中有效運(yùn)行，它必須能夠持續(xù)適應(yīng)新的感覺輸入。為此，它需要一個(gè)生成模型（GM），以封裝其對感覺數(shù)據(jù)背后隱藏的生成過程（GP）的理解。生成過程對模型來說是不可直接獲取的，就像大腦無法直接感知頭骨之外的真實(shí)外部世界一樣。因此，確定世界的隱藏狀態(tài)成為一個(gè)推理問題，模型需要從觀察到的感覺輸入中反向推導(dǎo)出生成過程。這涉及模型反演，使我們能夠推斷出最有可能生成給定感覺數(shù)據(jù)的隱藏狀態(tài)。有趣的是，在人工智能和機(jī)器學(xué)習(xí)領(lǐng)域，研究的主要焦點(diǎn)常常集中在參數(shù)估計(jì)，而不是隱藏狀態(tài)估計(jì)。

其中，DKL表示Kullback-Leibler散度。最小化變分自由能（VFE）有兩個(gè)目的：一是近似模型證據(jù)，二是為選擇不同的生成模型（GM）提供一個(gè)穩(wěn)健的標(biāo)準(zhǔn)。由于VFE是關(guān)于q的泛函（即輸入一個(gè)函數(shù)并返回一個(gè)標(biāo)量），因此使用變分法進(jìn)行最小化。

VFE平衡了兩個(gè)相互對立的量：準(zhǔn)確性（確保模型的預(yù)測與觀測數(shù)據(jù)緊密匹配）和復(fù)雜性（懲罰過于復(fù)雜的模型以防止過擬合）。具體來說，復(fù)雜性衡量了模型對世界狀態(tài)的先驗(yàn)信念在觀測到后向近似后驗(yàn)信念的偏移程度。通過最小化VFE，模型在擬合數(shù)據(jù)和保持簡潔性之間實(shí)現(xiàn)了最優(yōu)權(quán)衡，遵循了奧卡姆剃刀原則。

通過最小化VFE進(jìn)行的推理過程賦予了神經(jīng)模擬AI三個(gè)關(guān)鍵能力：（i）參數(shù)估計(jì)：學(xué)習(xí)生成模型的參數(shù)以最好地解釋數(shù)據(jù)；（ii）精確度估計(jì)：估計(jì)隱藏狀態(tài)和觀測的精確度（逆不確定性），相關(guān)內(nèi)容將在第4節(jié)討論；（iii）狀態(tài)估計(jì)：推斷導(dǎo)致觀測數(shù)據(jù)的隱藏狀態(tài)。這三種能力對于構(gòu)建能夠適應(yīng)和泛化不同情境的真正神經(jīng)模擬AI系統(tǒng)至關(guān)重要，就像生物神經(jīng)網(wǎng)絡(luò)一樣。然而，為了說明目的，我們專注于場景（iii），即，同時(shí)保持生成模型的其他部分固定（即固定參數(shù)和狀態(tài)/觀測的精確度項(xiàng)）。

3 不同的問題表述及其影響

在設(shè)計(jì)生成模型（GMs）及其反演方法時(shí)，需要考慮各種不同的問題空間。本節(jié)探討了不同的問題表述及其對基于自由能原理（FEP）開發(fā)神經(jīng)模擬人工智能的影響。在以下內(nèi)容中，我們討論了離散時(shí)間、離散空間的馬爾可夫鏈以及連續(xù)時(shí)間、連續(xù)空間的隨機(jī)過程；其他表述方式超出了本文的范圍。

4 預(yù)測編碼

為了維持穩(wěn)定性（即內(nèi)穩(wěn)態(tài)）并確保生存，像大腦這樣的生物系統(tǒng)必須持續(xù)最小化其內(nèi)部和外部狀態(tài)的波動(dòng)或熵。這一過程類似于最小化大腦對其感覺狀態(tài)的“驚訝”，從統(tǒng)計(jì)學(xué)角度來看，這轉(zhuǎn)化為最大化其感覺輸入的貝葉斯模型證據(jù)——這一過程被稱為貝葉斯濾波。預(yù)測編碼[13,14]是一種突出且在神經(jīng)生物學(xué)上可行的貝葉斯濾波方法，它將大腦的功能框架化為預(yù)測與誤差校正之間不斷的相互作用。在預(yù)測編碼框架下，大腦被視為一個(gè)分層的生成模型，通過最小化預(yù)測誤差來優(yōu)化其對世界的內(nèi)部模型。這些誤差是大腦的預(yù)測（自上而下的信號）與實(shí)際感覺輸入（自下而上的信號）之間的差異。大腦通過一個(gè)雙重過程實(shí)現(xiàn)這一點(diǎn)：首先，生成關(guān)于感覺輸入的自上而下的預(yù)測；其次，計(jì)算預(yù)測誤差（自下而上的信號），這些誤差用于更新這些預(yù)測。變分自由能（VFE）為貝葉斯模型證據(jù)提供了一個(gè)數(shù)學(xué)近似，在某些條件下，它等同于加權(quán)的預(yù)測誤差。這是通過拉普拉斯近似實(shí)現(xiàn)的，該方法用更簡單的高斯分布來近似復(fù)雜的模型分布。在變分范式下進(jìn)行推理，可以得到變分拉普拉斯（VL），它以一種生物學(xué)上可行的方式高效地計(jì)算和優(yōu)化VFE。在這個(gè)框架中，感知被概念化為通過持續(xù)更新沿著皮層等級向下傳播的期望來最小化預(yù)測誤差。預(yù)測從更深的皮層層流向更表層的層，而由此產(chǎn)生的預(yù)測誤差則向上流動(dòng)，完善大腦的期望并改善未來的預(yù)測。本質(zhì)上，大腦作為一個(gè)自我校正系統(tǒng)，不斷尋求減少其期望與感覺現(xiàn)實(shí)之間的差異，從而優(yōu)化其對世界的內(nèi)部模型。從數(shù)學(xué)上講，預(yù)測編碼可以被建模為一個(gè)分層狀態(tài)空間模型，其中層次結(jié)構(gòu)的每一層（共L層）代表一個(gè)抽象層次：

5 單層PC模型的實(shí)驗(yàn)與結(jié)果

我們展示了實(shí)驗(yàn)結(jié)果，證明了一個(gè)簡單的單層預(yù)測編碼（PC）網(wǎng)絡(luò)如何從嘈雜的感覺輸入中推斷出外部世界的隱藏狀態(tài)；實(shí)現(xiàn)細(xì)節(jié)包含在提供的基于CPU的Pytorch代碼庫中。所有實(shí)驗(yàn)均在一臺個(gè)人筆記本電腦上進(jìn)行，該電腦配備Intel? Core-i9處理器和16GB內(nèi)存（RAM）。偽代碼在附錄D中提供。

6 結(jié)論

神經(jīng)模擬人工智能（Neuromimetic AI）旨在賦予傳統(tǒng)人工智能模型（例如深度學(xué)習(xí)）類似大腦的神經(jīng)元消息傳遞和類人推理能力。自由能原理（FEP）是實(shí)現(xiàn)這一目標(biāo)最有前景的方向之一。然而，由于其數(shù)學(xué)上的復(fù)雜性和多學(xué)科的性質(zhì)，沿著自由能原理的路徑探索神經(jīng)模擬、理解它以及當(dāng)然，實(shí)現(xiàn)它，仍然是研究人員面臨的艱巨任務(wù)。本文詳細(xì)闡述了基于自由能原理設(shè)計(jì)神經(jīng)模擬人工智能模型的設(shè)計(jì)原則，該原理應(yīng)用于預(yù)測編碼（PC）網(wǎng)絡(luò)。最后但同樣重要的是，我們提供了一個(gè)基于自由能原理實(shí)現(xiàn)預(yù)測編碼網(wǎng)絡(luò)的Pytorch代碼庫，該網(wǎng)絡(luò)模擬了人類的感知能力。

A 用于推理/學(xué)習(xí)的隱馬爾可夫模型

B 關(guān)于運(yùn)動(dòng)的廣義坐標(biāo)

C 單層預(yù)測編碼網(wǎng)絡(luò)中的神經(jīng)元消息傳遞

在本附錄中，我們描述了一個(gè)單層預(yù)測編碼（PC）網(wǎng)絡(luò)如何通過神經(jīng)元消息傳遞更新其對世界狀態(tài)及其動(dòng)態(tài)的信念。該模型通過自上而下的預(yù)測和自下而上的誤差信號的結(jié)合，來完善其對世界隱藏狀態(tài)及其時(shí)間動(dòng)態(tài)的內(nèi)部信念。

D 狀態(tài)推斷偽代碼

算法1展示了在第5節(jié)中定義的隱藏狀態(tài)估計(jì)問題的偽代碼，其中生成模型（GM）是一個(gè)單層預(yù)測編碼（PC）網(wǎng)絡(luò)，生成過程（GP）是一個(gè)Lotka-Volterra過程。這意味著隱藏狀態(tài) x 和感覺 y 的維度等于2。偽代碼是自解釋的，然而，在第9行，我們有一個(gè)神秘的塊矩陣 D，這需要進(jìn)一步解釋。

E Lotka-Volterra生成過程及其觀測

圖2展示了Lotka-Volterra生成過程（GP）的解，作為需要估計(jì)的隱藏狀態(tài) x（左側(cè)），以及通過在 x 中加入有色噪聲生成的觀測值 y（右側(cè)）。

F 變分自由能與變分拉普拉斯

G 實(shí)驗(yàn)進(jìn)一步分析

圖3的上半部分和下半部分分別展示了M1和M2的推斷隱藏狀態(tài)以及在整個(gè)推理期間自由作用的演變。

H 單層預(yù)測編碼網(wǎng)絡(luò)的生成能力

I 計(jì)算給定生成模型的近似變分自由能的梯度

原文鏈接： https://arxiv.org/pdf/2502.08860