導語

盡管智能體在實驗環(huán)境中表現(xiàn)亮眼，但一旦進入真實世界，只要訓練條件與環(huán)境稍有不一致，就可能出現(xiàn)“翻車”——輕則性能下降，重則做出災難性決策。如何讓智能體在未知、變化的環(huán)境中依然穩(wěn)定可靠，是實現(xiàn)實際部署的關鍵難題。

這篇論文提出了分布魯棒自由能模型（DR-FREE），將自由能原理與分布魯棒優(yōu)化相結合，把“應對不確定性”的能力直接寫進智能體的決策機制中。實驗結果顯示，在存在噪聲和分布偏移（如高斯擾動）的環(huán)境下，DR-FREE 依然能夠順利完成任務，而多種當前主流方法卻難以應對。這一工作不僅展示了智能體在現(xiàn)實不確定環(huán)境中的應用潛力，也為理解自然智能體如何在極少甚至沒有訓練的情況下適應復雜世界，提供了新的視角。

關鍵詞：分布魯棒自由能（Distributionally robust free energy，DR-FREE），決策制定，魯棒性（Robustness），自主智能體（Autonomous agents），主動推理

郭瑞東丨作者

王璇丨審校

論文題目：Distributionally robust free energy principle for decision-making 論文鏈接：https://www.nature.com/articles/s41467-025-67348-6 發(fā)表時間：2025年12月17日 論文來源：Nature Communications

智能體在面對環(huán)境擾動時缺少魯棒性

近年來，人工智能在諸多領域取得了突破性進展，然而，即便是性能最先進的 AI 智能體，在策略魯棒性方面仍與人類存在明顯差距。人類往往能夠在幾乎沒有、甚至完全沒有訓練的情況下，，在復雜和充滿挑戰(zhàn)的環(huán)境中正常行動；相比之下，AI 智能體一旦脫離訓練條件，就很容易“失靈”。

造成這一差距的關鍵原因在于：AI 智能體學到的策略，通常高度依賴訓練階段所假設的環(huán)境模型。一旦真實環(huán)境與訓練模型之間存在哪怕很小的不匹配，策略性能就可能迅速下降，甚至完全失敗。例如，Atari游戲智能體假設訓練期間與實際測試時環(huán)境一致，如果這個假設不成立，學習到的策略可能會失敗。

這篇2025年12月17日發(fā)表在Nature Communication的論文，提出了DR-FREE模型，通過引入分布魯棒自由能原理和相應的求解引擎，可使得訓練出的智能體具有訓練/環(huán)境模糊性的魯棒性，從而在與訓練數(shù)據(jù)不同的環(huán)境中仍然能高效運行。

方法核心：從自由能到分布魯棒自由能

DR-FREE 的核心創(chuàng)新，建立在對經(jīng)典自由能原理（Free Energy Principle）的擴展之上。經(jīng)典自由能原理認為，智能體中的自適應行為源于變分自由能的最小化，其中智能體基于其可用環(huán)境模型通過最小化自由能獲得策略。然而，這一框架隱含了一個強假設——智能體的內(nèi)部模型與真實環(huán)境是匹配的。在現(xiàn)實場景中，這一假設往往并不成立。DR-FREE 正是針對這一問題，對自由能原理進行了分布魯棒化擴展。

而DR-FREE中，自由能不再只針對單一的訓練模型進行最小化，而是在一個圍繞訓練模型的“模糊性集合”中進行優(yōu)化。這一集合刻畫了訓練模型周圍所有“可能但不完全可信”的環(huán)境，其大小由模型的統(tǒng)計復雜性所決定。智能體需要在這些可能環(huán)境中，找到在最壞情況下依然表現(xiàn)穩(wěn)健的策略。

圖1：傳統(tǒng)方法和DR-FREE的對比。圖1a描繪了傳統(tǒng)智能體的決策流程框架。智能體在隨機環(huán)境中導航，目標是到達目的地同時避開障礙物。在特定時間步k-1，智能體基于其對環(huán)境的模型以及觀察結果/信念（統(tǒng)稱為狀態(tài)Xk?1）來確定動作。圖1b揭示了訓練模型與智能體實際環(huán)境之間存在的不匹配問題，這種不匹配被定義為訓練/環(huán)境模糊性。圖1c展示了經(jīng)典自由能最小化智能體的工作原理。在不考慮訓練/環(huán)境模糊性的場景中，智能體所處的環(huán)境與其內(nèi)部模型完全匹配，智能體通過從最優(yōu)策略中采樣來確定策略。與之對比的圖1d描述了DR-FREE的分布魯棒自由能原理。該方法將經(jīng)典自由能原理擴展以考慮模型模糊性，通過在所有環(huán)境（屬于模糊性集合）上最小化最大自由能來識別魯棒策略。

圖2：DR-FREE的求解引擎。圖2a為DR-FREE原理的數(shù)學表述，其優(yōu)化的目標函數(shù)分為統(tǒng)計復雜性項與期望損失項，這樣設計的目標函數(shù)，使之能夠在無限維概率空間中進行貝葉斯最優(yōu)的不確定性和模糊性處理。圖2b詳細闡述了DR-FREE通過雙層優(yōu)化方法，用于計算DR-FREE原理導出策略的求解方法。在給定當前狀態(tài)xk?1，求解引擎首先使用生成模型和損失函數(shù)，在所有模糊性集合中的可能環(huán)境上計算最大自由能，在獲得模糊性成本后，引擎在策略空間中最小化變分自由能，產(chǎn)生最優(yōu)策略和成本函數(shù)。圖2c揭示了DR-FREE策略的具體生成機制和函數(shù)形式，展示了如何從數(shù)學原理轉(zhuǎn)化為可執(zhí)行的決策規(guī)則。其中策略中的指數(shù)核包含三個關鍵成本組分，分別是動作成本：，直接懲罰不同動作的代價；模糊性半徑ηk(xk?1,uk），量化對訓練模型置信度的缺乏；模糊性成本：c(xk?1,uk），表示跨所有可能環(huán)境的最大自由能。

DR-FREE求解引擎的核心突破在于將原本的無限維自由能最大化問題轉(zhuǎn)化為標量凸優(yōu)化問題，這使得算法可通過現(xiàn)有工具求解。

實驗驗證：從機器人導航到復雜環(huán)境測試

研究團隊在涉及真實機器人的實驗測試平臺上評估了DR-FREE（圖3a展示了實驗的物理平臺和智能體配置），這些機器人被訓練要求在避免障礙物的同時到達期望目的地的任務。為了驗證DR-FREE在測試與訓練數(shù)據(jù)不一致時的魯棒性，可用的訓練模型是從有偏實驗數(shù)據(jù)中學習得到的，這些數(shù)據(jù)沒有充分捕捉真實環(huán)境并引入了模糊性。圖3b對應導航任務中設計的非凸狀態(tài)獎勵函數(shù)。

圖3.DR-FREE在導航場景下的表現(xiàn)。

實驗表明，在模型存在顯著偏差的挑戰(zhàn)下，DR-FREE 是唯一能可靠完成導航任務的智能體，而忽視模糊性的傳統(tǒng)方法則普遍失敗（圖3c）。這一優(yōu)勢在真實機器人平臺上得到了直觀驗證（圖3d）。

研究進一步揭示，DR-FREE 的決策邏輯具有可解釋的權衡機制：模糊性半徑如同一個“保守度”調(diào)節(jié)旋鈕。當模型可信時，策略會平衡目標與風險；當模型不確定時，策略則優(yōu)先規(guī)避認知風險，甚至可能忽略物理障礙（圖3e）。

此外，DR-FREE 的數(shù)學形式還支持從行為反推其決策邏輯，能夠根據(jù)觀測數(shù)據(jù)重建出智能體內(nèi)在遵循的代價函數(shù)（圖3f），這為理解和解釋智能體行為提供了新工具?！?/p>

“所有模型都是錯誤的，但有些是有用的。”DR-FREE 正是對這一觀點的直接回應。通過放松對訓練階段精確建模的依賴，DR-FREE 使原本因偏差而“不可用”的模型重新具備決策價值。進一步地，將DR-FREE與深度強化學習相結合，可在多智能體架構中引入更魯棒的異構智能體。憑借魯棒自由能最小化原理和求解引擎，DR-FREE的框架讓智能體可以從因為環(huán)境改變或觀測帶有誤差而表現(xiàn)較差的模型中恢復魯棒策略。

總結與未來方向

總體來看，DR-FREE支持貝葉斯信念更新，隨著模糊性增加，DR-FREE會降低了智能體可用模型在模糊性上的權重。其提供的策略，不止適用于人工智能體，也可能被自然選擇挑中用于生命應對異變且觀測模糊的環(huán)境，理論細菌可以在未知環(huán)境中導航，這種對生存至關重要的能力可在幾乎沒有訓練的情況下實現(xiàn)的。考慮到模糊性是跨心理學、經(jīng)濟學和神經(jīng)科學等領域的關鍵主題，DR-FREE可能為生物學上合理的神經(jīng)解釋奠定基礎，解釋自然智能體如何在沒有或幾乎沒有訓練的情況下在挑戰(zhàn)性環(huán)境中魯棒地運行。

自由能原理與強化學習讀書會

自由能原理被認為是“自達爾文自然選擇理論后最包羅萬象的思想”，它試圖從物理、生物和心智的角度提供智能體感知和行動的統(tǒng)一性規(guī)律，從第一性原理出發(fā)解釋智能體更新認知、探索和改變世界的機制，從而對人工智能，特別是強化學習世界模型、通用人工智能研究具有重要啟發(fā)意義。

集智俱樂部聯(lián)合北京師范大學系統(tǒng)科學學院博士生牟牧云，南京航空航天大學副教授何真，以及驥智智能科技算法工程師、公眾號 CreateAMind 主編張德祥，共同發(fā)起「」，希望探討自由能原理、強化學習世界模型，以及腦與意識問題中的預測加工理論等前沿交叉問題，探索這些不同領域背后蘊含的感知和行動的統(tǒng)一原理。讀書會已完結，現(xiàn)在報名可加入社群并解鎖回放視頻權限。

詳情請見：

1.

2.

3.

4.

4.

5.

6.

7.