摘要

在物理測量中，從實驗數(shù)據(jù)中估計連續(xù)參數(shù)的精度受限于系統(tǒng)所攜帶的費舍信息（FI）——它刻畫了未知參數(shù)在觀測數(shù)據(jù)中的可辨識度。隨著人工神經(jīng)網(wǎng)絡(luò)被廣泛引入實驗測量與反演分析，理解它們在內(nèi)部如何處理、傳遞并保留這些與參數(shù)相關(guān)的信息，成為一個關(guān)鍵問題。本文提出了一種方法，用于監(jiān)測費舍信息在神經(jīng)網(wǎng)絡(luò)中的流動過程，從輸入層到輸出層進行追蹤。研究表明，當網(wǎng)絡(luò)達到最優(yōu)估計性能時，F(xiàn)I傳輸達到最大；若繼續(xù)訓練，信息反而開始損失，對應過擬合的出現(xiàn)。該工作不僅揭示了神經(jīng)網(wǎng)絡(luò)學習的物理機制，還提出了一種基于FI的“模型無關(guān)早?！睖蕜t，為深度學習的高效與可解釋訓練提供了新思路。

關(guān)鍵詞：費舍信息（Fisher Information, FI），人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks, ANNs），信息流（Information Flow），模型無關(guān)的早停準則（model-free stopping criterion），參數(shù)估計（Parameter Estimation）

來源：集智俱樂部

作者：趙思怡

論文題目：Fisher Information Flow in Artificial Neural Networks 論文鏈接：https://journals.aps.org/prx/abstract/10.1103/kn3z-rmm8 發(fā)表時間：2025年9月16日 論文來源：Physical Review X

費舍信息視角下的神經(jīng)網(wǎng)絡(luò)：

信息流動的物理圖景

在現(xiàn)代科學研究中，人工神經(jīng)網(wǎng)絡(luò)（ ANNs）已成為從實驗數(shù)據(jù)中提取規(guī)律、估計參數(shù)的重要工具。無論是在光學成像、量子測量，還是復雜材料建模中，神經(jīng)網(wǎng)絡(luò)都展現(xiàn)出超越傳統(tǒng)算法的強大表現(xiàn)。然而，研究者們提出了一個極具洞察力的問題：

當神經(jīng)網(wǎng)絡(luò)學習估計一個物理參數(shù)時，信息是如何在層與層之間流動、損失或被壓縮的？

近期，來自維也納工業(yè)大學、格拉斯哥大學、魯爾大學波鴻和法國格勒諾布爾大學的研究團隊提出了一種全新的分析框架，利用費舍信息（FI）來定量追蹤神經(jīng)網(wǎng)絡(luò)中與待估參數(shù)相關(guān)的信息流動。他們發(fā)現(xiàn)，網(wǎng)絡(luò)的學習過程可被視為費舍信息逐步守恒的演化過程；當信息傳輸達到最大化時，網(wǎng)絡(luò)也恰好實現(xiàn)最優(yōu)的估計性能。相關(guān)成果為深度學習提供了一個具有物理意義的解釋路徑，并提出了無需驗證集的“信息早?！睖蕜t。

從互信息到費舍信息：

量化信息流的新方法

傳統(tǒng)的信息論研究通常依賴互信息（Mutual Information, MI）衡量輸入與輸出之間共享的信息量，但在高維連續(xù)空間中，互信息的計算往往極其困難，并可能在確定性映射中出現(xiàn)發(fā)散。相比之下，FI關(guān)注的是系統(tǒng)對未知連續(xù)參數(shù)的響應靈敏度，直接與參數(shù)估計的精度極限——克拉美–羅下界（Cramér–Rao Lower Bound, CRLB）相關(guān)。

本研究的出發(fā)點在于：不僅僅考察網(wǎng)絡(luò)參數(shù)的不確定性，而是追蹤輸入數(shù)據(jù)中關(guān)于物理參數(shù)的信息在網(wǎng)絡(luò)內(nèi)部的傳輸過程。為此，研究團隊提出了一個可計算的近似指標——線性費舍信息（Linear Fisher Information, LFI）。LFI只依賴樣本的均值與協(xié)方差即可估計信息量，無需顯式知道數(shù)據(jù)的概率分布，從而能夠在復雜的深度網(wǎng)絡(luò)中高效計算并逐層追蹤信息變化。

實驗驗證：

在噪聲主導的光學成像中追蹤信息流

為驗證理論框架，研究團隊設(shè)計了一個具有代表性的物理實驗：在光學顯微鏡下，對一個印有“Space Invader”圖案的微小物體進行水平位移測量（如圖1）。實驗條件被刻意設(shè)置為極低信噪比（約 13%），以模擬在噪聲主導環(huán)境下的極限參數(shù)估計問題。

圖1：左側(cè)光源發(fā)出的光束照射在刻有“space invader”圖案的玻璃載片上。透過物鏡到達相機的光場強度包含關(guān)于目標水平位置 θ 的FI。實驗所得圖像被輸入ANN進行訓練，用于預測參數(shù)。神經(jīng)網(wǎng)絡(luò)需盡可能保留FI，才能實現(xiàn)對 θ 的高精度估計。

在這一任務中，神經(jīng)網(wǎng)絡(luò)被訓練來預測物體的水平位置參數(shù) θ。研究者在訓練過程中實時計算各層的LFI，以監(jiān)測信息在網(wǎng)絡(luò)中的傳播規(guī)律。結(jié)果表明：

• 在訓練初期，隨機初始化的權(quán)重導致大量費舍信息在非線性層中損失；

• 隨著訓練的推進，網(wǎng)絡(luò)逐步優(yōu)化內(nèi)部映射，使得信息傳輸效率顯著提升；

• 當模型性能達到最優(yōu)時，輸出層的FI接近輸入層，表明網(wǎng)絡(luò)幾乎保留了輸入數(shù)據(jù)中關(guān)于參數(shù)的全部有效信息。

在模擬數(shù)據(jù)中，這種“信息守恒”關(guān)系幾乎完美成立；而在真實實驗數(shù)據(jù)中，約有80%的信息得以保留，主要受限于實驗噪聲和參數(shù)取值范圍（如圖2）。

圖2：數(shù)值模擬數(shù)據(jù)的LFI最大化過程。曲線顯示LFI在連續(xù)高維嵌入下的變化趨勢。虛線為理論計算的真實FI，用于驗證算法收斂性。

信息約束下的最優(yōu)訓練：

無需驗證集的早停準則

深度學習中，判斷訓練何時結(jié)束是一項長期存在的挑戰(zhàn)。通常做法依賴驗證集監(jiān)控誤差變化，但這一經(jīng)驗性方法缺乏理論依據(jù)。本文基于FI框架提出了一個物理意義明確的早停判據(jù)：當模型的均方誤差（MSE）達到由FI決定的克拉美–羅下限CRLB時，網(wǎng)絡(luò)已提取完全部可用信息。此時若繼續(xù)訓練，網(wǎng)絡(luò)將開始擬合噪聲，導致過擬合現(xiàn)象。

這一條件可通過簡單的乘積形式：MSE × I ≈ 1來檢驗。實驗表明，該準則預測的最佳停止時刻與驗證集誤差最小點高度一致，但無需額外數(shù)據(jù)集即可實現(xiàn)訓練控制，為信息驅(qū)動的模型優(yōu)化提供了實用工具（如圖3）。

圖3：歸一化均方誤差（MSE）隨訓練歷元的變化。 (a) 為帶高斯噪聲的模擬數(shù)據(jù)，(b) 為實驗數(shù)據(jù)。深色曲線為驗證損失，淺色曲線為訓練損失。虛線表示 MSE×I=1的位置，對應訓練的最佳停止點。

意義與前景：

以信息流為核心的神經(jīng)網(wǎng)絡(luò)理解

這項研究為理解深度學習的內(nèi)部機制提供了新的定量化視角。通過追蹤費舍信息在神經(jīng)網(wǎng)絡(luò)中的傳播路徑，研究者揭示了一個可能的普遍規(guī)律：神經(jīng)網(wǎng)絡(luò)的學習過程可被理解為費舍信息逐步趨于守恒的過程。

這一觀點不僅有助于解釋網(wǎng)絡(luò)在不同訓練階段的表現(xiàn)差異，也為模型結(jié)構(gòu)設(shè)計提供了新的啟發(fā)。未來，研究者計劃將這一框架擴展至帶有殘差連接的ResNet結(jié)構(gòu)、物理神經(jīng)網(wǎng)絡(luò)（Physical Neural Networks）及更廣泛的實驗數(shù)據(jù)分析任務中。

在更宏觀的意義上，這項工作展示了信息論與深度學習、實驗物理的融合潛力。當信息流動被視為科學系統(tǒng)的共同約束原則，我們或許能夠在人工智能與自然智能之間，找到一種更深層次的對應關(guān)系。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風險等等領(lǐng)域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。