導(dǎo)語

機器學(xué)習模型在數(shù)據(jù)的擬合和預(yù)測方面展現(xiàn)出驚人的能力。人們不僅用這些模型做預(yù)測，還希望提煉出關(guān)于機制的科學(xué)假說。然而，良好的數(shù)據(jù)預(yù)測能力，是否真的能保證我們對這些模型的解釋是準確的尚未可知。這篇發(fā)表在自然 · 機器智能的文章提出一個具有內(nèi)生可解釋性的靈活模型框架，用來刻畫神經(jīng)動力學(xué)（neural dynamics），并在此框架下具體檢驗“預(yù)測好”與“解釋對”之間的關(guān)系。

關(guān)鍵詞：機器學(xué)習(Machine learning)，靈活模型（Flexible models），神經(jīng)動力學(xué)（Neural dynamics），潛在動力系統(tǒng)（Latent dynamical system），特征復(fù)雜度（Feature complexity），軌跡熵（Trajectory entropy）

周莉丨作者

趙思怡丨審校

論文題目：Moving beyond generalization to accurate interpretation of flexible models 論文地址：https://www.nature.com/articles/s42256-020-00242-6

神經(jīng)網(wǎng)絡(luò)作為一種靈活的建模工具，正在催生大量關(guān)于神經(jīng)計算機制的假設(shè)。這依賴于一個隱含的假設(shè)：即如果一個模型能夠?qū)π碌臄?shù)據(jù)表現(xiàn)出良好的預(yù)測能力，那么該模型的內(nèi)部機制就一定與產(chǎn)生數(shù)據(jù)的生物系統(tǒng)的機制相匹配。然而該研究發(fā)現(xiàn)在神經(jīng)科學(xué)中的典型任務(wù)中，這一假設(shè)并不成立。即使是具有完全不同的動力學(xué)機制的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型，也能在某些任務(wù)上表現(xiàn)出同樣的泛化能力。這一現(xiàn)象被稱為羅生門效應(yīng)（Rashomon Effect），即存在多種機制不同的模型都能同樣好地解釋數(shù)據(jù)。為了對這些模型進行區(qū)分，本文提出了一種基于動力系統(tǒng)分析的新框架，并主張要實現(xiàn)對神經(jīng)回路的準確解釋，必須超越簡單的泛化能力，深入到模型的動力學(xué)幾何結(jié)構(gòu)中去。

問題提出：從“預(yù)測能力”到“機制解釋”

在傳統(tǒng)統(tǒng)計建模中，研究者通常從若干明確的候選假說出發(fā)，通過假設(shè)檢驗或模型比較，在相對小規(guī)模的模型族中選擇最為合適者（圖1 a）。然而，隨著深度學(xué)習等機器學(xué)習方法的興起，這一范式正在發(fā)生深刻變化?，F(xiàn)代神經(jīng)科學(xué)越來越傾向于使用參數(shù)眾多、表達能力極強的靈活模型（Flexible models），例如循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent neural networks, RNN）或潛在動力系統(tǒng)模型（Latent dynamical system models），直接從數(shù)據(jù)中學(xué)習大腦的計算結(jié)構(gòu)。

在這一過程中，一個關(guān)鍵前提常常被默認接受而缺乏系統(tǒng)檢驗：如果一個模型表現(xiàn)出令人滿意的泛化能力（Generalization），就認為該模型內(nèi)部所采用的計算機制與真實神經(jīng)系統(tǒng)的機制是一致的。大量關(guān)于RNN 自發(fā)涌現(xiàn)出某種動力學(xué)結(jié)構(gòu)并因而可類比大腦的論述，均基于這一隱含前提（圖1 b）。本研究試圖在一個可控、可解釋的框架內(nèi)，對這一前提進行檢驗。研究者關(guān)注的問題不是一個模型能否預(yù)測數(shù)據(jù)，而是在多少種不同的機制之下，預(yù)測同樣可以做得很好，以及在這種情況下，研究者該如何從中選擇具有解釋價值的模型。

圖 1 | 從數(shù)據(jù)中推導(dǎo)理論。a. 可用簡單的特設(shè)模型（ad hoc models）對數(shù)據(jù)進行擬合，將與最優(yōu)擬合模型對應(yīng)的假設(shè)解讀為一種生物學(xué)機制。b. 可用靈活模型對數(shù)據(jù)進行擬合，該類模型在單一模型架構(gòu)內(nèi)涵蓋多種假設(shè)（通常包含大量參數(shù)，如人工神經(jīng)網(wǎng)絡(luò)（ANN））。模型優(yōu)化的目標是提升其預(yù)測新數(shù)據(jù)的能力（即泛化能力）。通過解讀最優(yōu)預(yù)測模型的結(jié)構(gòu)推導(dǎo)假設(shè)。目前尚不清楚該方法能否得出能準確反映生物學(xué)現(xiàn)實的正確假設(shè)。

具有內(nèi)生可解釋性的潛在動力學(xué)框架

建?？蚣?/strong>

為了分析預(yù)測能力與機制解釋的關(guān)系，作者構(gòu)建了一個兼具靈活性與內(nèi)生可解釋性的潛在動力學(xué)框架（圖2）。該框架將神經(jīng)群體放電行為視作由低維潛在狀態(tài)軌跡x(t)驅(qū)動的隨機過程。與直接擬合發(fā)放率不同，模型假設(shè)存在一個連續(xù)演化的潛在狀態(tài)，通過發(fā)放率函數(shù)f(x)映射為瞬時發(fā)放率λ(t)=f(x(t))，進而經(jīng)由非齊次泊松過程生成離散脈沖。這一潛在狀態(tài)—發(fā)放率—脈沖的生成式結(jié)構(gòu)，使得推斷過程本質(zhì)上是從觀測數(shù)據(jù)反推最可能的潛在動力學(xué)機制。

框架的核心在于利用 Langevin 隨機微分方程描述潛在狀態(tài)的演化。其中，勢能函數(shù)Φ(x)決定確定性漂移，高斯白噪聲ξ(t)引入隨機性。函數(shù)的幾何特征直接對應(yīng)動力學(xué)機制，極小值對應(yīng)吸引子，谷深反映穩(wěn)定性，勢壘高度決定狀態(tài)躍遷的難易程度。相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的黑箱參數(shù)，Φ(x)的形狀直接構(gòu)成了關(guān)于系統(tǒng)穩(wěn)態(tài)與轉(zhuǎn)換機制的具體假說。

圖 2 | 一種靈活且具有內(nèi)生可解釋性的神經(jīng)動力學(xué)建?？蚣堋Ｉ窠?jīng)發(fā)放數(shù)據(jù)被建模為非齊次泊松過程，其強度依賴于潛軌跡 x(t)，二者通過發(fā)放率函數(shù)f(t)建立聯(lián)系。潛在動力學(xué)由非線性隨機微分方程（公式 1）控制，該方程包含確定性勢函數(shù)Φ(x)和高斯噪聲。

優(yōu)化函數(shù)

為了從數(shù)據(jù)中學(xué)習機制，作者在勢能函數(shù)的函數(shù)空間上運用梯度下降算法，以最大化對數(shù)似然為目標來優(yōu)化Φ(x)（圖3 a），每次迭代得到的Φ(x)都對應(yīng)一個可解釋的動力學(xué)假設(shè)。隨著訓(xùn)練推進，勢能形狀從簡單趨向復(fù)雜，逐步逼近真實動力學(xué)結(jié)構(gòu)（圖3b 第一行）。然而，隨著迭代次數(shù)的增加，模型會過擬合并產(chǎn)生偽結(jié)構(gòu)（圖3b 第二行）。

圖3｜梯度下降優(yōu)化得到一系列具有不同解釋的模型。a. 在梯度下降優(yōu)化過程中，負對數(shù)似然呈單調(diào)下降趨勢。b. 梯度下降選定迭代輪次下的擬合勢函數(shù)Φ?(x)（顏色與圖 a 中的點對應(yīng)），以及生成數(shù)據(jù)所用的真實勢函數(shù)（灰色）。從一個非特異性初始猜測（第 1 輪迭代時的單阱勢函數(shù)）開始，優(yōu)化過程可準確還原真實模型（第 50 輪迭代）；而在后續(xù)迭代中，由于過擬合，模型會出現(xiàn)在真實生成模型中并不存在的虛假特征（更多小尺度的起伏），這主要源于模型在有限樣本和噪聲條件下，對偶然波動的過度擬合（如果在每一次迭代中，都重新生成一批新的模擬數(shù)據(jù)，同樣的學(xué)習過程將不會產(chǎn)生那些后期的細小偽結(jié)構(gòu)，勢能函數(shù)可以穩(wěn)定收斂到真實形狀，見原文補充圖1）。

模型選擇

在常規(guī)機器學(xué)習圖景中，隨著模型復(fù)雜度的提高，訓(xùn)練誤差通常單調(diào)下降，而驗證誤差在某個復(fù)雜度處達到最小值后開始上升，從而形成所謂偏差–方差權(quán)衡（Bias–variance tradeoff）對應(yīng)的 U 形曲線。模型選擇通常依據(jù)驗證誤差的最小點，試圖在欠擬合與過擬合之間取得平衡。本文中，作者發(fā)現(xiàn)訓(xùn)練誤差如預(yù)期般持續(xù)下降，而驗證誤差在初期會明顯下降。但在進入一定階段后，會進入一個長而平坦的泛化高原（Generalization plateau），對應(yīng)的勢能函數(shù)形狀可以彼此差異顯著，但它們在驗證集上的預(yù)測性能幾乎難以區(qū)分。

圖 4 | 泛化高原。針對從同一真實模型生成的 10 組獨立訓(xùn)練集和驗證集樣本，梯度下降（GD）優(yōu)化得到的模型其驗證負對數(shù)似然值。驗證負對數(shù)似然值呈現(xiàn)長平臺期，表明存在一系列泛化性能良好的模型。放大圖（右側(cè)）顯示了泛化平臺期形狀的多樣性。在驗證負對數(shù)似然值最小值處選取泛化最優(yōu)模型（樣本 1 和樣本 2 分別對應(yīng)紅色和藍色箭頭）

這種現(xiàn)象說明，在高參數(shù)、強表達能力的模型中，可能同時存在數(shù)量眾多、內(nèi)部機制迥異的模型，它們在行為上同樣成功地解釋了數(shù)據(jù)。換言之，在預(yù)測層面，這些模型幾乎不可區(qū)分；在機制層面，它們卻對應(yīng)著不同數(shù)量的吸引子、不同的勢能谷底位置以及不同的狀態(tài)躍遷結(jié)構(gòu)。作者以羅生門效應(yīng)來概括這一現(xiàn)象：面對相同的數(shù)據(jù)，存在一個龐大的模型集合，每一個都能給出“看似合理”的解釋，但這些解釋彼此并不等價。

是否可以通過強化正則化（regularization）或更精細的交叉驗證策略來緩解這一問題？作者從驗證誤差、多折交叉驗證和加入懲罰項幾個角度系統(tǒng)地考察了這一思路?？偟膩碚f，只要模型選擇標準依然主要基于預(yù)測或泛化指標，那么在靈活模型中，解釋層面的不確定性就難以根除。 這提示我們需要從根本上調(diào)整模型選擇的目標函數(shù)。

因此，作者提出了一個替代思路：找到在不同數(shù)據(jù)子集中最具有穩(wěn)定一致性的結(jié)構(gòu)。通過引入了軌跡熵（Trajectory entropy）及其負值特征復(fù)雜度（Feature complexity）來量化勢能對潛在軌跡的約束強度：勢能越深且越分明，軌跡的隨機游走越受限制，軌跡熵下降、特征復(fù)雜度上升。該度量反映的是動力學(xué)結(jié)構(gòu)的豐富性，而非單純的參數(shù)數(shù)量。總體而言，通過將潛在狀態(tài)、勢能景觀與生成機制形式化，該框架使得模型的學(xué)習過程本質(zhì)上等同于對神經(jīng)動力學(xué)假說的提出與檢驗，從而實現(xiàn)了內(nèi)生可解釋性。

圖 5 | 識別具有準確解釋性的模型。a. 特征復(fù)雜度隨迭代次數(shù)增加而上升，且不同數(shù)據(jù)樣本的增長速率存在差異。b. 特征復(fù)雜度邊界 M*（橙色點）將真實特征與噪聲區(qū)分開。c. 數(shù)據(jù)樣本 1 和 2 在不同特征復(fù)雜度下的勢函數(shù)（顏色與圖 a 數(shù)據(jù)對應(yīng)）。d. 不同特征復(fù)雜度水平下，從數(shù)據(jù)樣本 1 和 2 中發(fā)現(xiàn)的模型之間的 KL 散度。M*定義為 KL 散度超過固定閾值時的特征復(fù)雜度。

框架驗證：On–Off 動力學(xué)的再解讀

為了展示這一框架在真實神經(jīng)數(shù)據(jù)上的效用，作者將其應(yīng)用于以往在猴子視覺皮層 V4 區(qū)記錄的神經(jīng)放電數(shù)據(jù)。現(xiàn)有研究表明，在恒定刺激條件下，V4 區(qū)多單元活動并非保持平穩(wěn)，而是呈現(xiàn)出類似在“高放電率狀態(tài)”（On）與“低放電率狀態(tài)”（Off）之間自發(fā)切換的特征。這一現(xiàn)象可以被不同的建?？蚣軘M合。例如，一類模型將其視為圍繞單一穩(wěn)定態(tài)的連續(xù)波動；另一類模型則假設(shè)存在兩個穩(wěn)定吸引子，對應(yīng) On 與 Off 狀態(tài)，并在二者之間發(fā)生隨機躍遷。二者在擬合單元平均放電率和某些統(tǒng)計量時都可取得不錯結(jié)果，因此難以基于傳統(tǒng)指標加以區(qū)分。

在本文中，作者使用提出的潛在動力學(xué)框架，對V4區(qū)的神經(jīng)放電數(shù)據(jù)進行建模。結(jié)果表明，在若干記錄通道上，基于泛化的策略往往在不同子集上選出明顯不同的勢能形狀。而采用特征一致性方法時，兩半數(shù)據(jù)各自選出的最佳復(fù)雜度所對應(yīng)的勢能在多數(shù)情況下高度相似。

圖 6 | 從神經(jīng)生理記錄中發(fā)現(xiàn)可解釋的神經(jīng)動力學(xué)模型。a. 在注視任務(wù)中，通過 16 通道電極同步記錄靈長類視覺皮層 V4 區(qū)的多單元活動。b. 針對兩個獨立數(shù)據(jù)樣本得到的模型對應(yīng)的驗證負對數(shù)似然值。c. 不同數(shù)據(jù)樣本的泛化最優(yōu)模型存在不一致性（顏色與圖 b 對應(yīng)）。d. 在各特征復(fù)雜度水平下，模型之間的 KL 散度。e. 獨立識別出兩個數(shù)據(jù)樣本的 M*（0.01，灰線）對應(yīng)的勢函數(shù)具有良好一致性。陰影區(qū)為數(shù)據(jù)所發(fā)現(xiàn)的兩個勢函數(shù)之間的陰影區(qū)域，支持 “亞穩(wěn)態(tài)轉(zhuǎn)換” 的假設(shè)。

結(jié)語：從“擬合數(shù)據(jù)”走向“理解機制”

這項研究針對當前在神經(jīng)科學(xué)與機器學(xué)習交叉研究中廣泛存在的一種趨勢，給出了系統(tǒng)而謹慎的反思。文章通過一個兼具靈活性與內(nèi)生可解釋性的潛在動力學(xué)框架，明確展示了以下幾點：

首先，在高容量靈活模型中，即使在有限樣本下，也可以出現(xiàn)龐大的羅生門集合：內(nèi)部機制差異顯著的模型，在訓(xùn)練集和驗證集上卻表現(xiàn)出幾乎無法區(qū)分的預(yù)測性能。泛化能力在此僅能定義一個寬泛的合格區(qū)域，而不足以在該區(qū)域中定位唯一或少數(shù)幾個具有機制代表性的模型。

其次，傳統(tǒng)的正則化、交叉驗證和提前停止等技術(shù)，即使在形式上考慮了過擬合問題，在解釋層面仍顯不足。只要模型選擇標準主要依賴于預(yù)測誤差，這一標準就難以避免被驗證集中的噪聲和樣本劃分偶然性所左右，從而導(dǎo)致所選模式在機制解釋上不穩(wěn)定。

最后，文章提出了一種以特征復(fù)雜度與跨樣本一致性為核心的替代范式，將科學(xué)解釋的重點從單一模型的最佳預(yù)測性能轉(zhuǎn)移到不同數(shù)據(jù)子集中結(jié)構(gòu)特征的一致再現(xiàn)上。通過這一視角，潛在動力結(jié)構(gòu)的穩(wěn)定部分與噪聲誘導(dǎo)的偽結(jié)構(gòu)得以分離，模型選擇本身也被納入可解釋性的約束之中。

從更廣義的角度來看，這項研究強調(diào)了科學(xué)建模中預(yù)測與解釋的區(qū)別。對于工程應(yīng)用而言，預(yù)測準確往往已足夠；但對于試圖理解大腦計算原理的基礎(chǔ)科學(xué)而言，預(yù)測只是前提，解釋才是核心。在靈活模型日益普及的今天，這一差別尤為重要。如何在利用機器學(xué)習強大擬合能力的同時，引入足夠嚴謹?shù)臋C制約束和一致性標準，將是未來可解釋神經(jīng)建模和可解釋機器學(xué)習共同需要面對的問題。

計算神經(jīng)科學(xué)第三季讀書會

從單個神經(jīng)元的放電到全腦范圍的意識涌現(xiàn)，理解智能的本質(zhì)與演化始終是一個關(guān)于尺度的問題。更值得深思的是，無論是微觀的突觸可塑性、介觀的皮層模塊自組織，還是宏觀的全局信息廣播，不同尺度的動力學(xué)過程都在共同塑造著認知與意識。這說明，對心智的研究從最初就必須直面一個核心挑戰(zhàn)：局部的神經(jīng)活動如何整合為統(tǒng)一的體驗？局域的網(wǎng)絡(luò)連接又如何支撐靈活的智能行為？

繼「」與「」讀書會后，集智俱樂部聯(lián)合來自數(shù)學(xué)、物理學(xué)、生物學(xué)、神經(jīng)科學(xué)和計算機的一線研究者共同發(fā)起，跨越微觀、介觀與宏觀的視角，探索意識與智能的跨尺度計算、演化與涌現(xiàn)。重點探討物理規(guī)律與人工智能如何幫助我們認識神經(jīng)動力學(xué)，以及神經(jīng)活動跨尺度的計算與演化如何構(gòu)建微觀與宏觀、結(jié)構(gòu)與功能之間的橋梁。

詳情請見：

1.

2.

3.

4.

5.

6.