摘要

識(shí)別非線性動(dòng)力系統(tǒng)的控制方程，對(duì)于理解一個(gè)動(dòng)力學(xué)系統(tǒng)的物理特征以及構(gòu)建其精確動(dòng)力學(xué)模型至關(guān)重要，多數(shù)情況下，非線性動(dòng)力系統(tǒng)僅可獲得部分?jǐn)?shù)據(jù)的特性，使得研究人員在處理非線性動(dòng)力系統(tǒng)帶來了困難，對(duì)此，作者團(tuán)隊(duì)發(fā)展出了一種適用于部分觀測(cè)系統(tǒng)辨識(shí)問題的一種機(jī)器學(xué)習(xí)框架。

關(guān)鍵詞：部分觀測(cè)非線性動(dòng)力系統(tǒng) 、系統(tǒng)識(shí)別、機(jī)器學(xué)習(xí)、可解釋符號(hào)模型

王亦理丨作者

趙思怡丨審校

論文題目：Discovering sparse intertable dynamics from partial observations 論文鏈接：https://www.nature.com/articles/s42005-022-00987-z 發(fā)表時(shí)間: 2022年8月12日 發(fā)表期刊：Nature Communications:Physics

挑戰(zhàn)與困境

在部分觀測(cè)條件下研究非線性動(dòng)力系統(tǒng)，研究人員不僅需識(shí)別并建模潛在的動(dòng)力學(xué)行為，還必須重構(gòu)系統(tǒng)中隱藏或未被觀測(cè)的狀態(tài)變量，這構(gòu)成了系統(tǒng)辨識(shí)中的核心挑戰(zhàn)。

一方面，傳統(tǒng)線性系統(tǒng)辨識(shí)方法在處理非線性系統(tǒng)時(shí)性能受限；另一方面，盡管深度學(xué)習(xí)模型在系統(tǒng)辨識(shí)中表現(xiàn)出強(qiáng)大擬合能力，但其“黑箱”特性限制了模型的可解釋性，難以揭示系統(tǒng)的物理機(jī)制。這些方法學(xué)上的局限，進(jìn)一步加劇了部分觀測(cè)非線性系統(tǒng)辨識(shí)的難度。

針對(duì)上述難題，MIT物理系的研究團(tuán)隊(duì)提出了一種全新的機(jī)器學(xué)習(xí)框架，該框架創(chuàng)新性地結(jié)合了全系統(tǒng)狀態(tài)重構(gòu)編碼器與稀疏符號(hào)模型——后者直接學(xué)習(xí)系統(tǒng)控制方程，通過匹配符號(hào)模型的高階時(shí)間導(dǎo)數(shù)完成訓(xùn)練，該方法可通過將已知的物理約束條件融入編碼器架構(gòu)和符號(hào)模型設(shè)計(jì)，可輕松適應(yīng)特定的非線性動(dòng)力系統(tǒng)，為系統(tǒng)辨識(shí)與狀態(tài)重構(gòu)構(gòu)建了靈活和高效的框架。

特別地，作者在實(shí)現(xiàn)這種框架時(shí)開發(fā)了一種算法技巧，使得標(biāo)準(zhǔn)自動(dòng)微分方法能夠計(jì)算高階符號(hào)時(shí)間導(dǎo)數(shù)。（代碼鏈接見文末“補(bǔ)充信息”一節(jié))

部分觀測(cè)非線性系統(tǒng)的機(jī)器學(xué)習(xí)識(shí)別

問題形式

考慮一個(gè)由一階常微分方程定義的動(dòng)力系統(tǒng)：

其中，觀測(cè)到的狀態(tài)由已知投影函數(shù)xv =g(x)給出，而隱藏狀態(tài)xh需要通過聚合函數(shù)a(·,·)構(gòu)造，要求xv,xh,a(·,·)滿足條件a(xv,xh) =x。

研究的目標(biāo)是：在重構(gòu)隱藏狀態(tài)xh的同時(shí)，確定描述系統(tǒng)動(dòng)力學(xué)的控制方程F。

當(dāng)缺乏關(guān)于動(dòng)力系統(tǒng)結(jié)構(gòu)的先驗(yàn)知識(shí)時(shí)，通常假設(shè)可見狀態(tài)xv = (x1,x2,…,xk)作為完整狀態(tài)x= (x1,x2,…,xk,xk+1,…,xn)的一個(gè)子集，此時(shí)g是x在子集xv上的投影，其余分量xh=(xk+1,xk+2,…,,xn)構(gòu)成隱藏狀態(tài)，而聚合函數(shù)a只是簡(jiǎn)單的對(duì)xh,xv的拼接。

若具備系統(tǒng)相關(guān)先驗(yàn)信息，就可以相應(yīng)地選擇合適的g和聚合函數(shù)a，以更好地反映動(dòng)力學(xué)結(jié)構(gòu)。

框架構(gòu)成

該機(jī)器學(xué)習(xí)框架包含兩個(gè)核心組件：編碼器和可解釋符號(hào)模型。編碼器通過可見狀態(tài)重建對(duì)應(yīng)的隱藏狀態(tài)xh，而符號(hào)模型則用于表征動(dòng)力系統(tǒng)的控制方程F。

圖1：機(jī)器學(xué)習(xí)方法框架的構(gòu)成及訓(xùn)練策略

圖2：機(jī)器學(xué)習(xí)方法框架的構(gòu)成:編碼器與稀疏符號(hào)模型

編碼器eη通常采用具有可學(xué)習(xí)參數(shù)η的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以可見狀態(tài)的序列為輸入，重構(gòu)得到的隱藏狀態(tài)序列為輸出。

根據(jù)塔肯斯嵌入定理（Takens’ embedding theorem），只要隱藏狀態(tài)與可見狀態(tài)充分耦合時(shí)，上述重構(gòu)是可行的。此后，通過聚合函數(shù)就能獲得完整狀態(tài)的重構(gòu)結(jié)果。重構(gòu)狀態(tài)可用于計(jì)算由對(duì)應(yīng)控制方程的符號(hào)模型
定義的符號(hào)時(shí)間導(dǎo)數(shù):

其中：θ1,θ2…,θm為可學(xué)習(xí)系數(shù)，f1,f2…fm 為預(yù)定義項(xiàng)。當(dāng)系統(tǒng)狀態(tài)的維度未知時(shí)，研究團(tuán)隊(duì)指出可通過將預(yù)定義項(xiàng)視為一個(gè)超參數(shù)，以調(diào)整該超參數(shù)的方式來實(shí)現(xiàn)高精度與簡(jiǎn)潔性之間的最優(yōu)平衡。

訓(xùn)練策略

優(yōu)化目標(biāo)：在訓(xùn)練過程中，優(yōu)化目標(biāo)是均方誤差（mean squared error， MSE）損失函數(shù)。該損失函數(shù)考慮了不同階數(shù)時(shí)間導(dǎo)數(shù)的貢獻(xiàn)，并在其中引入了經(jīng)驗(yàn)方差（empirical variance）和權(quán)重超參數(shù)（hyperparameter），實(shí)現(xiàn)了對(duì)不同階數(shù)的有限差分校準(zhǔn)進(jìn)行適當(dāng)加權(quán)，以確保訓(xùn)練的有效性和準(zhǔn)確性。

圖3：聯(lián)合訓(xùn)練策略 符號(hào)時(shí)間導(dǎo)數(shù)、有限差分時(shí)間導(dǎo)數(shù)、MSE 損失

訓(xùn)練目標(biāo)的損失函數(shù)形式為：

其中表示第p階有限差分導(dǎo)數(shù)，ap是決定損失函數(shù)中各階導(dǎo)數(shù)重要性的超參數(shù)。

僅使用部分觀測(cè)數(shù)據(jù)聯(lián)合訓(xùn)練編碼器和符號(hào)模型的意圖體現(xiàn)在損失函數(shù)中的項(xiàng)

其中是可見狀態(tài)的高階符號(hào)時(shí)間導(dǎo)數(shù)，同樣由符號(hào)模型隱式定義。是數(shù)據(jù)中的有限差分估計(jì)。

符號(hào)模型稀疏化:為實(shí)現(xiàn)符號(hào)模型的稀疏性，研究團(tuán)隊(duì)采用了一種在稀疏線性回歸（sparse linear regression）中常用的閾值方法：在訓(xùn)練過程中定期檢查可學(xué)習(xí)系數(shù)θi，若某系數(shù)的絕對(duì)值低于設(shè)定閾值，則將其置零為。

數(shù)值實(shí)驗(yàn)結(jié)果

為檢驗(yàn)該機(jī)器學(xué)習(xí)框架的性能，研究團(tuán)隊(duì)設(shè)計(jì)了三種系統(tǒng)的數(shù)值實(shí)驗(yàn)測(cè)試該框架的性能。

常微分方程系統(tǒng)的數(shù)值實(shí)驗(yàn)

常微分方程系統(tǒng)實(shí)驗(yàn)的實(shí)驗(yàn)對(duì)象是兩個(gè)經(jīng)典的混沌非線性動(dòng)力系統(tǒng)——羅塞爾系統(tǒng)（R?ssler system）和洛倫茲系統(tǒng)（Lorenz system）。

實(shí)驗(yàn)結(jié)果表明，該框架能夠準(zhǔn)確識(shí)別出這兩個(gè)系統(tǒng)的控制方程，同時(shí)成功重構(gòu)隱藏狀態(tài) ，充分顯示了框架在常微分方程系統(tǒng)下的高精度建模能力。

圖4：ODE實(shí)驗(yàn)， 羅塞爾系統(tǒng)，u,v為可見變量，w 為隱藏變量——三維動(dòng)力學(xué)軌跡、可見狀態(tài)(u,v)上的投影，真實(shí)狀態(tài)（藍(lán)色）與重建狀態(tài)（綠色虛線）的隱藏狀態(tài)w隨時(shí)間變化的軌跡被呈現(xiàn)出來，并通過綠色散點(diǎn)圖直接對(duì)比展示

圖5：ODE實(shí)驗(yàn)，洛倫茲系統(tǒng)，(u,v)為可見變量，w 為隱藏變量——三維動(dòng)力學(xué)軌跡、可見狀態(tài)(u,v)上的投影，真實(shí)狀態(tài)（藍(lán)色）與重建狀態(tài)（綠色虛線）的隱藏狀態(tài)w隨時(shí)間變化的軌跡被呈現(xiàn)出來，并通過綠色散點(diǎn)圖直接對(duì)比展示

偏微分方程系統(tǒng)實(shí)驗(yàn)

研究團(tuán)隊(duì)研究團(tuán)隊(duì)進(jìn)一步在偏微分方程系統(tǒng)上測(cè)試，包括：帶有指數(shù)衰減源項(xiàng)的二維擴(kuò)散系統(tǒng)（2D diffusion system)，和二維擴(kuò)散型洛特卡 - 沃爾泰拉捕食者 - 獵物系統(tǒng)（2D diffusive Lokta–Volterra predator–prey system)。

實(shí)驗(yàn)結(jié)果表明，該框架在這兩個(gè)偏微分方程系統(tǒng)中均能準(zhǔn)確識(shí)別控制方程并重構(gòu)隱藏組分，表明該框架在偏微分方程系統(tǒng)這類復(fù)雜場(chǎng)景下依然具有良好的適應(yīng)性。

圖6：PDE實(shí)驗(yàn)，二維擴(kuò)散系統(tǒng) ，u為可見變量，v為隱藏變量——內(nèi)容包括可見狀態(tài)u隨時(shí)間變化的快照，t = 0時(shí)刻同步呈現(xiàn)真實(shí)狀態(tài)v與重構(gòu)狀態(tài)v，真實(shí)狀態(tài)v與重建狀態(tài)v的對(duì)比圖

圖7：PDE實(shí)驗(yàn)，擴(kuò)散型洛特卡 - 沃爾泰拉系統(tǒng) ，u為可見變量，v為隱藏變量——內(nèi)容包括可見狀態(tài)u隨時(shí)間變化的快照，t = 0 時(shí)刻同步呈現(xiàn)真實(shí)狀態(tài)v與重構(gòu)狀態(tài)v，真實(shí)狀態(tài)v與重建狀態(tài)v的對(duì)比圖

一維非線性薛定諤方程的相位重構(gòu)實(shí)驗(yàn)

研究團(tuán)隊(duì)還考慮了一維非線性薛定諤方程的相位重構(gòu)（phase reconstruction）問題。在此實(shí)驗(yàn)中，僅利用可見的振幅數(shù)據(jù)，識(shí)別潛在的動(dòng)力學(xué)規(guī)律并重構(gòu)隱藏的相位�；谙闰�(yàn)知識(shí)，作者假設(shè)投影函數(shù)，聚合函數(shù)。

由于局部時(shí)空編碼器難以直接實(shí)現(xiàn)相位重構(gòu)，作者為每個(gè)時(shí)空點(diǎn)學(xué)習(xí)其對(duì)應(yīng)的相位參數(shù)。為緩解由此帶來的訓(xùn)練困難，引入了編碼器正則化項(xiàng)：，來確保訓(xùn)練過程中符號(hào)時(shí)間導(dǎo)數(shù)與重構(gòu)狀態(tài)的一致性。

實(shí)驗(yàn)結(jié)果顯示，該方法成功識(shí)別出了非線性薛定諤方程數(shù)據(jù)的控制方程，并大致捕捉到了正確的相位分布。此外，研究團(tuán)隊(duì)還指出，利用該方法提取的控制方程，后續(xù)可以采用其他更專業(yè)的非線性相位恢復(fù)算法作為后處理步驟，這也為該框架在實(shí)際應(yīng)用中的拓展提供了思路。

圖8：線性薛定諤系統(tǒng)的系統(tǒng)識(shí)別與相位重建 ——a.文章的方法正確識(shí)別了正確的非線性薛定諤方程；b.可見變量，波函數(shù)的模|ψ|，c.需要被重構(gòu)的隱藏變量相位φ=arg (ψ) ;d.相位的空間導(dǎo)數(shù)及重建結(jié)果

討論與展望：優(yōu)勢(shì)、局限及未來方向

該研究提出了一種基于機(jī)器學(xué)習(xí)的框架，能夠在部分觀測(cè)條件下，同時(shí)識(shí)別稀疏可解釋的動(dòng)力學(xué)規(guī)律并重構(gòu)隱藏狀態(tài)。該方法結(jié)構(gòu)簡(jiǎn)潔、使用靈活，與依賴顯式積分的方法相比，計(jì)算效率更高，為部分觀測(cè)非線性系統(tǒng)的建模提供了有效新途徑。然而，由于依賴數(shù)據(jù)中高階有限差分時(shí)間導(dǎo)數(shù)的估計(jì)，該方法對(duì)噪聲較為敏感。

研究團(tuán)隊(duì)表示，未來團(tuán)隊(duì)將致力于現(xiàn)有框架中融入能夠同時(shí)識(shí)別動(dòng)力學(xué)規(guī)律和提取噪聲概率分布的新方法和適用于符號(hào)回歸任務(wù)（symbolic regression tasks）、具有多層可組合單元的符號(hào)模型，以進(jìn)一步提升方法在噪聲環(huán)境下的性能，增強(qiáng)框架的實(shí)用性。

補(bǔ)充信息

點(diǎn)擊鏈接可訪問本文作者的開源代碼https://github.com/peterparity/symder

報(bào)名讀書會(huì)：「非線性動(dòng)力學(xué)與混沌」

集智俱樂部聯(lián)合北京師范大學(xué)張江科研組聯(lián)和南信大李春彪科研組師生共同發(fā)起，由師生共同領(lǐng)讀《非線性動(dòng)力學(xué)與混沌》，以分章節(jié)精讀的方式，帶領(lǐng)大家系統(tǒng)學(xué)習(xí)非線性動(dòng)力學(xué)的基本理論與典型模型，結(jié)合洛倫茲系統(tǒng)、Kuramoto模型等經(jīng)典案例，深入探討混沌的起源、分形與奇異吸引子等前沿問題。

本讀書會(huì)不僅讀書，還會(huì)系統(tǒng)化地梳理本書中的重要概念，并整理為百科詞條。也就是說，讀完本書，我們會(huì)梳理出一套非線性動(dòng)力學(xué)與混沌相關(guān)的百科詞條，這才是重點(diǎn)。

我們也會(huì)通過梳理詞條的方式，讓學(xué)員組成學(xué)習(xí)小組進(jìn)行比賽，最終會(huì)評(píng)出優(yōu)秀學(xué)習(xí)小組獲得復(fù)雜科學(xué)知識(shí)卡、汪小帆簽名的《非線性動(dòng)力學(xué)與混沌》、張江簽名的《規(guī)模法則》、以及譯者簽名的《復(fù)雜-誕生于混沌與秩序邊緣的科學(xué)》以及特色集智文化衫！

詳情請(qǐng)見：

拓?fù)鋵W(xué)課程：從空間直覺到系統(tǒng)科學(xué)

你是否曾思考過：為什么咖啡杯在數(shù)學(xué)上可以變成甜甜圈？為什么混沌系統(tǒng)中會(huì)出現(xiàn)周期軌、可約化結(jié)構(gòu)和“奇怪吸引子”模式？為什么神經(jīng)網(wǎng)絡(luò)、量子物理甚至心理結(jié)構(gòu)，都可以從“拓?fù)洹苯嵌壤斫猓?/p>

拓?fù)鋵W(xué)不僅是數(shù)學(xué)的抽象分支，更提供了系統(tǒng)的思維方式，讓我們理解連續(xù)性、結(jié)構(gòu)不變性乃至復(fù)雜系統(tǒng)的整體規(guī)律。從歐拉七橋問題到DNA的纏結(jié)，從量子場(chǎng)論到思維科學(xué)與腦科學(xué)，拓?fù)鋵W(xué)思想正在各學(xué)科中普遍而深刻地重塑著我們的認(rèn)知方式。

集智學(xué)園聯(lián)合北京大學(xué)博士金威老師開設(shè)，課程將于11月23日開啟，現(xiàn)在加入可享早鳥價(jià)格。

詳情請(qǐng)見：

1.

2.

3.

4.

5.

6.