摘要

現(xiàn)代生成式機器學(xué)習(xí)模型能夠創(chuàng)造出遠超其訓(xùn)練數(shù)據(jù)的逼真內(nèi)容，如照片級藝術(shù)品、精確的蛋白質(zhì)結(jié)構(gòu)或流暢的對話文本。這些成功表明，生成式模型能有效參數(shù)化并從任意復(fù)雜的分布中采樣。半個世紀(jì)前，非線性動力學(xué)領(lǐng)域的基礎(chǔ)性工作也曾出于類似目的，運用信息論工具從真實世界的時間序列中推斷混沌吸引子的屬性。近期發(fā)表在《自然 · 物理評論》上的一篇觀點性文章，旨在將這些經(jīng)典理論與大規(guī)模生成式統(tǒng)計學(xué)習(xí)的新興主題聯(lián)系起來。文章特別聚焦于兩個經(jīng)典問題：一是如何根據(jù)部分測量重構(gòu)動力學(xué)流形，這與現(xiàn)代的潛變量方法異曲同工；二是如何從復(fù)雜數(shù)據(jù)集中推斷出最小的動力學(xué)系統(tǒng)的“基礎(chǔ)單元”，這與當(dāng)下對“黑箱”模型的可解釋性探索不謀而合。

關(guān)鍵詞：非線性動力學(xué)，生成式學(xué)習(xí)，混沌系統(tǒng)，吸引子重構(gòu)，潛變量模型

曾利丨作者

周莉丨審校

論文題目：Generative learning for nonlinear dynamics 論文地址：https://www.nature.com/articles/s42254-024-00688-2 發(fā)表時間：2025年8月7日 論文來源：Nature Review Physics

混沌即生成：從物理定律到AI創(chuàng)造

一個奇異吸引子的分形幾何結(jié)構(gòu)，只有通過長時間觀察混沌系統(tǒng)的演化才能盡收眼底。因此，混沌系統(tǒng)在持續(xù)不斷地產(chǎn)生信息，以越來越精細的尺度揭示其內(nèi)在結(jié)構(gòu)。物理學(xué)家約翰·惠勒（John Archibald Wheeler）曾提出一個著名的論斷——“萬物皆比特”（It from bit），即物理理論的本質(zhì)最終編碼了計算的基本單元。

與惠勒的思想相呼應(yīng)，動力系統(tǒng)領(lǐng)域的開創(chuàng)性工作早已將混沌系統(tǒng)的信息產(chǎn)生過程形式化。從湍流到星體軌道，自然界中的混沌系統(tǒng)就像一臺臺模擬計算機，其信息處理速率可以通過佩辛公式（Pesin's formula）來量化：一個系統(tǒng)的熵產(chǎn)生率（即信息產(chǎn)生率）與其李雅普諾夫指數(shù)之和成正比。李雅普諾夫指數(shù)衡量了鄰近軌跡在吸引子上不同方向的發(fā)散速率。簡而言之，一個系統(tǒng)越“混沌”，它揭示其自身結(jié)構(gòu)的速度就越快。

巧合的是，現(xiàn)代機器學(xué)習(xí)，特別是生成式模型，也在做著類似的事情。它們通過學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布，來生成全新的、逼真的樣本。在采樣過程中，為了高效探索高維數(shù)據(jù)空間，模型通常采用類似馬爾可夫鏈蒙特卡洛（MCMC）的方法，每一步都基于當(dāng)前樣本的局部幾何信息（如協(xié)方差矩陣）來采樣出下一個樣本。這一過程中的信息增益，同樣與數(shù)據(jù)分布的局部幾何特性緊密相關(guān)。

正如混沌系統(tǒng)沿著不穩(wěn)定的方向（李雅普諾夫指數(shù)）發(fā)散一樣，復(fù)雜的數(shù)據(jù)分布也存在一些“平坦”的局部方向，主導(dǎo)著數(shù)據(jù)的多樣性。這種動力學(xué)與采樣之間的深刻聯(lián)系，促使我們重新審視“萬物皆比特”的理念，將新興的統(tǒng)計學(xué)習(xí)置于混沌系統(tǒng)信息處理的經(jīng)典框架之中。

圖 1. 混沌作為一個生成過程 a、一個奇異吸引子的自然測度μ(x)，它由一個隨時間t演化的確定性混沌系統(tǒng)f(x(t))產(chǎn)生。示意圖表示了一組初始條件的發(fā)散，這由李雅普諾夫指數(shù)λ1和λ2控制。b、由變分自編碼器學(xué)習(xí)到的蛋白質(zhì)序列概率分布p(x)，以及一個簡化的馬爾可夫鏈蒙特卡洛采樣方案。提議步長的分布N取決于局部協(xié)方差矩陣Σ；σ1和σ2表示沿主軸的標(biāo)準(zhǔn)差。

管中窺豹：從部分觀測重構(gòu)完整動力學(xué)

大型統(tǒng)計學(xué)習(xí)模型的成功，很大程度上依賴于一個被稱為“流形假設(shè)”的經(jīng)驗法則：高維數(shù)據(jù)通常聚集在低維流形附近。對于時間序列數(shù)據(jù)而言，這意味著看似復(fù)雜的動態(tài)過程，可能源于一個嵌入在高維測量空間中的低維吸引子。如果我們能找到并參數(shù)化這個吸引子，那么復(fù)雜性就可以被“變換掉”。

這正是動力系統(tǒng)領(lǐng)域的經(jīng)典問題——吸引子重構(gòu)。早在幾十年前，塔肯斯定理（Takens' theorem）就為我們提供了一種強大的工具：時間延遲嵌入。該方法指出，即便我們只有一個變量的時間序列（如流體中某一點的速度），通過將其與它在過去不同時刻的值組合成一個新的高維向量，我們就能重構(gòu)出一個與原始動力系統(tǒng)吸引子在拓撲上等價的流形。這一驚人的結(jié)論意味著，盡管測量過程會丟失信息，但只要底層動力學(xué)具有良好結(jié)構(gòu)（即存在吸引子），我們就能從“局部”恢復(fù)出“全局”。時間延遲嵌入的早期成功之一，便是在實驗中證實了流體向湍流過渡時存在一個低維奇異吸引子。

如今，這種思想在現(xiàn)代時間序列模型中得到了新生。比如編碼器（Autoencoders）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks, 即RNNs）和Transformer等模型，在預(yù)測時間序列時，都會將觀測數(shù)據(jù)編碼到一個低維的“潛空間”（Latent Space），在這個空間中傳播動力學(xué)，然后再解碼回觀測空間。這個潛空間，正扮演著經(jīng)典理論中“重構(gòu)吸引子”的角色。

近年來，研究人員將自編碼器應(yīng)用于高維動態(tài)數(shù)據(jù)（如湍流視頻），發(fā)現(xiàn)其學(xué)習(xí)到的潛空間動力學(xué)清晰地揭示了系統(tǒng)的內(nèi)在結(jié)構(gòu)，甚至對應(yīng)于流體力學(xué)方程的精確解。這表明，看似復(fù)雜無序的動態(tài)背后，隱藏著低維且有序的潛過程。這種通過增加表示的維度來簡化動力學(xué)復(fù)雜性的思想，即“提升”（Lifting）技術(shù)，也催生了諸如動態(tài)模態(tài)分解（DMD）和庫普曼算子（Koopman operator）等前沿方法，它們通過將非線性系統(tǒng)變換到更高維空間，使其動力學(xué)行為近似線性，從而變得更易于分析和預(yù)測。

圖 2. 潛空間動力學(xué)重訪經(jīng)典吸引子重構(gòu) a、一個代表流體徑向速度的單變量時間序列，在三個不同雷諾數(shù)（R）下的時間延遲嵌入。當(dāng)雷諾數(shù)達到臨界值Rc時，系統(tǒng)進入湍流。每個嵌入下方展示了其龐加萊截面。b、一個在弱湍流（R=40）數(shù)據(jù)上訓(xùn)練的自編碼器神經(jīng)網(wǎng)絡(luò)的潛空間。潛狀態(tài)使用t-SNE方法進一步嵌入到二維空間中進行可視化。顏色深淺表示功率耗散，相連的狀態(tài)點則表示由于底層對稱性而等效的流體構(gòu)型。

圖 3. 狀態(tài)空間模型生成復(fù)雜動力學(xué) a、一個通用狀態(tài)空間模型的組成部分。b、一個采用非線性動力學(xué)稀疏辨識（Sparse Identification of Nonlinear Dynamics，縮寫為SINDY）的自編碼器。多層感知機將高維觀測數(shù)據(jù)確定性地轉(zhuǎn)換到一個低維潛空間，在該空間中，動力學(xué)通過從已知函數(shù)庫中稀疏回歸學(xué)到的解析微分方程進行傳播。c、通過動力學(xué)系統(tǒng)進行潛在因子分析（Latent Factor Analysis via Dynamical Systems，縮寫為LFADS）。神經(jīng)元發(fā)放的時間序列被確定性地編碼為潛在的初始條件，這些條件由第二個循環(huán)神經(jīng)網(wǎng)絡(luò)演化，然后解碼為潛在因子時間序列。這些潛在因子參數(shù)化了一個非均勻泊松過程的隨機發(fā)放率。d、流形插值最優(yōu)傳輸流（Manifold Interpolating Optimal-Transport Flows，縮寫為MIOFlow）。高維基因表達測量值被編碼到一個保留流形擴散距離的潛在分布中，然后通過最優(yōu)傳輸來傳播這個潛在測度。

大道至簡：尋找復(fù)雜系統(tǒng)背后的“最小生成器”

潛空間表示揭示了動力學(xué)的復(fù)雜性可能取決于我們的“視角”。然而，混沌的某些方面是不可約減的。佩辛公式告訴我們，混沌系統(tǒng)必然會產(chǎn)生熵。一個核心問題隨之而來：撇開表示形式的差異，不同的動力學(xué)系統(tǒng)是否存在功能上的等價性？我們能否將一個復(fù)雜的系統(tǒng)“壓縮”到其最核心的計算單元？

這便是經(jīng)典“符號動力學(xué)”（Symbolic Dynamics）的初衷。通過對連續(xù)的相空間進行粗?；瘎澐?，我們可以將一個連續(xù)的軌跡轉(zhuǎn)化為一串離散的符號序列。分析這個符號序列的計算特性，可以揭示系統(tǒng)的本質(zhì)。例如，著名的“倍周期分岔”通向混沌的路徑，在符號動力學(xué)視角下，可以被看作一個簡單的雙狀態(tài)自動機，其內(nèi)存需求在每次分岔時翻倍，最終在混沌邊緣發(fā)散。

這種“化繁為簡”的追求，與當(dāng)前對大型機器學(xué)習(xí)模型的壓縮、蒸餾和可解釋性研究形成了有趣的呼應(yīng)。盡管我們趨向于構(gòu)建越來越大的模型，但我們同樣渴望理解這些“黑箱”的內(nèi)在邏輯。

許多現(xiàn)代時間序列模型，如隱馬爾可夫模型（Hidden Markov Models，即HMM）和切換線性模型，通過將連續(xù)觀測映射到離散的內(nèi)部狀態(tài)，來近似復(fù)雜的非線性動力學(xué)。這種潛在的離散化不僅提高了模型的可解釋性（例如，在動物行為分析中，離散狀態(tài)可以對應(yīng)不同的行為模式），還有助于大型生成模型避免“后驗坍縮”等問題。

更有趣的是，通過分析訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的潛在動態(tài)，我們可以反向工程出其內(nèi)部的“語法”或“計算原語”，這呼應(yīng)了符號動力學(xué)尋找“最小生成器”的目標(biāo)。新興的神經(jīng)-符號方法甚至嘗試將可微分的神經(jīng)網(wǎng)絡(luò)與精確的符號邏輯（如算術(shù)或邏輯運算）相結(jié)合，力求在保持模型強大擬合能力的同時，賦予其可解釋和可驗證的內(nèi)在結(jié)構(gòu)。

圖 4. 潛空間離散化與可解釋性 a、一個自適應(yīng)近似算法的連續(xù)階段，該算法將局部線性動力學(xué)擬合到一個混沌系統(tǒng)的相空間各部分。不同顏色表示不同近似水平下的離散聚類。b、一個連續(xù)值學(xué)習(xí)模型，它從一個連續(xù)的睡眠記錄時間序列（左）中，創(chuàng)建了一個離散的、潛在的自組織映射（右）。連續(xù)空間中的星號對應(yīng)于相似數(shù)據(jù)點的質(zhì)心，每個質(zhì)心都與圖中的一個離散節(jié)點相關(guān)聯(lián)。c、在一系列混沌和周期性狀態(tài)下，對一個動力學(xué)映射擬合出的概率自動機的拓撲復(fù)雜性，與其時間序列熵的關(guān)系圖。結(jié)構(gòu)最復(fù)雜的自動機出現(xiàn)在動力學(xué)熵處于中等水平時。

意義與未來展望

從混沌理論中汲取靈感，不僅為現(xiàn)代生成式學(xué)習(xí)提供了新的視角，也可能為未來的算法設(shè)計帶來富有成效的“歸納偏置”。例如，動態(tài)模態(tài)分解等方法已經(jīng)廣泛應(yīng)用于科學(xué)問題，而動力系統(tǒng)的其他深刻見解，如“哈密頓流形假設(shè)”，也可能指導(dǎo)下一代模型的構(gòu)建。

經(jīng)典理論還探討了系統(tǒng)的熵（隨機性）與其底層表示的“復(fù)雜度”之間的關(guān)系。一個系統(tǒng)的行為可以在完全有序（如固定點）和完全隨機之間變化，而最具計算能力的系統(tǒng)，可能正處于這個被稱為“混沌邊緣”（Edge of Chaos）的臨界區(qū)域。這一思想為我們理解現(xiàn)代大型學(xué)習(xí)模型的容量和泛化能力提供了新的思路。

隨著生成式模型的規(guī)模和性能不斷提升，動力學(xué)理論或許能幫助我們建立一種新的“偏見-方差”權(quán)衡關(guān)系，它不僅關(guān)乎模型參數(shù)，更關(guān)乎模型所能學(xué)習(xí)的動力學(xué)結(jié)構(gòu)的復(fù)雜性。這無疑是對惠勒“萬物皆比特”思想的現(xiàn)代詮釋——在數(shù)字化的學(xué)習(xí)系統(tǒng)中，重新發(fā)現(xiàn)物理世界的深刻規(guī)律。

參考文獻

Gilpin, W. Generative learning for nonlinear dynamics. Nat Rev Phys6, 194–206 (2024). https://doi.org/10.1038/s42254-024-00688-2

報名讀書會：「非線性動力學(xué)與混沌」

集智俱樂部聯(lián)合北京師范大學(xué)張江科研組聯(lián)和南信大李春彪科研組師生共同發(fā)起，由師生共同領(lǐng)讀《非線性動力學(xué)與混沌》，以分章節(jié)精讀的方式，帶領(lǐng)大家系統(tǒng)學(xué)習(xí)非線性動力學(xué)的基本理論與典型模型，結(jié)合洛倫茲系統(tǒng)、Kuramoto模型等經(jīng)典案例，深入探討混沌的起源、分形與奇異吸引子等前沿問題。

本讀書會不僅讀書，還會系統(tǒng)化地梳理本書中的重要概念，并整理為百科詞條。也就是說，讀完本書，我們會梳理出一套非線性動力學(xué)與混沌相關(guān)的百科詞條，這才是重點。

我們也會通過梳理詞條的方式，讓學(xué)員組成學(xué)習(xí)小組進行比賽，最終會評出優(yōu)秀學(xué)習(xí)小組獲得復(fù)雜科學(xué)知識卡、汪小帆簽名的《非線性動力學(xué)與混沌》、張江簽名的《規(guī)模法則》、以及譯者簽名的《復(fù)雜-誕生于混沌與秩序邊緣的科學(xué)》以及特色集智文化衫！

詳情請見：

拓撲學(xué)課程：從空間直覺到系統(tǒng)科學(xué)

你是否曾思考過：為什么咖啡杯在數(shù)學(xué)上可以變成甜甜圈？為什么混沌系統(tǒng)中會出現(xiàn)周期軌、可約化結(jié)構(gòu)和“奇怪吸引子”模式？為什么神經(jīng)網(wǎng)絡(luò)、量子物理甚至心理結(jié)構(gòu)，都可以從“拓撲”角度理解？

拓撲學(xué)不僅是數(shù)學(xué)的抽象分支，更提供了系統(tǒng)的思維方式，讓我們理解連續(xù)性、結(jié)構(gòu)不變性乃至復(fù)雜系統(tǒng)的整體規(guī)律。從歐拉七橋問題到DNA的纏結(jié)，從量子場論到思維科學(xué)與腦科學(xué)，拓撲學(xué)思想正在各學(xué)科中普遍而深刻地重塑著我們的認知方式。

集智學(xué)園聯(lián)合北京大學(xué)博士金威老師開設(shè)，課程將于11月23日開啟，現(xiàn)在加入可享早鳥價格。

詳情請見：

-一年一度特惠-

1.

2.

3.

4.

5.

6.