編輯｜冷貓

深度學(xué)習(xí)到底有沒有科學(xué)理論？

這是一個很微妙的時代。一邊是大模型以令人眩暈的速度迭代，參數(shù)量從百億沖向萬億；另一邊是學(xué)術(shù)界的一片沉默 —— 我們依然沒有找到深度學(xué)習(xí)的基本理論，神經(jīng)網(wǎng)絡(luò)仍然是個黑盒子。

LeCun 在 X 上直言不諱：「深度學(xué)習(xí)的理論基礎(chǔ)仍然是一片荒原?！笹eoffrey Hinton 多次在公開場合表達(dá)類似觀點(diǎn)：深度學(xué)習(xí)的成功更像煉金術(shù)而非科學(xué) —— 我們知道什么有效，但不知道為什么有效。

但就在這片荒原上，一道裂縫正在被撬開。

最近，由來自 UC Berkeley、哈佛、斯坦福等名校的 14 名研究者組成的研究團(tuán)隊發(fā)表了一篇論文，系統(tǒng)性地梳理了過去十年間散落在各處的理論碎片，并將它們拼成了一幅完整的圖景。

他們給這個正在形成的理論體系起了一個名字 ——Learning Mechanics（學(xué)習(xí)力學(xué)）。

• 論文標(biāo)題：There Will Be a Scientific Theory of Deep Learning
• 論文鏈接：https://arxiv.org/pdf/2604.21691

就像經(jīng)典力學(xué)統(tǒng)一了天體運(yùn)動與地面落體、統(tǒng)計力學(xué)架起了微觀粒子與宏觀熱現(xiàn)象之間的橋梁、量子力學(xué)重新定義了物質(zhì)的基本存在方式一樣，「學(xué)習(xí)力學(xué)」試圖為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程建立一套第一性原理級別的科學(xué)框架。

基礎(chǔ)理論去哪了？

過去十五年，深度學(xué)習(xí)的每一次突破幾乎都來自工程直覺和大規(guī)模實驗，而非理論推導(dǎo)。AlexNet 靠的是 GPU 并行計算的偶然發(fā)現(xiàn)；ResNet 來自何愷明對梯度消失問題的修補(bǔ)；Transformer 的注意力機(jī)制最初是為了解決序列建模中的長距離依賴……

這種「先做出來再說」的模式帶來了驚人的應(yīng)用成果，但也留下了一個尷尬的現(xiàn)實：深度學(xué)習(xí)研究者，面對一個訓(xùn)練失敗的模型，往往只能靠經(jīng)驗和運(yùn)氣來調(diào)參。

論文研究團(tuán)隊的核心貢獻(xiàn)在于識別出五條研究線索。它們分別是：

• 可解的理想化設(shè)定：在簡化條件下，我們能否精確求解神經(jīng)網(wǎng)絡(luò)的動力學(xué)？—— 深度線性網(wǎng)絡(luò)的全局最優(yōu)解、NTK 極限下的諧振子類比，對應(yīng)物理學(xué)中的諧振子與氫原子。
• 可處理的極限：當(dāng)網(wǎng)絡(luò)趨向某些極端時，行為是否變得可預(yù)測？—— 寬網(wǎng)絡(luò)極限下的惰性 / 豐富二分法、深度 / 批量 / 學(xué)習(xí)率極限，對應(yīng)熱力學(xué)極限。
• 經(jīng)驗定律：是否存在跨越架構(gòu)和數(shù)據(jù)集的普適規(guī)律？—— 神經(jīng)縮放律、穩(wěn)定性邊緣（Edge of Stability），對應(yīng)開普勒定律與斯涅爾定律。
• 超參數(shù)理論：能否實現(xiàn)超參數(shù)的零樣本遷移？——μP 參數(shù)化、中心流、超參數(shù)解耦與消除，對應(yīng)量綱分析。
• 普適行為：不同架構(gòu) / 數(shù)據(jù)集學(xué)到的表征為何如此相似？—— 表征收斂現(xiàn)象、通用表征假設(shè)，對應(yīng)臨界普適性。

這五條線索并非平行發(fā)展，而是正在向同一個核心匯聚 ——一個能夠描述神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程的統(tǒng)一理論框架。

我們知道，在拉瓦錫之前，化學(xué)本質(zhì)上也是「煉金術(shù)」—— 人們知道混合某些物質(zhì)會產(chǎn)生特定反應(yīng)，但不理解背后的原子機(jī)理。直到元素周期表和化學(xué)反應(yīng)理論的建立，化學(xué)才從經(jīng)驗積累躍升為一門精密科學(xué)。

深度學(xué)習(xí)正處于類似的轉(zhuǎn)折點(diǎn)。過去十年的高速增長，本質(zhì)上是經(jīng)驗主義驅(qū)動的「煉金時代」—— 我們發(fā)現(xiàn)了很多有效的配方（ResNet、Transformer、Adam 優(yōu)化器），但對這些配方為什么有效缺乏根本性的理解。

「學(xué)習(xí)力學(xué)」的目標(biāo)，就是成為深度學(xué)習(xí)領(lǐng)域的「元素周期表」。

「學(xué)習(xí)力學(xué)」的五根支柱：物理學(xué)的雙子星

這是整篇論文最精彩的部分。

可解的理想化設(shè)定 —— 神經(jīng)網(wǎng)絡(luò)里的「氫原子」

物理學(xué)的發(fā)展史告訴我們：任何成熟的理論都必須從一個可以精確求解的簡化模型開始。經(jīng)典力學(xué)有諧振子和開普勒問題，量子力學(xué)有氫原子 —— 這些都是高度理想化的系統(tǒng)，但它們提供了理解更復(fù)雜系統(tǒng)的概念基礎(chǔ)。

深度學(xué)習(xí)領(lǐng)域也找到了自己的「氫原子」：

研究者證明了 SGD 在這種網(wǎng)絡(luò)上總能找到全局最優(yōu)解，并且可以精確描述每一步更新的軌跡。更重要的是，深度線性網(wǎng)絡(luò)的許多定性特征（如奇異值的動態(tài)演化）在非線性網(wǎng)絡(luò)中也得到了保留。

NTK（Neural Tangent Kernel）極限。 當(dāng)神經(jīng)網(wǎng)絡(luò)的寬度趨于無窮大時，網(wǎng)絡(luò)在訓(xùn)練過程中的行為可以用一個固定的核函數(shù)來描述 —— 這就是 NTK 理論的核心洞見。在這個極限下，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練等價于在由 NTK 定義的再生核希爾伯特空間（RKHS）中進(jìn)行核回歸。這意味著我們可以用核方法的語言來精確預(yù)測無窮寬網(wǎng)絡(luò)的訓(xùn)練動態(tài)。

論文特別強(qiáng)調(diào)了 NTK 與量子力學(xué)的類比：NTK 極限下的神經(jīng)網(wǎng)絡(luò)，其行為類似于量子力學(xué)中的諧振子或氫原子 —— 兩者都是可以通過解析方法完全求解的「玩具模型」，但又蘊(yùn)含著真實系統(tǒng)的關(guān)鍵物理特征。

可處理的極限 —— 當(dāng)網(wǎng)絡(luò)變得「無限大」

如果上一部分問的是「最簡單的神經(jīng)網(wǎng)絡(luò)是什么」，那么這部分問的就是「當(dāng)網(wǎng)絡(luò)的某個維度推向極端時會發(fā)生什么」。這正是物理學(xué)中熱力學(xué)極限的思維模式：通過研究粒子數(shù)趨于無窮的系統(tǒng)，獲得對有限系統(tǒng)的洞察。

深度學(xué)習(xí)中已經(jīng)發(fā)現(xiàn)了多個這樣的「極限」：

寬網(wǎng)絡(luò)極限（Lazy vs. Rich Regime）。 這是近年來最重要的理論發(fā)現(xiàn)之一。當(dāng)網(wǎng)絡(luò)寬度增加時，訓(xùn)練動態(tài)會進(jìn)入兩種截然不同的狀態(tài)：

• 惰性 regime（Lazy Training）：網(wǎng)絡(luò)參數(shù)幾乎不離開初始化附近，功能上等價于核方法。此時網(wǎng)絡(luò)的表現(xiàn)像一個「懶惰的學(xué)生」—— 它不愿意真正改變自己，只是用初始狀態(tài)的微小擾動來擬合數(shù)據(jù)。
• 豐富 regime（Feature Learning）：網(wǎng)絡(luò)的特征表示在訓(xùn)練過程中發(fā)生實質(zhì)性變化，真正學(xué)會了有用的內(nèi)部表征。

這兩種 regime 之間的轉(zhuǎn)變?nèi)Q于寬度、深度、學(xué)習(xí)率和批量大小之間的微妙平衡。這一工作嚴(yán)格刻畫了這個相變邊界，而論文指出這一發(fā)現(xiàn)的意義遠(yuǎn)超技術(shù)細(xì)節(jié) —— 它揭示了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中存在真正的「相變」現(xiàn)象，就像水在 0°C 結(jié)冰一樣，神經(jīng)網(wǎng)絡(luò)的行為在某些臨界點(diǎn)會發(fā)生質(zhì)的改變。

其他重要極限還包括：

• 深度極限：當(dāng)層數(shù)趨于無窮時，某些架構(gòu)表現(xiàn)出連續(xù)動力學(xué)的特征
• 批量極限：大批量訓(xùn)練與小批量訓(xùn)練之間存在系統(tǒng)性差異
• 學(xué)習(xí)率極限：極小學(xué)習(xí)率對應(yīng)梯度流，極大學(xué)習(xí)率則觸發(fā)全新的動力學(xué)

這些極限研究的共同價值在于：它們將離散的、有限的經(jīng)驗觀察，轉(zhuǎn)化為連續(xù)的、可分析的數(shù)學(xué)對象。

經(jīng)驗定律 —— 深度學(xué)習(xí)版的「開普勒定律」

這部分是實證發(fā)現(xiàn) —— 就像開普勒從第谷的觀測數(shù)據(jù)中提煉出行星運(yùn)動三定律一樣，深度學(xué)習(xí)研究者也從海量實驗中總結(jié)出了若干跨越架構(gòu)和數(shù)據(jù)集的普適規(guī)律。

神經(jīng)縮放律（Neural Scaling Laws）是其中最著名的一個。模型的測試損失隨計算量、參數(shù)量或數(shù)據(jù)量的增加呈現(xiàn)冪律衰減：

其中 α 是依賴于任務(wù)和架構(gòu)的冪律指數(shù)。這個規(guī)律的驚人之處在于它的普適性：無論你用的是 Transformer 還是 ResNet，無論任務(wù)是語言建模還是圖像分類，冪律關(guān)系都成立，只是指數(shù)不同。

這種現(xiàn)象被稱為「穩(wěn)定性邊緣」，它暗示了深度學(xué)習(xí)優(yōu)化過程中存在某種自組織臨界性（Self-Organized Criticality）—— 這與沙堆坍塌、地震發(fā)生等自然界中的臨界現(xiàn)象共享相同的數(shù)學(xué)結(jié)構(gòu)。

論文將其類比為光學(xué)中的斯涅爾定律（Snell's Law）：斯涅爾描述了光在不同介質(zhì)界面上的折射行為但沒有解釋其底層原因（那需要麥克斯韋方程組）；EoS 描述了訓(xùn)練過程中梯度穩(wěn)定在臨界值的現(xiàn)象，但其深層機(jī)制仍有待「學(xué)習(xí)力學(xué)」的完整框架來揭示。

超參數(shù)理論 —— 深度學(xué)習(xí)版的「量綱分析」

任何一個調(diào)過模型的人都知道痛苦：學(xué)習(xí)率設(shè)太大爆炸，太小不收斂；batch size 和學(xué)習(xí)率必須配合調(diào)整；不同層的權(quán)重衰減該不該一樣？這些超參數(shù)的選擇長期以來依賴經(jīng)驗和網(wǎng)格搜索，缺乏系統(tǒng)性的指導(dǎo)原則。

μP（Maximal Update Parameterization）的出現(xiàn)改變了這一切。 μP 框架提供了一種優(yōu)雅的解決方案：通過對參數(shù)初始化和更新規(guī)則進(jìn)行特定的縮放變換，使得超參數(shù)可以在不同規(guī)模的模型之間零樣本遷移。也就是說，你在一個小模型上調(diào)好的學(xué)習(xí)率，可以直接用到同架構(gòu)的大模型上而無需重新調(diào)整。

μP 本質(zhì)上是深度學(xué)習(xí)中的「量綱分析」（Dimensional Analysis）。

在物理學(xué)中，量綱分析允許我們在不完全知道具體方程的情況下，僅通過檢查物理量的量綱一致性就能得出重要結(jié)論。μP 做的事情類似：它不需要知道損失景觀的具體形狀，只需要保證不同規(guī)模下優(yōu)化的「量綱」一致，就能實現(xiàn)超參數(shù)的可遷移性。

論文還提到了兩個相關(guān)的重要概念：

中心流（Central Flow）。 這是一種新的參數(shù)化方案，旨在讓優(yōu)化軌跡在參數(shù)空間中保持良好的幾何性質(zhì)，避免因尺度不一致導(dǎo)致的優(yōu)化困難。

超參數(shù)解耦與消除（Decoupling and Elimination of Hyperparameters）。 更激進(jìn)的想法是：能否從根本上減少自由超參數(shù)的數(shù)量？如果能證明某些超參數(shù)在理論上是不必要的（或者說可以被其他參數(shù)吸收），那么調(diào)參這件事本身就會大幅簡化。

普適行為 —— 不同的網(wǎng)絡(luò)學(xué)到驚人的相似

不同架構(gòu)的神經(jīng)網(wǎng)絡(luò)，在不同的數(shù)據(jù)集上訓(xùn)練之后，學(xué)到的內(nèi)部表征竟然高度相似。 這個現(xiàn)象被稱為表征收斂（Representation Convergence）或通用表征假設(shè)（Universal Representation Hypothesis）。

具體來說，如果你訓(xùn)練兩個完全不同的網(wǎng)絡(luò) —— 一個是 ResNet，一個是 Vision Transformer—— 在 ImageNet 上訓(xùn)練到收斂，然后比較它們中間層的激活模式，你會發(fā)現(xiàn)它們的表征結(jié)構(gòu)出奇地一致。更神奇的是，這種一致性甚至跨模態(tài)存在：視覺網(wǎng)絡(luò)和語言網(wǎng)絡(luò)在某些抽象層面上展現(xiàn)出相似的表征組織方式。

論文將這一現(xiàn)象類比為物理學(xué)中的臨界普適性（Critical Universality）。在統(tǒng)計力學(xué)中，完全不同的物理系統(tǒng)（如鐵磁體和液體 - 氣體相變）在接近臨界點(diǎn)時會表現(xiàn)出相同的行為 —— 它們的臨界指數(shù)只依賴于空間的維數(shù)和序參量的對稱性，而與微觀細(xì)節(jié)無關(guān)。這被稱為「普適性類」（Universality Class）。

如果深度學(xué)習(xí)也存在類似的普適性，那就意味著：不管你用什么架構(gòu)、什么初始化、什么優(yōu)化器，只要滿足某些基本條件，網(wǎng)絡(luò)就會收斂到同一類「吸引子」表征上。 這不僅能解釋為什么不同模型的表現(xiàn)趨于一致，也為理解智能的本質(zhì)提供了新的視角 —— 也許智能本身就對應(yīng)著某個高維空間中的「普適性吸引子」。

十個未解之謎

論文的最后部分坦誠地列出了十個尚未解決的關(guān)鍵問題。這些問題既是挑戰(zhàn)，也是路線圖 —— 任何一個的突破都可能推動「學(xué)習(xí)力學(xué)」從愿景變?yōu)楝F(xiàn)實。

1.非線性動力學(xué)的解析理論。目前大部分可解結(jié)果局限于線性網(wǎng)絡(luò)或無限寬極限。真實的有限寬度非線性網(wǎng)絡(luò)的訓(xùn)練動力學(xué)仍然是黑洞。

2.縮放律的起源與斷裂點(diǎn)。冪律關(guān)系為什么成立？它在什么條件下會失效？最近的一些工作暗示縮放律可能在極高規(guī)模下出現(xiàn)相變。

3.惰性與豐富 Regime 的完整相圖。 我們知道兩種 regime 都存在，但它們之間的過渡區(qū)域是什么樣子的？是否存在第三種 regime？

4.超參數(shù)的「標(biāo)準(zhǔn)模型」。能否建立一個統(tǒng)一的框架，將 μP、中心流等各種參數(shù)化方案納入其中，并給出完整的超參數(shù)選擇指南？

5.表征收斂的數(shù)學(xué)證明。普適行為目前主要是實證觀察。能否從優(yōu)化動力學(xué)的角度嚴(yán)格證明表征必然收斂？

6.泛化誤差的理論上界。為什么過參數(shù)化的網(wǎng)絡(luò)（參數(shù)遠(yuǎn)多于樣本數(shù)）不會嚴(yán)重過擬合？這個問題困擾了統(tǒng)計學(xué)習(xí)理論二十年。

7.架構(gòu)設(shè)計的理論指導(dǎo)。能否從第一性原理出發(fā)推導(dǎo)出最優(yōu)的網(wǎng)絡(luò)架構(gòu)，而不是靠試錯？

8.語言與推理的涌現(xiàn)機(jī)制。In-context learning、思維鏈推理等能力是在什么條件下涌現(xiàn)的？能否預(yù)測和控制這種涌現(xiàn)？

9.物理對稱性與神經(jīng)網(wǎng)絡(luò)歸納偏置的聯(lián)系。物理世界具有平移不變性、旋轉(zhuǎn)對稱性、尺度不變性等 —— 神經(jīng)網(wǎng)絡(luò)是否天然編碼了這些對稱性？還是說這些對稱性是從數(shù)據(jù)中學(xué)到的？

10.「學(xué)習(xí)力學(xué)」的形式化公理體系。最終，我們需要一套類似牛頓三定律或量子力學(xué)公理的嚴(yán)謹(jǐn)數(shù)學(xué)框架，而不僅僅是類比和啟發(fā)式論證。

在過去，關(guān)于深度學(xué)習(xí)理論的問題通常是怎么讓模型更高效?！笇W(xué)習(xí)力學(xué)」提出的則是另一種層次的問題：「支配神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程的底層規(guī)律是什么？」

科學(xué)史上，這樣的時刻并不多見。牛頓在蘋果樹下思考引力的時候，開普勒的行星數(shù)據(jù)已經(jīng)在書架上等了他半個世紀(jì)。達(dá)爾文在貝格爾號上收集標(biāo)本的時候，孟德爾的豌豆實驗已經(jīng)在修道院的花園里默默進(jìn)行了八年。

而今天，在 AI 領(lǐng)域每天涌出的無數(shù)的進(jìn)展背后，在每一個深夜還在跑實驗的 GPU 集群里，在每一次模型進(jìn)化的歡呼中 ——「學(xué)習(xí)力學(xué)」所需的全部碎片，可能已經(jīng)散落在那里了。

需要的只是有人把它們撿起來，拼在一起。