新智元報道

編輯：KingHZ

【新智元導讀】 KAN網(wǎng)絡作者劉子鳴新作直擊痛點：Scaling Law雖然能通過「窮舉」達成目標，但其本質(zhì)是用無限資源換取偽智能。而真正的AGI應大道至簡。

繼Ilya之后，柯爾莫哥洛夫-阿諾德網(wǎng)絡KAN一作向Scaling Law發(fā)出最新檄文！

2025年圣誕節(jié)，斯坦福大學博士后、清華大學赴任助理教授劉子鳴把矛頭對準了Scaling Law。

在他看來，如今的大模型，更像是在用無限算力和數(shù)據(jù)做窮舉，換來的卻只是看起來聰明的假智能。

而真正的AGI應當像物理學定律一樣，用最簡潔的「結(jié)構(gòu)」駕馭無限的世界。

劉子鳴話說很直白：

要想聰明地造出AGI，我們?nèi)钡牟皇且?guī)模，而是結(jié)構(gòu)。

在他看來，結(jié)構(gòu)主義AI并不是為了「否定」 Scaling Law。

問題在于，Scaling終究會撞上兩堵墻：能源和數(shù)據(jù)。

當這兩樣東西耗盡時，Scaling的路，也就到頭了。

Scaling Law

用戰(zhàn)術(shù)上的勤奮掩蓋戰(zhàn)略上的懶惰

在過去數(shù)年中，Scaling Law幾乎成為AI的「黃金法則」。

它的地位，就像AI界的「元素周期表」——

一旦被發(fā)現(xiàn)，整個方向都被統(tǒng)一了。

這一經(jīng)驗規(guī)律揭示了模型性能與模型規(guī)模、數(shù)據(jù)量、計算量之間的冪律關(guān)系：當模型參數(shù)、訓練數(shù)據(jù)和算力不斷增加時，模型性能會持續(xù)提升。

然而，Scaling Law背后的邏輯卻出奇簡單：由于在分布外任務上，AI表現(xiàn)不佳，最直接的解決方案就是收集更多數(shù)據(jù)、訓練更大模型，直到一切任務都變得「分布內(nèi)」。

換句話說，這就是AI版的「大力出奇跡」。

因此，Scaling Law提供了一個可靠但低效的未來。

其實，劉子鳴的立場非常明確：

如果大家完全忽略能源與數(shù)據(jù)的限制，我毫不懷疑僅靠Scaling Law最終能夠?qū)崿F(xiàn)通用人工智能。

我從未懷疑過這一點。

如果算力無限、數(shù)據(jù)無窮，大模型原則上可以覆蓋一切。

問題恰恰在于——現(xiàn)實世界并不是這樣。算力有限。能源有限。高質(zhì)量數(shù)據(jù)，同樣有限。

于是，真正的問題浮出水面：

有沒有一條更明智的路，在資源有限的前提下，走向AGI？

資源有限

AGI需要「智能」而非「蠻力」

劉子鳴認為有：

答案不是更大的規(guī)模，而是更多的結(jié)構(gòu)。

注意：這里是結(jié)構(gòu)而非符號。他有意區(qū)分了這一點。

為什么我們需要的是結(jié)構(gòu)？

因為結(jié)構(gòu)能帶來壓縮。而壓縮正是智能的核心。正如Ilya曾經(jīng)說過的那樣：壓縮就是智能（Compression is intelligence）。

舉個簡單例子。

如果允許分形結(jié)構(gòu)，那么雪花的內(nèi)在復雜度極低——它是高度可壓縮的。如果不允許結(jié)構(gòu)、必須逐點描述它，那么雪花的表觀復雜度幾乎是無限的。

今天的Scaling Law更像后者：用越來越多的參數(shù)和計算去擬合巨大的表觀復雜度。

一個更深的例子來自天體力學。

對行星運動建模最直接的方法，是把行星在每一個時刻的位置都存下來——一個成本極其高昂的查找表。

隨后，發(fā)生了兩次關(guān)鍵的「結(jié)構(gòu)化壓縮」：

• 開普勒意識到行星軌道是橢圓，從而第一次實現(xiàn)了真正的壓縮：他找到了一個貫穿時間的全局結(jié)構(gòu)，復雜度立刻大幅下降。

• 牛頓則發(fā)現(xiàn)了局部的動力學定律，實現(xiàn)了第二次壓縮：用更少的參數(shù)解釋了更多現(xiàn)象。

那么，現(xiàn)代AI大致站在什么位置？

Keyon Vafa和合作者的研究表明，Transformer并不會自然地學出牛頓式的世界模型。

這意味著：正確的物理結(jié)構(gòu)并不會因為你把模型做得更大，就可靠地自動涌現(xiàn)。

如果我們把「結(jié)構(gòu)終將涌現(xiàn)」當作默認信條，很多時候就像原始人的祈禱。

區(qū)別只是：我們的祭品（數(shù)據(jù)與算力）確實在一定程度上有效。也正因為它有效，我們反而缺少動力去追問更科學、更明智的路徑。

自然科學之所以成立，是因為結(jié)構(gòu)是顯式的，而且無處不在。沒有結(jié)構(gòu)，就不會有自然科學。

沿著「第谷–開普勒–牛頓」的軌跡做類比：

• 在很大程度上，今天的AI仍像「第谷時代」：實驗驅(qū)動、數(shù)據(jù)驅(qū)動；

• 只是剛剛進入「開普勒式階段」：出現(xiàn)了像Scaling Law這樣的經(jīng)驗規(guī)律。

但問題在于：我們把經(jīng)驗規(guī)律變成了信條。

大家選擇了激進Scaling、圍繞經(jīng)驗規(guī)律做工程化系統(tǒng)，而不是把它們當作通往更深理論的線索——一種屬于AI的「牛頓力學」。

從思想層面看，這并不是進步，反而可能是一種退步。

到這里你可能會反問：這不就是「批評Scaling、批評基礎模型」的老生常談嗎？劉子鳴不就是年輕版Yann LeCun嗎？

不。并非如此。

劉子鳴選擇了另一條路。

另一條路，

在聯(lián)結(jié)主義x符號主義之外

劉子鳴的立場更中性：按照「無免費午餐」（No Free Lunch）的視角，每一種模型都有適用范圍和局限。

直白一點：所有模型都是錯的，但有些是有用的。

關(guān)鍵問題不在「用不用基礎模型」，而在我們是否真正理解：不同任務，具有本質(zhì)不同的結(jié)構(gòu)與可壓縮性。

從「壓縮」的角度，并借鑒自然科學的類比，任務大致可分為三類：

• 類物理任務：高度可壓縮，符號公式可能從連續(xù)數(shù)據(jù)中涌現(xiàn)出來。

• 類化學任務：可壓縮性強、結(jié)構(gòu)清晰，但符號往往不完整或只能近似。

• 類生物任務：只能弱壓縮，更多依賴經(jīng)驗規(guī)律與統(tǒng)計歸納。

純噪聲當然存在，但任何模型都處理不了，可先忽略。

一個理想的智能系統(tǒng)，應該能判斷自己面對的是哪一類任務，并施加恰到好處的壓縮。

符號模型擅長類物理任務，卻在類化學與類生物任務上失敗。

聯(lián)結(jié)主義模型因其通用性，原則上可處理所有類型——但恰恰因其缺乏結(jié)構(gòu)，在類物理與類化學問題上極其低效。

這便是他主張結(jié)構(gòu)主義的原因。

結(jié)構(gòu)主義既不是Thinking Machines青睞的聯(lián)結(jié)主義，也不看好一度洛陽紙貴的符號主義，也不是兩者簡單雜交出的「雙頭怪獸」。

符號主義從類物理任務出發(fā)，聯(lián)結(jié)主義從類生物任務出發(fā)。

一個自然而然的問題是：我們能否從類化學任務出發(fā)構(gòu)建AI？

結(jié)構(gòu)主義的設計初衷，正是要捕捉這一中間狀態(tài)。

符號是一種更嚴格、更離散的結(jié)構(gòu)，而經(jīng)驗規(guī)律是一種更松散的結(jié)構(gòu)。

我們期望符號能從結(jié)構(gòu)中涌現(xiàn)；也期望經(jīng)驗規(guī)律能通過從數(shù)據(jù)中松弛結(jié)構(gòu)而習得。

在監(jiān)督學習里，這種區(qū)分已經(jīng)相當具體。

線性回歸是符號主義的。

多層感知機（MLP）是聯(lián)結(jié)主義的。

方程學習器(EQL，equation learner)則是神經(jīng)–符號混合。

相比之下，Kolmogorov–Arnold Networks（KANs）是結(jié)構(gòu)主義的。

KAN背后的表示理論可以緊湊地捕捉多變量函數(shù)的組合結(jié)構(gòu)。因此，KAN既不像MLP那樣無結(jié)構(gòu)，也不像線性模型那樣過度約束，也不會因為神經(jīng)–符號不匹配而充滿不穩(wěn)定性。

結(jié)構(gòu)主義不是一種妥協(xié)。它是一種統(tǒng)一。

但真實世界遠不止監(jiān)督學習。

我們不只是從數(shù)據(jù)里學習結(jié)構(gòu)，我們還會比較結(jié)構(gòu)、復用結(jié)構(gòu)，并構(gòu)建「結(jié)構(gòu)的結(jié)構(gòu)」。

這就是抽象。

范疇論研究「結(jié)構(gòu)的結(jié)構(gòu)」

劉子鳴把話說得更明確：抽象可能是AGI最核心的瓶頸之一。

這一點也與Rich Sutton在OaK架構(gòu)里對抽象的強調(diào)相呼應：

• 持續(xù)學習，本質(zhì)是在跨任務保留抽象不變性；

• 適應性與流動性（例如ARC-AGI語境）體現(xiàn)為在上下文中即時做抽象；

• 許多ARC-AGI任務，本質(zhì)上是「直觀物理」的簡化形式，而直觀物理恰恰是世界模型的關(guān)鍵組成。

未來之路

如何讓抽象發(fā)生？

劉子鳴坦言：還沒有完整解法。

劉子鳴有一個洞見是：抽象來自對結(jié)構(gòu)的比較與復用。

注意力（Attention）當然也是一種比較機制，但它隱含了兩個強假設：

• 結(jié)構(gòu)可以嵌入向量空間；

• 相似性可以用點積來度量。

現(xiàn)實中，很多結(jié)構(gòu)并不與向量空間同構(gòu)。

這種表示方式之所以被廣泛采用，很大程度上不是因為它在認知上或科學上更正確，而是因為它更適配GPU計算范式。

他認為，當下AI的發(fā)展其實「暗地里」已經(jīng)很結(jié)構(gòu)主義，但更多是外在意義上的結(jié)構(gòu)主義：

• 推理過程是結(jié)構(gòu)化的；

• AI智能體框架是結(jié)構(gòu)化的；

• 但底層模型依然是聯(lián)結(jié)主義的。

這帶來一個直接后果：系統(tǒng)高度依賴Chain-of-Thought（思維鏈，CoT）數(shù)據(jù)，通過顯式監(jiān)督把結(jié)構(gòu)「貼」在模型外面。

他更愿意押注：下一波關(guān)鍵進展會來自內(nèi)在結(jié)構(gòu)主義——

把通用結(jié)構(gòu)注入模型，或讓結(jié)構(gòu)在模型內(nèi)部自行涌現(xiàn)，而不是持續(xù)依賴顯式CoT監(jiān)督來「外置結(jié)構(gòu)」。

從應用角度看，我們真正需要的通用人工智能，必須同時滿足：

• 可適應

• 可泛化

• 具備物理基礎

結(jié)構(gòu)對這四點都至關(guān)重要。因為物理世界本身就是高度結(jié)構(gòu)化、也高度可壓縮的：可組合性、稀疏性和時間局部性。

如果這些結(jié)構(gòu)無法在模型里出現(xiàn)，「世界模型」就仍遙不可及。

總結(jié)一下：結(jié)構(gòu)主義AI代表了一條與Scaling根本不同的道路。

它可能更難，但也更有趣、機會更多，而且長遠看來看更有前途。

到了2026年，是時候把籌碼押在不一樣的方向上并身體力行：

結(jié)構(gòu)，而不是規(guī)模。

參考資料：

https://kindxiaoming.github.io/blog/2025/structuralism-ai/

秒追ASI

?點贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點亮星標，鎖定新智元極速推送！