一個在 1,000 萬個太陽系相關數(shù)據(jù)上訓練的 Transformer 模型能夠精準地預測行星軌道，卻對引力定律一竅不通。那么，預測模型和世界模型有什么區(qū)別？是否存在簡單直接的指標可以檢驗這種差異？來自美國哈佛大學和美國麻省理工學院的研究人員認為，或許最具影響力的世界模型，最初正是從一個預測模型起步的。

（來源：https://x.com/keyonV/status/1943730502948511937）

當開普勒和牛頓“遇見”AI

為了研究上述 AI 問題，他們追溯到了 400 年前的科學成果。在英國科學家艾薩克?牛頓（Isaac Newton）于 17 世紀提出萬有引力定律之前，德國天文學家約翰內(nèi)斯?開普勒（Johannes Kepler）的行星軌道預測模型早已存在，開普勒的預測促成了牛頓萬有引力定律的發(fā)現(xiàn)。

而本次研究團隊認為，基礎模型的前景依賴于這樣一個核心假設：學習預測序列能夠揭示更深層次的規(guī)律，甚至樂觀地說其能構建出一個世界模型。雖然從某種意義上說這個想法是新穎的，但從另一種意義上說它又是古老的。

如前所述，數(shù)百年前開普勒發(fā)現(xiàn)了一些幾何規(guī)律，借助這些規(guī)律能夠精準預測夜空中行星未來的位置。牛頓后來在這一進展的基礎上發(fā)展并創(chuàng)立了牛頓力學，這些基本定律不僅能夠預測行星的運動，還能解釋宇宙中的各種物理特性。這條“從預測序列到理解其背后深層機制”的路徑，并非物理學所獨有。在生物學領域，動物育種者們早已觀察到后代性狀的規(guī)律，而他們這些具有預測性的見解，啟發(fā)著奧地利帝國生物學家格雷戈爾?約翰?孟德爾（Gregor Johann Mendel）提出了遺傳學理論。

如何才能知道基礎模型是否也已實現(xiàn)“從做出準確預測到構建可靠世界模型”的跨越？本次研究通過構建一個框架來回答這個問題。

具體而言，研究團隊開發(fā)了一種檢測框架：當給定基礎模型和世界模型時，該框架能夠驗證基礎模型是否已經(jīng)習得目標世界模型。研究團隊將這種技術稱為歸納偏置探針，它基于這樣一個簡單的見解：基礎模型的隱性世界模型會通過“其如何從少量信息中進行推斷”而顯現(xiàn)出來，即從少量數(shù)據(jù)中做出推斷。同樣，基礎模型的歸納偏置也能揭示其世界模型。

（來源：https://arxiv.org/pdf/2507.06952）

靈魂一問：模型是否掌握了牛頓力學？

研究中，研究團隊通過以下實驗來驗證相關觀點：他們測試一個經(jīng)過行星運動位置預測訓練的 Transformer 模型是否真正掌握了牛頓力學體系。具體來說，他們首先訓練一個模型來預測太陽系中行星的位置。盡管該模型能夠準確預測行星的未來軌跡，但是歸納偏置探針表明它對牛頓力學的歸納偏置較低。

比如，當對該模型進行微調以便預測行星的力向量（牛頓力學的核心要素）時，其預測結果所隱含的引力定律是毫無意義的。研究團隊發(fā)現(xiàn)，該模型所習得的是零散的啟發(fā)式方法，而非一個簡潔的世界模型，它會根據(jù)所應用的數(shù)據(jù)片段采用不同的引力定律。

幾個世紀以來，天文學家和物理學家一直致力于預測行星圍繞太陽運行的軌道。開普勒提出了一個具有開創(chuàng)性的模型，他的模型基于幾何圖案而提出：例如，每個行星的軌道都遵循一個橢圓，而太陽位于該橢圓的一個焦點上。盡管該模型能夠以近乎完美的精確度預測軌道，但它無法解釋行星為何遵循這些幾何軌道，也無法應用于預測軌道之外的新問題。

后來，牛頓利用新的運動定律對上述模型進行了拓展，這些定律現(xiàn)在被稱為牛頓力學。這些定律涉及到計算運動中行星群的各種屬性，例如它們的相對速度和質量。利用這些特性，不僅能夠推導出開普勒早先提出的軌道運動定律，也能進一步理解力與引力等核心物理概念。

可以說，從開普勒到牛頓，科學家們實現(xiàn)了從序列預測模型到深層理論認知的跨越。本次研究之中，研究團隊測試了一個能夠預測軌道軌跡序列的 Transformer 模型，以便探究它究竟僅僅是一個優(yōu)秀的序列模型？還是已經(jīng)實現(xiàn)了向世界模型的轉變？

為此，研究團隊模擬了一個序列數(shù)據(jù)集，其中每個序列都描述了行星繞太陽運行的情況。他們隨機采樣初始條件（例如行星的質量、位置及其初始相對速度），以便匹配在已知系外行星中觀察到的軌道形狀。同時，他們根據(jù)牛頓運動定律模擬每顆行星圍繞太陽的軌跡。

由于行星的質量遠遠小于太陽，因此行星之間的相互作用微乎其微，所以忽略不計這些相互作用。為了將軌道轉換為序列，研究團隊每隔一定時間記錄一次每個行星和太陽的（x，y）坐標，并將所有位置交錯排列成一個包含 1,000 個觀測值的序列，這意味著每個序列代表一個不同的太陽系。

（來源：https://arxiv.org/pdf/2507.06952）

此外，研究團隊考慮了兩種不同類型的時間間隔：固定間隔和變化間隔。在固定間隔中，每個序列使用相同的 6 個月間隔；在變化間隔中，隨機一半的序列使用 6 個月間隔，另一半使用1周間隔，并在開始處添加一個特殊 token 以用于指示間隔長度。

例如，在一個擁有 K 個行星且時間間隔各異的太陽系中，第一個時間步長編碼了時間間隔的長度，接下來的 K 個觀測值是每個行星在第一個時間點的（x，y）坐標，再接下來的 K 個觀測值是每個行星在相應時間步長后的坐標，以此類推。

同時，研究團隊設置了兩種訓練集規(guī)模：第一種是固定間隔數(shù)據(jù)集，擁有 10 億 token、涵蓋 100 萬條序列；第二種是可變間隔數(shù)據(jù)集，擁有 200 億 token、涵蓋 1,000 萬條序列。針對這兩種情況訓練的模型，得出了相似的結果。

接下來，研究團隊訓練了一個包含 1.09 億個參數(shù)的 Transformer 模型，以用于預測訓練集中每個序列的下一個 token。他們在以下兩種方案中進行了實驗：第一種方案是采取連續(xù)坐標并使用均方誤差損失；第二種方案是采取離散化坐標并使用交叉熵損失。結果發(fā)現(xiàn)后者的效果更好。

期間，研究團隊通過為每個坐標（x、y）創(chuàng)建 7,000 個區(qū)間，來離散化太陽系中每個天體的位置向量，其中坐標范圍為-50 至 50 天文單位。需要說明的是，訓練期間他們使用 8 個英偉達 H100 GPU 進行了 25 個周期的訓練。

隨后，研究團隊在預留數(shù)據(jù)上針對模型預測結果進行評估，并發(fā)現(xiàn)預測效果較為良好，其決定系數(shù)（R2）超過 0.9999，而且顯著優(yōu)于基準模型，即優(yōu)于那些總是預測最近位置或軌道均值的模型。與此同時，它還能以較高的精度生成長軌道。

（來源：https://arxiv.org/pdf/2507.06952）

Transformer 預測結果證明它是一個非常出色的序列模型。但是，它是否掌握了牛頓力學？為了驗證這一點，研究團隊注意到，牛頓力學指出一系列軌道中的每次觀測都由一個狀態(tài)向量控制，該向量由每個行星的質量、相對速度和相對位置組成。鑒于軌道的下一個位置是確定的，所以如果基礎模型的歸納偏置依賴于牛頓力學，那么它必須基于這個狀態(tài)向量進行外推。

研究中，研究團隊使用歸納偏差探針來評估模型的歸納偏差。他們創(chuàng)建了 100 個合成數(shù)據(jù)集，然后通過訓練模型來預測這些函數(shù)，從而對 Transformer 進行微調。其通過將 H 視為恒等映射，并將損失函數(shù) ? 設為均方誤差，以便衡量模型在輸入上的外推預測能力，并通過將模型與一個基于狀態(tài)直接進行外推的“預言機”（oracle）進行對比來評估其中一個公式。

與此同時，他們將線性模型和雙層神經(jīng)網(wǎng)絡作為預言機，發(fā)現(xiàn)結果是相似的。其中，對牛頓狀態(tài)簡單函數(shù)的歸納偏倚較差。換言之，該模型的歸納偏置并不傾向于牛頓狀態(tài)。當它必須進行外推時，它會對狀態(tài)截然不同的軌道做出相似的預測，而對狀態(tài)非常相似的軌道則會做出不同的預測。

為此，研究團隊通過創(chuàng)建一個序列到序列的數(shù)據(jù)集來對此進行測試，其中每個輸入是一條軌跡，每個輸出是“由軌道狀態(tài)所隱含的作用在行星上的”力向量。

基于此，他們先是針對預訓練的 Transformer 進行微調，使其能夠預測太陽系軌道上的力向量，并使用 1% 的真實力數(shù)據(jù)作為訓練數(shù)據(jù)，結果顯示這些力預測結果不佳。

為了評估該模型在掌握牛頓萬有引力定律方面的接近程度，研究團隊進一步對其進行微調，以便在包含 10,000 個太陽系的更大數(shù)據(jù)集上預測力的大小。

需要說明的是，符號回歸是一種通過搜索優(yōu)化回歸類目標的符號表達式的方法。而當研究團隊將符號回歸用于 Transformer 的預測結果時，得到的物理定律是毫無意義的?；鶞蕦Ρ冉Y果顯示：基于真實狀態(tài)訓練的 oracle 模型能夠精確預測力向量，符號回歸則能完整復現(xiàn)真實的物理定律。

（來源：https://arxiv.org/pdf/2507.06952）

基礎模型并未習得某一通用物理定律

研究團隊表示，基礎模型的核心價值在于：序列預測能夠揭示對于潛在機制的深層理解。對于本次提出的評估框架來說，它通過分析模型在新任務遷移中的歸納偏差，來驗證模型是否習得預設世界模型。

實證結果表明，盡管許多序列模型在 next-token 預測任務中表現(xiàn)出色，但是它們對于真實世界模型的歸納偏置往往有限。本次研究還發(fā)現(xiàn)，這些模型并非是在學習連貫的世界模型，而是可能依賴了粗略的狀態(tài)表征或非簡約的表征。

總的來說，本次成果為理解基礎模型的缺陷提供了一個方向：如果一個模型的歸納偏置并非傾向于某種已知的現(xiàn)實模型，那么它傾向于什么？

本次分析表明，這些模型實際上所表現(xiàn)出來的行為，更像是開發(fā)了無法泛化的任務特定啟發(fā)式規(guī)則。在物理學領域，基礎模型并未習得某一通用物理定律，而是會根據(jù)所應用的任務采用不同的、看似毫無意義的定律。 目前，相關論文已被 2025 國際機器學習會議（ICML，International Conference on Machine Learning）收錄。

需要指出的是，本次研究需要指定一個世界模型，以此來測試基礎模型。世界模型需要明確定義的要求，雖與學界共識一致，但卻導致模型真實表征機制的溯因分析存在固有局限。盡管研究團隊提出了測試候選世界模型的策略（例如基于 next-token 分區(qū)的驗證方法），但未來研究應該優(yōu)先開發(fā)“能夠自動構建基礎模型行為中隱式世界模型”的技術。

參考資料：

https://arxiv.org/pdf/2507.06952

https://x.com/keyonV/status/1943730495264584079

https://x.com/keyonV/status/1943730486280331460

https://x.com/keyonV/status/1943730502948511937

運營/排版：何晨龍