作者 | 論文團(tuán)隊

編輯 | ScienceAI

隨著大語言模型（Large Language Models, LLMs）推理能力的提升，其在自動化科學(xué)發(fā)現(xiàn)（Automatic Scientific Discovery）領(lǐng)域的潛力也引發(fā)了學(xué)術(shù)界與公眾的廣泛關(guān)注。AI 領(lǐng)域知名學(xué)者何愷明曾在一次訪談中提出一個引人深思的問題：「以當(dāng)前大模型的智能水平，若將其置于牛頓時代，它能否獨立發(fā)現(xiàn)牛頓物理定律？」

然而，評估這種能力面臨諸多挑戰(zhàn)。首先，現(xiàn)實世界中的科學(xué)定律已廣泛存在于大模型的訓(xùn)練語料中，直接評估難以避免數(shù)據(jù)泄漏問題。其次，當(dāng)前的評估方法通常依賴于在靜態(tài)數(shù)據(jù)表格中歸納等式，無法真實反映實際科研中通過設(shè)計實驗獲取數(shù)據(jù)以進(jìn)行探索性研究的本質(zhì)。

為此，來自香港科技大學(xué)和英偉達(dá)的研究者提出了 NewtonBench—— 一個具備強泛化能力、旨在模擬真實實驗探索環(huán)境的科學(xué)定律發(fā)現(xiàn)基準(zhǔn)（Scientific Law Discovery Benchmark）。

論文地址：https://arxiv.org/pdf/2510.07172

代碼地址：https://github.com/HKUST-KnowComp/NewtonBench

NewtonBench 覆蓋了 12 個物理領(lǐng)域，其核心創(chuàng)新在于通過「形而上學(xué)變換（metaphysical shift）」將已知物理定律轉(zhuǎn)換為全新的定律，從而有效規(guī)避了數(shù)據(jù)泄漏問題，能夠更真實地評估大模型的原始推理能力。

此外，NewtonBench 為每個物理定律的發(fā)現(xiàn)過程提供了沙盒化的實驗環(huán)境。大模型可以在其中自主設(shè)定實驗參數(shù)，執(zhí)行不同復(fù)雜度的實驗任務(wù)，并從環(huán)境中獲取反饋數(shù)據(jù)。這種高度模擬真實科學(xué)研究流程的設(shè)計，顯著提升了評估結(jié)果的實際意義。

該研究對 11 個領(lǐng)先的大語言模型進(jìn)行了基準(zhǔn)測試，包括 GPT-5、Gemini-2.5-Pro、DeepSeek-R1 和 Qwen-3-235B 等。

評測結(jié)果顯示，非推理模型（如 GPT-4.1、DeepSeek-V3）表現(xiàn)普遍不佳。而推理模型（如 GPT-5、DeepSeek-R1）則展現(xiàn)出顯著差異。在復(fù)雜實驗環(huán)境下，表現(xiàn)最優(yōu)的 GPT-5 和 Gemini-2.5-Pro 的定律發(fā)現(xiàn)準(zhǔn)確率分別為 29.9% 和 13.9%，而其他模型的準(zhǔn)確率均低于 5%。這充分凸顯了強大的推理能力對于科學(xué)定律發(fā)現(xiàn)的關(guān)鍵作用。

研究還深入分析發(fā)現(xiàn)，為模型額外提供代碼解釋器工具（Code Interpreter Tool） 可以幫助能力較弱的模型突破計算瓶頸，但可能導(dǎo)致能力較強的模型產(chǎn)生過度依賴，反而抑制其自主探索的效率。

目前，NewtonBench 的評測數(shù)據(jù)集與評測代碼已全部開源。

NewtonBench 基準(zhǔn)構(gòu)建

物理法則構(gòu)建

NewtonBench 包含 324 個物理定律發(fā)現(xiàn)任務(wù)，覆蓋力學(xué)、電磁學(xué)、熱力學(xué)等 12 個物理領(lǐng)域。其核心構(gòu)建方法是：以真實物理定律為基礎(chǔ)，在「形而上學(xué)變換（metaphysical shift）」框架下，通過等式變換操作（mutation operation）生成衍生定律。根據(jù)變換步驟的復(fù)雜度及其引入的泛化需求，任務(wù)被劃分為簡單、中等、困難三個難度等級。

實驗環(huán)境構(gòu)建

對于每個物理定律，NewtonBench 提供三種不同復(fù)雜度的實驗環(huán)境。在簡單實驗環(huán)境中，實驗的輸入與輸出參數(shù)完全對齊目標(biāo)物理定律的表達(dá)形式，接近于理想的符號回歸（symbolic regression） 場景。而在中等及復(fù)雜難度環(huán)境中，目標(biāo)物理定律僅隱含于部分實驗數(shù)據(jù)中。例如：要求模型通過兩個小球沿直線相向運動的觀測數(shù)據(jù)，推導(dǎo)出引力與距離、質(zhì)量的函數(shù)關(guān)系。

大模型可通過函數(shù)調(diào)用（function calling）機制執(zhí)行實驗操作，并從環(huán)境動態(tài)獲取實驗結(jié)果。模型最多可進(jìn)行 10 輪實驗交互，最終需提交其推導(dǎo)出的物理定律表達(dá)式。

實驗結(jié)果

研究人員對 11 個前沿大語言模型 進(jìn)行了系統(tǒng)評測，采用符號準(zhǔn)確率（Symbolic Accuracy） 和 均方根對數(shù)誤差（Root Mean Squared Logarithmic Error, RMSLE） 作為核心評估指標(biāo)。實驗結(jié)果表明：

1.非推理模型整體表現(xiàn)欠佳，即使在最簡單的實驗設(shè)定下，其符號準(zhǔn)確率也僅處于 20%-50% 的區(qū)間；

2.推理模型（如 GPT-5、DeepSeek-R1）憑借其強大的復(fù)雜推理與數(shù)學(xué)運算能力，在簡單場景下的符號準(zhǔn)確率普遍突破 80%；

3. 隨著實驗復(fù)雜度提升，推理模型間的性能差距顯著擴大。在最具挑戰(zhàn)性的「困難定律 + 復(fù)雜實驗」場景下：

• 性能領(lǐng)先的 GPT-5 和 Gemini-2.5-Pro 符號準(zhǔn)確率分別僅為 29.9% 和 13.9%；
• 其余模型的準(zhǔn)確率均低于 5%，顯示出任務(wù)難度的陡增特性。

值得注意的是，代碼執(zhí)行工具的輔助效果呈現(xiàn)出顯著的分化現(xiàn)象：

• 對于較弱模型（符號準(zhǔn)確率 < 40%），代碼工具可帶來顯著性能提升；
• 然而對于較強模型，代碼輔助均產(chǎn)生負(fù)面效應(yīng)。

這一矛盾現(xiàn)象促使研究人員開展了深度歸因分析。

代碼輔助效果分析

研究人員選取了四個代表性模型（GPT-4.1、Qwen-3-235B、Gemini-2.5-Flash、GPT-5-Mini），通過控制代碼調(diào)用權(quán)限數(shù)量展開對比實驗。結(jié)果顯示，當(dāng)兩個高性能模型初步獲得代碼權(quán)限時，準(zhǔn)確率均出現(xiàn)顯著下滑。進(jìn)一步分析模型決策文本中的探索（exploration）與利用（exploitation）關(guān)鍵詞頻發(fā)現(xiàn)：性能驟降的 Gemini-2.5-Flash 在使用代碼后，探索類詞匯出現(xiàn)頻率急劇下降；而受益于代碼輔助的 Qwen-3-235B 則保持穩(wěn)定的探索傾向。這表明代碼工具的引入導(dǎo)致部分模型發(fā)生推理范式偏移 —— 從開放探索轉(zhuǎn)向?qū)Υa工具的過度依賴，最終削弱其定律發(fā)現(xiàn)能力。

此外，研究人員深度解析了 GPT-4.1 與 GPT-5-Mini 的代碼使用模式。在 GPT-4.1 中，45.4% 的代碼調(diào)用集中于數(shù)值計算環(huán)節(jié)，而該比例在 GPT-5-Mini 中降至 16.5%。與之形成鮮明對比的是，GPT-5-Mini 將 69.4% 的代碼資源投入函數(shù)擬合（function fitting）過程。這一發(fā)現(xiàn)印證了核心觀點：對于基礎(chǔ)模型，代碼工具有效突破其計算瓶頸；但高性能模型將其大量用于快速獲取局部最優(yōu)解，反而抑制了對全局最優(yōu)定律的探索空間。

總結(jié)

NewtonBench 的評測結(jié)果系統(tǒng)揭示了當(dāng)前大模型科學(xué)發(fā)現(xiàn)能力的核心瓶頸：前沿推理模型雖能推演預(yù)設(shè)場景中的已知定律變體，但其泛化能力在面對復(fù)雜物理定律及實驗環(huán)境時呈現(xiàn)系統(tǒng)性衰減。

尤為關(guān)鍵的是，代碼工具在輔助基礎(chǔ)模型突破計算瓶頸的同時，卻顯著抑制了高性能模型（如 GPT-5 等）的自主探索傾向，致使其陷入局部最優(yōu)陷阱。這充分表明，現(xiàn)有 AI 的科學(xué)發(fā)現(xiàn)能力存在內(nèi)在脆弱性且易受工具范式干擾。

未來研究亟需構(gòu)建可動態(tài)平衡探索與利用的認(rèn)知架構(gòu)，并將評估體系拓展至真實科研流程模擬 —— 涵蓋未知定律發(fā)現(xiàn)、動態(tài)實驗設(shè)計及可證偽性驗證，方有望鍛造出具備本征科學(xué)智能的新一代人工智能系統(tǒng)。