認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Towards end-to-end automation of AI research

發(fā)表時間:2026-03-25

發(fā)表期刊:Nature

影響因子:48.5

獲取原文:

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

過去幾年，AI在科研中的角色不斷擴(kuò)張，但多數(shù)停留在查文獻(xiàn)、寫代碼、提假設(shè)等單點輔助上。真正困難的問題是：模型能否將一個研究想法推進(jìn)成完整實驗，再把實驗結(jié)果整理成論文，并最終通過同行評議的檢驗？

這篇《Nature》論文探討的正是這一關(guān)鍵缺口：是否可以構(gòu)建一個基于基礎(chǔ)模型（foundation models）的代理式系統(tǒng)（agentic system），端到端自動完成機(jī)器學(xué)習(xí)科研流程。作者提出了The AI Scientist系統(tǒng)，其目標(biāo)不是簡單生成文本，而是覆蓋構(gòu)思、查重、實驗、畫圖、寫作乃至AI審稿的完整鏈條。同時，評估這類系統(tǒng)本身也極具挑戰(zhàn)。若每次都依賴人類專家逐篇審稿，成本極高且難以規(guī)?；容^。因此，作者構(gòu)建了配套的自動審稿器 The Automated Reviewer，用以近似人類評審群體的判斷。

這項工作最引人注目的結(jié)果在于其真實的外部驗證：經(jīng)批準(zhǔn)后，3篇全AI生成的論文被匿名投至ICLR 2025的一個workshop，其中1篇在真實盲審中超過了平均接收閾值。這表明AI自動化科研開始觸碰真實學(xué)術(shù)評審體系，但作者也極其謹(jǐn)慎地指出，這距離頂級主會標(biāo)準(zhǔn)仍有明顯差距，且系統(tǒng)的穩(wěn)定性與方法正確性仍有待解決。

實驗設(shè)計與方法邏輯

論文的論證為三個層次：系統(tǒng)構(gòu)建、評估器驗證與能力檢驗。

第一層是系統(tǒng)構(gòu)建。The AI Scientist包含兩種形態(tài)：基于模板（template-based）的系統(tǒng)從人類提供的初始代碼出發(fā)，在特定子領(lǐng)域上迭代推進(jìn)；無模板（template-free）系統(tǒng)則在更開放的空間中，通過代理式樹搜索（agentic tree search）生成代碼、調(diào)試并推進(jìn)研究議程，更接近從零開始的開放式科研。

第二層是評估器驗證。作者構(gòu)建了The Automated Reviewer，采用5個獨(dú)立AI審稿加1個元審稿（meta-review）的集成流程。在OpenReview的ICLR歷史決策數(shù)據(jù)上，該審稿器的平衡準(zhǔn)確率（balanced accuracy）達(dá)到0.66至0.69，與已知的人類評審一致性水平相當(dāng)。這使其具備了作為大規(guī)模比較系統(tǒng)輸出質(zhì)量的近似標(biāo)尺的資格。

第三層是能力檢驗。作者首先在內(nèi)部比較了不同底層模型和測試時計算（test-time compute）對生成論文質(zhì)量的影響。隨后進(jìn)行了最關(guān)鍵的外部驗證：經(jīng)ICLR 2025 workshop組織方和IRB批準(zhǔn)，作者將3篇未經(jīng)人工修改正文的AI生成論文提交至ICBINB workshop盲審。此設(shè)計的目的并非證明AI已達(dá)頂會水平，而是檢驗其能否在真實同行評審場景下跨過最低可接受門檻。

核心發(fā)現(xiàn)

發(fā)現(xiàn)一：AI首次閉環(huán)完成科研流程，并在真實workshop盲審中達(dá)到接收門檻

The AI Scientist將提出想法、新穎性檢查、修改代碼、運(yùn)行實驗、繪制圖表、撰寫論文及AI審稿等環(huán)節(jié)串聯(lián)為完整閉環(huán)。在經(jīng)批準(zhǔn)的外部驗證中，3篇全AI生成的論文被提交至ICLR 2025的ICBINB workshop。其中1篇獲得6、7、6的評分，超過該workshop的平均接收閾值。這證明全AI生成的論文已能在真實的同行評審環(huán)境中跨過初步門檻，但作者強(qiáng)調(diào)，這僅是workshop級別，且3篇中僅1篇過線，尚未達(dá)到頂級主會標(biāo)準(zhǔn)。

Fig. 1a 中，作者展示了 The AI Scientist 覆蓋構(gòu)思、實驗、寫作與審稿的完整流程；Fig. 2 則展示了在真實盲審中達(dá)到接收門檻的 AI 生成論文片段。

借助與人類評審一致性相當(dāng)?shù)淖詣訉徃迤鳎髡吡炕u估了不同配置下的系統(tǒng)產(chǎn)出。結(jié)果顯示，驅(qū)動系統(tǒng)的底層基礎(chǔ)模型發(fā)布時間越新，生成的論文得分越高。此外，在無模板的開放式探索中，增加測試時計算，尤其是增加樹搜索中的實驗節(jié)點預(yù)算，能讓系統(tǒng)嘗試更多路徑并修復(fù)錯誤，從而進(jìn)一步提高最終論文的質(zhì)量評分。

Fig. 1b 中，作者展示了不同發(fā)布時間的底層模型驅(qū)動系統(tǒng)時，論文評分整體上升的趨勢；Fig. 3c 則表明隨著實驗節(jié)點數(shù)量增加，自動審稿器給出的論文分?jǐn)?shù)也隨之上升。

文中 Limitations 段落與討論中，作者認(rèn)為：盡管實現(xiàn)了流程閉環(huán)，但當(dāng)前系統(tǒng)在科學(xué)嚴(yán)謹(jǐn)性上仍存在明顯瓶頸。作者坦誠列舉了常見的失敗模式，包括研究想法不成熟、核心方法實現(xiàn)錯誤、實驗不夠嚴(yán)謹(jǐn)、圖表重復(fù)以及引用幻覺（hallucination）等。這些問題直接觸及科學(xué)研究的正確性與可信度。因此，當(dāng)前的系統(tǒng)更像是一個能跑通流程的研究代理原型，若無監(jiān)督地大規(guī)模使用，可能帶來制造文獻(xiàn)噪聲、擠占評審資源等倫理與社會風(fēng)險。

省流總結(jié)

本研究提出The AI Scientist系統(tǒng)，實現(xiàn)了機(jī)器學(xué)習(xí)科研從構(gòu)思到審稿的端到端自動化。在真實workshop盲審中，1篇AI生成論文達(dá)到接收門檻。盡管模型升級能提升質(zhì)量，但系統(tǒng)仍存在實驗錯誤與幻覺等短板，距離頂會標(biāo)準(zhǔn)仍有差距。

請打分

這篇剛剛登上Nature的研究，是否實至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區(qū)分享您的深度見解。

分享人：天天

審核：PsyBrain 腦心前沿編輯部

你好，這里是「PsyBrain 腦心前沿」

專注追蹤全球認(rèn)知神經(jīng)科學(xué)的最尖端突破

視野直擊 Nature, Science, Cell 正刊 及核心子刊與頂級大刊

每日速遞「深度解讀」與「前沿快訊」

科研是一場探索未知的長跑，但你無需獨(dú)行。歡迎加入PsyBrain 學(xué)術(shù)社群，和一群懂你的同行，共同丈量腦與心智的無垠前沿。

點擊卡片進(jìn)群，歡迎你的到來

一鍵關(guān)注，點亮星標(biāo) ? 前沿不走丟！

一鍵分享，讓更多人了解前沿