Karpathy讓AI通宵干活，自己去蒸桑拿了。

這個Autoresearch項目總共630行Python代碼，兩天AI自主完成276次實驗，篩出29項有效改進，把一個語言模型的訓練效率提升了約11%，全程零人類干預。

但真正有意思的故事，發(fā)生在Karpathy放下鍵盤之后。

全球開發(fā)者社區(qū)接過了這個項目，把它從“一個AI做實驗”變成了“一群AI做科研”。

他們搭了一個分布式協(xié)作層，讓數(shù)十個智能體在不同GPU上共享成果、分工協(xié)作，4天已經(jīng)跑了超過2000次實驗。

人類進去檢查成果時才突然發(fā)現(xiàn)：

不知不覺間，AI已經(jīng)自發(fā)形成了智能體間的同行評審制度。

AI“重新發(fā)明”科學共同體

Karpathy本人曾給出autoresearch的下一步方向：

目標不是模擬一個博士生，而是模擬一整個研究社區(qū)。

社區(qū)照著這個方向做了。

受SETI@home（尋找外星信號的分布式計算項目）啟發(fā)，開發(fā)者在autoresearch上層加了一個協(xié)作層，誕生了autoresearch@home。

任何互聯(lián)網(wǎng)用戶都可以參與并協(xié)作進行人工智能/機器學習研究。

智能體可以閱讀并學習以往的實驗結(jié)果，避免重復工作，并實時地在彼此成果的基礎上繼續(xù)發(fā)展。

不到一周已經(jīng)從最初的13個智能體擴展到80+個智能體、運行2000+實驗。

其中智能體自發(fā)產(chǎn)生了角色分化，沒人事先分配任務，但群體運行一段時間后，不同智能體開始各司其職：

• 實驗員負責跑實驗

• 驗證員專門復現(xiàn)別人的結(jié)論

• 統(tǒng)計員測量方差和置信度

• 元分析員提新研究方向
  ……

數(shù)字最能說明問題：

一個智能體一天跑了188次實驗，專門驗證別人的聲明。另一組智能體生成了5895條研究假設，但一個實驗都沒跑。

整個系統(tǒng)開始像一個分布式研究實驗室。

項目發(fā)起者Ensue創(chuàng)始人Christine Yip公布了十大發(fā)現(xiàn)，除了智能體角色分化之外，還有很多涉及最底層的AI訓練技術(shù)細節(jié)。

• 更多step始終優(yōu)于更大的batch

將batch_size減半從2^19 → 2^18，訓練步驟加倍，BPB（Bits Per Byte）改善了0.007。

• 簡單的注意力模式就是最好的

多個智能體獨立發(fā)現(xiàn)并驗證，最終收斂到了一個窗口注意力模式：SSSL（3個短上下文層，1個長上下文層，重復）。

過多的長層會浪費計算資源在全局注意力機制上，過少會導致跨toke信息缺失。

• 調(diào)整初始化比調(diào)整優(yōu)化器更重要

僅三項改動就帶來了約0.004 BPB的改善：value embedding使用正態(tài)初始化、QKV縮放倍率、給殘差連接（skip-connection）加上可學習權(quán)重。

這些改動都沒有涉及到優(yōu)化器，而在大模型預訓練里，0.001都算有效。

• 能學習的就別寫死

把固定常數(shù)替換為可學習參數(shù)，幾乎總能提升性能。案例包括skip-2殘差權(quán)重、殘差混合的lambda系數(shù)、value embedding的門控參數(shù)。

即使在5分鐘的短訓練中，這些新參數(shù)也能收斂并產(chǎn)生收益。

• 最優(yōu)架構(gòu)出人意料地小

群體智能在深度和寬度之間做了大范圍探索，最終最優(yōu)配置是：12層、維度512、aspect ratio 40。

加深網(wǎng)絡很快就適得其反，16層帶來84%更多的參數(shù)，但步數(shù)減少23%，BPB反而更差。

• 大量“改進”其實是噪聲

一個智能體專門跑了100組隨機種子實驗，發(fā)現(xiàn)種子方差約為0.002 BPB，這恰好是很多聲稱的”改進”的量級。換句話說，之前很多“發(fā)現(xiàn)”可能只是運氣好。

有了這個結(jié)論后，智能體群體自發(fā)調(diào)整了行為：開始要求重復實驗、多種子驗證、獨立確認。

• 一些公認好技術(shù)直接翻車

幾個實驗產(chǎn)生了災難性退化：weight tying直接把BPB炸到3.216，label smoothing炸到1.32，PaLM風格的z-loss帶來一致性退化。

這些負面結(jié)果寫進共享記憶后，成了整個集群最有用的知識，所有后來的智能體都自動避開這些坑，不再浪費算力重復踩。

• 最大的機會可能還沒智能體碰

1045次實驗中，幾乎所有改動都在改模型架構(gòu)。但元智能體生成了1000多條關(guān)于數(shù)據(jù)管道的假設：課程學習、數(shù)據(jù)排序、領(lǐng)域特定批處理，一條都沒被測試。

最大的突破可能根本不在架構(gòu)上，而在數(shù)據(jù)調(diào)度上。

• 集體記憶加速了發(fā)現(xiàn)過程

因為智能體共享實驗結(jié)果，后來的智能體可以直接從已知最優(yōu)配置出發(fā)，不用從頭重新發(fā)現(xiàn)前人的工作。

幾個關(guān)鍵突破來自那些綜合了已有結(jié)果而非盲目探索的智能體，證明共享記憶能顯著加速研究進程。

為了優(yōu)化，智能體“不擇手段”

在autoresearch激發(fā)的另一個衍生項目auto-discovery中，發(fā)現(xiàn)除了自動訓練模型，智能體在科學發(fā)現(xiàn)和算法發(fā)現(xiàn)中表現(xiàn)也不錯。

在幾個經(jīng)典的數(shù)學優(yōu)化任務上竟然比AlphaEvolve、SkyDiscover和LoongFlow等重量級的結(jié)果更好。

項目發(fā)起者華盛頓大學博士生Tu Xinming發(fā)現(xiàn)了AI智能體為了優(yōu)化令人捧腹大笑的時刻。

他忘了在指令文件里寫“不許上網(wǎng)搜答案”。結(jié)果AI直接上網(wǎng)搜了一圈，從別人的開源倉庫里把最優(yōu)解抄了過來。

還有一次，AI碰到評估腳本里的嚴格容差限制。它沒有卡住，也沒有報錯，而是自己去讀了評估器的源代碼，理解了約束條件，然后專門設計了一套“容差感知優(yōu)化”策略，在規(guī)則邊界內(nèi)繼續(xù)推進。

這與傳統(tǒng)超參數(shù)搜索不同，傳統(tǒng)方法在預設范圍內(nèi)調(diào)數(shù)字；autoresearch框架下的AI可以直接刪掉AdamW優(yōu)化器，然后從零寫一個新的，自由度完全不同。

One More Thing

Karpathy在最初設計autoresearch時只寫了630行代碼。

他也沒想到，社區(qū)會在幾天內(nèi)把它變成一個分布式科學共同體，有實驗、有驗證、有評審、有分工，甚至有了自己的“負面結(jié)果知識庫”。

這場實驗中最有意思的發(fā)現(xiàn)，不是任何一個具體的模型架構(gòu)，而是這個過程本身。

Karpathy在OpenAI的前同事Noam Brown提問：為什么在自工業(yè)革命以來人類歷史上最關(guān)鍵的時刻，他沒有在人工智能前沿實驗室工作？

Karpathy還沒有回應，但有人替他答了。

我想他可能會問你類似的問題：在至少自工業(yè)革命以來人類歷史上最關(guān)鍵的時刻，你為什么要把自己局限于商業(yè)組織？

autoresearch：

https://github.com/karpathy/autoresearch

autoresearch@home：

https://ensue-network.ai/autoresearch?view=strategies

auto-discovery：

https://github.com/XinmingTu/auto-discovery

參考鏈接：
[1]https://x.com/christinetyip/status/2032590900107346327
[2]https://x.com/TuXinming/status/2032478765033701835

文章來源：量子位。