新智元報(bào)道

編輯：犀牛

【新智元導(dǎo)讀】Karpathy讓Agent通宵跑了110次實(shí)驗(yàn)把模型練強(qiáng)后說了句「去桑拿了」，然后開源630行代碼的autoresearch，一塊GPU就能擁有一個(gè)永不下班的AI研究實(shí)驗(yàn)室——人類研究員的新工作，是寫好提示詞然后去蒸桑拿。

剛剛，Karpathy在x上發(fā)了一條讓整個(gè)AI圈炸鍋的帖子：

ah yes, this is what post-agi feels like :) i didn't touch anything. brb sauna

啊對(duì)，這就是后AGI的感覺 :) 我什么都沒碰。先去蒸桑拿了。

什么樣的技術(shù)突破，能讓這位AI大神如此淡定地撂下一句話就去蒸桑拿？

答案是：他的AI Agent，在他睡覺的12個(gè)小時(shí)里，自主提交了110次代碼變更，把一個(gè)語言模型的驗(yàn)證損失（val loss）從0.862415一路壓到了0.858039——而且沒有增加一秒鐘的訓(xùn)練時(shí)間。

更炸裂的是，就在幾天后，Karpathy把這套「AI自己搞科研」的方法論打包成了一個(gè)僅630行代碼的開源項(xiàng)目——autoresearch，扔到了GitHub上。

項(xiàng)目地址：https://github.com/karpathy/autoresearch

上線剛幾個(gè)小時(shí)，就已沖到了3k星標(biāo)！

Karpathy表示，任何人只要有一塊GPU，就能在一夜之間運(yùn)行一個(gè)AI研究實(shí)驗(yàn)室。

這兩件事疊在一起，構(gòu)成了一幅前所未有的畫面：AI不再只是人類的工具，它開始自己優(yōu)化自己了。

而人類研究員的新工作，變成了——寫一份提示詞，然后去蒸桑拿。

nanochat

100美元訓(xùn)一個(gè)ChatGPT

故事要從Karpathy的nanochat項(xiàng)目說起。

nanochat是Karpathy在2025年10月開源的一個(gè)項(xiàng)目，口號(hào)相當(dāng)炸裂——「100美元能訓(xùn)練的最好的ChatGPT」。

nanochat項(xiàng)目地址：https://github.com/karpathy/nanochat

它用大約8000行干凈的PyTorch代碼，實(shí)現(xiàn)了一個(gè)完整的、從零開始的語言模型訓(xùn)練流水線：分詞、預(yù)訓(xùn)練、微調(diào)、強(qiáng)化學(xué)習(xí)、推理、Web UI，一條龍全包。

在一個(gè)8塊H100 GPU的節(jié)點(diǎn)上，花4個(gè)小時(shí)左右，你就能訓(xùn)出一個(gè)可以跟你聊天的小型ChatGPT。

但nanochat真正讓人興奮的地方，不在于它有多便宜，而在于它有多「可迭代」。

整個(gè)項(xiàng)目圍繞一個(gè)核心參數(shù)——Transformer的深度（depth）。

你只要擰這一個(gè)旋鈕，其他所有超參數(shù)（寬度、頭數(shù)、學(xué)習(xí)率、訓(xùn)練時(shí)長、權(quán)重衰減……）都會(huì)自動(dòng)調(diào)整到計(jì)算最優(yōu)。

換句話說，這是一個(gè)極簡(jiǎn)但極其精密的訓(xùn)練系統(tǒng)，天然適合用來做實(shí)驗(yàn)。

昨天，nanochat取得了一個(gè)里程碑式的進(jìn)展：在單個(gè)8×H100節(jié)點(diǎn)上，僅用2小時(shí)就能訓(xùn)出GPT-2級(jí)別能力的模型。

一個(gè)月前這個(gè)數(shù)字還是3小時(shí)。

但真正的重頭戲來了——Karpathy開始讓AI Agent自動(dòng)迭代nanochat的訓(xùn)練代碼。

具體怎么玩的？

他給AI代理寫了一份大約120行的Markdown文檔，相當(dāng)于一份「任務(wù)說明書」，告訴AI：這個(gè)項(xiàng)目是干什么的，什么樣的改進(jìn)算好的（驗(yàn)證損失更低），什么樣的改進(jìn)不能接受（訓(xùn)練時(shí)間變長、內(nèi)存爆炸、代碼變得太臃腫）。

然后，AI Agent就開始在一個(gè)Git特性分支上自主工作：讀代碼、想主意、改代碼、跑訓(xùn)練、看結(jié)果。

如果效果變好，就合并到主分支；如果效果變差或者訓(xùn)練變慢，就丟棄，重新來過。

結(jié)果呢？

12個(gè)小時(shí)，110次代碼提交，d12模型的驗(yàn)證損失從0.862降到了0.858，降了0.004——對(duì)于語言模型來說，這是一個(gè)實(shí)實(shí)在在的進(jìn)步，而且是在不增加任何訓(xùn)練時(shí)間的前提下取得的。

有一個(gè)特別有意思的細(xì)節(jié)：其中有一次提交，AI代理確實(shí)把val loss降下來了，但訓(xùn)練時(shí)間變長了，于是被系統(tǒng)自動(dòng)拒絕了。

Karpathy設(shè)的規(guī)則很嚴(yán)格——要么改善損失，要么改善速度，要么兩個(gè)都改善，不能拆東墻補(bǔ)西墻。

更有意思的是Karpathy自己的反思。

他說，在過去兩周里，他花在「調(diào)優(yōu)AI代理的工作流程」上的時(shí)間，幾乎比他直接改nanochat代碼的時(shí)間還多。

他迭代的不是代碼本身，而是「讓AI更好地迭代代碼的那套系統(tǒng)」——一個(gè)「元優(yōu)化」的過程。

這意味著人類研究員的角色正在發(fā)生質(zhì)變：從「親手寫代碼做實(shí)驗(yàn)」，變成了「設(shè)計(jì)一個(gè)能讓AI自動(dòng)做實(shí)驗(yàn)的系統(tǒng)」。

Karpathy把這種感覺稱為「后AGI（post-AGI）」。

當(dāng)然，他自己也說這個(gè)說法半開玩笑——今天的AI代理在實(shí)現(xiàn)想法方面已經(jīng)相當(dāng)厲害，但在提出創(chuàng)造性的新想法方面還差得遠(yuǎn)，目前更接近于一個(gè)自動(dòng)化的超參數(shù)調(diào)優(yōu)工具，而不是一個(gè)真正的研究員。

但他緊接著說了一句意味深長的話：「隨著AI能力的提升，這條路的方向是清楚的——AI在自主改進(jìn)下一代自己。」

autoresearch

630行代碼，一塊GPU，5分鐘一輪實(shí)驗(yàn)

如果說nanochat上的AI代理自動(dòng)迭代是一次「概念驗(yàn)證」，那么autoresearch就是Karpathy把這個(gè)概念打包成了一個(gè)人人可用的開源工具。

Karpathy正式開源了autoresearch項(xiàng)目。

他給這個(gè)項(xiàng)目寫了一段極具科幻感的序言：

曾幾何時(shí)，前沿AI研究還靠著一群碳水化合物計(jì)算機(jī)——他們?cè)诔燥埶X摸魚的間隙，偶爾通過組會(huì)儀式用聲波互相吼兩嗓子，就這么推進(jìn)著人類的技術(shù)邊界。

那個(gè)年代已經(jīng)一去不返。如今，研究完全被AI智能體接管……據(jù)說代碼已經(jīng)迭代到了第10205代，但這數(shù)字真?zhèn)我褵o從考證——那些代碼早已進(jìn)化為能自我修改的二進(jìn)制生命，遠(yuǎn)遠(yuǎn)超出了人類的認(rèn)知范疇。

這個(gè)代碼倉庫，正是這一切故事的起點(diǎn)。

雖然這段話寫的是「未來愿景」，但autoresearch項(xiàng)目本身的設(shè)計(jì)，已經(jīng)在認(rèn)真地朝著這個(gè)方向邁步。

autoresearch本質(zhì)上是nanochat的「精簡(jiǎn)單機(jī)版」。

Karpathy把大模型訓(xùn)練的核心代碼壓縮到了一個(gè)約630行的Python單文件里，在單塊GPU上就能跑。

整個(gè)項(xiàng)目只有三個(gè)核心文件：

prepare.py—— 數(shù)據(jù)準(zhǔn)備：下載訓(xùn)練數(shù)據(jù)、訓(xùn)練BPE分詞器，還有運(yùn)行時(shí)需要的數(shù)據(jù)加載器和評(píng)估工具。這個(gè)文件是固定的，AI不會(huì)碰它。

train.py—— 訓(xùn)練代碼：包含完整的GPT模型定義、優(yōu)化器（Muon + AdamW）和訓(xùn)練循環(huán)。從模型架構(gòu)、超參數(shù)、優(yōu)化器到批量大小，AI代理可以修改這里的一切。

program.md—— 人類寫給AI的「指令書」：用自然語言描述研究目標(biāo)和約束條件，人類研究員通過編輯這個(gè)文件來引導(dǎo)AI的工作方向。

項(xiàng)目的核心機(jī)制堪稱精妙——固定5分鐘訓(xùn)練時(shí)長。

不管你用的是什么GPU，不管AI代理怎么改模型大小、批量大小、架構(gòu)設(shè)計(jì)，每一輪訓(xùn)練都精確控制在5分鐘。

這個(gè)設(shè)計(jì)有兩個(gè)好處：第一，所有實(shí)驗(yàn)結(jié)果直接可比，因?yàn)橛?jì)算預(yù)算是固定的；第二，AI代理會(huì)自動(dòng)為你的特定硬件找到最優(yōu)配置。

你一晚上睡8個(gè)小時(shí)，AI代理大約能跑100輪實(shí)驗(yàn)。第二天早上起來，你面前擺著的是一份詳細(xì)的實(shí)驗(yàn)日志，和一個(gè)（大概率）比昨晚更好的模型。

整個(gè)工作流被Karpathy概括為兩句話：

• 人類負(fù)責(zé)迭代提示詞（.md文件）

• AI代理負(fù)責(zé)迭代訓(xùn)練代碼（.py文件）

AI代理在一個(gè)Git特性分支上自主循環(huán)運(yùn)行：改代碼→訓(xùn)練5分鐘→檢查分?jǐn)?shù)→如果更好就提交→如果更差就回滾→繼續(xù)改。

每個(gè)提交都是一次經(jīng)過驗(yàn)證的改進(jìn)，像搭積木一樣一層層往上壘。

而Karpathy為這個(gè)項(xiàng)目設(shè)定的終極目標(biāo)，說出來有點(diǎn)瘋狂：設(shè)計(jì)出能夠無限期、無需任何人工干預(yù)、以最快速度取得研究進(jìn)展的AIAgent。

一塊GPU，一個(gè)文件，一個(gè)指標(biāo)——這就是整個(gè)實(shí)驗(yàn)環(huán)境。

從「人做實(shí)驗(yàn)」

到「人設(shè)計(jì)做實(shí)驗(yàn)的AI」

傳統(tǒng)的AI研究是這樣的：一個(gè)博士生（或者一群博士生）想到一個(gè)idea，寫代碼實(shí)現(xiàn)，跑實(shí)驗(yàn)，看結(jié)果，改參數(shù)，再跑，再看，周而復(fù)始。

Karpathy自己就說，這基本上是他整個(gè)博士期間做的事情。

一個(gè)idea從提出到驗(yàn)證，可能要花幾天甚至幾周——因?yàn)槿艘燥?，要睡覺，要開組會(huì)，要跟導(dǎo)師battle，要修bug修到懷疑人生。

現(xiàn)在呢？

AI代理不吃飯不睡覺不摸魚不抱怨，它24小時(shí)不停地跑實(shí)驗(yàn)，5分鐘一輪，一晚上100輪。

它不會(huì)因?yàn)檫B續(xù)跑了20次實(shí)驗(yàn)都失敗了就心態(tài)崩了去刷社交媒體——它只會(huì)冷靜地分析結(jié)果，調(diào)整策略，繼續(xù)下一輪。

當(dāng)然，Karpathy自己也坦率地承認(rèn)：AI現(xiàn)在非常擅長實(shí)現(xiàn)想法，但在提出真正創(chuàng)造性的新想法方面還差得遠(yuǎn)。

autoresearch目前的工作方式，更像是一個(gè)極其勤奮且不知疲倦的「超參數(shù)調(diào)優(yōu)工程師」，而不是一個(gè)能提出變革性理論的研究員。

但關(guān)鍵在于——趨勢(shì)是清晰的。

Karpathy說的那句話，幾乎可以作為這個(gè)時(shí)代的注腳：

AI在自主改進(jìn)下一代的自己，人類研究員偶爾往里面扔幾個(gè)想法就行了。

這不是科幻，這是今天正在GitHub上開源運(yùn)行的代碼。

而autoresearch的開源，讓這件事的門檻降到了令人瞠目的程度。

現(xiàn)在，一個(gè)獨(dú)立開發(fā)者，一塊GPU，一份精心寫好的提示詞，就能在一夜之間跑完一個(gè)小型研究實(shí)驗(yàn)室一周的工作量。

這對(duì)整個(gè)AI開發(fā)生態(tài)的潛在影響是深遠(yuǎn)的。

中小團(tuán)隊(duì)甚至個(gè)人開發(fā)者，也能參與到模型訓(xùn)練和優(yōu)化的競(jìng)技場(chǎng)中。

AI研發(fā)的民主化，正在從獲取模型（開源權(quán)重）推進(jìn)到優(yōu)化模型（自動(dòng)化實(shí)驗(yàn)）。

更深層次地看，autoresearch代表的是一種新的「人機(jī)協(xié)作范式」：人類負(fù)責(zé)定義問題、設(shè)定約束、提供方向性的直覺；AI負(fù)責(zé)在巨大的搜索空間里不知疲倦地試錯(cuò)和優(yōu)化。

人類的創(chuàng)造力和AI的執(zhí)行力，第一次以一種系統(tǒng)化的方式結(jié)合在了一起。

去蒸桑拿吧

世界正在被改寫

回到Karpathy那條著名的帖子——「this is what post-agi feels like, brb sauna」。

這句話的妙處在于，它既是一句玩笑，也是一個(gè)真實(shí)的信號(hào)。

當(dāng)一個(gè)AI領(lǐng)域最頂尖的研究者，能夠放心地把模型優(yōu)化的工作交給AI代理，自己去蒸桑拿而不是在電腦前盯著訓(xùn)練日志——這本身就說明了一些深刻的東西。

AI自主工作的能力已經(jīng)跨過了一個(gè)臨界點(diǎn)：它不僅能執(zhí)行明確的指令，還能在一個(gè)真實(shí)的、開放的研究環(huán)境中，自主地發(fā)現(xiàn)改進(jìn)空間并付諸行動(dòng)。

Karpathy為autoresearch寫的那段序言里有一句話特別值得玩味——這個(gè)代碼倉庫，正是這一切故事的起點(diǎn)。

這不是終點(diǎn)，這只是結(jié)束的開始。

AI代理在今天還只是一個(gè)不知疲倦的調(diào)參高手。

但明天，當(dāng)模型能力再上一個(gè)臺(tái)階，當(dāng)它們不僅能實(shí)現(xiàn)想法還能提出想法的時(shí)候——那個(gè)Karpathy筆下「代碼進(jìn)化為自我修改的二進(jìn)制生命」的科幻場(chǎng)景，或許并沒有我們想象的那么遙遠(yuǎn)。

到那時(shí)候，也許我們所有人都該去桑拿了。

你期待嗎。

參考資料：

https://x.com/karpathy/status/2029950967031247231

https://x.com/karpathy/status/2030371219518931079

https://github.com/karpathy/autoresearch