Andrej Karpathy最近把自家"煉丹爐"的圖紙公開(kāi)了。這套叫autoresearch的系統(tǒng)，能讓Claude Code自己跑實(shí)驗(yàn)、改參數(shù)、迭代模型，全程不需要人盯著。跑上幾天，出來(lái)的模型比原來(lái)強(qiáng)一截。

這事讓我挺坐不住的。我不訓(xùn)大模型，但天天用Claude Code寫代碼。為了讓代碼質(zhì)量穩(wěn)一點(diǎn)、風(fēng)格統(tǒng)一一點(diǎn)，我搞了一堆技能文件、記憶庫(kù)、子代理，像個(gè)給AI套上馬鞍的馴馬師。但說(shuō)實(shí)話，這套"馬鞍"靠拍腦袋評(píng)估——感覺(jué)有用就留著，代碼評(píng)審出問(wèn)題再修。

Karpathy這套玩法，等于給AI配了個(gè)實(shí)驗(yàn)室。能不能借過(guò)來(lái)，讓我的代碼生成流程也搞上科學(xué)實(shí)驗(yàn)？

從煉丹到寫代碼：同一套骨架

先拆解Karpathy的原版設(shè)計(jì)。核心就一條：用可重復(fù)的實(shí)驗(yàn)驅(qū)動(dòng)迭代。你定好指標(biāo)，AI改方案，跑實(shí)驗(yàn)，指標(biāo)漲了留下，跌了滾蛋。循環(huán)往復(fù)，直到撞上天花板。

這套邏輯搬到寫代碼上，理論上完全走得通。一個(gè)典型的開(kāi)發(fā)流程是：接需求→探查→規(guī)劃→執(zhí)行→評(píng)審。把"評(píng)審"換成自動(dòng)化測(cè)試，整個(gè)鏈條就能閉環(huán)。

但有個(gè)前提被很多人忽略：實(shí)驗(yàn)必須是確定性的。同樣的輸入，跑十遍得出十個(gè)結(jié)果，這套系統(tǒng)就崩了。代碼生成比模型訓(xùn)練更難控制——同樣的prompt，溫度參數(shù)稍變，輸出可能天差地別。

我設(shè)計(jì)的測(cè)試框架長(zhǎng)這樣：給定一個(gè)任務(wù)描述，AI生成代碼，和人工寫的參考實(shí)現(xiàn)做對(duì)比。評(píng)分用二進(jìn)制，過(guò)或不過(guò)，不搞模糊地帶。

三個(gè)核心指標(biāo)盯死：

功能正確性——代碼跑不跑得通，輸出對(duì)不對(duì)；

風(fēng)格合規(guī)性——有沒(méi)有按項(xiàng)目規(guī)范來(lái)，命名、結(jié)構(gòu)、注釋全算；

可維護(hù)性——復(fù)雜度、耦合度、測(cè)試覆蓋率，硬數(shù)字說(shuō)話。

每個(gè)指標(biāo)單獨(dú)過(guò)線，才算這一代"存活"。

無(wú)狀態(tài)循環(huán)：每一代都是白紙

Karpathy的原版有個(gè)設(shè)計(jì)我特別喜歡：每次迭代完全無(wú)狀態(tài)。系統(tǒng)不記"上一代為什么這么改"，只保留當(dāng)前最優(yōu)版本和實(shí)驗(yàn)記錄。

這對(duì)寫代碼意味著什么？你的"技能文件"——那些告訴AI怎么規(guī)劃、怎么評(píng)審的prompt——可以被大膽重寫。只要實(shí)驗(yàn)通過(guò)，面目全非也沒(méi)關(guān)系。

我畫了個(gè)循環(huán)圖：

初始化→生成候選技能→跑測(cè)試集→算指標(biāo)→全過(guò)就替換當(dāng)前最優(yōu)→否則丟棄→下一輪。

和遺傳算法有點(diǎn)像，但選擇壓力更直接：不是"適應(yīng)度排序"，是"全過(guò)才晉級(jí)"。

這里藏著個(gè)反直覺(jué)的點(diǎn)：人工覺(jué)得好的改動(dòng)，實(shí)驗(yàn)可能證偽；AI瞎試的改動(dòng)，可能意外通關(guān)。人的直覺(jué)在局部?jī)?yōu)化上還行，全局搜索基本抓瞎。

有個(gè)例子。我手動(dòng)調(diào)prompt時(shí)，總覺(jué)得"讓AI先寫測(cè)試再寫實(shí)現(xiàn)"能提升質(zhì)量。但小規(guī)模實(shí)驗(yàn)里，這條規(guī)則對(duì)通過(guò)率的影響是負(fù)的——可能是測(cè)試寫太死，實(shí)現(xiàn)被捆住了手腳。要沒(méi)實(shí)驗(yàn)數(shù)據(jù)，這條"最佳實(shí)踐"可能就埋進(jìn)技能文件里傳家了。

落地前的三道坎

圖紙畫完，真開(kāi)工才發(fā)現(xiàn)坑不少。

第一，測(cè)試集從哪來(lái)。Karpathy訓(xùn)模型，數(shù)據(jù)管道是現(xiàn)成的。寫代碼的測(cè)試集得自己攢：真實(shí)任務(wù)、參考實(shí)現(xiàn)、驗(yàn)收標(biāo)準(zhǔn)，全是體力活。攢少了覆蓋不夠，攢多了維護(hù)爆炸。

第二，指標(biāo)怎么量化。"風(fēng)格合規(guī)"聽(tīng)著簡(jiǎn)單，落地要拆成可執(zhí)行的lint規(guī)則、AST檢查、甚至AI打分。不同項(xiàng)目規(guī)范不同，技能文件得能感知上下文。

第三，時(shí)間和錢。Karpathy的煉丹爐跑幾天幾夜，燒的是GPU。Claude Code按token計(jì)費(fèi)，跑一輪實(shí)驗(yàn)可能幾百次API調(diào)用。優(yōu)化循環(huán)本身需要優(yōu)化——比如先在小模型上篩方案，大模型做最終驗(yàn)證。

還有個(gè)更深層的問(wèn)題：這套系統(tǒng)優(yōu)化的是"通過(guò)測(cè)試"，不是"寫出好代碼"。測(cè)試集覆蓋不到的角落，AI可能學(xué)會(huì)鉆空子。就像學(xué)生刷題刷出高分，真功夫未必長(zhǎng)進(jìn)。

我目前的妥協(xié)是測(cè)試集里混"隱藏題"——不告訴AI評(píng)分標(biāo)準(zhǔn)，只看結(jié)果。以及定期人工抽檢，把漏網(wǎng)之魚(yú)補(bǔ)進(jìn)測(cè)試集。

從個(gè)人工具到團(tuán)隊(duì)基建

如果這套跑通，想象空間不止于個(gè)人效率。

團(tuán)隊(duì)里每個(gè)項(xiàng)目的代碼規(guī)范、評(píng)審習(xí)慣、技術(shù)債分布，都可以被編碼成測(cè)試集。新成員不用背文檔，AI自動(dòng)對(duì)齊風(fēng)格。老項(xiàng)目的隱性知識(shí)，被顯式固化成可執(zhí)行的指標(biāo)。

更激進(jìn)一點(diǎn)：不同業(yè)務(wù)線的技能文件可以雜交。支付團(tuán)隊(duì)的嚴(yán)謹(jǐn)+增長(zhǎng)團(tuán)隊(duì)的敏捷，實(shí)驗(yàn)說(shuō)了算，不用開(kāi)會(huì)扯皮。

Karpathy的原話是：「讓模型基于實(shí)驗(yàn)結(jié)果自主改進(jìn)訓(xùn)練流程」。我把主語(yǔ)換成"代碼生成流程"，骨架完全適用。

當(dāng)然，現(xiàn)在還是"如果"。我剛把測(cè)試框架的腳手架搭完，第一批實(shí)驗(yàn)還沒(méi)跑完。指標(biāo)波動(dòng)大不大、收斂要多少輪、有沒(méi)有明顯的局部最優(yōu)陷阱——全是未知數(shù)。

有個(gè)細(xì)節(jié)挺有意思。我最初想把"人類評(píng)審時(shí)間"也納進(jìn)指標(biāo)，畢竟代碼最終給人看。但發(fā)現(xiàn)這個(gè)變量太噪：同一段代碼，早上審和晚上審，過(guò)不過(guò)可能全憑審的人心情。最后砍掉了，只留機(jī)器可量化的硬指標(biāo)。

也許這就是自動(dòng)化改進(jìn)的代價(jià)：你必須先放棄一些"人味"，換取可重復(fù)性。等系統(tǒng)跑穩(wěn)了，再想辦法把"人味"加回去。

你寫過(guò)最長(zhǎng)的一套prompt有多少字？有沒(méi)有試過(guò)讓AI自己改自己——不是調(diào)語(yǔ)氣，是改結(jié)構(gòu)、換策略、甚至推翻重來(lái)？