女?huà)z.skill發(fā)布一周，GitHub star破了9000+

昨天天接受新京報(bào)記者采訪的時(shí)候，她問(wèn)我這個(gè)skill花了多長(zhǎng)時(shí)間制作完成的，我有點(diǎn)不好意思的說(shuō)實(shí)際完成初步設(shè)計(jì)的過(guò)程只有2-3小時(shí)，但其實(shí)在這個(gè)過(guò)程中經(jīng)過(guò)了無(wú)比多輪的迭代，而這個(gè)迭代單純靠我自己完全沒(méi)能力做到。

那...是怎么做到的呢？

其實(shí)就是在做了50多個(gè)自己日常使用的skill之后，我設(shè)計(jì)了一套讓Skill可以自主完成進(jìn)化，提升質(zhì)量的系統(tǒng)。

一套進(jìn)化體系。

我的53個(gè)skill是在不同時(shí)間、不同狀態(tài)下寫(xiě)的。有些是凌晨三點(diǎn)靈感來(lái)了一口氣寫(xiě)完的，有些是趕著deadline匆忙搭的。有些skill我用了上百次，迭代到第七八版。

這種狀態(tài)在skill只有十幾個(gè)的時(shí)候還能靠手感維護(hù)。但過(guò)了50個(gè)之后，手動(dòng)維護(hù)就崩了。你不知道哪個(gè)skill的frontmatter寫(xiě)得不規(guī)范，哪個(gè)skill的工作流有步驟缺失，哪個(gè)skill看著結(jié)構(gòu)完美但跑出來(lái)的效果其實(shí)很差。

我需要一個(gè)系統(tǒng)。

一個(gè)能自動(dòng)評(píng)估所有skill質(zhì)量、找出短板、提出改進(jìn)、驗(yàn)證效果、只保留有用修改的系統(tǒng)。

然后我刷到了Karpathy的autoresearch。

Karpathy那個(gè)7萬(wàn)star的項(xiàng)目，做了一件什么事

今年3月，Karpathy開(kāi)源了autoresearch。一個(gè)月不到，GitHub上71k+ ?

它做的事情用一句話就能說(shuō)清楚：讓AI自己跑實(shí)驗(yàn)、自己評(píng)估結(jié)果、只保留有改進(jìn)的修改。一個(gè)只能向前轉(zhuǎn)的棘輪。

具體來(lái)說(shuō)：AI agent自動(dòng)修改訓(xùn)練代碼，跑5分鐘看loss有沒(méi)有下降，降了就保留這次修改（git commit），沒(méi)降就回滾（git revert）。每小時(shí)大約12個(gè)實(shí)驗(yàn)，一晚上能跑100個(gè)。

Shopify的CEO拿它優(yōu)化模板引擎，性能提升了53%。

看到這個(gè)項(xiàng)目的時(shí)候我愣了一下。這個(gè)模式，不只能用來(lái)訓(xùn)練模型。它能用來(lái)優(yōu)化任何有明確評(píng)估標(biāo)準(zhǔn)的東西。

比如我的skill。

其實(shí)自然界早就在用這套邏輯了。達(dá)爾文的進(jìn)化論本質(zhì)上就是一個(gè)棘輪：隨機(jī)變異產(chǎn)生候選方案，自然選擇保留有利的、淘汰有害的，時(shí)間足夠長(zhǎng)，草履蟲(chóng)就變成了人。進(jìn)化沒(méi)有設(shè)計(jì)師，沒(méi)有路線圖，它唯一的規(guī)則就是「活下來(lái)的留下，死掉的消失」。

Karpathy做的事情，是把進(jìn)化論工程化了。autoresearch里每一次實(shí)驗(yàn)就是一次隨機(jī)變異，loss下降就是「活下來(lái)」，git revert就是「被自然淘汰」。你猜怎么著，這個(gè)邏輯放到skill上也完全成立。

所以我給這個(gè)skill取名叫達(dá)爾文。

我把a(bǔ)utoresearch的思路搬到了Skill優(yōu)化上

達(dá)爾文.skill的核心邏輯和autoresearch完全一樣，只是換了優(yōu)化對(duì)象。autoresearch優(yōu)化的是訓(xùn)練代碼，達(dá)爾文優(yōu)化的是SKILL.md。autoresearch用loss判斷好壞，達(dá)爾文用一套8維度的加權(quán)總分。兩者都用git做版本控制：改好了commit，改差了revert。

但有一個(gè)關(guān)鍵區(qū)別。

autoresearch是全自主的。loss是一個(gè)數(shù)字，大就是大，小就是小，機(jī)器自己比就行。

Skill的「好壞」沒(méi)這么簡(jiǎn)單。一個(gè)skill跑出來(lái)的結(jié)果好不好，有時(shí)候需要人來(lái)判斷。所以我加了一個(gè)autoresearch里沒(méi)有的東西：Human in the Loop（人在回路）。每個(gè)skill優(yōu)化完后系統(tǒng)會(huì)暫停，把改動(dòng)的diff、分?jǐn)?shù)變化、測(cè)試輸出的對(duì)比擺出來(lái)，等我看過(guò)確認(rèn)了才繼續(xù)下一個(gè)。

這不是偷懶。有些判斷，目前還是人比機(jī)器靠譜。

五條原則，每條都是踩坑踩出來(lái)的

寫(xiě)這個(gè)skill之前，我已經(jīng)手動(dòng)優(yōu)化過(guò)38輪skill了。38次git commit，每次都是手動(dòng)讀skill、手動(dòng)找問(wèn)題、手動(dòng)改、手動(dòng)驗(yàn)證。

這38次下來(lái)，我摸出了5條原則：

01 單一可編輯資產(chǎn)。每次只改一個(gè)SKILL.md。我早期犯過(guò)一次錯(cuò)：同時(shí)改了7個(gè)perspective skill的觸發(fā)詞和中文表達(dá)適配，結(jié)果有些變好了有些反而變差了，完全沒(méi)法判斷是哪個(gè)改動(dòng)導(dǎo)致的。從那以后，一次一個(gè)，絕不貪多。

02 雙重評(píng)估。 光看skill寫(xiě)得規(guī)不規(guī)范是不夠的。我有個(gè)skill，格式完美、步驟清晰、frontmatter無(wú)可挑剔，但實(shí)際跑出來(lái)的效果還不如不加skill。純結(jié)構(gòu)審查發(fā)現(xiàn)不了這種問(wèn)題。所以評(píng)估必須分兩層：結(jié)構(gòu)評(píng)分看「寫(xiě)得對(duì)不對(duì)」，實(shí)測(cè)評(píng)分看「用起來(lái)好不好」。

03 棘輪機(jī)制。 分?jǐn)?shù)只能升不能降。改完之后比改前差了？git revert，當(dāng)這次修改沒(méi)發(fā)生過(guò)。這是autoresearch最優(yōu)雅的設(shè)計(jì)，我直接搬過(guò)來(lái)了。

04 獨(dú)立評(píng)分。 修改skill的agent不能是評(píng)分的agent。自己改完自己評(píng)，那不叫評(píng)估，叫年終自評(píng)里給自己打「超出預(yù)期」。必須讓一個(gè)完全獨(dú)立的子agent來(lái)打分。

你可能覺(jué)得這條多此一舉。讓改skill的agent自己評(píng)一下不就行了？2001年安然暴雷的時(shí)候，全世界才反應(yīng)過(guò)來(lái)一件事：安然的審計(jì)師安達(dá)信，同時(shí)也是安然的咨詢顧問(wèn)。自己給自己審計(jì)，審了個(gè)寂寞。后來(lái)美國(guó)出了薩班斯法案，核心就一條：審計(jì)獨(dú)立性。做賬的和查賬的必須是兩撥人。道理放到AI agent身上一模一樣。改skill的agent對(duì)自己的修改有天然的認(rèn)知偏差，它會(huì)傾向于覺(jué)得自己改得不錯(cuò)。讓另一個(gè)完全沒(méi)參與修改過(guò)程的agent來(lái)評(píng)分，才能得到一個(gè)冷靜的數(shù)字。

05 人在回路。 前面說(shuō)過(guò)了。機(jī)器做初篩，人做終審。

8個(gè)維度，100分制

怎么給一個(gè)skill打分？我設(shè)計(jì)了8個(gè)維度，分成兩組。

結(jié)構(gòu)維度占60分，考察6個(gè)方面：Frontmatter寫(xiě)得規(guī)不規(guī)范（8分），工作流是否步驟清晰（15分），有沒(méi)有處理異常情況（10分），關(guān)鍵決策前有沒(méi)有讓用戶確認(rèn)（7分），指令夠不夠具體到可以直接執(zhí)行（15分），引用的文件路徑是否真的存在（5分）。

效果維度占40分，只考察2個(gè)方面：整體架構(gòu)是否合理（15分），以及最關(guān)鍵的，拿真實(shí)的測(cè)試prompt跑一遍，輸出質(zhì)量到底怎么樣（25分）。

為什么實(shí)測(cè)表現(xiàn)的權(quán)重最高？因?yàn)橐粋€(gè)skill可以在結(jié)構(gòu)上拿滿分，但跑出來(lái)一坨。反過(guò)來(lái)，一個(gè)寫(xiě)得粗糙但跑起來(lái)特別好用的skill，其實(shí)比格式完美但沒(méi)用的skill有價(jià)值得多。

權(quán)重分配就是我的態(tài)度：實(shí)際效果比紙面規(guī)范重要。

優(yōu)化循環(huán)長(zhǎng)什么樣

整個(gè)過(guò)程分5個(gè)階段，但只有1個(gè)是核心。

前面的準(zhǔn)備工作比較直接：初始化環(huán)境、為每個(gè)skill設(shè)計(jì)測(cè)試prompt、跑一遍基線評(píng)估建立起點(diǎn)分?jǐn)?shù)。這些是Phase 0到Phase 1。

Phase 2是整個(gè)系統(tǒng)的心臟。它做的事情很簡(jiǎn)單：找到這個(gè)skill得分最低的維度，針對(duì)它改一個(gè)具體的東西，改完讓獨(dú)立子agent重新打分。漲了就留，沒(méi)漲就revert。每個(gè)skill最多跑3輪。

Phase 3是匯總，輸出一張Before/After的分?jǐn)?shù)表。

每個(gè)階段之間都有人類確認(rèn)的檢查點(diǎn)。系統(tǒng)不會(huì)悶頭跑完所有步驟。

棘輪：我最喜歡的部分

舉個(gè)例子。假設(shè)一個(gè)skill的基線分?jǐn)?shù)是72。

第1輪優(yōu)化后，分?jǐn)?shù)漲到78。保留。
第2輪優(yōu)化后，分?jǐn)?shù)反而降到75。比當(dāng)前最優(yōu)的78還低?；貪L。有效基線還是78。
第3輪換個(gè)方向優(yōu)化，分?jǐn)?shù)到84。保留。
第4輪繼續(xù)，到87。保留。

最終：72 → 87，凈提升15分。中間那次失敗的嘗試被干凈地回滾了，不會(huì)留下任何痕跡。

棘輪的美感就在這里：你可以放心做實(shí)驗(yàn)，失敗不會(huì)傷害你。只有成功會(huì)被保留。

我后來(lái)想了想，棘輪可能是人類發(fā)明過(guò)的最被低估的結(jié)構(gòu)?？茖W(xué)是一個(gè)棘輪：你可以提出錯(cuò)誤的假說(shuō)，但一旦一個(gè)理論被證偽，它就永遠(yuǎn)出局了，人類的知識(shí)總量只會(huì)增加。民主制度設(shè)計(jì)里也藏著棘輪：權(quán)利一旦被寫(xiě)進(jìn)憲法，收回去的成本就極高。甚至你的git歷史本身就是一個(gè)棘輪：每個(gè)commit都是一個(gè)存檔點(diǎn)，你永遠(yuǎn)可以回到任何一個(gè)過(guò)去的好狀態(tài)。達(dá)爾文.skill只是把這個(gè)古老的結(jié)構(gòu)，用在了一個(gè)很新的地方。

實(shí)際跑了一下，什么效果

我拿自己的skill做了實(shí)驗(yàn)。38次git commit的優(yōu)化記錄都在倉(cāng)庫(kù)里，挑幾個(gè)典型的說(shuō)說(shuō)。

huashu-slides（做PPT的skill），5輪優(yōu)化，是改動(dòng)最多的一個(gè)。第一輪發(fā)現(xiàn)最大的問(wèn)題是style-samples引用了一個(gè)不存在的目錄，直接導(dǎo)致skill執(zhí)行出錯(cuò)，改成可選引用后立刻提升。第二輪補(bǔ)充了Path B的錯(cuò)誤處理和生成后必檢清單。第三輪做了5種風(fēng)格的實(shí)測(cè)，給每種風(fēng)格標(biāo)注了噪點(diǎn)風(fēng)險(xiǎn)分級(jí)。第四輪是防泄漏鐵律，把所有base style精簡(jiǎn)為短模板。第五輪四項(xiàng)并行沖刺，目標(biāo)90分。5輪下來(lái)，從一個(gè)「能用但隨時(shí)可能翻車」的skill變成了「你可以去泡杯咖啡回來(lái)看結(jié)果」級(jí)別的可靠。

comedy（脫口秀編劇skill），優(yōu)化前的問(wèn)題很典型：風(fēng)格選擇沒(méi)有結(jié)構(gòu)，每次調(diào)用都要重新描述想要什么風(fēng)格，跟每次去理發(fā)店都要從頭解釋「就上次那樣」一個(gè)道理。優(yōu)化后加了風(fēng)格選擇三方案制、推薦矩陣、反默認(rèn)規(guī)則，還補(bǔ)了2個(gè)新風(fēng)格的demo。一輪搞定，改動(dòng)不大但效果很明顯。

7個(gè)perspective skill（芒格、費(fèi)曼、塔勒布、馬斯克、道金斯、納瓦爾、芒格），這是一次批量?jī)?yōu)化。先統(tǒng)一做了一輪角色扮演規(guī)則和身份卡的補(bǔ)充。第二輪擴(kuò)展Frontmatter觸發(fā)詞和調(diào)研來(lái)源。第三輪添加示例對(duì)話提升實(shí)測(cè)表現(xiàn)。第四輪收緊觸發(fā)詞、加中文表達(dá)DNA適配。第五輪把參考內(nèi)容拆分到references目錄。5輪下來(lái)，每個(gè)perspective skill從「能用」變成了「風(fēng)格穩(wěn)定、不會(huì)漂移、有自檢清單」。

但更重要的是過(guò)程中發(fā)現(xiàn)的共性問(wèn)題。很多skill都缺少邊界條件處理（如果用戶給了一個(gè)模糊的輸入怎么辦？），很多skill的frontmatter描述太短（Claude不知道什么時(shí)候該觸發(fā)這個(gè)skill），很多skill引用了不存在的文件路徑。這些是手動(dòng)維護(hù)時(shí)很難發(fā)現(xiàn)的模式。

和Anthropic官方skill-creator的區(qū)別

說(shuō)到skill優(yōu)化，可能有人會(huì)問(wèn)：Anthropic官方不是有個(gè)skill-creator嗎？

確實(shí)有，我也裝了，經(jīng)常用。skill-creator是一個(gè)很好的工具，它的流程是：捕獲意圖→訪談→寫(xiě)SKILL.md→跑測(cè)試→根據(jù)反饋迭代→優(yōu)化觸發(fā)描述。對(duì)于從零開(kāi)始創(chuàng)建一個(gè)新skill來(lái)說(shuō)，skill-creator是最佳選擇。

但skill-creator解決的是單個(gè)skill的創(chuàng)建和調(diào)優(yōu)。它假設(shè)你坐在電腦前，一對(duì)一地和它協(xié)作打磨一個(gè)skill。

達(dá)爾文.skill解決的是另一個(gè)問(wèn)題：當(dāng)你有53個(gè)skill的時(shí)候，怎么系統(tǒng)性地發(fā)現(xiàn)哪些該改、改什么、改了之后有沒(méi)有變好。 它是批量的、自主的、有棘輪保護(hù)的。

兩者的關(guān)系更像是「手工裁縫」和「質(zhì)量管理體系」。裁縫做衣服，QA確保每件衣服都達(dá)標(biāo)。你不能讓裁縫自己當(dāng)QA，否則每件衣服都是「設(shè)計(jì)靈感」，沒(méi)有一件叫「質(zhì)量問(wèn)題」。

事實(shí)上，我在達(dá)爾文的評(píng)估體系里就參考了skill-creator的一些標(biāo)準(zhǔn)，比如觸發(fā)描述的覆蓋度、測(cè)試prompt的設(shè)計(jì)方法。

女?huà)z造人，達(dá)爾文進(jìn)化

女?huà)z.skill解決的是「從0到1」的問(wèn)題：輸入一個(gè)人名，輸出一個(gè)可運(yùn)行的思維框架。它是造人的。

達(dá)爾文.skill解決的是「從1到N」的問(wèn)題：你已經(jīng)有了一堆skill，怎么讓它們?nèi)甲兊酶茫克亲屗腥诉M(jìn)化的。

如果女?huà)z是一個(gè)工廠，達(dá)爾文就是這個(gè)工廠的質(zhì)檢+持續(xù)改進(jìn)系統(tǒng)。

其實(shí)達(dá)爾文的機(jī)制已經(jīng)融入了女?huà)z的生產(chǎn)流程。如果你用過(guò)女?huà)z.skill，你可能注意到它生成完一個(gè)skill之后不會(huì)直接交給你，而是會(huì)自動(dòng)啟動(dòng)一個(gè)「Phase 5雙Agent精煉」。這個(gè)精煉階段里，Agent A用的就是達(dá)爾文的8維度評(píng)估體系（工作流清晰度、邊界條件、檢查點(diǎn)設(shè)計(jì)、指令具體性），Agent B用的是skill-creator視角的觸發(fā)條件評(píng)審。兩個(gè)Agent并行跑完，主Agent綜合報(bào)告，應(yīng)用改進(jìn)，再交付。

這也是為什么女?huà)z生成的skill質(zhì)量普遍還不錯(cuò)的原因之一。出廠就經(jīng)過(guò)了一輪進(jìn)化。

它們形成了一個(gè)完整的閉環(huán)：女?huà)z造skill，達(dá)爾文磨skill。造完就優(yōu)化，優(yōu)化發(fā)現(xiàn)的模式又反哺造的過(guò)程。

這是一個(gè)meta級(jí)別的基礎(chǔ)設(shè)施。有了它，整個(gè)skill生態(tài)的質(zhì)量有了底線。

和autoresearch的關(guān)系

我想專門說(shuō)一下這件事。

達(dá)爾文.skill的設(shè)計(jì)100%受Karpathy autoresearch啟發(fā)。棘輪機(jī)制、單一資產(chǎn)優(yōu)化、自主實(shí)驗(yàn)循環(huán)，這些核心概念都來(lái)自autoresearch。我做的工作是把它從模型訓(xùn)練的領(lǐng)域搬到了Skill優(yōu)化的領(lǐng)域，并且加上了Human in the Loop（人在回路）和雙重評(píng)估兩個(gè)適配。

autoresearch證明了一個(gè)優(yōu)雅的普適模式：對(duì)任何有明確評(píng)估標(biāo)準(zhǔn)的資產(chǎn)，你都可以讓AI自主實(shí)驗(yàn)、自主迭代、只保留改進(jìn)。

模型訓(xùn)練可以。論文寫(xiě)作可以。Skill優(yōu)化也可以。

這個(gè)模式的遷移性極強(qiáng)。你有任何需要持續(xù)優(yōu)化的東西，都值得想想能不能套上這個(gè)框架。

開(kāi)源

達(dá)爾文.skill今天開(kāi)源了。

跑在自己的Skill前面

我之前寫(xiě)過(guò)一篇「把同事作為skill」，里面有句話：「把自己的工作流程Skill化的人，恰恰是最不容易被Skill替代的人。因?yàn)樗阎貜?fù)的部分交給了Skill，自己騰出手來(lái)去想新的東西。他永遠(yuǎn)跑在自己的Skill前面。」

達(dá)爾文.skill讓這件事又往前推了一步。以前是你把流程變成skill，然后自己去做更有趣的事?，F(xiàn)在連「讓skill變得更好」這件事本身，也可以交給一個(gè)skill來(lái)做了。

我的那些skill處理的是我已經(jīng)想清楚的部分，是標(biāo)準(zhǔn)化了的、可重復(fù)的流程。調(diào)研怎么做，配圖怎么生成，排版怎么走，這些它們自己流轉(zhuǎn)自己跑。而我在這上面干的事情，是思考和迭代。達(dá)爾文做的，是把「迭代」這件事也自動(dòng)化了一層。

不過(guò)說(shuō)到底，達(dá)爾文.skill解決的問(wèn)題比skill優(yōu)化本身更大。它驗(yàn)證了一個(gè)我覺(jué)得很重要的直覺(jué)：當(dāng)你給任何創(chuàng)造性工作加上「只保留改進(jìn)」的約束時(shí)，時(shí)間就站在了你這邊。 你不需要每一步都走對(duì)，你只需要確保走錯(cuò)的那步不留痕跡。

這個(gè)道理適用于skill，也適用于寫(xiě)作、做產(chǎn)品、甚至過(guò)日子。

安裝

GitHub: https://github.com/alchaincyf/darwin-skill

npx skills add alchaincyf/darwin-skill

裝完在Claude Code里說(shuō)「優(yōu)化所有skills」或者「優(yōu)化某個(gè)skill」就行。

如果你和我一樣，手里有一堆skill但不確定它們的質(zhì)量到底怎么樣，這個(gè)工具會(huì)給你一個(gè)清晰的數(shù)字。