機(jī)器之心編輯部

OpenAI 發(fā)起全新挑戰(zhàn)：你，準(zhǔn)備好迎戰(zhàn)了嗎？

這次挑戰(zhàn)，看起來(lái)有些反常識(shí)。

參與者需要在固定的 FineWeb 數(shù)據(jù)集上盡可能降低驗(yàn)證損失，同時(shí)將模型產(chǎn)物（包含權(quán)重與訓(xùn)練代碼）控制在 16 MB 以內(nèi)，并在 8 張 H100 GPU 上于 10 分鐘內(nèi)完成訓(xùn)練。

這幾乎把所有堆參數(shù)、拼算力的暴力解法一刀封死。剩下的，只有結(jié)構(gòu)設(shè)計(jì)、極致壓縮、策略取舍，以及一點(diǎn)點(diǎn)工程上的巧勁。

這便是 OpenAI 發(fā)起的 Model Craft Challenge 「Parameter Golf」項(xiàng)目，一項(xiàng)旨在訓(xùn)練最優(yōu)小模型的挑戰(zhàn)。

Parameter Golf 地址：https://github.com/openai/parameter-golf

從名字也能看出來(lái)，它借鑒的是高爾夫球的玩法。高爾夫比賽的目標(biāo)是用最少的桿數(shù)把球打進(jìn)洞，每一桿都要精打細(xì)算，追求極致的效率和策略。而「Parameter Golf」則是要用最少的參數(shù)完成模型任務(wù)，追求模型壓縮、效率優(yōu)化的技術(shù)極限。

OpenAI 表示，該挑戰(zhàn)面向全球開(kāi)放，旨在在嚴(yán)格資源約束下探索更高效的預(yù)訓(xùn)練模型。表現(xiàn)突出的參與者可能會(huì)被邀請(qǐng)參加 OpenAI 的面試機(jī)會(huì)，獲勝方案也有可能被公開(kāi)展示。

賽題設(shè)計(jì)上，該挑戰(zhàn)在很大程度上借鑒了 NanoGPT Speedrunning 的思路，即在盡可能短的時(shí)間內(nèi)將模型訓(xùn)練到指定的驗(yàn)證損失水平。在此基礎(chǔ)上，OpenAI 更進(jìn)一步，將重點(diǎn)放在參數(shù)受限的條件下，探索更高效的模型設(shè)計(jì)。這種設(shè)定有望推動(dòng)研究者嘗試多種創(chuàng)新路徑，包括新型架構(gòu)設(shè)計(jì)、壓縮方法以及各類具有創(chuàng)造性的訓(xùn)練與推理策略。

在資源設(shè)定上，OpenAI 原本希望允許參賽者使用任意規(guī)模的算力，但為了降低參與門檻并控制成本，排行榜提交被限制在 8 張 H100 GPU、10 分鐘訓(xùn)練時(shí)間以內(nèi)。同時(shí)，對(duì)于不滿足這一算力限制的方案，OpenAI 也鼓勵(lì)大家提交至非記錄板塊，以持續(xù)探索參數(shù)受限條件下的性能上限。

考慮到算力成本問(wèn)題，OpenAI 還提供了總額 100 萬(wàn)美元的算力支持，用于幫助參與者啟動(dòng)和推進(jìn)模型訓(xùn)練。

申請(qǐng)地址：https://openai.com/index/parameter-golf/

從某種意義上說(shuō)，這場(chǎng) Model Craft Challenge 更像一場(chǎng) AI 界的奧賽。OpenAI 內(nèi)部不少研究員，正是當(dāng)年在數(shù)學(xué)、編程競(jìng)賽中一路打怪升級(jí)出來(lái)的。因此，這次挑戰(zhàn)看重的也不是誰(shuí)資源多，而是誰(shuí)能在陌生約束下，用創(chuàng)造力和嚴(yán)謹(jǐn)性把問(wèn)題解到極致。

更現(xiàn)實(shí)一點(diǎn)的激勵(lì)是：OpenAI 計(jì)劃在今年 6 月招一批早期研究人才，重點(diǎn)面向本科生和應(yīng)屆畢業(yè)生，包括各類競(jìng)賽選手。對(duì)于表現(xiàn)亮眼的人來(lái)說(shuō)，這場(chǎng)挑戰(zhàn)本身就可能成為一塊敲門磚。

這次挑戰(zhàn)時(shí)間從3 月 18 日持續(xù)到 4 月 30 日

如何參與？

OpenAI 提供了一個(gè) GitHub 倉(cāng)庫(kù)，其中包含基線模型、固定數(shù)據(jù)集以及評(píng)測(cè)腳本。你可以 fork 這個(gè)倉(cāng)庫(kù)，在滿足模型大小和算力限制的前提下進(jìn)行改進(jìn)，并提交一個(gè) PR（拉取請(qǐng)求），其中包括你的代碼、日志、成績(jī)以及一份簡(jiǎn)短說(shuō)明。審核通過(guò)后，你的結(jié)果會(huì)被合并，排行榜也會(huì)自動(dòng)更新。你還可以申請(qǐng)來(lái)自 Runpod 的免費(fèi)算力額度（數(shù)量有限，先到先得）。

最后，OpenAI 還回答了一些大家比較關(guān)心的問(wèn)題。

提問(wèn)：誰(shuí)可以參與？

OpenAI：本次挑戰(zhàn)原則上面向年滿 18 歲、且位于 OpenAI 支持地區(qū)的人員開(kāi)放。完整的參與資格要求可在詳細(xì)的條款與條件中查看。需要注意的是，OpenAI 的員工可以參與，但無(wú)法獲得算力額度獎(jiǎng)勵(lì)。

提問(wèn)：哪些內(nèi)容會(huì)計(jì)入 16MB 的產(chǎn)物大??？

OpenAI：提交的產(chǎn)物大小由兩部分組成：代碼體積 + 壓縮后的模型體積。所有計(jì)入大小的代碼必須放在 train_gpt.py 腳本中。上限為十進(jìn)制的 16MB（即 16,000,000 字節(jié)），而不是 16 MiB（16,777,216 字節(jié)）。在評(píng)測(cè)過(guò)程中，不允許進(jìn)行任何外部下載、訪問(wèn)訓(xùn)練數(shù)據(jù)集或發(fā)起網(wǎng)絡(luò)請(qǐng)求。整個(gè)產(chǎn)物必須是完全自包含且可復(fù)現(xiàn)的。

提問(wèn)：評(píng)測(cè)階段有哪些限制？

OpenAI：我們不會(huì)接受在 8 張 H100 GPU 上評(píng)測(cè)時(shí)間超過(guò) 10 分鐘的提交（注意：這一限制是在允許的 10 分鐘訓(xùn)練時(shí)間之外額外計(jì)算的?。?。除此之外，評(píng)測(cè)方式基本不做限制，你可以自由設(shè)計(jì)評(píng)測(cè)流程。和 modded-nanogpt 類似，我們?cè)试S在任意序列長(zhǎng)度上進(jìn)行評(píng)測(cè)。

提問(wèn)：如果算力用完了，還可以再申請(qǐng)嗎？

OpenAI：可以。你可以通過(guò)申請(qǐng)表繼續(xù)申請(qǐng)額外的算力額度，以支持持續(xù)迭代。不過(guò)，提交申請(qǐng)并不保證一定會(huì)獲得算力支持。我們的目標(biāo)是讓更多人參與，因此算力額度取決于資源是否充足，數(shù)量有限。如果申請(qǐng)通過(guò)，相關(guān)算力額度將在幾個(gè)工作日內(nèi)通過(guò) Runpod 發(fā)放。

提問(wèn)：可以多次參與嗎？

OpenAI：可以！你可以提交多次參賽作品。

提問(wèn)：可以以團(tuán)隊(duì)形式提交結(jié)果嗎？

OpenAI：不可以。提交結(jié)果僅限個(gè)人參與。

這場(chǎng)比賽，大家看法并不一樣

對(duì)于這場(chǎng)挑戰(zhàn)賽，網(wǎng)友的評(píng)論也出現(xiàn)了明顯分歧。

LinkedIn 上有評(píng)論稱：「這才是真正識(shí)別優(yōu)秀工程師的方式——看他們?cè)趦?nèi)存、時(shí)間、計(jì)算受限時(shí)的權(quán)衡，而不是靠資歷?！?/p>

有人因此受到了鼓舞。

但也有人擔(dān)心其他公司效仿，但又學(xué)走了樣，只白嫖方案，不招人。

但這種擔(dān)憂，很快把討論引向了另一個(gè)更有意思的問(wèn)題：既然是模型設(shè)計(jì)與優(yōu)化，本身就是 AI 最擅長(zhǎng)的領(lǐng)域，那這件事，是否本該交給 AI 來(lái)做？也正是這樣，圍繞人類 vs Agent的討論逐漸升溫。

這位 X 用戶認(rèn)為 OpenAI 本應(yīng)已經(jīng)用 AI Agent 全自動(dòng)做這件事了，而且 Agent 應(yīng)該已經(jīng)比人更強(qiáng)。OpenAI 還在用「人類比賽」的形式做參數(shù)優(yōu)化，有點(diǎn)復(fù)古。

知名AI研究者 Yuchen Jin也表示，這個(gè)比賽可以用AI Agent來(lái)完成，如果自己有時(shí)間，完全可以召喚自己的「自動(dòng)研究大軍」（AI Agent 集群）去打比賽。

你怎么看，歡迎評(píng)論區(qū)留言。