機器之心編輯部

OpenAI 發(fā)起全新挑戰(zhàn)：你，準(zhǔn)備好迎戰(zhàn)了嗎？

這次挑戰(zhàn)，看起來有些反常識。

參與者需要在固定的 FineWeb 數(shù)據(jù)集上盡可能降低驗證損失，同時將模型產(chǎn)物（包含權(quán)重與訓(xùn)練代碼）控制在 16 MB 以內(nèi)，并在 8 張 H100 GPU 上于 10 分鐘內(nèi)完成訓(xùn)練。

這幾乎把所有堆參數(shù)、拼算力的暴力解法一刀封死。剩下的，只有結(jié)構(gòu)設(shè)計、極致壓縮、策略取舍，以及一點點工程上的巧勁。

這便是 OpenAI 發(fā)起的 Model Craft Challenge 「Parameter Golf」項目，一項旨在訓(xùn)練最優(yōu)小模型的挑戰(zhàn)。

Parameter Golf 地址：https://github.com/openai/parameter-golf

從名字也能看出來，它借鑒的是高爾夫球的玩法。高爾夫比賽的目標(biāo)是用最少的桿數(shù)把球打進洞，每一桿都要精打細(xì)算，追求極致的效率和策略。而「Parameter Golf」則是要用最少的參數(shù)完成模型任務(wù)，追求模型壓縮、效率優(yōu)化的技術(shù)極限。

OpenAI 表示，該挑戰(zhàn)面向全球開放，旨在在嚴(yán)格資源約束下探索更高效的預(yù)訓(xùn)練模型。表現(xiàn)突出的參與者可能會被邀請參加 OpenAI 的面試機會，獲勝方案也有可能被公開展示。

賽題設(shè)計上，該挑戰(zhàn)在很大程度上借鑒了 NanoGPT Speedrunning 的思路，即在盡可能短的時間內(nèi)將模型訓(xùn)練到指定的驗證損失水平。在此基礎(chǔ)上，OpenAI 更進一步，將重點放在參數(shù)受限的條件下，探索更高效的模型設(shè)計。這種設(shè)定有望推動研究者嘗試多種創(chuàng)新路徑，包括新型架構(gòu)設(shè)計、壓縮方法以及各類具有創(chuàng)造性的訓(xùn)練與推理策略。

在資源設(shè)定上，OpenAI 原本希望允許參賽者使用任意規(guī)模的算力，但為了降低參與門檻并控制成本，排行榜提交被限制在 8 張 H100 GPU、10 分鐘訓(xùn)練時間以內(nèi)。同時，對于不滿足這一算力限制的方案，OpenAI 也鼓勵大家提交至非記錄板塊，以持續(xù)探索參數(shù)受限條件下的性能上限。

考慮到算力成本問題，OpenAI 還提供了總額 100 萬美元的算力支持，用于幫助參與者啟動和推進模型訓(xùn)練。

申請地址：https://openai.com/index/parameter-golf/

從某種意義上說，這場 Model Craft Challenge 更像一場 AI 界的奧賽。OpenAI 內(nèi)部不少研究員，正是當(dāng)年在數(shù)學(xué)、編程競賽中一路打怪升級出來的。因此，這次挑戰(zhàn)看重的也不是誰資源多，而是誰能在陌生約束下，用創(chuàng)造力和嚴(yán)謹(jǐn)性把問題解到極致。

更現(xiàn)實一點的激勵是：OpenAI 計劃在今年 6 月招一批早期研究人才，重點面向本科生和應(yīng)屆畢業(yè)生，包括各類競賽選手。對于表現(xiàn)亮眼的人來說，這場挑戰(zhàn)本身就可能成為一塊敲門磚。

這次挑戰(zhàn)時間從3 月 18 日持續(xù)到 4 月 30 日

如何參與？

OpenAI 提供了一個 GitHub 倉庫，其中包含基線模型、固定數(shù)據(jù)集以及評測腳本。你可以 fork 這個倉庫，在滿足模型大小和算力限制的前提下進行改進，并提交一個 PR（拉取請求），其中包括你的代碼、日志、成績以及一份簡短說明。審核通過后，你的結(jié)果會被合并，排行榜也會自動更新。你還可以申請來自 Runpod 的免費算力額度（數(shù)量有限，先到先得）。

最后，OpenAI 還回答了一些大家比較關(guān)心的問題。

提問：誰可以參與？

OpenAI：本次挑戰(zhàn)原則上面向年滿 18 歲、且位于 OpenAI 支持地區(qū)的人員開放。完整的參與資格要求可在詳細(xì)的條款與條件中查看。需要注意的是，OpenAI 的員工可以參與，但無法獲得算力額度獎勵。

提問：哪些內(nèi)容會計入 16MB 的產(chǎn)物大?。?/p>

OpenAI：提交的產(chǎn)物大小由兩部分組成：代碼體積 + 壓縮后的模型體積。所有計入大小的代碼必須放在 train_gpt.py 腳本中。上限為十進制的 16MB（即 16,000,000 字節(jié)），而不是 16 MiB（16,777,216 字節(jié)）。在評測過程中，不允許進行任何外部下載、訪問訓(xùn)練數(shù)據(jù)集或發(fā)起網(wǎng)絡(luò)請求。整個產(chǎn)物必須是完全自包含且可復(fù)現(xiàn)的。

提問：評測階段有哪些限制？

OpenAI：我們不會接受在 8 張 H100 GPU 上評測時間超過 10 分鐘的提交（注意：這一限制是在允許的 10 分鐘訓(xùn)練時間之外額外計算的！）。除此之外，評測方式基本不做限制，你可以自由設(shè)計評測流程。和 modded-nanogpt 類似，我們允許在任意序列長度上進行評測。

提問：如果算力用完了，還可以再申請嗎？

OpenAI：可以。你可以通過申請表繼續(xù)申請額外的算力額度，以支持持續(xù)迭代。不過，提交申請并不保證一定會獲得算力支持。我們的目標(biāo)是讓更多人參與，因此算力額度取決于資源是否充足，數(shù)量有限。如果申請通過，相關(guān)算力額度將在幾個工作日內(nèi)通過 Runpod 發(fā)放。

提問：可以多次參與嗎？

OpenAI：可以！你可以提交多次參賽作品。

提問：可以以團隊形式提交結(jié)果嗎？

OpenAI：不可以。提交結(jié)果僅限個人參與。

這場比賽，大家看法并不一樣

對于這場挑戰(zhàn)賽，網(wǎng)友的評論也出現(xiàn)了明顯分歧。

LinkedIn 上有評論稱：「這才是真正識別優(yōu)秀工程師的方式——看他們在內(nèi)存、時間、計算受限時的權(quán)衡，而不是靠資歷?！?/p>

有人因此受到了鼓舞。

但也有人擔(dān)心其他公司效仿，但又學(xué)走了樣，只白嫖方案，不招人。

但這種擔(dān)憂，很快把討論引向了另一個更有意思的問題：既然是模型設(shè)計與優(yōu)化，本身就是 AI 最擅長的領(lǐng)域，那這件事，是否本該交給 AI 來做？也正是這樣，圍繞人類 vs Agent的討論逐漸升溫。

這位 X 用戶認(rèn)為 OpenAI 本應(yīng)已經(jīng)用 AI Agent 全自動做這件事了，而且 Agent 應(yīng)該已經(jīng)比人更強。OpenAI 還在用「人類比賽」的形式做參數(shù)優(yōu)化，有點復(fù)古。

知名AI研究者 Yuchen Jin也表示，這個比賽可以用AI Agent來完成，如果自己有時間，完全可以召喚自己的「自動研究大軍」（AI Agent 集群）去打比賽。

你怎么看，歡迎評論區(qū)留言。