機器之心報道

機器之心編輯部

在過去三年里，AI 領(lǐng)域取得了顯著進步，這一飛躍主要得益于基礎(chǔ)模型的發(fā)展。這些模型在大規(guī)模多模態(tài)數(shù)據(jù)上進行訓(xùn)練，并在公開發(fā)布后取得了巨大成功。

然而，基礎(chǔ)模型的研究需要大量的數(shù)據(jù)、算力和人力資源。這一問題引發(fā)了廣泛關(guān)注與討論，更大的資源獲取是否會直接帶來更有影響力的研究成果，例如更多的論文發(fā)表或更高的引用量。

這一問題的答案對于資源分配策略、研究方向的優(yōu)先級設(shè)定，以及如何保障基礎(chǔ)模型研究的公平與可持續(xù)參與，都具有重要意義。

然而，由于缺乏統(tǒng)一的資源披露標(biāo)準(zhǔn)，研究成本往往難以量化。在缺乏全面公開的情況下，研究經(jīng)費最直觀的衡量方式，通常是購買或租用硬件（如計算集群或芯片）的具體成本。當(dāng)然，研究還包括軟件、云存儲服務(wù)以及專業(yè)平臺等其他開支。

在這些資源中，GPU 是一個尤其關(guān)鍵的指標(biāo)，因為它是一種供應(yīng)量有限、受嚴(yán)格控制的資源。

在本文中，來自 MIT、劍橋等機構(gòu)的研究者研究了硬件資源與 AI/ML 領(lǐng)域頂級會議論文發(fā)表之間的關(guān)系。他們重點考察了兩種計算能力指標(biāo)：GPU 數(shù)量和 TFLOPs（每秒浮點運算次數(shù)），并將這些數(shù)據(jù)與 2022 至 2024 年間共 34,828 篇錄用論文進行關(guān)聯(lián)分析。

本文共識別出 5,889 篇基礎(chǔ)模型相關(guān)論文，并發(fā)現(xiàn) GPU 獲取能力越強，其在八個頂級會議中的論文接收率和引用量也越高。

此外，本文還對 312 篇論文的 229 位作者進行了問卷調(diào)查后發(fā)現(xiàn)：

• 大多數(shù)基礎(chǔ)模型論文由學(xué)術(shù)界研究者撰寫（共 4,851 篇），而產(chǎn)業(yè)界研究者的論文數(shù)量相對較少（1,425 篇）；
• 大多數(shù)論文使用的是開源模型（如 LLaMA），其次是閉源模型（如 GPT）；
• GPU 使用信息在論文中很少被披露，這表明當(dāng)前亟需制定統(tǒng)一的計算資源報告規(guī)范，以提升研究的透明度與可復(fù)現(xiàn)性。

• 論文標(biāo)題：THE ROLE OF COMPUTING RESOURCES IN PUBLISHING FOUNDATION MODEL RESEARCH
• 論文地址：https://arxiv.org/pdf/2510.13621

計算資源識別方法

研究者收集了2022 年至 2024 年間、八個頂級機器學(xué)習(xí)會議上被接收的論文（2025 年 3 月之前已可獲?。?，包括 NeurIPS、ICLR、ICML、COLM、EMNLP、ACL、NAACL、EACL。

采用的方法是：在論文標(biāo)題或摘要中搜索關(guān)鍵詞來識別與基礎(chǔ)模型（FM）相關(guān)的論文。最終在總計 34828 篇論文中，挑選出了5889 篇與 FM 相關(guān)的已接收論文。此外收集了同期被拒稿或撤稿的 ICLR 與 FM 相關(guān)的論文，共計 613 篇，用于對比分析。

在完成論文標(biāo)題和摘要的整理后，研究者使用 GPT-4o mini 將每篇論文分為三個類別，即領(lǐng)域（Domain）、階段（Phase）和方法（Method）。這些類別的定義見下表 1。

更進一步地，研究者通過系統(tǒng) API 從全部 5889 篇已接收論文中收集結(jié)構(gòu)化信息，包括文章 ID、標(biāo)題、作者信息（姓名、人數(shù)及所屬機構(gòu)）、發(fā)表信息（年份、會議、接收或拒稿狀態(tài)、論文鏈接、評審意見和摘要）。對于系統(tǒng) API 中缺失的信息，研究者使用 GPT-4o mini 處理論文 PDF，以提取資深作者的所屬機構(gòu)、GPU 使用情況、數(shù)據(jù)集描述以及資助信息。

在調(diào)研中，118 所機構(gòu)的研究者參與了本次調(diào)查，包括了 267 名學(xué)術(shù)界一作和 36 名產(chǎn)業(yè)界一作，最終共有 229 位 FM 論文的一作（包括 312 篇論文）提供有效反饋。當(dāng)論文中未記錄計算資源使用情況時，參與者需在調(diào)查中自行報告相關(guān)信息

圖 1 (B) 展示了不同年份和會議中有效 GPU 類型的比例，以及各會議作者和審稿人檢查清單中是否包含報告計算資源使用情況的相關(guān)指南。圖 1 (C) 展示了由 GPT-4o 自動抓取的數(shù)據(jù)與論文作者自報數(shù)據(jù)在 GPU 使用量與 FP 16 計算性能（TFLOPS 16）上的差異。

為確保提取的 GPU 信息準(zhǔn)確性，兩位 FM 研究者在盲評條件下獨立檢查了 312 篇論文，并與 GPT-4o mini 的提取結(jié)果進行對比。研究者交叉比對了 GPT-4o mini 提取的信息、人工標(biāo)注結(jié)果以及論文一作自報的 GPU 數(shù)據(jù)。

結(jié)果顯示：在被調(diào)查的 312 篇論文中，288 篇自報了 GPU 數(shù)量，292 篇自報了 GPU 類型，281 篇自報了 GPU 使用時長；另有 24 篇使用了非 GPU 計算資源（如 TPU、NPU 或 CPU）。

不過，兩位 FM 研究者發(fā)現(xiàn)僅有 172 篇論文中包含 GPU 數(shù)量信息，141 篇包含 GPU 類型信息，249 篇包含 GPU 時長信息。GPT-4o mini 僅從 116 篇論文中成功提取到 GPU 數(shù)量，與作者報告相比存在 59.7% 的缺失率。GPU 類型與 GPU 時長的缺失率也較高，分別為 48.3% 和 88.6%。

結(jié)果

基礎(chǔ)模型研究呈爆炸式增長

從 2022 年到 2024 年，基礎(chǔ)模型的研究在廣度和深度上都經(jīng)歷了顯著增長。

一個直觀的體現(xiàn)是，在八個頂級 AI 會議中，基礎(chǔ)模型相關(guān)論文的占比迅速攀升

• 2022 年: 2.07%
• 2023 年: 10.29%
• 2024 年：飆升至 34.64%（圖 A）

尤其在NLP 領(lǐng)域，這一趨勢更為明顯。在 COLM、EMNLP 和 ACL 等專業(yè)會議上，基礎(chǔ)模型論文的比例甚至超過了 ICLR、ICML 和 NeurIPS 等綜合性機器學(xué)習(xí)會議。

從研究方向來看，與推理相關(guān)的論文增長最快。從研究類型來看，算法和實證研究的增長速度超過了數(shù)據(jù)集、基準(zhǔn)測試和工具包等類別（圖 B）。

有趣的是，盡管論文數(shù)量激增，但單個項目使用的 GPU 數(shù)量保持相對穩(wěn)定。無論是已發(fā)表的論文還是待發(fā)表的研究，大多數(shù)項目使用的 GPU 數(shù)量集中在 1 到 8 個，其中 1 到 4 個 GPU 的配置最為常見，占據(jù)了約一半的比例（圖 C）。不過，考慮到目前 GPU 的采購周期越來越長，這一趨勢未來是否會變化，值得我們持續(xù)關(guān)注。

工業(yè)界與學(xué)術(shù)界共同引領(lǐng)研究浪潮

基礎(chǔ)模型的研究延續(xù)了計算機科學(xué)領(lǐng)域產(chǎn)學(xué)研緊密結(jié)合的傳統(tǒng)。

數(shù)據(jù)顯示，學(xué)術(shù)界貢獻了更多的論文總量，但頂尖的工業(yè)界實驗室在單一機構(gòu)產(chǎn)出上表現(xiàn)突出。具體來看：

• 學(xué)術(shù)界： 611 個機構(gòu)共發(fā)表了 4851 篇論文。
• 工業(yè)界： 163 個機構(gòu)共發(fā)表了 1425 篇論文。

其中，谷歌和微軟是論文產(chǎn)出最多的兩個單一實體，緊隨其后的是清華大學(xué)、Meta 和斯坦福大學(xué)。

值得注意的是，兩大陣營的研究效率相當(dāng)。工業(yè)界研究者人均發(fā)表 8.72 篇論文，學(xué)術(shù)界人均發(fā)表 7.93 篇。這表明，基礎(chǔ)模型的研究高度集中在少數(shù)能提供強大算力支持的頂級學(xué)術(shù)和工業(yè)機構(gòu)中。如果獲取大規(guī)模算力的門檻持續(xù)提高，這種集中化趨勢可能會進一步加劇。

從國家層面看，美國和中國在基礎(chǔ)模型研究產(chǎn)出方面處于領(lǐng)先地位（圖 B），這可能與兩國在高等教育和人工智能領(lǐng)域的長期投入有關(guān)。

開源模型成為研究的主流選擇

在眾多模型中，以LLaMA 系列為代表的開源權(quán)重模型是研究中使用最頻繁的（圖 C）。

這一現(xiàn)象至關(guān)重要。雖然像 GPT 系列這樣的專有閉源模型因其卓越的性能和便捷的 API 接口，在研究中仍占有一席之地，但開源模型憑借其高度的靈活性和可訪問性贏得了研究社區(qū)的青睞。研究人員可以基于開源模型進行微調(diào)、領(lǐng)域適配和深入的基準(zhǔn)測試，而這些操作在閉源模型上通常難以實現(xiàn)。

GPU 使用情況：NVIDIA A100 成為核心算力

在具體的 GPU 類型上，NVIDIA A100 是基礎(chǔ)模型研究中使用最廣泛的核心，并且排名前十的 GPU 均來自 NVIDIA 家族（圖 3D）。

進一步分析發(fā)現(xiàn)，算力資源的使用并非均勻分布：

• 研究階段： 專注于預(yù)訓(xùn)練的研究，其 GPU 使用數(shù)量顯著高于側(cè)重于后訓(xùn)練或推理的研究（p<0.001）。
• 其他維度： 在不同機構(gòu)、應(yīng)用領(lǐng)域或研究方法之間，GPU 的使用量沒有表現(xiàn)出統(tǒng)計學(xué)上的顯著差異。例如，安全相關(guān)研究的 GPU 使用量中位數(shù)較低，而工具包開發(fā)研究的使用量較高，但這些差異并不顯著（圖 D）。

從論文的研究重點來看：

• 47.4% 關(guān)注算法開發(fā)。
• 86.4% 集中在 NLP 領(lǐng)域，僅有 5.7% 涉及 CV。
• 48.7% 的論文研究推理過程，遠超預(yù)訓(xùn)練（13.3%）。

政府是基礎(chǔ)模型研究的最大資助方

通過分析論文中披露的資金信息，發(fā)現(xiàn)政府是基礎(chǔ)模型研究最主要的資助來源（圖 4）。在提供了資助信息的論文中：

• 85.5%（848 篇）獲得了政府資助。
• 29.3%（291 篇）獲得了企業(yè)資助。
• 10.3%（102 篇）獲得了基金會資助（圖 4A）。

有趣的是，一個國家的人均 GDP 與其資助的論文數(shù)量之間沒有必然聯(lián)系（圖 4B）。這表明，機構(gòu)的支持力度和相關(guān)政策，比單純的國家經(jīng)濟實力更能影響基礎(chǔ)模型的研究產(chǎn)出。（注：僅有 15.3% 的論文披露了詳細的資助信息。）

研究產(chǎn)出與影響力：算力比 GPU 數(shù)量更關(guān)鍵

一個典型的基礎(chǔ)模型研究項目是怎樣的？數(shù)據(jù)顯示，一篇被接收的論文，通常有 5 名作者，使用 4 個 GPU，項目平均持續(xù)約 5 個月。

進一步探究了計算資源與研究成果（論文數(shù)量和引用量）之間的關(guān)系，發(fā)現(xiàn)了更深層的規(guī)律：

對于產(chǎn)出（論文數(shù)量）： 單純的 GPU 數(shù)量與論文產(chǎn)出不成正比。然而，以 TFLOPs（每秒萬億次浮點運算）衡量的總計算能力，與論文產(chǎn)出呈現(xiàn)出更強的正相關(guān)性，尤其是在工業(yè)界（圖 4C）。這說明，決定研究產(chǎn)出效率的，是高質(zhì)量的計算基礎(chǔ)設(shè)施，而不僅僅是 GPU 的堆砌。

對于影響力（引用次數(shù)）： 同樣，TFLOPs 比 GPU 數(shù)量更能預(yù)測一篇論文的引用潛力（圖 4D）。擁有更強算力支持的機構(gòu)，其研究成果往往能獲得更多引用

盡管如此，算力并非決定性因素。許多高引用論文同樣來自計算資源相對有限的機構(gòu)，證明了研究影響力是由多種因素共同決定的。

論文接收與否：資源多少并非決定性因素

更多的 GPU 或更強的算力，能提高論文被接收的概率嗎？

研究者對 ICLR 會議 2022-2024 年的數(shù)據(jù)進行了分析。結(jié)果發(fā)現(xiàn)，平均而言，被拒稿的論文確實比被接收的論文使用了略少的 GPU、略低的 TFLOPs和規(guī)模略小的作者團隊。

但是，兩者在資源使用上的分布情況非常相似，差距微乎其微。這與頂級會議的審稿指南相符，即審稿人更應(yīng)關(guān)注研究的新穎性、清晰度和貢獻，而非其使用的資源多寡。（注：由于只有 ICLR 公開了被拒稿論文的數(shù)據(jù)，這個結(jié)論的普適性還有待更多數(shù)據(jù)驗證。）