我們經(jīng)常在一些對比 AI 性能的測試中，看到宣稱基礎(chǔ)模型在自然語言理解、推理或編程任務(wù)等性能超人類的相關(guān)報道。

但你有沒有想過，這些結(jié)果真的可信嗎？

在近期的一項研究中，美國哈佛大學(xué)研究員魏來（Kevin Wei）與合作者指出，目前人類基準測試（Human Baselines）的嚴謹性和透明度存在一系列嚴重問題，這直接關(guān)系著相關(guān)測試中關(guān)于 AI 性能的結(jié)論是否“立得住”的問題。

為此，研究人員對基礎(chǔ)模型評估中人類基線方法提出了相關(guān)的改進建議。與此同時，為全面梳理當前評估方法的短板，他們還系統(tǒng)回顧了 115 項人類基線研究。

相關(guān)論文以《立場：模型評估中的人類基線需要嚴謹性和透明性》（Position: Human Baselines in Model Evaluations Need Rigor and Transparency）為題發(fā)表在 ICML 2025（The Forty-Second International Conference on Machine Learning）[1]。

圖丨相關(guān)論文（來源：ICML）

長期以來，人類基準測試作為 AI 領(lǐng)域評估模型性能的重要工具，直接影響著對 AI 基礎(chǔ)模型表現(xiàn)的判斷，尤其是為 AI 達到超人類的水平相關(guān)結(jié)論是否可靠提供關(guān)鍵參考。

魏來目前的主要研究方向是 AI 評估測試，致力于將安全測試的系統(tǒng)做得更安全，以及將相關(guān)機制做得更好。他對 DeepTech 表示：“我們在研究過程中發(fā)現(xiàn)，當下很多聲稱模型達到超人類性能的研究，其人類基線評估方法不僅嚴謹性不夠，透明度也不足。這會導(dǎo)致人類和 AI 性能的比較缺乏可信性?！?/p>

圖丨魏來（來源：魏來）

人類基準測試結(jié)果是否可信關(guān)系著對系統(tǒng)層級的理解，以及對人類的層級準確比較。相關(guān)結(jié)論不僅影響著機器學(xué)習(xí)社區(qū)、相關(guān)用戶和政策制定者，還與 AI 是否能代替、如何替代人類工作等社會和經(jīng)濟問題密切相關(guān)。

表丨基線設(shè)計與實施項目（含數(shù)據(jù)填補）的匯總統(tǒng)計（來源：ICML）

研究人員發(fā)現(xiàn)，在以往研究中最大的問題是所選取作為基線缺乏代表性，或在進行基線測試時，為基線測試人員和網(wǎng)絡(luò)系統(tǒng)提供的信息存在差異：要么對二者所提出的問題不同，要么在某些方面存在差異，使得二者之間難以進行有效比較。

讓人意外的是，只有 59% 的基線使用與 AI 相同的測試集。舉例來說，某個數(shù)據(jù)中有 1,000 個樣本，然后研究人員可能僅從中選 50 個樣本作為基線，再將這 50 個人類的層級與 1,000 個 AI 系統(tǒng)的場景做對比。

除此之外，人類基線的樣本量普遍不足也是極為重要的問題，這會導(dǎo)致無法據(jù)此判斷這一結(jié)果是否能夠代表更廣泛人群。其中，以單個測試題目計算，人類基線的回應(yīng)者人數(shù)中位數(shù)僅有 8 人，遠低于科學(xué)研究的可靠性要求。

另一方面，倫理審查報告方面，只有 14% 的論文報告了倫理審查，其中大部分研究并沒有公開測試方法、參與者信息和數(shù)據(jù)分析代碼。在統(tǒng)計檢驗使用方面的問題同樣嚴重，進行統(tǒng)計檢驗的基線只有 8%。

“我們發(fā)現(xiàn)，這種在人類基準測試過程中普遍存在信息不透明的做法，在影響結(jié)果可重復(fù)性的同時，也很有可能存在潛在的偏差?！蔽簛肀硎?。

（來源：ICML）

基于對測量理論和 AI 評估文獻的分析，該團隊提出了一個新的框架來改進相關(guān)問題，其涵蓋五個階段并在每個階段給出了相關(guān)建議。

具體而言：

·設(shè)計與實施（Design&Implementation）：選擇一致且具有代表性的測試集，迭代基線工具，收集足夠大小的樣本和滿足倫理要求；

·招募（Recruitment）：指定感興趣的人群，選擇適當?shù)某闃硬呗?，在招募過程中采用質(zhì)量控制；

·執(zhí)行（Execution）：在執(zhí)行過程中采用質(zhì)量控制，控制方法效應(yīng)，控制人類和 AI 的努力程度，收集定性基線數(shù)據(jù)（例如解釋）；

·分析（Analysis）：量化人類和 AI 表現(xiàn)之間的不確定性，確保評估指標、評分標準和評分方法的一致性；

·文檔化（Documentation）：報告方法和基線樣本的詳細信息，采用開放科學(xué)和可重復(fù)性標準。

根據(jù)相關(guān)建議，在設(shè)計人類基線時，可采用更科學(xué)的方法來確保公平性和準確性。例如，研究人員借鑒了包括心理學(xué)、經(jīng)濟學(xué)、政治學(xué)等在內(nèi)的多學(xué)科知識，為 AI 和人類性能的比較提供了新的視角。研究還強調(diào)了透明度的重要性，指出基于詳細的記錄和報告，可促進研究結(jié)果更可信。

研究人員將這些建議整合成一份清單，并在此基礎(chǔ)上系統(tǒng)性地回顧了 115 項基礎(chǔ)模型評估中的人類基線研究。這項研究不僅梳理出當下人類基準測試方法中存在的不足，同時也為未來研究特別是數(shù)學(xué)領(lǐng)域 AI 技術(shù)的評估指出了改進方向。

參考資料：

1.https://openreview.net/forum?id=gwhPvu97Gm

運營/排版：何晨龍