這項(xiàng)由阿里巴巴集團(tuán)和阿里巴巴Qwen團(tuán)隊(duì)聯(lián)合開展的研究發(fā)表于2026年的arXiv預(yù)印本平臺(tái)，論文編號(hào)為arXiv:2602.13964v2。研究團(tuán)隊(duì)針對(duì)當(dāng)前AI界最權(quán)威的評(píng)測(cè)基準(zhǔn)"人類最后的考試"（Humanity's Last Exam，簡(jiǎn)稱HLE）進(jìn)行了全面的錯(cuò)誤檢查和修正工作，最終發(fā)布了經(jīng)過驗(yàn)證的HLE-Verified版本。

**一個(gè)讓AI專家頭疼的問題**

你可能不知道，現(xiàn)在評(píng)判AI有多聰明，主要靠的是讓它們做題——就像我們上學(xué)時(shí)的考試一樣。其中有一套叫做"人類最后的考試"的題目，被認(rèn)為是目前最難、最權(quán)威的AI能力測(cè)試。這套題目涵蓋數(shù)學(xué)、物理、化學(xué)、生物醫(yī)學(xué)、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域，每道題都非常有挑戰(zhàn)性。

但是問題來了。就像我們小時(shí)候發(fā)現(xiàn)教科書上偶爾也有印刷錯(cuò)誤一樣，這套被奉為圭臬的AI考試題目也出現(xiàn)了不少問題。一些研究人員開始懷疑：AI答錯(cuò)題目，到底是因?yàn)樗鼈冋娴牟粔蚵斆?，還是因?yàn)轭}目本身就有毛?。?/p>

這就好比你在餐廳點(diǎn)了一道菜，發(fā)現(xiàn)味道很奇怪。你可能會(huì)想："是我的口味有問題，還是廚師做錯(cuò)了？"如果連菜譜都寫錯(cuò)了，那么即使是最好的廚師也做不出正宗的味道。

**阿里團(tuán)隊(duì)的"大掃除"行動(dòng)**

面對(duì)這個(gè)問題，阿里巴巴的研究團(tuán)隊(duì)決定來一次徹底的"大掃除"。他們要把原版考試的2500道題目逐一檢查，找出所有可能存在的錯(cuò)誤，然后進(jìn)行修正。這就像是對(duì)一本厚厚的百科全書進(jìn)行全面的校對(duì)工作。

整個(gè)檢查過程分為兩個(gè)階段，就像醫(yī)院的體檢流程一樣。第一階段是"初步篩查"，目的是找出那些完全沒有問題的"健康"題目，這些題目可以直接保留。第二階段是"深度治療"，針對(duì)那些有問題但還能搶救的題目進(jìn)行修復(fù)。

研究團(tuán)隊(duì)把每道考試題分解成三個(gè)部分來檢查：題目描述（相當(dāng)于考試的問題部分）、標(biāo)準(zhǔn)答案（相當(dāng)于參考答案）、解題過程（相當(dāng)于詳細(xì)的解答步驟）。這樣做的好處是可以精確定位問題出在哪個(gè)環(huán)節(jié)。

**第一階段：找出完全健康的題目**

在第一階段，研究團(tuán)隊(duì)采用了三種不同的檢查方法。首先是邀請(qǐng)各個(gè)領(lǐng)域的專家來審查題目，就像邀請(qǐng)不同科目的老師來檢查試卷一樣。這些專家會(huì)仔細(xì)查看每道題的題目描述、答案和解題過程，判斷是否存在問題。

第二種方法是讓多個(gè)先進(jìn)的AI模型來解題。研究團(tuán)隊(duì)讓8個(gè)不同的AI模型嘗試回答同一道題目，然后看看它們的答案是否與標(biāo)準(zhǔn)答案一致。如果大部分AI都給出了與標(biāo)準(zhǔn)答案不同的結(jié)果，那這道題目就值得懷疑了。這就像是讓多個(gè)學(xué)霸同時(shí)做一道題，如果他們的答案都和參考答案不一樣，那很可能是參考答案有問題。

第三種方法是內(nèi)部專家的最終判定。研究團(tuán)隊(duì)的專家會(huì)綜合前兩種檢查的結(jié)果，做出保守的決定。只有當(dāng)題目描述清晰、答案正確、且沒有發(fā)現(xiàn)明顯問題時(shí)，題目才能進(jìn)入"黃金標(biāo)準(zhǔn)"的隊(duì)伍。

經(jīng)過第一階段的嚴(yán)格篩選，2500道題目中有641道被認(rèn)定為完全沒有問題，可以直接使用。這些題目就像是經(jīng)過嚴(yán)格質(zhì)檢的優(yōu)質(zhì)產(chǎn)品，可以放心使用。

**第二階段：搶救有問題的題目**

對(duì)于那些在第一階段被發(fā)現(xiàn)有問題但還有挽救價(jià)值的題目，研究團(tuán)隊(duì)啟動(dòng)了第二階段的"搶救"工作。這個(gè)階段的核心原則是：只修正錯(cuò)誤，不改變題目要考查的核心能力。就像修理一臺(tái)壞了的鐘表，只修復(fù)損壞的部件，不改變它的基本功能。

修復(fù)工作采用了"雙重保險(xiǎn)"的方法。兩個(gè)獨(dú)立的專家團(tuán)隊(duì)分別對(duì)同一道題目提出修復(fù)方案，然后再讓內(nèi)部專家從中選擇最好的方案，或者將兩個(gè)方案結(jié)合起來。這就像是兩個(gè)維修師傅獨(dú)立檢查同一臺(tái)壞掉的機(jī)器，然后選擇最佳的修復(fù)方案。

為了確保修復(fù)的質(zhì)量，研究團(tuán)隊(duì)還讓AI模型參與到修復(fù)過程中。這些AI模型會(huì)嘗試用不同的方法解決修復(fù)后的題目，驗(yàn)證修復(fù)是否真的解決了原來的問題。

經(jīng)過第二階段的努力，又有1170道題目獲得了"重獲新生"。加上第一階段的641道健康題目，總共有1811道題目可以放心使用。

**那些"疑難雜癥"**

然而，還有689道題目讓研究團(tuán)隊(duì)犯了難。這些題目的問題比較復(fù)雜，要么涉及有爭(zhēng)議的學(xué)術(shù)觀點(diǎn)，要么需要超出當(dāng)前驗(yàn)證范圍的專業(yè)知識(shí)，要么存在多種合理的解釋。研究團(tuán)隊(duì)沒有簡(jiǎn)單地丟棄這些題目，而是把它們標(biāo)記為"不確定"狀態(tài)，并詳細(xì)記錄了每道題目存在的具體問題和需要的專業(yè)知識(shí)類型。

這就像是醫(yī)生遇到了罕見病例，雖然暫時(shí)無法確診，但會(huì)詳細(xì)記錄癥狀和可能的病因，為將來的研究留下寶貴資料。

**錯(cuò)誤類型大盤點(diǎn)**

在整個(gè)檢查過程中，研究團(tuán)隊(duì)發(fā)現(xiàn)的錯(cuò)誤類型可以分為三大類。題目描述方面的錯(cuò)誤主要包括語義模糊（題目表達(dá)不清楚）、知識(shí)錯(cuò)誤（題目中的事實(shí)性內(nèi)容有誤）、信息缺失（解題所需的條件不完整）、理論錯(cuò)誤（違反了該領(lǐng)域的基本原理）和格式錯(cuò)誤（數(shù)學(xué)符號(hào)或?qū)I(yè)術(shù)語使用不當(dāng)）。

解題過程方面的錯(cuò)誤則更加豐富，包括推理步驟冗余、循環(huán)論證、違反事實(shí)、邏輯不一致、方法使用錯(cuò)誤、過度自信、缺少前提條件、推理陷阱、多解法不一致，以及格式問題等十種類型。

答案方面的錯(cuò)誤相對(duì)簡(jiǎn)單，主要是答案不正確、答案不完整、答案表述模糊和格式錯(cuò)誤四種類型。

有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)不同學(xué)科領(lǐng)域的錯(cuò)誤模式存在明顯差異。數(shù)學(xué)和生物醫(yī)學(xué)題目中，答案錯(cuò)誤是最主要的問題，占到了錯(cuò)誤的絕大部分。而在物理、人文社科等領(lǐng)域，更多的問題是題目表述不夠清晰，存在多種理解方式。計(jì)算機(jī)科學(xué)領(lǐng)域的題目則經(jīng)常出現(xiàn)格式和符號(hào)使用錯(cuò)誤。

**修復(fù)效果驗(yàn)證**

為了驗(yàn)證修復(fù)工作的效果，研究團(tuán)隊(duì)讓七個(gè)目前最先進(jìn)的AI模型分別在原版題目和修復(fù)版題目上進(jìn)行測(cè)試。結(jié)果令人驚喜：所有AI模型在修復(fù)版題目上的表現(xiàn)都有了顯著提升。

具體來說，在完整的題目集上，AI模型的準(zhǔn)確率平均提高了7到10個(gè)百分點(diǎn)。而在那些原本存在題目描述錯(cuò)誤或答案錯(cuò)誤的題目上，AI模型的準(zhǔn)確率提升更是達(dá)到了30到40個(gè)百分點(diǎn)。這就像是給學(xué)生提供了正確的教科書后，他們的考試成績(jī)大幅提高了。

更有意思的是，研究團(tuán)隊(duì)還發(fā)現(xiàn)AI模型的"自信心"與題目質(zhì)量之間存在密切關(guān)系。當(dāng)遇到有問題的題目時(shí)，AI模型往往表現(xiàn)得不夠自信，給出答案時(shí)顯得猶豫不決。而在修復(fù)后的題目上，AI模型的自信心明顯增強(qiáng)，這說明清晰準(zhǔn)確的題目確實(shí)能幫助AI更好地發(fā)揮能力。

**不同學(xué)科的改進(jìn)情況**

從學(xué)科角度來看，物理和生物醫(yī)學(xué)領(lǐng)域的題目在修復(fù)后改進(jìn)最為明顯。這兩個(gè)領(lǐng)域原本的AI準(zhǔn)確率相對(duì)較低，但在修復(fù)后出現(xiàn)了大幅提升。相比之下，化學(xué)和計(jì)算機(jī)科學(xué)領(lǐng)域的改進(jìn)幅度較小，但同樣是積極的。

這種差異反映了不同學(xué)科在題目質(zhì)量方面的特點(diǎn)。有些學(xué)科的題目更容易出現(xiàn)事實(shí)性錯(cuò)誤，有些學(xué)科則更容易出現(xiàn)表述不清的問題。通過針對(duì)性的修復(fù)，每個(gè)學(xué)科的評(píng)測(cè)質(zhì)量都得到了相應(yīng)的改善。

**AI自信心的啟示**

研究中一個(gè)特別有趣的發(fā)現(xiàn)是AI模型的自信心可以作為識(shí)別問題題目的指標(biāo)。當(dāng)題目存在問題時(shí)，AI模型在回答時(shí)往往不夠自信，這反映了題目本身的不確定性。在修復(fù)后的題目上，AI模型的自信心普遍增強(qiáng)，說明清晰準(zhǔn)確的題目確實(shí)能讓AI更好地發(fā)揮實(shí)力。

這個(gè)發(fā)現(xiàn)有重要的實(shí)際意義。在未來的AI評(píng)測(cè)中，研究人員可以關(guān)注AI模型的自信心表現(xiàn)，以此來識(shí)別可能存在問題的題目。當(dāng)多個(gè)AI模型都對(duì)某道題目表現(xiàn)出低自信心時(shí)，這道題目就值得重新審視了。

**對(duì)AI評(píng)測(cè)的深遠(yuǎn)影響**

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了對(duì)一套考試題目的修正。它揭示了一個(gè)重要問題：當(dāng)我們用有缺陷的標(biāo)準(zhǔn)來評(píng)判AI時(shí)，得出的結(jié)論可能是不準(zhǔn)確的。就像用一把刻度不準(zhǔn)的尺子來測(cè)量物體，得到的數(shù)據(jù)自然也不可靠。

研究結(jié)果顯示，AI在某些題目上的"錯(cuò)誤"實(shí)際上可能反映的是題目本身的問題，而不是AI能力的不足。這提醒我們，在評(píng)判AI能力時(shí)，需要確保評(píng)測(cè)標(biāo)準(zhǔn)本身是可靠和準(zhǔn)確的。

此外，這項(xiàng)研究還為如何維護(hù)和改進(jìn)AI評(píng)測(cè)基準(zhǔn)提供了寶貴經(jīng)驗(yàn)。研究團(tuán)隊(duì)建立的兩階段驗(yàn)證和修復(fù)流程、詳細(xì)的錯(cuò)誤分類體系，以及保守的質(zhì)量控制原則，都可以為其他類似的評(píng)測(cè)基準(zhǔn)改進(jìn)工作提供參考。

**未來展望**

研究團(tuán)隊(duì)將修復(fù)后的HLE-Verified數(shù)據(jù)集完全開源，供全球研究人員使用。他們還提供了詳細(xì)的修復(fù)記錄和錯(cuò)誤分類信息，讓其他研究者能夠了解每道題目的具體修改情況。

對(duì)于那689道"不確定"狀態(tài)的題目，研究團(tuán)隊(duì)也沒有放棄。他們?yōu)槊康李}目提供了詳細(xì)的問題描述和所需的專業(yè)知識(shí)標(biāo)簽，希望相關(guān)領(lǐng)域的專家能夠在未來繼續(xù)完善這些題目。這就像是為后續(xù)的研究者留下了詳細(xì)的"診斷報(bào)告"。

說到底，這項(xiàng)研究告訴我們一個(gè)簡(jiǎn)單而重要的道理：好的評(píng)測(cè)需要好的題目。就像廚師需要新鮮的食材一樣，準(zhǔn)確評(píng)判AI能力也需要高質(zhì)量的測(cè)試題目。通過系統(tǒng)性的驗(yàn)證和修復(fù)工作，我們可以讓AI評(píng)測(cè)變得更加公平、準(zhǔn)確和可靠。

這不僅有助于更好地了解當(dāng)前AI的真實(shí)能力水平，也為AI技術(shù)的進(jìn)一步發(fā)展指明了方向。當(dāng)評(píng)測(cè)標(biāo)準(zhǔn)變得更加準(zhǔn)確時(shí)，AI的發(fā)展也能更好地朝著正確的方向前進(jìn)。

研究團(tuán)隊(duì)的這次"大掃除"行動(dòng)，實(shí)際上是為整個(gè)AI研究社區(qū)做了一件非常有意義的基礎(chǔ)工作。雖然這種工作可能不像開發(fā)新算法那樣引人注目，但它的價(jià)值是長(zhǎng)遠(yuǎn)而深刻的。就像維護(hù)道路和橋梁一樣，維護(hù)評(píng)測(cè)基準(zhǔn)也是保障AI研究健康發(fā)展的重要基礎(chǔ)設(shè)施工作。

對(duì)于普通人來說，這項(xiàng)研究的意義在于讓我們對(duì)AI能力的判斷更加準(zhǔn)確。當(dāng)我們聽到"某個(gè)AI在權(quán)威測(cè)試中表現(xiàn)如何"的消息時(shí)，可以更加相信這些評(píng)價(jià)的可靠性。而對(duì)于AI開發(fā)者來說，更準(zhǔn)確的評(píng)測(cè)意味著他們可以更好地了解自己開發(fā)的AI系統(tǒng)的真實(shí)水平，從而制定更合適的改進(jìn)策略。

有興趣深入了解技術(shù)細(xì)節(jié)的讀者可以通過論文編號(hào)arXiv:2602.13964v2在arXiv平臺(tái)查詢完整的研究論文，其中包含了更詳細(xì)的方法描述、實(shí)驗(yàn)數(shù)據(jù)和分析結(jié)果。

Q&A

Q1：HLE-Verified是什么？

A：HLE-Verified是阿里巴巴團(tuán)隊(duì)對(duì)AI界權(quán)威測(cè)試"人類最后的考試"進(jìn)行全面錯(cuò)誤檢查和修正后的版本。原版2500道題目經(jīng)過驗(yàn)證后，有641道完全正確的題目，1170道修復(fù)后的題目，以及689道標(biāo)記為不確定狀態(tài)的題目。

Q2：為什么要對(duì)人類最后的考試進(jìn)行修正？

A：因?yàn)檠芯咳藛T發(fā)現(xiàn)原版考試中存在不少錯(cuò)誤，包括題目描述不清、答案錯(cuò)誤、解題過程有問題等。這些錯(cuò)誤會(huì)影響對(duì)AI能力的準(zhǔn)確評(píng)判，就像用有刻度錯(cuò)誤的尺子測(cè)量物體一樣不可靠。

Q3：修正后AI模型的表現(xiàn)有什么變化？

A：所有測(cè)試的AI模型在修正版題目上表現(xiàn)都顯著提升，整體準(zhǔn)確率平均提高7-10個(gè)百分點(diǎn)，在那些原本有錯(cuò)誤的題目上準(zhǔn)確率更是提高了30-40個(gè)百分點(diǎn)，同時(shí)AI模型的自信心也明顯增強(qiáng)。