人工智能(AI)領(lǐng)域的時髦術(shù)語往往相當(dāng)有技術(shù)含量：感知機、卷積、變換器。這些詞匯指的都是特定的計算方法。近來，有一個術(shù)語聽起來很普通，卻蘊含著革命性的意義，那就是“時間線”。如果向AI領(lǐng)域的某人詢問他們的“時間線”，他們會告訴你預(yù)計何時能實現(xiàn)AGI，即通用人工智能，其定義有時可解讀為一種能在大多數(shù)任務(wù)中媲美人類能力的AI技術(shù)。隨著計算機速度的提升、算法的優(yōu)化以及數(shù)據(jù)的積累，AI的成熟度日益提高，實現(xiàn)的時間線也在縮短。近期，包括OpenAI、Anthropic和谷歌DeepMind在內(nèi)的大型AI實驗室的負責(zé)人都表示，預(yù)計將在幾年內(nèi)實現(xiàn)AGI。 能像人類一樣思考的計算機系統(tǒng)將實現(xiàn)緊密的人機協(xié)作。雖然實現(xiàn)AGI的近期和長期影響尚不明確，但可以預(yù)見的是，

它將在經(jīng)濟、科學(xué)發(fā)現(xiàn)和地緣政治領(lǐng)域引發(fā)變革。如果AGI進一步發(fā)展為超級智能，它甚至可能動搖人類在食物鏈頂端的地位。因此，我們必須追蹤這項技術(shù)的發(fā)展進程，為即將到來的劇變做好準備。衡量AI的能力能讓我們據(jù)此制定法律法規(guī)、確立工程目標、建立社會規(guī)范、調(diào)整商業(yè)模式，并從更廣泛的層面去理解“智能”。

衡量任何智力能力都絕非易事，衡量AGI則面臨著特殊的挑戰(zhàn)，部分原因是人們對AGI的定義存在嚴重分歧。有些人通過它在基準測試中的表現(xiàn)來定義它，有些人則依據(jù)其內(nèi)部工作原理、經(jīng)濟影響，甚至是基于一種“感覺”來定義。因此，衡量AI智能的第一步是就這個總體概念達成共識。

另一個問題是，AI系統(tǒng)相較于人類的優(yōu)勢和劣勢不同。因此，即使將AGI定義為“在大多數(shù)任務(wù)中能媲美人類的AI”，我們依然可能會爭論哪些任務(wù)真正重要，以及應(yīng)以哪部分人類表現(xiàn)作為標準。直接比較非常困難?！拔覀冋跇?gòu)建的是‘異形’智能體?！倍鄠惗啻髮W(xué)榮休教授、因在AI領(lǐng)域的杰出貢獻而獲得諾貝爾獎的杰弗里·辛頓（Geoffrey Hinton）如此說到。

盡管如此，研究人員并不氣餒，而是積極設(shè)計和提出各種測試，以期能對我們的未來提供一些洞見。但有個問題依然存在：這些測試能否清楚地說明我們是否已經(jīng)實現(xiàn)了長期追求的AGI目標？

智能的種類是無限的，即使人類的智能也是如此。智商測試包含了一系列涉及記憶、邏輯、空間處理、數(shù)學(xué)和詞匯等內(nèi)容的半關(guān)聯(lián)性任務(wù)，可提供一種概括性的統(tǒng)計。從不同維度來看，個體在每項任務(wù)中的表現(xiàn)都依賴于流體智力（即實時推理能力）和晶體智力（即應(yīng)用所學(xué)知識或技能的能力）的混合。

對于高收入國家的人群而言，智商測試往往能預(yù)測學(xué)業(yè)成就、事業(yè)成功等關(guān)鍵結(jié)果。但我們不能在AI上套用對人類的這種假設(shè)，因為AI的能力組合方式與人類截然不同。讓機器完成為人類設(shè)計的智商測試，其結(jié)論與測試結(jié)果可能對人類的意義大相徑庭。

此外，還有許多智力類型往往不在智商測試評估范圍內(nèi)，甚至當(dāng)前大多數(shù)AI基準測試也很難對其進行衡量。這類智力包括社會智力（例如進行心理推斷的能力）與肢體智力（例如理解物體與作用力之間因果關(guān)系的能力，或協(xié)調(diào)身體適應(yīng)環(huán)境的能力）。這兩類能力對人類應(yīng)對復(fù)雜情境至關(guān)重要。

對人、動物或機器進行智力測試很困難。我們必須警惕假正例與假負例。受試者有可能僅憑投機取巧等手段顯得很聰明，著名的“聰明漢斯”就是典型案例：這匹馬表面上“會算數(shù)”，實際上依靠的是對非語言線索做出的反應(yīng)；反之，測試對象也可能因不熟悉測試流程或存在認知障礙而顯得愚鈍。

智力概念的界定之所以困難，還因為它會隨地域和時代變化而變遷。佐治亞理工學(xué)院心理學(xué)助理教授安娜·伊萬諾娃（Anna Ivanova）指出：“社會對智力的含義及其價值維度的認知正在發(fā)生深刻轉(zhuǎn)變?！崩纾涸诎倏迫珪突ヂ?lián)網(wǎng)出現(xiàn)之前，“大腦中儲備大量知識被視為智慧的重要標志”；而今，我們越來越重視流體智力，而非晶體智力。

多年來，人們曾多次針對機器設(shè)立大規(guī)模挑戰(zhàn)，號稱需要擁有媲美人類的智慧才可完成這些挑戰(zhàn)。1958年，三位頂尖AI研究者寫道：“國際象棋是智力游戲的巔峰......如果能制造出成功的國際象棋機器，便意味著觸及了人類智能的核心?！彼麄兂姓J，理論上有這樣的可能，即這種機器“或許能發(fā)現(xiàn)某種如同車輪之于人腿的東西，其運作方式與人類迥異，但本身卻極其有效且可能非常簡單”。但他們?nèi)詧猿终J為“目前此類突破未見端倪”。然而1997年，IBM“深藍”計算機實現(xiàn)了這種突破，它擊敗了當(dāng)時的國際象棋世界冠軍加里·卡斯帕羅夫（Garry Kasparov），但它卻連玩跳棋這種通用智能都不具備。

1950年，艾倫·圖靈提出了“模仿游戲”，其中一種游戲要求機器在文字對話中以假亂真地模仿人類?！斑@種問答方式似乎適合展現(xiàn)我們想要囊括的任何人類智慧領(lǐng)域?！彼麑懙?。隨后數(shù)十年里，通過圖靈測試曾被視為近乎不可能的任務(wù)，這也是衡量AGI的重要指標。

然而2025年，研究人員報告稱，在分別與真人和OpenAI的GPT-4.5進行5分鐘對話，然后判斷哪個是人類時，人們選擇AI的情況高達73%。但與此同時，頂級語言模型卻常犯人類幾乎不會犯的錯誤，比如數(shù)不清“strawberry”中字母“r”出現(xiàn)了幾次。這些系統(tǒng)更像是車輪，而非擁有通用能力的“人腿”。因此，科學(xué)家仍在尋找無法被技術(shù)取代的真正類人智能的衡量標準。

當(dāng)前有一項備受矚目的AGI基準測試盡管并不完美，但已成為衡量大多數(shù)前沿模型的重要試金石。2019年，時任谷歌軟件工程師、現(xiàn)為AI創(chuàng)業(yè)公司Ndea創(chuàng)始人的弗朗索瓦·肖萊（Fran?ois Chollet）發(fā)表了題為《論智能的衡量》（On the Measure of Intelligence）的論文。多數(shù)人認為智能等同于能力，通用智能等同于一系列廣泛的能力。但肖萊對智能的定義更具體，認為智能只有一個至關(guān)重要的特定能力，即輕松獲得新能力的能力。支撐ChatGPT等工具的大語言模型之所以能在眾多基準測試中表現(xiàn)出色，完全依賴于使用數(shù)萬億書面詞語對其進行的訓(xùn)練。遇到與訓(xùn)練數(shù)據(jù)差異很大的情況時，這些模型往往難以適應(yīng)且表現(xiàn)失常。依照肖萊的標準，它們?nèi)匀狈χ悄堋?/p>

為配合論文發(fā)布，肖萊創(chuàng)建了一個新的AGI基準測試，名為“抽象與推理語料庫”（ARC）。其中包含數(shù)百道視覺謎題，每道題都配有若干示例和一道測試題。示例包含輸入網(wǎng)格和輸出網(wǎng)格，其中填滿了彩色方塊；測試題則只有一個輸入網(wǎng)格。要求是從示例中學(xué)習(xí)規(guī)律，并根據(jù)此規(guī)律完成測試題，生成新的輸出網(wǎng)格。

ARC側(cè)重流體智力。“解決任何問題都需要一定的知識儲備，然后實時重組這些知識?！毙とR向我解釋道。要確保該測試不考察記憶性知識而考察知識重組能力，訓(xùn)練謎題應(yīng)提供所需的全部“核心先驗知識”，包括對象連貫、對稱性、計數(shù)等幼童已具備的常識。接受過這類訓(xùn)練和少量示例后，你能否精準調(diào)用相關(guān)知識來解決全新謎題？人類能輕松完成大部分題目，但AI系統(tǒng)舉步維艱，至少在初期如此。最終，OpenAI開發(fā)的o3推理模型的某個版本超越了人類受試者的平均水平，正確率達到88%，但每道題的計算成本預(yù)估高達2萬美元（OpenAI從未公開發(fā)布該模型，故未將其計入排行榜）。

2025年3月，肖萊推出了難度升級的新版本，名為“ARC-AGI-2”，由其新設(shè)立的非營利組織ARC Prize基金會監(jiān)管。該機構(gòu)表示：“我們的使命是通過持久性基準測試，成為實現(xiàn)AGI的北極星?！盇RC Prize設(shè)立了百萬美元獎金，主要獎勵那些訓(xùn)練出符合以下條件的AI的團隊：在12小時內(nèi)使用4個圖形處理器，解答了120道新謎題，準確率達到85%。新謎題比2019年版本更復(fù)雜，有時需要應(yīng)用多種規(guī)則、進行多步推理或解讀符號含義。目前人類平均正確率為60%，而截至本文撰稿時，最佳AI的正確率僅約16%。

AI專家們肯定了ARC的價值，但也指出了它的局限。伊利諾伊大學(xué)厄巴納-香檳分校計算機科學(xué)家尤佳軒認為，ARC是一種“非常好的理論基準測試”，能揭示算法的運作機制，但“未充分考慮AI應(yīng)用中的現(xiàn)實復(fù)雜性，比如社會推理任務(wù)”。

圣塔菲研究所的計算機科學(xué)家梅拉尼·米切爾（Melanie Mitchell）指出，該測試“捕捉到了人類某些有趣的能力”，例如，從少量示例中提取新規(guī)律的能力。但鑒于其任務(wù)形式不夠多樣化，她表示：“我不認為這能涵蓋人們所說的通用智能。”

盡管存在這些局限，ARC-AGI-2或許仍是當(dāng)前先進AI與普通人類表現(xiàn)差距最大的基準測試，這使其成為了衡量AGI進步的重要標尺。更重要的是，ARC仍在持續(xù)發(fā)展。肖萊表示AI可能在一兩年內(nèi)就能在當(dāng)前測試中達到人類水平，他已經(jīng)在開發(fā)ARC-AGI-3。每個任務(wù)都將如同微型電子游戲，參與者需要理解相關(guān)概念、探索可行操作并最終達成目標。

研究人員也在不斷推出新的基準來探究通用智能的不同維度，每個新基準同時也揭示了我們認知版圖中尚未填補的空白。

最近，一篇論文介紹了一種名為“General-Bench”的基準測試，它使用了文本、圖像、視頻、音頻和3D模型這5種輸入模態(tài)，可通過數(shù)百項任務(wù)檢驗AI系統(tǒng)的識別、推理、創(chuàng)造、倫理判斷能力，以及其他理解和生成資料的能力。理想的AGI應(yīng)當(dāng)展現(xiàn)協(xié)同效應(yīng)，在各項任務(wù)中融會貫通多種能力，從而超越最頂尖的AI專家。但目前還沒有任何AI能同時駕馭5種模態(tài)。

其他基準測試還涉及虛擬世界。2025年4月，《自然》雜志上的一篇論文介紹了谷歌DeepMind開發(fā)的通用算法“Dreamer”，該算法已學(xué)會執(zhí)行超過150項任務(wù)，包括玩街機游戲、操控虛擬機器人、在《我的世界》游戲中獲取鉆石等。這些任務(wù)要求具備感知、探索、長期規(guī)劃和交互能力，但尚不清楚Dreamer處理現(xiàn)實世界復(fù)雜問題的能力如何。該論文的第一作者丹尼亞爾·哈夫納（Danijar Hafner）指出，操控電子游戲角色比操控真實機器人簡單，“游戲角色永遠不會摔得臉著地”。這些任務(wù)還缺乏與人類的深度互動，以及結(jié)合手勢和環(huán)境的語言理解能力。他說：“理想情況下，你對家務(wù)機器人說‘把碗碟放進那個櫥柜，不是那邊’，同時用手指向（某個櫥柜），它就能理解?！惫蚣{表示其團隊正在努力提升模擬和任務(wù)的真實度。

除現(xiàn)有基準測試外，專家們對于理想示范形態(tài)的爭論由來已久。早在1970年，AI先驅(qū)馬文·明斯基就對《生活》（Life）雜志預(yù)言：“未來3到8年，我們將制造出具備普通人類水平的通用智能機器。我指的是一臺能閱讀莎士比亞、能給汽車上潤滑油、玩得轉(zhuǎn)辦公室政治、會說笑話、會吵架的機器?！比绻軐Α稗k公室政治”進行可操作化定義，這套任務(wù)組合倒不失為不錯的起點。

2024年《工程》（Engineering）雜志上發(fā)表的一篇論文提出了“通”測試。該測試將為虛擬人物隨機分配任務(wù)，不僅檢驗其理解能力，更評估其價值判斷。例如，AI可能突然遇到掉在地上的錢或正在哭的嬰兒，研究人員則可借此機會觀察AI如何應(yīng)對。該論文的作者認為，基準測試應(yīng)評估AI自主探索和設(shè)定目標的能力、與人類價值觀的相符情況、因果理解能力、虛擬/實體軀體操控能力。此外，基準測試還應(yīng)能生成無限多個涉及動態(tài)實物和社會交互的任務(wù)。

明斯基等其他學(xué)者則提議，需要進行不同程度的現(xiàn)實世界交互測試，例如在陌生廚房泡咖啡、將10萬美元增值至百萬美元、在大學(xué)校園就讀并獲取學(xué)位等。遺憾的是，此類測試中有一些既難以實施又存在現(xiàn)實風(fēng)險。例如，AI可能通過詐騙手段來賺取百萬資金。

筆者曾問過諾貝爾獎得主辛頓，AI最難掌握哪些技能。“我過去認為，理解他人心思這類能力會是其瓶頸?！彼f，“但它已經(jīng)具備了一些這種能力，甚至已經(jīng)能進行欺騙?！保ㄗ罱豁椂嗨髮W(xué)的聯(lián)合研究顯示，在誘導(dǎo)受試者選擇錯誤答案方面，大語言模型已超越人類。）他繼續(xù)說：“所以，我現(xiàn)在的答案是管道維修。修老房子的管道需要探入狹窄的縫隙，還要以特定方式擰緊零件。我認為至少未來10年內(nèi)AI無法完成這項任務(wù)。”

AI是否需要能執(zhí)行涉及實物的任務(wù)才算是AGI，學(xué)界對此始終存在爭論。谷歌DeepMind一篇關(guān)于衡量AGI級別的論文持否定立場，并主張這類智能只需通過軟件展現(xiàn)。他們認為，實物操作能力是AGI的附加能力而非必要能力。

圣塔菲研究所的米切爾提出，我們應(yīng)當(dāng)測試AI承擔(dān)整個工作崗位任務(wù)所需的能力。她指出，AI雖然能完成人類放射科醫(yī)生的許多任務(wù)，但無法完全取代人類醫(yī)生，因為這份工作包含大量連醫(yī)師本人都未意識到的隱性工作，比如決定要做什么以及應(yīng)對突發(fā)狀況等?！艾F(xiàn)實世界中有可能發(fā)生的意外情況實在太多了。”她說。某些掃地機器人因未接受過識別狗糞便的訓(xùn)練，會將狗糞便抹滿地毯。“在構(gòu)建智能系統(tǒng)時，有太多此類無法預(yù)見的突發(fā)狀況?！?/p>

部分科學(xué)家表示，我們不僅要觀察系統(tǒng)表現(xiàn)，更需探查其內(nèi)部運作機制。加拿大不列顛哥倫比亞大學(xué)計算機科學(xué)家杰夫·克倫（Jeff Clune）聯(lián)合發(fā)表的論文指出，深度學(xué)習(xí)常導(dǎo)致AI系統(tǒng)形成“割裂的糾纏表征”（fractured entangled representations），基本上就是大量臨時拼湊的捷徑機制。而人類則善于尋找普適且合理的通用規(guī)律。某個AI系統(tǒng)或許能在特定測試中表現(xiàn)得很智能，但如果不了解其內(nèi)部機制，它在新場景下應(yīng)用錯誤的規(guī)則可能引發(fā)意外后果。

作家劉易斯·卡羅爾（Lewis Car-roll）曾描寫過這樣一個角色：他使用“一英里代表一英里”比例尺的全國地圖，最終索性將整個國家本身當(dāng)作地圖。在智力測試領(lǐng)域，要精準地體現(xiàn)個體在特定情境中的表現(xiàn)，最佳方式就是將其置于這個情境中進行檢驗。按照這一邏輯，對AGI的有佳測試或許是讓機器人完整度過人類的一生，例如將孩子撫養(yǎng)成年。

“最終，檢驗AI能力的真實標準是它們在現(xiàn)實世界中的作為。”克倫告訴我，“因此相較于基準測試，我更關(guān)注（AI）有了哪些科學(xué)發(fā)現(xiàn)、自動完成了哪些工作。如果人類雇用AI而非人類來完成工作，并且堅持執(zhí)行這一決定，這本身就是對AI能力的強烈認可。”但有些時候，在使用AI替代人類之前，我們希望預(yù)先了解其表現(xiàn)水平。

我們或許永遠無法就AGI或“像人一樣”的AI的定義達成共識，也無法確定怎樣證實它就是AGI。隨著AI技術(shù)的進步，機器仍會犯錯，人們也總會借此宣稱AI并非真正的智能。近期，在一個專題討論會上，主持人問到了佐治亞理工學(xué)院心理學(xué)家伊萬諾娃關(guān)于AGI時間線的問題?！坝形粚W(xué)者認為它永遠不可能實現(xiàn)，”她告訴我，“而另一位則表示它已然出現(xiàn)。”因此，“AGI”這個術(shù)語或許只是表達目標或擔(dān)憂的一個便捷符號，其實際價值可能有限。在大多數(shù)情況下，在提及這個詞時，我們都該為其加上星號注釋，標明具體的基準測試。

來源：悅智網(wǎng)

編輯：東君

轉(zhuǎn)載內(nèi)容僅代表作者觀點

不代表中科院物理所立場

如需轉(zhuǎn)載請聯(lián)系原公眾號