這項由加州大學圣地亞哥分校主導，聯(lián)合阿布扎比穆罕默德·本·扎耶德人工智能大學、密歇根大學、加州大學伯克利分校、蘇黎世聯(lián)邦理工學院、劍橋大學及Gray Swan AI等多家機構(gòu)共同完成的研究，以預(yù)印本形式發(fā)布于2026年4月13日，論文編號為arXiv:2604.11201。有興趣深入了解的讀者可通過該編號查詢完整論文。

說到今天的人工智能，大家可能已經(jīng)習慣了這樣的說法：AI能寫代碼、能上網(wǎng)搜東西、能看圖片、能自動操作電腦界面……聽起來樣樣精通，無所不能。但一個核心問題始終沒人認真回答：當這些能力需要同時配合起來完成一件復(fù)雜任務(wù)時，AI到底表現(xiàn)得怎么樣？

就好比一個廚師，你單獨考他刀工是一回事，單獨考他火候控制是另一回事，但真正上灶做一桌席面——刀工、火候、擺盤、時間節(jié)奏全都得配合——那又完全是另一回事了?，F(xiàn)有的AI評測，大多還停留在"單獨考刀工"的階段。正是為了填補這個空白，研究團隊設(shè)計了一套全新的綜合測試平臺，叫做COCOABENCH。

一、為什么現(xiàn)有的AI考試卷子不夠用

要理解COCOABENCH解決了什么問題，得先搞清楚現(xiàn)有測試有哪些局限。

目前市面上已經(jīng)有不少針對AI助手的測試平臺。有專門測試AI處理軟件工程bug的（比如SWE-bench Pro），有專門測試AI操作電腦桌面界面的（比如OSWorld），有專門測試AI搜索網(wǎng)絡(luò)信息的（比如BrowseComp），也有測試AI調(diào)用各種專用工具的（比如MCP Atlas和Tool Decathlon）。這些測試各有所長，但問題在于，它們基本上都是"單科考試"——專注測某一項能力，而且往往綁定特定的運行環(huán)境或工具集合，就像只有在某個特定廚房、用特定炊具才能進行的廚藝考核。

現(xiàn)實中的任務(wù)卻不是這樣運作的。當你讓AI幫你規(guī)劃一次旅行，它可能需要先在網(wǎng)上搜索航班和酒店信息（搜索能力），然后從一張截圖或地圖中識別某個地點（視覺能力），最后把收集到的數(shù)據(jù)整理成一份對比表格或執(zhí)行某種計算（編程能力）。這三件事缺一不可，而且必須按照合理的順序協(xié)調(diào)配合。

這就是研究團隊所說的"統(tǒng)一數(shù)字助手"需要具備的核心素質(zhì)：不是單項冠軍，而是全能選手。而要測試全能選手，自然需要一份全科考卷。

二、COCOABENCH到底是怎么設(shè)計的

COCOABENCH總共包含153道由人工精心設(shè)計的題目，覆蓋商業(yè)、文化、教育、生活、邏輯與謎題、科學、體育、科技和旅行九大領(lǐng)域。每道題都對應(yīng)一個真實生活中可能遇到的場景，比如根據(jù)一年的加油收據(jù)計算加權(quán)平均油價，或者通過購物網(wǎng)站的截圖比較不同零食的營養(yǎng)成分并幫人做出最優(yōu)選擇。

這些題目有幾個特別之處，值得細說。

首先，每道題對AI來說都是"開放世界"挑戰(zhàn)。題目只給出一段指令和一個最終輸出的評分標準，不指定AI必須使用哪些工具、走哪條路徑。這就像告訴廚師"做一道魚香肉絲，最終口味要達到這個標準"，但不規(guī)定他用哪口鍋、哪把刀——能力強的廚師自然會選最合適的工具和流程。

其次，任務(wù)涉及多種資源形式。有些題需要AI處理網(wǎng)頁內(nèi)容，有些需要處理圖片，有些需要解析PDF文檔或CSV數(shù)據(jù)表，甚至還有需要分析視頻的題目。數(shù)據(jù)顯示，視覺類資源（網(wǎng)頁截圖加上圖片）占到了全部任務(wù)資源的近七成，足見視覺理解能力在實際任務(wù)中的重要性。

三類核心能力（視覺、搜索、編程）在這些題目中高度交叉出現(xiàn)——研究團隊統(tǒng)計，98%的題目需要同時用到至少兩種能力。其中，搜索能力被86.3%的題目所要求，視覺理解被83%的題目所要求，編程能力被56.2%的題目所要求。這種高度交叉，正是測試"全能配合"而非"單科成績"的關(guān)鍵所在。

第三，每道題都配有自動評分腳本，不依賴人工打分，也不依賴另一個AI來評判答案是否正確。這一點非常重要，因為人工評分費時費力，而用AI評AI又容易產(chǎn)生誤差。對于那些需要在網(wǎng)站上執(zhí)行操作才能完成的任務(wù)（比如在購物網(wǎng)站上真正完成下單流程），研究團隊采用了"結(jié)果代理評估"的方式——比如驗證AI最終報出的價格是否正確，因為只有正確完成了網(wǎng)站操作和合理計算才能得出這個價格。

在質(zhì)量把控方面，所有題目和參考答案都經(jīng)歷了嚴格的同行評審，確保題目表述清晰、評分標準明確、沒有讓AI抄近路繞過核心推理的漏洞，同時外部資源的鏈接穩(wěn)定可訪問。研究團隊還專門做了試運行，對照AI的執(zhí)行日志區(qū)分"AI確實能力不足"和"題目設(shè)計有問題"，剔除了有持續(xù)歧義的題目，整個設(shè)計經(jīng)過了多輪打磨。

三、和那些AI一起參加考試

為了讓評測結(jié)果盡可能全面和有代表性，研究團隊從兩個維度組織了測試。

一方面，他們直接測試了幾款現(xiàn)成的AI產(chǎn)品系統(tǒng)：OpenAI推出的ChatGPT Agent Mode（較早期的綜合型AI助手）、開源框架OpenClaw（分別搭載GPT-5.4和Claude Sonnet 4.6兩款核心模型）、Codex（OpenAI的編程助手，搭載GPT-5.4）、Claude Code（Anthropic的編程助手，搭載Claude Sonnet 4.6），以及OpenAI的Deep Research（專注長篇網(wǎng)絡(luò)信息搜索和整合的研究型助手，使用o4-mini版本）。

另一方面，研究團隊自己開發(fā)了一個輕量級的測試框架，叫做COCOA-AGENT，讓不同的AI核心模型在同一套工具配置下參賽，以便更公平地比較模型本身的能力差異。參與這個框架測試的模型包括：Claude Sonnet 4.6（高思考模式）、GPT-5.4（高思考模式）、Gemini-3.1-pro（高思考模式）、Gemini-Flash-3.0，以及兩款開源模型——Kimi-k2.5（月之暗面出品，總參數(shù)量1萬億，實際激活320億）和Qwen3.5-397B-A13B（阿里巴巴出品，總參數(shù)3970億，實際激活130億）。

COCOA-AGENT本身的設(shè)計也值得介紹一下。它建立在一個叫AIO Sandbox的沙盒運行環(huán)境上，把瀏覽器、命令行終端和文件系統(tǒng)全都集成在一個Docker容器里。AI通過一套共39個工具與這個環(huán)境交互，這些工具按能力類型分為三組：瀏覽器視覺操作類（17個工具，包括點擊、滾動、截圖等）、DOM網(wǎng)頁結(jié)構(gòu)訪問類（11個工具，包括讀取文本、提取鏈接、標記元素等）、以及編程與文件操作類（包括執(zhí)行Python/JavaScript代碼、運行終端命令、讀寫文件等）。每次測試有30分鐘時間限制和最多50輪交互的次數(shù)上限。

四、成績單出來了：最好的也才45%

測試結(jié)果相當直白：即使是目前最強的AI系統(tǒng)，也只能完成不到一半的任務(wù)。

在所有測試系統(tǒng)中，表現(xiàn)最好的是搭載GPT-5.4的Codex，成功率恰好達到45.1%。同樣搭載GPT-5.4的OpenClaw也達到了45.1%。緊隨其后的是搭載Claude Sonnet 4.6的OpenClaw，成功率34.0%。在COCOA-AGENT框架下，GPT-5.4取得了36.6%的成功率，Gemini-3.1-pro達到30.7%，Gemini-Flash-3.0達到19.6%，Claude Sonnet 4.6只有15.7%。

而兩款開源模型的成績則相當不理想：Kimi-k2.5僅有11.8%，Qwen3.5-397B-A13B只有9.8%。OpenAI Deep Research的表現(xiàn)也令人意外地低，只有3.3%，這可能是因為這款產(chǎn)品專注于長篇研究寫作，面對COCOABENCH里大量需要實時交互操作的任務(wù)時力不從心。

從這些數(shù)字可以得出幾個有意思的結(jié)論。GPT-5.4是目前最穩(wěn)定的核心模型，無論搭配哪個框架都保持在前列。Claude Sonnet 4.6的表現(xiàn)則不那么穩(wěn)定，在OpenClaw框架下有34%，但在COCOA-AGENT下只有15.7%，說明它對框架設(shè)計的依賴性更強。開源模型與頂級閉源模型之間的差距依然明顯，最強開源模型的成功率還不到最強閉源模型的三分之一。

五、花多少錢、用多長時間，和考多高分的關(guān)系

研究團隊還仔細比較了各系統(tǒng)的成本效率：每個任務(wù)的平均花費從0.5美元到2.5美元不等，平均完成時間從380秒到3400秒不等。

一個出乎意料的發(fā)現(xiàn)是：貴不一定好，慢不一定強。Codex系統(tǒng)（搭載GPT-5.4）每個任務(wù)平均花費0.75美元，而同樣用GPT-5.4的OpenClaw要花1.09美元，COCOA-AGENT框架下更是高達2.31美元。但成功率并不隨著花費增加而等比例提升。在成本與性能的權(quán)衡曲線上，Codex處于最優(yōu)位置，是所謂的"帕累托前沿"——用相對最低的成本取得最高的成績。

這背后的原因很可能是框架設(shè)計的效率差異。Codex最初是為編程任務(wù)設(shè)計的，它的交互方式更簡潔直接，而COCOA-AGENT的工具體系更全面，但相應(yīng)地調(diào)用成本也更高。這提示我們，AI系統(tǒng)的整體能力不只取決于核心模型的智力水平，框架和工具的設(shè)計效率同樣至關(guān)重要。

六、會用代碼的AI，才是真正的強手

研究團隊對COCOA-AGENT框架下六個模型的工具調(diào)用記錄做了詳細統(tǒng)計，發(fā)現(xiàn)了一個非常清晰的規(guī)律：強的模型更多地依賴編程工具，弱的模型則更多地停留在瀏覽器操作上。

在所有工具調(diào)用中，"執(zhí)行代碼"（code execute）和"執(zhí)行終端命令"（shell execute）是使用最頻繁的兩類，總調(diào)用次數(shù)分別達到7799次和4050次，遠超其他所有工具。排在后面的依次是瀏覽器導航（3439次）和圖片讀?。?482次）。

把這些工具調(diào)用按能力類型（編程、視覺、搜索）歸類后，可以看出不同模型的"風格"截然不同。GPT-5.4有64%的工具調(diào)用屬于編程類，Gemini-3.1-pro有63.2%。而Kimi-k2.5則把51.7%的調(diào)用花在視覺工具上，Gemini-Flash-3.0把34%的調(diào)用花在DOM搜索工具上，編程調(diào)用分別只占26.4%和更低的比例。

這種差異和最終成績高度吻合：越是多用編程工具的模型，成績越好。原因在于編程工具承擔了雙重角色——一方面，寫幾行代碼往往能用更少的步驟完成復(fù)雜操作，比直接點來點去效率高得多；另一方面，對收集來的數(shù)據(jù)進行復(fù)雜運算、格式化輸出，也必須靠編程完成。強模型的策略是：用視覺和搜索工具獲取信息，然后交給代碼處理；弱模型則傾向于在瀏覽器里"手動"完成全程，既慢又容易出錯。

七、哪里出了問題：三大失敗原因的解剖

為了搞清楚AI到底是在哪些環(huán)節(jié)上栽跟頭的，研究團隊對712條失敗記錄進行了系統(tǒng)分類（這712條來自六個模型共918次任務(wù)嘗試中的失敗部分），用Claude Sonnet 4.6作為評判者，為每條失敗記錄打上原因標簽。

失敗原因被分成三大類，每類下面又細分出若干子類型。

第一大類叫"推理與規(guī)劃失敗"，占所有失敗原因的54%，是比例最高的一類。這類失敗又細分為三種情形。第一種是"推理錯誤"（占25%），包括兩種表現(xiàn)：一是目標偏移，AI明明要完成任務(wù)A，卻只解決了任務(wù)A的一個子問題就停下來了——就像有人讓你做一份完整的項目報告，你只寫了摘要就交卷了；二是策略錯誤，AI理解了目標但選擇了根本行不通的方法。一個典型例子是，在一道要求解決八數(shù)碼謎題并以"最短路徑序列"為依據(jù)生成驗證碼的任務(wù)中，AI正確地算出了最短28步的解法，但是在一個已經(jīng)執(zhí)行了很多探索操作的瀏覽器會話里繼續(xù)操作，導致最終提交的驗證碼和"從干凈狀態(tài)嚴格按最短路徑執(zhí)行"所生成的驗證碼不一致。AI解了題，但沒真正完成任務(wù)。

第二種是"精度失誤"（占15.5%），即方法對了，但細節(jié)出錯。一個讓人印象深刻的案例是：AI要計算一整年加油收據(jù)的加權(quán)平均油價，它正確識別了所有收據(jù)，也使用了正確的價格乘以體積的計算邏輯，但在累加過程中過早做了中間舍入，導致最終結(jié)果是4.217而正確答案是4.216，差了0.001，就這一個小數(shù)點后第三位的偏差，任務(wù)失敗。另一個案例是AI需要統(tǒng)計某篇博士論文正文部分某參考文獻的引用次數(shù)，結(jié)果把附錄里的引用也算進去了，得出5次而非正確的4次。

第三種是"格式錯誤"（占13.6%），即AI算出了正確答案，但沒有按要求格式輸出——比如在一道需要同時回答A和B兩個問題的任務(wù)里，AI答完A就提交了，把B的答案丟掉了。

第二大類叫"工具與執(zhí)行失敗"，占19%。這類失敗最常見的表現(xiàn)是陷入無限循環(huán)（占12%），即AI發(fā)現(xiàn)某個工具沒有返回預(yù)期結(jié)果，卻不斷重復(fù)同樣的操作，消耗完全部50次交互機會也沒能推進任務(wù)。一個案例是AI需要解一道圖像形式的數(shù)獨謎題，它試圖用圖像處理庫逐行逐列裁剪微小區(qū)域來讀取數(shù)字，整整消耗了51輪交互都沒有真正進入解題階段，最終空手而歸。

另一類工具失敗是被網(wǎng)站的反爬蟲機制攔截（占4.2%）。AI試圖爬取某個學術(shù)數(shù)據(jù)庫查詢論文引用數(shù)，結(jié)果被Cloudflare的驗證頁面攔下，AI沒有識別出這是驗證頁面，把這個空白的安全提示頁當成了正常的查詢結(jié)果，最終報告引用數(shù)為0。

還有一類是工具結(jié)果幻覺（占0.8%，但危害很大）：AI要處理47篇關(guān)于GLP-1藥物臨床試驗的論文，在前幾輪對話里成功提取了若干論文的數(shù)據(jù)，但隨著對話記錄越來越長，早期的提取結(jié)果被"遺忘"（超出了AI的上下文窗口限制），AI開始重復(fù)提取同樣的數(shù)據(jù)，不斷循環(huán)，最終沒能完成完整分析。

第三大類叫"視覺定位失敗"，占28%。第一種子類型是視覺細節(jié)不精準（占15.8%）：AI在一段登山視頻中需要讀出路線圖上每個標記點的海拔高度，它正確處理了大部分數(shù)字，但把第三個標記點的"8690m"誤讀為"8710m"，差了20米，超過了評分容差。

第二種是視覺語義知識不足（占7.6%）：AI能看清圖片里的人臉，但不認識是誰。一個案例是AI看到一張格萊美頒獎典禮照片，需要識別出兩位藝術(shù)家的名字，它正確識別了Billie Eilish，但把旁邊的Lana Del Rey認成了Taylor Swift，進而用錯誤的人名去查詢獲獎記錄，導致最終計算出的總獲獎數(shù)完全錯誤。還有一個案例更有意思：AI需要根據(jù)一張街景圖中熊雕塑旁的環(huán)島和"進入環(huán)島取第一個出口"的指令判斷某建筑面朝哪個方向，AI正確讀取了圖片中的空間布局，卻錯誤地套用了"左行交通"（即英國式靠左行駛）的規(guī)則，而圖片實際上來自一個靠右行駛的國家，結(jié)果方向判斷完全反了。

第三種是缺乏視覺感知（占5.4%）：AI試圖通過讀取網(wǎng)頁DOM結(jié)構(gòu)來獲取本應(yīng)通過截圖視覺解讀才能得到的信息。一個典型案例是分析一個Tableau商業(yè)智能儀表盤，AI調(diào)用了后臺的數(shù)據(jù)API接口，拿到了原始未聚合的數(shù)據(jù)，但Tableau的最終顯示結(jié)果是在瀏覽器端完成數(shù)據(jù)聚合后才渲染出來的，原始數(shù)據(jù)和顯示結(jié)果根本不一樣，AI拿著"原材料"報告了一個完全錯誤的結(jié)論。

八、GPT-5.4和Kimi-k2.5的差距從哪里來

為了更細致地理解為什么不同模型表現(xiàn)差距這么大，研究團隊重點比對了成績最好和成績最差的兩個模型——GPT-5.4和Kimi-k2.5——在各類失敗原因上的分布。

相比GPT-5.4，Kimi-k2.5在"推理錯誤"這一類失敗上比例更高，說明它在面對陌生場景時缺乏足夠的程序性知識，不知道該用什么策略。它的"格式錯誤"比例也明顯更高，說明在經(jīng)歷了多輪交互之后，它更容易忘記任務(wù)開始時給出的輸出格式要求。在工具使用上，Kimi-k2.5更容易陷入無限循環(huán)，一旦遇到工具返回了意外結(jié)果，它往往不知道如何調(diào)整策略，只是一遍遍重復(fù)同樣的操作。在視覺能力上，Kimi-k2.5在"視覺細節(jié)"這一子類型上的失敗比例遠高于GPT-5.4，說明它在處理精細視覺信息時可靠性明顯不足。

歸根結(jié)底，這項研究的結(jié)論是：即便是當今最先進的AI系統(tǒng)，在面對需要視覺、搜索和編程協(xié)同配合的真實任務(wù)時，依然遠未達到可靠的水平。最好的系統(tǒng)只有45.1%的成功率，意味著超過一半的任務(wù)會失敗。這三大類失敗——想不清楚、做不到位、看不準確——共同構(gòu)成了通向"真正全能數(shù)字助手"道路上的主要障礙。

研究團隊已將COCOABENCH的全部153道題目、評分腳本和COCOA-AGENT框架代碼完全開源，希望這套工具能成為未來AI能力研究的基礎(chǔ)設(shè)施，包括為訓練更強AI（尤其是通過強化學習提升綜合任務(wù)能力）提供評測基礎(chǔ)。

說到底，我們現(xiàn)在的AI助手更像是一批?？飘厴I(yè)的高手，各自在本專業(yè)領(lǐng)域出類拔萃，但面對現(xiàn)實生活里那些需要綜合調(diào)度多種技能的任務(wù)時，仍然力不從心。COCOABENCH的價值不只是給出了一份成績單，更是清晰地指出了差距在哪里：不是某一項技術(shù)還不夠強，而是在多能力協(xié)同配合、長鏈條任務(wù)推進、以及在遇到障礙時靈活調(diào)整策略這些方面，還有很長的路要走。對于任何關(guān)心AI未來發(fā)展走向的人來說，這份診斷報告或許比那個45.1%的分數(shù)本身更有參考價值。有興趣深入了解的讀者可通過arXiv:2604.11201查閱完整論文。

Q&A

Q1：COCOABENCH和現(xiàn)有AI測試平臺有什么本質(zhì)區(qū)別？

A：現(xiàn)有測試平臺大多只考察AI的單項能力，比如只測編程、只測網(wǎng)頁瀏覽或只測圖像理解，而且往往綁定特定的運行環(huán)境。COCOABENCH的核心區(qū)別在于，它的每道題目都要求AI同時綜合運用視覺理解、網(wǎng)絡(luò)搜索和編程三種能力，并且不限定AI使用哪些工具或走哪條路徑，更接近真實生活中的復(fù)雜任務(wù)場景。

Q2：為什么GPT-5.4在COCOABENCH上的成績比其他模型好這么多？

A：從測試數(shù)據(jù)來看，GPT-5.4的優(yōu)勢主要體現(xiàn)在兩方面：一是它在遇到復(fù)雜任務(wù)時更傾向于用編程代碼來處理數(shù)據(jù)，這比在瀏覽器里一步步手動操作更高效也更可靠；二是它在推理準確性和長任務(wù)中保持注意力方面表現(xiàn)更穩(wěn)定，不容易在多輪交互后遺忘早期指令或陷入重復(fù)循環(huán)。

Q3：AI在COCOABENCH上失敗最多的原因是什么？

A：最常見的失敗原因是推理與規(guī)劃問題，占所有失敗的54%。具體表現(xiàn)包括：理解了目標但采用了錯誤的解題策略、算法對了但中間某個細節(jié)出了偏差（比如計算時過早四舍五入導致最終結(jié)果差一點），以及明明算出了正確答案卻沒有按要求格式輸出。視覺理解失敗（28%）和工具執(zhí)行卡頓（19%）是另外兩大主要原因。