我們一直期待 AI 不只是“工具鏈的執(zhí)行者”，而是真正能在陌生環(huán)境里自主理解、規(guī)劃、行動的“主體”。

但越是接近這個愿景，越能感受到現(xiàn)實的落差——尤其當我們認真問一句，這些號稱“通用”的 Agent，真的能在沒有任何任務特化工程的情況下完成任務嗎？

2 月 27 日，IBM Research 發(fā)布最新研究成果《General Agent Evaluation》，它提出統(tǒng)一協(xié)議、零特化原則、跨環(huán)境評測框架，并系統(tǒng)性地測試了五個主流 Agent 系統(tǒng)，揭示了一個殘酷但真實的事實，在沒有任務特化工程的情況下，所有系統(tǒng)的表現(xiàn)都顯著下降。

IBM Research 成立于 1945 年，是全球最早的科技研究院之一。它的定位從來不是“做產品”，而是“做未來”。幾十年來，它在計算機科學史上留下了大量里程碑式成果，從磁盤存儲、關系數據庫、量子計算，到深藍、沃森，再到今天的企業(yè)級 AI、可信 AI、自動化系統(tǒng)與智能體研究。

01通用智能體的承諾與現(xiàn)實落差

通用 Agent不依賴任務特化 API，不依賴提示工程，不依賴環(huán)境包裝器，面對陌生任務也能自主理解、規(guī)劃、執(zhí)行。OpenAI SDK Agent、Claude Code 等系統(tǒng)讓人看到了一些苗頭，但當我們真正把它們放到“無特化環(huán)境”里時，結果往往變得不那么好看。

評測，反而成了通用 Agent 的最大瓶頸。不是因為評測難，而是因為現(xiàn)有評測體系根本無法回答“通用性”這個問題。絕大多數 Agent 基準都隱含著大量任務集成假設，任務 API 已經準備好、環(huán)境已經結構化、輸入已經清洗、工具已經綁定。這些條件讓 Agent看起來很強，但也讓它們完全無法在真實世界的“未知環(huán)境”中站穩(wěn)腳跟。

如果要理解這項研究的意義，必須先看清當前 Agent 研究的三大誤區(qū)。

第一個誤區(qū)是把“任務特化 Agent”當成“通用 Agent”。許多系統(tǒng)在特定任務上表現(xiàn)驚艷，但那是因為它們被深度集成進了任務環(huán)境：API已經綁定、工具已經封裝、提示已經優(yōu)化。它們的強，是工程強，而不是智能強。

第二個誤區(qū)，是基準測試隱含大量“任務集成假設”。當前主流 Agent 基準往往假設任務結構化、環(huán)境穩(wěn)定、接口清晰，這讓評測結果看起來很漂亮，卻完全無法反映真實世界的復雜性。研究團隊明確指出，現(xiàn)有基準“編碼了任務信息”，從根本上排除了對通用Agent 的公平評估。

第三個誤區(qū)，是缺乏跨環(huán)境、跨任務的統(tǒng)一評測協(xié)議。每個基準都有自己的接口、格式、工具鏈，導致 Agent 無法在不同環(huán)境間遷移，也無法被系統(tǒng)性比較。

在這樣的背景下，研究團隊提出了一個關鍵問題：

“如果不給 Agent 做任何任務特化，它還能完成任務嗎？”

這個問題看似簡單，卻直擊通用 Agent 的本質。真正的通用性，不是模型參數的大小，也不是工具數量的多少，而是Agent 是否能在陌生環(huán)境中自主理解任務、規(guī)劃行動、調用工具、處理錯誤、完成目標。

而這恰恰是當前 Agent 的最大短板。

通用 Agent 的真正挑戰(zhàn)，不在于語言模型本身，而在于四個系統(tǒng)性能力：環(huán)境理解、工具泛化、長期規(guī)劃、錯誤恢復。模型可以很強，但如果無法理解環(huán)境狀態(tài)、無法在未知工具中遷移策略、無法在失敗后重新規(guī)劃，那它就無法成為真正的“通用智能體”。

02構建通用智能體評估的基礎設施

通用智能體的討論已經持續(xù)多年，但真正意義上的“通用性”始終缺乏一個可以落地、可復現(xiàn)、跨環(huán)境的評測體系。這項研究最重要的貢獻，就是把這件事從“概念”變成“基礎設施”。研究團隊不是在展示一個更強的 Agent，而是在搭建一個讓所有 Agent 都必須面對的“現(xiàn)實考場”。這套體系的出現(xiàn)，意味著通用 Agent 的研究終于有了共同語言和統(tǒng)一標準。

圖1：跨代理模型配置的性價比權衡。帕累托邊界（紅色虛線）顯示了最佳的權衡：GPT 5.2配置提供了最佳的成本效益，而Claude Opus 4.5在3-33×成本更高。

研究的第一個貢獻，是正式提出“General Agent Evaluation”作為一個獨立研究方向。過去的Agent 評測往往被塞進某個任務基準里，或者依附在某個系統(tǒng)的展示中，缺乏系統(tǒng)性、方法論和理論框架。IBM Research 這次把它從任務中抽離出來，定義為一個獨立的科學問題，如何評估一個不依賴任務特化工程的智能體？這一步的意義類似于當年 ImageNet 之于視覺、GLUE 之于語言，它為未來十年的 Agent 研究奠定了方向。

第二個貢獻，是構建了跨六類環(huán)境的統(tǒng)一評測框架。研究沒有選擇單一任務或單一環(huán)境，而是覆蓋了 Web、文件系統(tǒng)、API 工具、代碼執(zhí)行、游戲/模擬、結構化任務六大類環(huán)境。這些環(huán)境共同構成了現(xiàn)實世界中 Agent 可能面對的主要任務類型。更重要的是，它們都遵循同一套協(xié)議，讓 Agent 不再依賴環(huán)境特化的接口，而必須在自然語言描述下自主行動。

第三是提出“零特化（Zero Integration）”評測原則。這個原則非常關鍵，它要求評測過程中不允許任何任務特化提示、API、包裝器或結構化輸入。換句話說，Agent 必須像真實世界那樣面對“未知環(huán)境”，不能依賴工程師提前鋪好的路。這是對通用性最直接、最嚴格的檢驗，也讓許多看似強大的Agent 暴露出真實能力邊界。

第四個貢獻，是對五個主流 Agent 系統(tǒng)進行系統(tǒng)性評測，揭示了它們在無特化條件下的通用性缺陷。研究沒有點名批評，但結果非常清晰：所有系統(tǒng)在陌生環(huán)境中的表現(xiàn)都遠低于它們在任務特化基準中的成績。規(guī)劃混亂、工具調用失敗、環(huán)境理解不足、錯誤恢復能力薄弱，這些問題在跨環(huán)境評測中被放大得淋漓盡致。

圖2:代理評估的演變。（A）單獨基準的集合，每個基準都需要一個自定義代理或一個具有特定適應能力的代理（HAL）（B）通過單一協(xié)議（如CLI或Web）整合的多個基準（C）通過可適應任何代理協(xié)議的通用協(xié)議（Exgentic）整合的多重基準。

第五是提出可擴展的評測協(xié)議，為未來 Agent 標準化奠基。研究的框架不是一次性實驗，而是一套可擴展、可復現(xiàn)、可跨系統(tǒng)遷移的評測基礎設施。它可以不斷加入新環(huán)境、新任務、新工具，成為未來通用 Agent 研究的“公共底座”。

03評測框架設計：如何評估“真正的通用Agent”

IBM Research 的設計思路非常明確，讓 Agent 在盡可能接近真實世界的條件下行動，而不是在工程師為它準備好的“溫室”里完成任務。

統(tǒng)一協(xié)議（Unified Protocol）

研究的核心是一個統(tǒng)一的交互協(xié)議。所有任務都以自然語言描述，不提供結構化輸入、不提供任務模板、不提供 API 文檔。Agent 必須自己理解任務、規(guī)劃步驟、選擇工具、執(zhí)行操作、處理錯誤。它不能依賴任何任務特化提示，也不能依賴環(huán)境包裝器。這個協(xié)議讓所有 Agent 都站在同一起跑線上，也讓評測結果更能反映真實能力。

圖3：Open General Agent Leaderboard是第一個在不同環(huán)境中跨關鍵技能一致測試General Agent架構的基準。

六大環(huán)境類型

研究團隊選擇的六類環(huán)境，幾乎覆蓋了現(xiàn)實世界中 Agent 可能遇到的主要任務類型。

Web 環(huán)境是最貼近真實世界的場景，涉及動態(tài)頁面、DOM 結構、交互邏輯等復雜因素。難點在于環(huán)境高度非結構化，Agent 必須具備強大的感知與規(guī)劃能力。

文件系統(tǒng)環(huán)境更偏向傳統(tǒng)操作系統(tǒng)任務，考驗 Agent 的指令理解、路徑推理和狀態(tài)管理能力。相對可控，但仍需要多步驟規(guī)劃。

API 工具環(huán)境模擬現(xiàn)實中的工具調用場景，難點在于 Agent 必須理解工具功能、參數格式，并在缺乏明確文檔的情況下正確調用。

代碼執(zhí)行環(huán)境考驗 Agent 的編程能力、調試能力和邏輯推理能力。錯誤恢復在這里尤為關鍵。

游戲/模擬環(huán)境提供了動態(tài)狀態(tài)、規(guī)則系統(tǒng)和策略空間，是測試長期規(guī)劃和環(huán)境建模能力的理想場景。

結構化任務環(huán)境則用于評估 Agent 在半結構化信息中的推理能力，介于自然語言與程序化任務之間。

這些環(huán)境共同構成了一個跨維度、跨任務、跨交互模式的評測體系，讓 Agent 的通用性在多角度、多層次上被檢驗。

任務設計原則

研究的任務設計遵循四個嚴格原則。

無結構化輸入，意味著任務不會被預處理成模型最擅長的格式，Agent 必須自己理解自然語言。

無任務特化工具，意味著 Agent 不能依賴為某個任務定制的工具鏈。

無預設 API，意味著 Agent 必須自己探索工具功能，而不是依賴工程師提前寫好的接口。

無提示工程，意味著 Agent 不能依賴“魔法提示”來完成任務。

這些原則共同指向一個目標，強調“陌生環(huán)境中的泛化能力”。真正的通用Agent，不是靠工程堆出來的，而是靠能力本身支撐的。

04實驗設置：5個Agent × 6類環(huán)境

通用智能體的評測，只有在“把所有系統(tǒng)放到同一片陌生土地上”時才真正有意義。IBM Research的實驗設計正是基于這種理念，不給任何系統(tǒng)鋪路，不給任何任務特化接口，讓所有 Agent 在同樣的自然語言任務描述下，進入六類完全不同的環(huán)境，看看它們到底能走多遠。

圖4：Exgentic定義了代理和基準之間的統(tǒng)一協(xié)議。Exgentic Orchestrator連接代理和基準，首先傳遞任務定義，然后協(xié)調基準和代理之間傳遞的觀察和操作。Exgentic提供適配器，將統(tǒng)一協(xié)議轉換為代理和基準測試所需的特定協(xié)議。最后，基準提供質量結果指標，而代理提供代理運行時成本。

被評測的五類主流 Agent 系統(tǒng)

研究團隊沒有把注意力放在“誰更強”上，而是刻意選擇了五種代表性系統(tǒng)，覆蓋當前 Agent 生態(tài)的主要技術路線。

工業(yè)級 Agent 是最受關注的一類，包括 OpenAI SDK Agent、Claude Code 等具備強大工具調用能力的系統(tǒng)。它們通常在任務特化環(huán)境中表現(xiàn)亮眼，但在零特化條件下能否保持穩(wěn)定，是本次評測的關鍵看點。

開源 Agent 框架代表了社區(qū)生態(tài)的另一條路線，強調可擴展性、可組合性和靈活性。它們的優(yōu)勢在于工程透明，但在陌生環(huán)境中往往缺乏穩(wěn)健性。

工具增強型 LLM Agent 則依賴豐富的工具集，通過調用外部 API、插件或函數來完成任務。它們的挑戰(zhàn)在于如何在沒有預設 API 文檔的情況下理解工具功能。

代碼執(zhí)行型 Agent 是近年來的熱門方向，依靠編寫和執(zhí)行代碼來解決復雜任務。它們在結構化任務中表現(xiàn)強勢，但在動態(tài)環(huán)境中容易迷失。

Web 操作型 Agent 則專注于瀏覽器環(huán)境，能夠解析 DOM、點擊按鈕、填寫表單，但面對動態(tài)網頁和不確定結構時常常出現(xiàn)策略崩潰。

這五類系統(tǒng)共同構成了當前 Agent 技術版圖的縮影，也讓評測結果更具行業(yè)代表性。

評測指標

為了全面刻畫 Agent 的真實能力，研究從六個維度進行評估。

成功率是最直觀的指標，衡量 Agent 是否最終完成任務。

規(guī)劃質量反映了 Agent 的任務分解能力，是否能把自然語言目標拆解成合理步驟。

工具使用策略考察 Agent 是否能正確選擇工具、理解參數、處理調用失敗。

環(huán)境探索能力決定了 Agent 在未知環(huán)境中能否主動嘗試、收集信息、調整策略。

錯誤恢復能力是通用 Agent 的生命線，失敗后能否重新規(guī)劃，而不是陷入循環(huán)或直接放棄。

任務泛化能力則是最核心的指標，衡量 Agent 是否能在完全陌生的任務和環(huán)境中保持穩(wěn)定表現(xiàn)。

這些指標共同構成了一個多維度的能力畫像，讓“通用性”不再是模糊概念，而是可量化、可比較的能力結構。

05實驗結果：通用Agent的真實能力遠低于預期

當五類系統(tǒng)被放入六類陌生環(huán)境，所有任務只通過自然語言描述，沒有任何任務特化工程時，結果呈現(xiàn)出一種令人意外卻又合理的趨勢，通用 Agent 的真實能力，比我們想象的要弱得多。

總體表現(xiàn)：所有系統(tǒng)在“無特化”條件下顯著下降

成功率普遍偏低，這是最直接的信號。許多系統(tǒng)在任務特化基準中能達到 70%–90% 的成功率，但在零特化環(huán)境中往往跌到個位數或十幾的水平。

工具調用混亂是另一個普遍現(xiàn)象。Agent 經常誤用工具、傳錯參數、重復調用失敗的函數，甚至在沒有理解工具功能的情況下盲目嘗試。

規(guī)劃錯誤頻繁出現(xiàn)，尤其是在多步驟任務中。Agent 往往無法保持任務上下文，導致步驟順序混亂、遺漏關鍵操作或重復執(zhí)行無意義動作。

環(huán)境理解不足則貫穿所有環(huán)境類型。無論是網頁結構、文件系統(tǒng)狀態(tài)還是 API 返回值，Agent 都難以形成穩(wěn)定的環(huán)境模型，導致行動策略缺乏連貫性。

這些問題共同揭示了一個事實：當前 Agent 的“智能”更多來自工程鋪路，而不是自主能力。

各環(huán)境表現(xiàn)差異

盡管整體表現(xiàn)不佳，但不同環(huán)境之間仍呈現(xiàn)出明顯差異。

文件系統(tǒng)任務相對較好，因為環(huán)境結構穩(wěn)定、反饋明確、操作可控。Agent 在這里更容易形成有效策略。

Web 操作與 API 調用任務的失敗率極高。動態(tài)網頁、復雜 DOM、缺乏結構化 API 文檔，讓 Agent 很難理解環(huán)境狀態(tài)，導致大量無效操作。

多步驟推理任務表現(xiàn)不穩(wěn)定。Agent 往往能完成前幾步，但在任務中段或末段出現(xiàn)邏輯斷裂，暴露出長期規(guī)劃能力的不足。

這些差異說明，Agent 的能力高度依賴環(huán)境結構化程度，而非真正的通用性。

表：失敗的運行比成功的運行長多少，以交互次數的百分比差異來衡量。

正值意味著失敗需要更多的交互；負值意味著它們取的更少。

Agent的系統(tǒng)性弱點

研究的實驗結果揭示了四個貫穿所有系統(tǒng)的核心弱點。

缺乏環(huán)境建模能力，使得 Agent 無法理解狀態(tài)變化，也無法根據環(huán)境反饋調整策略。

缺乏通用工具使用策略，讓 Agent 在面對未知工具時表現(xiàn)得像“盲試”，而不是“理解后行動”。

缺乏自我糾錯機制，使得錯誤一旦發(fā)生，Agent 往往陷入循環(huán)、重復失敗或直接放棄。

缺乏長期規(guī)劃能力，讓多步驟任務變得異常困難，尤其是在需要跨階段保持上下文的場景中。

這些弱點共同構成了當前通用 Agent 的能力天花板，也說明了為什么“任務特化工程”在過去幾年里如此重要——它在很大程度上掩蓋了這些結構性問題。

06通用Agent的瓶頸在哪里？

通用智能體的討論常常被大模型的光環(huán)所掩蓋，人們習慣性地把“模型能力”與“Agent 能力”畫上等號。但研究團隊用系統(tǒng)性的跨環(huán)境實驗告訴我們，真正的瓶頸根本不在模型，而在行動、在策略、在環(huán)境理解、在錯誤恢復——在那些模型本身并不擅長的地方。

模型能力 ≠ Agent 能力

大模型的語言理解、推理和生成能力確實強大，但 Agent 的任務不是“回答問題”，而是“在環(huán)境中行動”。行動意味著狀態(tài)變化、工具調用、路徑規(guī)劃、錯誤處理，這些都不是 LLM 的天然強項。研究的實驗結果清楚地展示了這一點，即便是最強的模型，在面對陌生工具、未知環(huán)境、動態(tài)狀態(tài)時，也會表現(xiàn)得像一個“不會用電腦的新手”。

工具使用是第一個瓶頸。Agent 經常誤用工具、傳錯參數、重復調用失敗的函數，說明它并沒有真正理解工具的功能和限制。

環(huán)境理解是第二個瓶頸。無論是網頁結構、文件系統(tǒng)狀態(tài)還是 API 返回值，Agent 都難以形成穩(wěn)定的環(huán)境模型，導致行動策略缺乏連貫性。

狀態(tài)建模則是第三個瓶頸。Agent 往往無法記住任務進度、環(huán)境變化或歷史操作，導致規(guī)劃斷裂、重復執(zhí)行或邏輯混亂。

這些問題共同說明：模型強，不等于 Agent 強。

當前基準嚴重高估了 Agent 的真實能力

研究的另一個關鍵洞察，是對現(xiàn)有基準的批判。當前 Agent 基準往往給了太多“任務特化輔助”：結構化輸入、預設 API、環(huán)境包裝器、提示工程。這些輔助讓 Agent 看起來很強，但那是因為工程師替它完成了大部分“理解環(huán)境”的工作。

真實世界任務遠比基準復雜。網頁是動態(tài)的，API 沒有文檔，文件系統(tǒng)狀態(tài)不穩(wěn)定，工具行為不可預測?；鶞手械摹袄硐氕h(huán)境”與現(xiàn)實中的“混沌環(huán)境”之間的差距，正是通用 Agent 在落地時頻頻翻車的原因。

研究的零特化評測框架，正是為了把這些隱藏的輔助全部剝離，讓 Agent 面對真實世界的復雜性。

通用 Agent 需要“跨環(huán)境一致的認知結構”

研究提出的第三個洞察，是對未來通用 Agent 架構的方向性判斷：真正的通用 Agent 必須具備跨環(huán)境一致的認知結構，而不是依賴任務特化工程。

通用規(guī)劃器是第一層能力。Agent 必須能從自然語言任務中自主拆解步驟，而不是依賴模板化提示。

通用工具策略是第二層能力。Agent 必須能在沒有文檔的情況下理解工具功能、推斷參數、處理失敗。

通用錯誤恢復機制是第三層能力。失敗不是例外，而是常態(tài)。Agent 必須能識別失敗、重新規(guī)劃，而不是陷入循環(huán)。

通用環(huán)境建模是第四層能力。Agent 必須能理解環(huán)境狀態(tài)、預測變化、保持上下文，而不是每一步都“從零開始”。

這些能力共同構成了未來通用 Agent 的“認知骨架”。

評測體系必須從“任務特化”轉向“環(huán)境無關”

研究的第四個洞察，是對評測體系的方向性重構。未來的評測不應該再圍繞“任務得分”，而應該圍繞“泛化能力”。這與近年來關于“Benchmark Saturation”的研究形成呼應：當模型在特定基準上達到極限時，基準本身已經無法反映真實能力。

環(huán)境無關的評測體系，才是推動 Agent 進化的關鍵。只有在陌生環(huán)境中，Agent 的真實能力才會被暴露；只有在無特化條件下，通用性才有意義。（END）

參考資料：https://arxiv.org/pdf/2602.22953

關于波動智能——

波動智能旨在建立一個基于人類意圖與反應的真實需求洞察及滿足的價值體系，融合人工智能與意識科學，構建覆蓋情緒識別、建模與推薦的智能引擎，自主研發(fā)面向社交、電商等場景的多模態(tài)意圖識別引擎、意圖標簽系統(tǒng)及意圖智能推薦算法，形成從情緒采集、意圖建模到商業(yè)轉化的完整解決方案。波動智能提出“意圖是連接人、物與內容的新型接口”，其產品廣泛應用于AI社交、個性化內容推薦、虛擬陪伴、電商體驗優(yōu)化等領域。波動智能正在探索“EMO-as-a-Service”技術服務架構，賦能企業(yè)實現(xiàn)更高效的用戶洞察與精準情緒交互，推動從功能驅動到意圖驅動的產業(yè)范式升級。

親愛的人工智能研究者，為了確保您不會錯過*波動智能*的最新推送，請星標*波動智能*。我們傾心打造并精選每篇內容，只為為您帶來啟發(fā)和深思，希望能成為您理性思考路上的伙伴！

加入AI交流群請掃碼加微信