在 Princeton 發(fā)布 SWE-Bench 之后，用真實世界代碼倉庫+可執(zhí)行測試評測大模型軟件工程能力，幾乎已成為學(xué)術(shù)界與工業(yè)界的共識。圍繞 SWE issue 的評測范式迅速發(fā)展，也催生了一系列 SWE 系列 benchmark，在刻畫模型 bug 修復(fù)能力方面發(fā)揮了重要作用。

但真實的軟件工程實踐并不止于修 bug。大量關(guān)鍵工作發(fā)生在feature 級別的 End-to-End 開發(fā)中：它往往意味著更長的代碼路徑、更復(fù)雜的跨文件依賴，以及對長期上下文與整體系統(tǒng)行為的理解。也就是說，能修 bug 并不意味著能交付一個完整的 feature。

為填補(bǔ)這一空白，中國科學(xué)院自動化研究所聯(lián)合華為聚焦Test-Driven的評測范式，提出了FeatureBench（Benchmarking Agentic Coding in End-to-End Development of Complex Features），并構(gòu)建了一整套覆蓋數(shù)據(jù)構(gòu)建、推理與評測的端到端基礎(chǔ)設(shè)施。數(shù)據(jù)、管線代碼與執(zhí)行鏡像均已完整開源，旨在為評估與推動更強(qiáng)、更全面的 agentic coding 模型提供新的基準(zhǔn)。

• 論文標(biāo)題：FeatureBench: Benchmarking Agentic Coding for Complex Feature Development
• 項目主頁：https://libercoders.github.io/FeatureBench/
• arXiv 論文：https://arxiv.org/abs/2602.10975
• Hugging Face 數(shù)據(jù)集：https://huggingface.co/datasets/LiberCoders/FeatureBench
• GitHub 代碼庫：https://github.com/LiberCoders/FeatureBench
• Docker 鏡像：https://hub.docker.com/u/libercoders

「高精準(zhǔn)度」

動態(tài)追蹤驅(qū)動的精準(zhǔn) feature 級代碼抽取

FeatureBench 的任務(wù)構(gòu)造以真實代碼倉庫中的單元測試作為切入點。在成熟的軟件工程中，單元測試往往覆蓋完整的功能路徑或其關(guān)鍵組成部分，并隱式刻畫了 feature 的行為邊界與實現(xiàn)假設(shè)，因此天然適合作為定位 feature 行為范圍的自然入口。

不同于僅將單元測試作為結(jié)果評估手段的既有評測方式，F(xiàn)eatureBench 在任務(wù)構(gòu)造階段便引入單元測試，用其反向定位并抽取與目標(biāo) feature 強(qiáng)相關(guān)的實現(xiàn)代碼，從而形成要求 Code Agent 補(bǔ)全 feature 本身的評測任務(wù)。具體而言，系統(tǒng)會首先在真實代碼倉庫中自動發(fā)現(xiàn)并篩選可執(zhí)行的單元測試，將這些單元測試所測內(nèi)容視為任務(wù)的目標(biāo) feature，作為后續(xù)的Fail-to-Pass（F2P）；與此同時，引入Pass-to-Pass（P2P）測試，用于約束任務(wù)構(gòu)造過程中對非目標(biāo)功能的潛在破壞。

在測試執(zhí)行過程中，F(xiàn)eatureBench 利用動態(tài)追蹤技術(shù)，從 F2P 單元測試出發(fā)，捕獲執(zhí)行測試路徑上的函數(shù)調(diào)用與對象依賴關(guān)系，并在對象粒度上對相關(guān)實現(xiàn)進(jìn)行標(biāo)注與分類。隨后，系統(tǒng)僅會抽取并移除既與 F2P 測試強(qiáng)相關(guān)、又不會影響 P2P 測試持續(xù)通過的實現(xiàn)代碼，其余部分保持不變。而被移除的代碼的接口，簽名等信息則通過規(guī)則自動從原聲代碼抽取，并在后續(xù)作為任務(wù)描述的一部分提供給模型。

這里需要強(qiáng)調(diào)的是，研究團(tuán)隊在構(gòu)造評測任務(wù)之初，便考慮到了 featrue 級實現(xiàn)任務(wù)接口模糊可能導(dǎo)致的任務(wù)不可解的問題——對于feature開發(fā)問題，若給 Agent 的任務(wù)描述本身是模糊的自然語言，則極有可能出現(xiàn) Agent實現(xiàn)了邏輯等價的功能，但因為接口不匹配的問題而無法通過已經(jīng)固定的單元測試的情況。

因此在每條任務(wù)中，F(xiàn)eatureBench 都提供了原生codebase的接口描述。所有接口簽名均通過規(guī)則自動抽取自原生 codebase。對于那些原生codebase缺少接口描述的任務(wù)，例如某些案例中的接口簽名下缺少詳細(xì)的docstring，F(xiàn)eatureBench 構(gòu)建了一套自動化的工作流，讓大模型根據(jù)設(shè)定好的必要信息去合成詳細(xì)的接口描述。所有合成的接口描述均在后續(xù)進(jìn)行了人工檢驗。

通過這一過程，F(xiàn)eatureBench 構(gòu)造得到的是一類更接近真實開發(fā)場景的評測任務(wù)：模型需要在保持所有 P2P 通過的前提下，僅依據(jù)給定的接口描述與倉庫上下文信息，補(bǔ)全缺失的 feature 實現(xiàn)。

從單元測試出發(fā)，結(jié)合動態(tài)追蹤定位 feature 相關(guān)對象，抽取并移除實現(xiàn)，生成缺失版本代碼庫與 gold patch，并在沙盒環(huán)境中執(zhí)行評測。

「強(qiáng)可執(zhí)行性」

基于錯誤歷史回溯的任務(wù)構(gòu)造機(jī)制

然而，在真實代碼庫中直接移除實現(xiàn)代碼，往往會引入非常多困難且復(fù)雜的工程問題。復(fù)雜系統(tǒng)中存在大量隱式依賴、初始化邏輯與運行時假設(shè)，一旦相關(guān)代碼被刪除，程序甚至可能在單元測試執(zhí)行之前就已無法啟動，導(dǎo)致構(gòu)造出的任務(wù)失去可執(zhí)行性。

為解決這一問題，F(xiàn)eatureBench 首次在任務(wù)構(gòu)造過程中引入了錯誤歷史回溯機(jī)制，將 “可執(zhí)行性” 作為代碼抽取過程中的硬約束，用于保障代碼抽取過程的穩(wěn)定性與可執(zhí)行性。系統(tǒng)會在每一次抽取操作后記錄可回溯的中間狀態(tài)，并即時驗證任務(wù)的可執(zhí)行性；一旦發(fā)現(xiàn)刪除某一部分代碼導(dǎo)致程序無法運行、測試環(huán)境失效、或 P2P 測試失敗，構(gòu)造流程將自動回退至最近一次可正常執(zhí)行的狀態(tài)，并據(jù)此重新調(diào)整后續(xù)的抽取策略。

通過這一機(jī)制，F(xiàn)eatureBench 能夠在無需人工干預(yù)的前提下，逐步收斂，穩(wěn)定完成 feature 相關(guān)實現(xiàn)的抽取，確保每一個生成的評測實例均滿足 “可執(zhí)行、可驗證” 的基本要求。這使得在真實代碼倉庫中大規(guī)模、持續(xù)的自動化任務(wù)構(gòu)造成為可能。

「強(qiáng)驗證機(jī)制」

由目標(biāo)對齊、驗證閉環(huán)與長鏈路復(fù)雜性構(gòu)成的評測約束

在復(fù)雜 feature 的評測中，“更難” 往往并不意味著 “更可靠”。一些現(xiàn)有基準(zhǔn)雖然引入了真實倉庫和較長代碼路徑，但評測結(jié)果仍然容易受到多種噪聲干擾：

一方面，評測目標(biāo)通常依賴人工接口或自然語言描述，從而不同模型對實現(xiàn)目標(biāo)形成不同理解，導(dǎo)致評測結(jié)果混合了能力差異與任務(wù)理解偏差。

另一方面，現(xiàn)有工作對于抽取出來的 feature 是否真正可驗證可執(zhí)行往往并不透明：模型的失敗可能來自無關(guān)功能被破壞、依賴鏈被意外切斷，而非 feature 本身尚未實現(xiàn)，使得評測分?jǐn)?shù)難以反映真實的 feature 開發(fā)能力。

此外，為了控制難度或保證可執(zhí)行性，任務(wù)構(gòu)造過程中常會對真實代碼路徑與依賴關(guān)系進(jìn)行裁剪，使得看似復(fù)雜的任務(wù)在實際實現(xiàn)中并不包含真實系統(tǒng)中的長程依賴，進(jìn)一步削弱了評測結(jié)果的指示意義。

針對以上這些問題，F(xiàn)eatureBench 并未通過額外設(shè)計規(guī)則或人工后處理篩選，而是將噪聲控制前移到任務(wù)構(gòu)造階段。首次通過在真實代碼倉庫中施加三重約束，在保證任務(wù)復(fù)雜性的同時，使評測結(jié)果更穩(wěn)定、可對齊，更具可解釋性。

1) 目標(biāo)對齊（評測的公平性）：

FeatureBench 中所有頂層對象的接口簽名均通過規(guī)則自動抽取自原生 codebase，而非人工編寫或模型生成。由于接口定義直接來源于真實實現(xiàn)，這一設(shè)計顯著降低了由人為抽象或描述不一致所引入的實現(xiàn)歧義，使不同模型在評測時面對的是同一組、可精確定義的功能目標(biāo)，而非依賴對任務(wù)意圖的主觀理解。

2) 驗證閉環(huán)（評測的完備性）：

FeatureBench 對每一個任務(wù)均施加嚴(yán)格的先驗與后驗驗證約束。即在代碼抽取前，所有 F2P/P2P 測試必須全部通過；在代碼抽取后，F(xiàn)2P 測試的通過率需低于預(yù)設(shè)閾值，而所有 P2P 測試必須保持全通過。這一雙階段驗證機(jī)制確保：被移除的實現(xiàn)確實構(gòu)成目標(biāo) feature 的核心組成部分，同時任務(wù)難度來源于對 feature 實現(xiàn)本身的還原，而非由不受控的代碼破壞或偶然失效引入的偽難度。

3) 長鏈路復(fù)雜性（評測的長程性）：

FeatureBench 的任務(wù)構(gòu)造遵循從單元測試 → 頂層對象 → 關(guān)聯(lián)對象與深層依賴的逐級展開過程。頂層接口僅刻畫了 feature 的外部行為，其背后往往對應(yīng)大量跨文件、跨對象的實現(xiàn)細(xì)節(jié)與隱式依賴關(guān)系。

因此，F(xiàn)eatureBench 中的任務(wù)通常涉及更長的代碼路徑與更廣泛的修改范圍，對 agent 的長程推理能力、系統(tǒng)級理解能力以及對既有行為約束的整體把握提出了更高要求。

「高復(fù)雜度」

面向真實 feature 的大規(guī)?？蓤?zhí)行評測實例

基于上述自動化數(shù)據(jù)構(gòu)建管線，研究團(tuán)隊在3天之內(nèi)，系統(tǒng)性構(gòu)建了3825個可執(zhí)行的沙盒環(huán)境與候選任務(wù)實例。覆蓋24個真實世界、覆蓋不同應(yīng)用場景且具有廣泛影響力的 GitHub 倉庫。所有實例均可直接運行，為后續(xù)篩選與評測提供了統(tǒng)一的可執(zhí)行基礎(chǔ)。

在此基礎(chǔ)上，通過進(jìn)一步施加統(tǒng)一的篩選約束，包括代碼時間范圍（2022 年 5 月之后）、測試覆蓋強(qiáng)度（測試點數(shù)量大于 10）以及 feature 抽取規(guī)模（抽取代碼行數(shù)超過 100 行），以確保任務(wù)在復(fù)雜度與代表性上的一致性。并經(jīng)過人工 verified 驗證，最終確定了 FeatureBench 的正式評測數(shù)據(jù)集：

• FeatureBench Full：包含200條評測任務(wù)。單任務(wù)最多抽取4495行代碼，單任務(wù)最多涉及76份不同代碼文件。
• FeatureBench Lite：從 Full 集中進(jìn)一步篩選30條任務(wù)，作為低成本評測子集，便于社區(qū)進(jìn)行快速對比實驗與方法迭代。

整體來看，F(xiàn)eatureBench Full 中的任務(wù)在代碼規(guī)模、依賴廣度與測試約束強(qiáng)度上，均顯著高于典型的 bug-fixing benchmark，更貼近真實工程環(huán)境中 feature 級開發(fā)的復(fù)雜度分布。

FeatureBench 的復(fù)雜度顯著高于典型 bug-fixing benchmark，覆蓋跨文件、跨對象、長程依賴的真實 feature 實現(xiàn)。

「高區(qū)分度」

Feature 級任務(wù)評測重新拉開模型能力差距

研究團(tuán)隊在 FeatureBench 上對多種主流 agent 框架（包括 OpenHands、Codex、Gemini-CLI、Claude Code 等）與多種模型配置（Opus 4.5、GPT-5.1-Codex、Gemini-3-Pro、Qwen-3-Coder-480B-A35B-Instruct、DeepSeek-V3.2 等）進(jìn)行了系統(tǒng)評測。

評測結(jié)果顯示，在以 bug fixing 為核心的 SWE-Bench 場景中，主流高性能模型的整體表現(xiàn)已呈現(xiàn)出明顯的能力收斂趨勢：不同模型之間的 resolved rate 差距相對有限，難以進(jìn)一步刻畫其在更復(fù)雜工程任務(wù)中的能力差異。

相比之下，當(dāng)評測任務(wù)推進(jìn)到 feature 級端到端開發(fā)時，模型與 agent 之間的差距被顯著放大。以 Claude Opus 為例，其在 SWE-Bench Verified 上的 resolved rate 已達(dá)到74.4%，而在 FeatureBench Full 上的解決率為11%；與此同時，其他模型在 FeatureBench 上的表現(xiàn)分化更為明顯，呈現(xiàn)出遠(yuǎn)高于 SWE-Bench 場景的區(qū)分度。

這一現(xiàn)象表明，F(xiàn)eatureBench 并非簡單地提高了任務(wù)難度，而是通過引入跨文件、跨對象的長程依賴結(jié)構(gòu)，以及嚴(yán)格的 P2P 約束，將評測焦點從局部缺陷修復(fù)能力推進(jìn)到系統(tǒng)性 feature 交付能力。在這一設(shè)定下，即便在 bug fixing 任務(wù)中表現(xiàn)接近的模型，也會在 feature 級開發(fā)能力上呈現(xiàn)出明顯差異。

Bug Fixing 任務(wù)上前沿模型能力已收斂，但 Feature 級任務(wù)中仍體現(xiàn)出能力分化

Lite 數(shù)據(jù)集上的模型表現(xiàn)

「高易用性」

一行命令啟動 FeatureBench 的完整評測流程

為降低 FeatureBench 的復(fù)現(xiàn)與評測門檻，并支持學(xué)術(shù)界與工業(yè)界的實際使用，研究團(tuán)隊同步開源了一套覆蓋推理、評測與數(shù)據(jù)構(gòu)建的完整基礎(chǔ)設(shè)施。通過統(tǒng)一的運行環(huán)境與標(biāo)準(zhǔn)化配置，用戶無需繁瑣的環(huán)境搭建或手動拼裝流程，即可在本地或集群中一鍵啟動完整評測流程，從推理執(zhí)行到結(jié)果統(tǒng)計實現(xiàn)端到端復(fù)現(xiàn)。在這一設(shè)計下，F(xiàn)eatureBench 不再只是一個靜態(tài)數(shù)據(jù)集，而是一個可長期演進(jìn)、可持續(xù)擴(kuò)展的評測平臺。

推理模塊（Inference）：多 Agent 框架的統(tǒng)一入口

FeatureBench 提供了統(tǒng)一的 agent 抽象接口，對主流代碼 agent 框架進(jìn)行了標(biāo)準(zhǔn)化適配，包括 Claude Code、Codex、Gemini-CLI、OpenHands 以及 Mini-SWE-Agent 等。用戶只需進(jìn)行最小化配置，即可將自定義 agent 接入現(xiàn)有管線，并在統(tǒng)一環(huán)境中完成大規(guī)模推理實驗。

該模塊同時內(nèi)置了斷點續(xù)傳、并發(fā)執(zhí)行、網(wǎng)絡(luò)代理與資源控制等機(jī)制，使長時間、多配置的推理任務(wù)能夠通過單一命令穩(wěn)定運行，顯著降低實驗管理成本。

評測模塊（Evaluation）：執(zhí)行即評測

以實際測試執(zhí)行結(jié)果為唯一依據(jù)，對模型生成的代碼補(bǔ)丁進(jìn)行自動化評測，嚴(yán)格統(tǒng)計 F2P/P2P 測試的通過情況，確保不同模型與 agent 的評測結(jié)果具有良好的可復(fù)現(xiàn)性與可比性。

數(shù)據(jù)構(gòu)建管線（Data Pipeline）：任務(wù)可自動生成、持續(xù)擴(kuò)展

完整開源了 FeatureBench 的原生任務(wù)生成流程，覆蓋從代碼倉庫拉取、單元測試發(fā)現(xiàn)與篩選、動態(tài)追蹤、頂層對象識別、P2P 測試選擇，到對象級代碼抽取與后驗驗證的全鏈路步驟。借助該管線，F(xiàn)eatureBench可以在無需人工干預(yù)的情況下持續(xù)、自動、可驗證地生成新的任務(wù)。

結(jié)語

FeatureBench 是 Code Agent 評測領(lǐng)域的一次關(guān)鍵突破：FeatureBench 系統(tǒng)性地將 agentic coding 的評測范式，從“短 patch、少文件、單 PR 的 bug fixing”，推進(jìn)到了“跨文件、跨對象、長程依賴的真實 feature 開發(fā)”。更重要的是，F(xiàn)eatureBench 通過 test-driven 的自動化任務(wù)構(gòu)造流程，在保證公平性與完備性的同時，大幅提升任務(wù)復(fù)雜度，并為 benchmark 的持續(xù)擴(kuò)展與防數(shù)據(jù)污染提供了一條可行路徑。

同時，F(xiàn)eatureBench作為一套面向真實軟件工程場景的可執(zhí)行數(shù)據(jù)生成與驗證基礎(chǔ)設(shè)施，將為后續(xù) Agent 訓(xùn)練與強(qiáng)化學(xué)習(xí)提供數(shù)據(jù)支持。