當(dāng) AI 用 3 天完成人類程序員原本3年的代碼任務(wù)量，人類的角色會發(fā)生怎樣的變化？

當(dāng)前，AI 正在從工具變?yōu)槿祟惖摹瓣犛选薄ｋS著大模型的加速發(fā)展，AI 在軟件工程領(lǐng)域的作用已不再是輔助代碼補全，而是正在成為可自主編碼的智能體（Agent）。

現(xiàn)在，我們只需向 AI 描述代碼想要實現(xiàn)的功能，它就能自動生成完整代碼；借助 Agent，甚至能在十幾分鐘內(nèi)完成千行級別的代碼生成或修改。

近期，加拿大女王大學(xué)博士后李豪與所在團隊在一項研究中首次構(gòu)建了一個大規(guī)模數(shù)據(jù)集 AIDev，系統(tǒng)分析和統(tǒng)計了自主編碼 Agent 在 7,000 多個較流行的軟件中的實際表現(xiàn)和影響。

其覆蓋范圍包括在 GitHub 平臺上已提交的超 45.6 萬條 Agent 代碼合并請求（PR，pull requests），涵蓋 6.1 萬個代碼庫和 4.7 萬名開發(fā)者，包括主流的 AI 編碼工具 OpenAI Codex、GitHub Copilot、Devin、Cursor 和 Claude Code。

圖丨李豪（來源：受訪者）

研究人員在 AI 領(lǐng)域和軟件工程做相關(guān)研究時，往往會選擇用 SWE-bench 做測試，通過交給 AI 一些高質(zhì)量、有測試樣例的任務(wù)，來優(yōu)化 AI 性能以及優(yōu)化系統(tǒng)設(shè)計等。

但這也帶來了很多挑戰(zhàn)性的問題。例如，一家公司如果將測試題目用于訓(xùn)練模型，極有可能因“作弊”導(dǎo)致分數(shù)虛高。此外，由于 SWE-bench 是一個靜態(tài)的基準集（benchmark），部分數(shù)據(jù)有可能存在一定滯后性。

李豪指出，該研究最大的不同點在于，AIDev 是真實世界、大規(guī)模、實時采集數(shù)據(jù)的數(shù)據(jù)集，更貼近于業(yè)界實踐和生產(chǎn)。此外，研究人員還可以利用該數(shù)據(jù)集打造更新的 benchmark。

（來源：arXiv）

研究團隊在 AI 編碼 Agent 的速度和質(zhì)量方面找到了有趣的發(fā)現(xiàn)。一項個例分析結(jié)果顯示，有開發(fā)者在使用 AI 編碼 Agent 后，3 天內(nèi)完成的任務(wù)量接近其過去 3 年的總量。

而 AI 在自然語言處理方面的優(yōu)勢，也同樣值得關(guān)注。他們發(fā)現(xiàn)，AI 在編寫代碼或文本方面的任務(wù)中表現(xiàn)優(yōu)異，例如從文檔相關(guān)的合并請求接受率來看，OpenAI Codex 和 Claude Code 分別為 88.6% 和 85.7%，而人類在該方面表現(xiàn)為 76.5%。

（來源：arXiv）

合并請求接受率是衡量 AI 產(chǎn)出質(zhì)量和可信度的關(guān)鍵指標(biāo)，它與人類開發(fā)者/項目維護者對 AI 貢獻的認可度密切相關(guān)。該團隊還發(fā)現(xiàn)，編碼 Agent 的合并請求接受率比人類開發(fā)者低 15% 至 40%（不同任務(wù)類型下區(qū)間差異顯著），尤其是在新功能開發(fā)、修復(fù) Bug 等復(fù)雜的任務(wù)方面。例如，OpenAI Codex 的 PR 接受率為 64%，而人類開發(fā)者的 PR 接受率高達 76.8%。

這意味著，AI 寫代碼并非全面超越了人類。需要看到的是，盡管目前 AI 編碼 Agent 生成速度很快，但性能方面還有一些缺陷，在結(jié)構(gòu)上也相對較簡單，需要研究人員繼續(xù)對其進行增強，以確保代碼的長期可維護性。

李豪對 DeepTech 表示：“短期看，AI Agent 的代碼接受率相對人類較低，效率與質(zhì)量的取舍仍需權(quán)衡（trade-off），但這種磨合期對應(yīng)的是數(shù)據(jù)飛輪的啟動階段，形成飛輪效應(yīng)后，我們有望獲得生產(chǎn)力的顯著提升。”

（來源：arXiv）

該研究通過分析自主編碼 Agent 的表現(xiàn)，為未來更好地優(yōu)化人與 AI 協(xié)作提供了數(shù)據(jù)基礎(chǔ)。這也帶來了一種全新的生成模式，開發(fā)者面臨的問題不是如何寫更多的代碼，而是接到一項任務(wù)后，如何拆分成更細的任務(wù)，再管理這些 AI 更好地執(zhí)行。

“該方向在學(xué)界和產(chǎn)業(yè)界還存在較大的空白。編程人員的角色也會逐漸從寫代碼的人，轉(zhuǎn)換成提供代碼審查或提供管理模式的人。目前，我們也在做相關(guān)的研究，來探索新一代軟件開發(fā)流程來支持開發(fā)者們利用 AI Agent?！崩詈辣硎?。

此外研究還揭示出，盡管 AI 的出現(xiàn)推動了人機協(xié)同審查流程，但同時也可能會帶來偏見等問題。例如，假如 AI 寫代碼的 Agent 與審查代碼的機器人自同一公司，很有可能在AI審查環(huán)節(jié)忽視某些特定類型的錯誤。

在未來的研究中，該團隊計劃建立更全面的 benchmark，對 AI 編程 Agent 進行真實的表現(xiàn)評測。他們還打算建立新知識庫，推動領(lǐng)域內(nèi)的研究人員共同改進相關(guān)方向，包括如何更好地預(yù)測和分析AI可能的失敗場景，以及失敗原因等。從更長遠的發(fā)展來看，探索更自動化與標(biāo)準化的審查機制，也是一個值得深入研究的方向。

相關(guān)論文以《軟件工程 3.0 中 AI 隊友的崛起：自主編碼 Agent 如何重塑軟件工程》（The Rise of AI Teammates in Software Engineering (SE) 3.0: How Autonomous Coding Agents Are Reshaping Software Engineering）為題發(fā)表在 arXiv[1]。目前，相關(guān)代碼已在 GitHub 開源。

參考資料：

1.相關(guān)論文：https://arxiv.org/abs/2507.15003v1

2.AIDev 數(shù)據(jù)集獲取：https://github.com/SAILResearch/AI_Teammates_in_SE3

排版：胡莉花