自動化測試喊了很多年，真正落地的團隊卻不多。不是不想做，是門檻實在太高——業(yè)務人員不會寫代碼，會寫代碼的人又懶得維護腳本。Microsoft Edge QA團隊最近開源的AutoGenesis，想拆掉這道墻：讓測試人員用自然語言描述場景，AI負責生成代碼，確定性的程序負責執(zhí)行。他們在Windows、macOS、iOS、Android四個平臺上跑通了這套方案，月執(zhí)行步驟超過200萬，通過率99%，用例規(guī)模700+。

頻繁發(fā)版、需求變得比翻臉還快、團隊規(guī)模不管大小……很多測試工程師的噩夢，Edge團隊一樣不落全中。

Edge基于Chromium開發(fā)，跟著Chrome的高頻發(fā)版節(jié)奏，每次Chromium的變更都難以預測，回歸測試量極大。為了破局，團隊折騰了好幾輪技術方案，最終做出了AutoGenesis。

AI能力爆發(fā)之后，一個念頭很自然：能不能讓AI包辦自動化測試？

理論上，AI能聽懂人話、能快速學習不同平臺的UI結構，似乎完美契合。但關鍵問題是：怎么用AI？直接讓它執(zhí)行測試，還是只讓它生成代碼？這個選擇決定了方案是能用還是不能用。

團隊系統(tǒng)對比了三條路，發(fā)現(xiàn)AI直接執(zhí)行這條路走不通。

AI的不確定性是"執(zhí)行"環(huán)節(jié)的致命傷。測試步驟一多，AI可能忘記上下文，重復執(zhí)行；遇到意外彈窗，可能陷入無限循環(huán)；更麻煩的是，你無法準確追蹤"現(xiàn)在走到哪一步了"，出錯后根本定位不了問題。

讓AI基于截圖判斷"測試是否通過"同樣不靠譜：把"看起來像成功"誤判為通過，無法像傳統(tǒng)斷言那樣精確驗證文本和數(shù)值，判斷過程還是黑盒，失敗時無從追溯。

這就像雇一個人在黑暗中蒙眼走路——偶爾走對，但你不敢把身家性命押上去。Demo階段或許能糊弄過去，生產(chǎn)環(huán)境絕對不行。

AutoGenesis的解法很克制：AI只做它最擅長的事（理解意圖、生成代碼），確定性的程序做它最擅長的事（穩(wěn)定執(zhí)行）。

為了落地這個理念，團隊設計了四層架構，核心原則是AI的工作邊界嚴格限定在第二層，第四層執(zhí)行層完全不碰AI：

架構解決了技術可行性，但真正的考驗是怎么讓團隊用起來。Edge團隊的測試人員里，外包占大多數(shù)——懂業(yè)務、會設計用例，但不懂編程。傳統(tǒng)自動化對他們來說門檻太高，只能繼續(xù)手工點點點。

AutoGenesis改變了分工：正式工程師搭建工具鏈、制定標準、培訓外包；外包人員用自然語言寫測試場景，AI生成代碼。外包員工用自己擅長的方式，直接產(chǎn)出專業(yè)級自動化代碼，完全不需要學編程。

數(shù)據(jù)說話：月度運行超過200萬步驟，99%通過率，700+用例規(guī)模。AutoGenesis不只是工具，更是一套方法論——技術人員專注架構與知識傳遞，非技術人員從手工測試升級為自動化建設者。

具體用起來比想象中簡單。不需要懂Selenium，不需要懂Appium，只需要會描述"我想測什么"：

第一步，用Gherkin格式寫測試場景，接近自然語言：

Feature: Edge Pagerendering Tests
Scenario: Test msn.com website on Edge
Given I have launched Edge browser
When I click the search box in NTP page
And I input "msn.com" in the search box
And I press enter to navigate to the page
And I wait for the page to load completely
Then I should see the tab with the title "msn.com"

第二步，觸發(fā)AI生成代碼?？梢杂肰S Code擴展里的"Send to Copilot"按鈕，也可以在GitHub Copilot Chat里直接調用autoGenesis-run skill。

第三步，Copilot自動調用MCP工具逐步執(zhí)行，生成Python步驟定義代碼。

第四步，執(zhí)行測試。點擊"Run"按鈕，或者命令行運行behave features/。

這個簡潔體驗的背后，是四層架構各司其職。LLM層只做一件事：把Gherkin步驟翻譯成MCP工具調用序列，生成Python步驟定義代碼。為了支持四大平臺，團隊實現(xiàn)了兩個MCP Server——PyWinauto MCP Server管Windows，Appium MCP Server管iOS、Android和macOS。

AI有不確定性，怎么保證生成的代碼可控？團隊設計了三階段Preview-Confirm工作流，把代碼寫入控制權交還給人類：先清除緩存、生成唯一ID，然后Copilot逐步調用工具并自動錄制，接著生成diff預覽供人工審查，最后確認無誤才寫入文件。

執(zhí)行層選了Behave——Python生態(tài)里成熟的BDD框架。Gherkin的語法結構和LLM的推理模式天然契合，自然語言描述的用例讓QA、PM甚至外包都能參與定義，打破了"自動化只能靠開發(fā)者"的壁壘。由于Behave是同步框架而MCP是異步實現(xiàn)，團隊用janus.Queue做了線程橋接，步驟函數(shù)通過call_tool_sync以同步方式調用異步工具，超時400秒。

VS Code擴展不是必須的，但確實降低了門檻。擴展在每個Scenario上方顯示"Send to Copilot"和"Run"兩個按鈕，一鍵觸發(fā)；Setup管理面板自動檢測Python、Node.js、MCP Server配置，可視化解決環(huán)境問題。核心能力完全獨立，擴展和Skill只是效率增強。

回到最初的問題——技術門檻高、腳本維護難，AutoGenesis用四個設計回應：

自然語言描述，AI生成代碼。Edge團隊的外包人員貢獻了413個PR，證明可行。

一套技術棧覆蓋四大平臺，告別各平臺獨立維護的噩夢。

MCP協(xié)議約束AI邊界，執(zhí)行層脫離AI推理，99%通過率驗證了穩(wěn)定性。

單場景編寫從2-3小時縮短到10-15分鐘，后續(xù)執(zhí)行零AI調用成本，規(guī)模越大越劃算。

測試自動化做了很多年，大家都知道重要，但真正推進時總被門檻和維護成本絆住。AutoGenesis的價值在于同時解決這兩個問題——用AI降低門檻，用"AI只生成不執(zhí)行"保證穩(wěn)定性。這不是炫技的工具，是從工程師需求出發(fā)、在真實業(yè)務里打磨出來的務實方案。

開源地址：github.com/microsoft/AutoGenesis，MIT License。如果你的團隊也正面臨這些挑戰(zhàn)，這個案例或許能給你一些真正"能落地"的啟發(fā)。