微軟把測試門檻砍了90%，外包團隊竟能寫自動化

自動化測試喊了很多年，真正鋪開的團隊沒幾個。不是不想做，是門檻實在太高：業務人員不會寫代碼，會寫代碼的人又不懂業務，腳本寫出來像一次性筷子，用完就扔。

Microsoft Edge QA 團隊最近開源了一套叫 AutoGenesis 的方案，思路很直白——讓測試人員用自然語言描述場景，AI 負責翻譯成代碼，確定性的程序負責穩定執行。他們在 Windows、macOS、iOS、Android 四個平臺上跑通了這套流程，月執行步驟超過 200 萬，通過率 99%，用例規模 700+。

頻繁發版、需求變得比翻書還快、團隊規模不管大小……這大概是每個測試工程師的噩夢。

Edge 瀏覽器基于 Chromium 開發，跟著 Chrome 的節奏高頻發版，每次 Chromium 的變更都難以預測，回歸測試量極大。Edge QA 團隊折騰了好幾輪，最終搞出了 AutoGenesis。

AI 能力起來之后，團隊面臨一個關鍵選擇：是讓 AI 直接執行測試，還是讓 AI 生成測試代碼？這個選擇決定了方案是能用還是只能演示。

他們對比了三條路：

AI 直接執行的問題在于不確定性。步驟多了，AI 可能忘記上下文；遇到意外彈窗，可能陷入無限循環；出錯后難以定位執行到哪一步。讓 AI 基于截圖判斷"測試是否通過"更麻煩——模糊判斷、無法量化、黑盒不可回溯。就像讓一個人蒙眼走夜路，偶爾走對，但你不敢信。

AutoGenesis 的解法是把活兒拆開：AI 做它擅長的（理解意圖、生成代碼），確定性的程序做它擅長的（穩定執行）。

為了實現這個理念，AutoGenesis 搭了四層架構，關鍵是把 AI 嚴格關在第二層，執行層完全不碰 AI：

Edge 團隊的測試人員里，外包占大多數。他們懂業務、會設計用例，但不懂編程，傳統自動化只能干瞪眼。AutoGenesis 的做法是重新分工：正式員工搭工具鏈、定標準、做培訓；外包團隊用自然語言寫場景，AI 生成代碼。

數據說話：月度運行 200 萬+ 步驟，99% 通過率，700+ 用例，外包員工貢獻了 413 個 PR。

用起來比想象中簡單。不需要懂 Selenium，不需要懂 Appium，會描述"我想測什么"就行：

第一步，用 Gherkin 格式寫場景，接近自然語言：

Feature: Edge Pagerendering Tests
Scenario: Test msn.com website on Edge
Given I have launched Edge browser
When I click the search box in NTP page
And I input "msn.com" in the search box
And I press enter to navigate to the page
And I wait for the page to load completely
Then I should see the tab with the title "msn.com"

第二步，兩種方式觸發 Copilot：點 BDD AI Toolkit 擴展里的 "Send to Copilot" 按鈕，或者在 GitHub Copilot Chat 里調用 autoGenesis-run skill。

第三步，Copilot 調用 MCP 工具逐步執行，生成 Python 步驟定義代碼。

第四步，運行測試：點 "Run" 按鈕，或者命令行跑 behave features/。

AI 的角色被嚴格限定——只把自然語言翻譯成結構化的測試代碼，既不執行也不判結果。LLM 通過 MCP 協議與底層交互，底層有兩個 MCP Server：PyWinauto MCP Server 管 Windows 桌面應用，Appium MCP Server 管 iOS、Android、macOS。

AI 生成代碼有不確定性，AutoGenesis 設計了三階段 Preview-Confirm 流程，把寫入控制權交還給人類：生成前清理緩存、生成中自動錄制調用、生成后展示 diff 預覽供人工確認，確認后才追加寫入文件。

執行層選了 Behave，Python 生態里成熟的 BDD 框架。Gherkin 語法與 LLM 的推理模式天然契合，自然語言用例讓 QA、PM、外包都能參與，打破了"自動化只能靠開發者"的壁壘。

VS Code 擴展不是必須的，但確實省事。每個 Scenario 上方顯示兩個按鈕："Send to Copilot" 一鍵觸發代碼生成，"Run" 一鍵執行測試。Setup 管理面板自動檢測 Python、Node.js 安裝狀態，可視化配置環境。

總結 AutoGenesis 的四個核心優勢：自然語言描述降低門檻，一套技術棧覆蓋四大平臺，架構隔離 AI 不確定性保證 99% 通過率，單場景編寫從 2-3 小時縮短到 10-15 分鐘且后續執行零 AI 成本。

這不是炫技的工具，是從工程師需求出發、在真實業務里磨出來的務實方案。開源地址：github.com/microsoft/AutoGenesis，MIT License。

Edge 團隊的一位外包測試人員在內部反饋里寫："以前覺得自動化是開發的事，現在發現我寫的用例真的能跑起來。"