谷歌DeepMind MiRA：AI實現復雜網頁任務精準執行能力突破

當你在網上購物時遇到復雜的訂單查詢，或者需要在企業內部系統中完成多步驟的數據錄入工作時，你是否想過讓AI來幫你完成這些繁瑣的任務？Google DeepMind的研究團隊最近發表了一項令人矚目的研究成果，他們開發出了一套名為MiRA的新框架，專門訓練AI代理來處理需要多個步驟才能完成的復雜網頁操作。這項研究發表于2026年3月的arXiv預印本平臺，論文編號為arXiv:2603.19685v1，有興趣深入了解的讀者可以通過該編號查詢完整論文。

研究團隊發現了一個有趣的現象：就像人類在陌生城市中導航時容易迷路一樣，現有的AI代理在處理需要多個步驟的網頁任務時也經常"迷失方向"。比如說，當AI需要完成"在公司系統中查找特定員工信息并生成報告"這樣的任務時，它可能在中途忘記了原始目標，或者陷入重復點擊同一個按鈕的死循環中。更糟糕的是，由于網頁任務往往只在最終完成時才給出成功或失敗的反饋，AI很難知道自己在中途的每個步驟是否走對了路。

為了解決這個問題，研究團隊提出了一個巧妙的解決方案。他們的方法就像給AI配備了一位經驗豐富的向導，這位向導不僅知道最終目的地，還能將復雜的旅程分解成一系列清晰的里程碑。當AI完成每個里程碑時，都會獲得及時的鼓勵和指引，這樣就不會在漫長的任務過程中迷失方向了。

具體來說，MiRA框架包含兩個核心創新。第一個創新是一套智能的任務分解系統，就像一位資深導游會將復雜的城市觀光路線分解成"先去博物館，再到咖啡店休息，然后逛公園"這樣的具體步驟。第二個創新是一套基于里程碑的獎勵機制，讓AI在達成每個中間目標時都能獲得正面反饋，而不必等到整個任務完成才知道自己做得對不對。

研究結果令人印象深刻。在WebArena-Lite基準測試中，使用了MiRA框架的開源模型Gemma3-12B的成功率從原來的6.4%大幅提升到了43.0%，這個表現甚至超過了GPT-4-Turbo的17.6%和GPT-4o的13.9%。同時，當大型專有模型如Gemini使用了MiRA的在線規劃機制后，其成功率也提升了約10個百分點。這就像原本只能完成簡單任務的新手司機，在有了專業導航系統的幫助后，突然能夠勝任復雜的長途駕駛任務一樣。

一、AI代理的"迷路"問題：當機器遇上復雜任務

要理解MiRA框架的價值，我們首先需要明白現有AI代理面臨的核心挑戰。設想你需要在一個復雜的企業內部網站上完成這樣一個任務：登錄系統，查找特定項目的財務數據，生成報告，然后發送給指定的同事。對人類來說，這雖然有些繁瑣，但我們能夠清楚地記住每個步驟的目的，并在遇到問題時靈活調整策略。

然而，現有的AI代理在處理這類任務時卻經常出現各種問題。研究團隊通過大量的實驗分析發現，AI代理最常見的失敗模式是"中途卡住"。具體來說，在WebArena-Lite基準測試的失敗案例中，接近50%的失敗都屬于"Get Stuck Midway"類型，也就是AI在執行任務過程中陷入了某種重復循環，無法繼續前進。

這種現象的根本原因在于兩個方面。首先，AI代理缺乏有效的長期規劃能力。當任務變得復雜時，AI往往只能"看到"下一步該做什么，而無法維持對整體目標的清晰認識。其次，傳統的強化學習訓練方法只在任務完全成功或失敗時給出反饋，這種稀疏的獎勵信號讓AI很難學會哪些中間步驟是有價值的。

研究團隊開發了一套自動化的失敗分析工具，這套工具就像一位細心的教練，能夠觀察AI的每一個動作，并準確識別出它在哪個環節出了問題。通過分析大量的失敗案例，他們發現AI代理的問題主要分為四大類：在錯誤頁面停止（占比約10-12%）、中途陷入循環（占比42-49%）、未能做出合理嘗試（占比6-32%），以及其他系統性錯誤。

有趣的是，這種"中途卡住"的現象在不同規模的模型中都存在，無論是大型的專有模型如Gemini-2.5-Pro，還是經過監督學習微調的開源模型如Gemma-12B，都會遇到類似的困擾。這表明問題的根源不在于模型的規模或基礎能力，而在于缺乏有效的長期規劃和進度跟蹤機制。

二、子目標分解：給AI配備智能向導

面對AI代理在長期任務中容易迷失方向的問題，研究團隊提出的第一個解決方案是開發一套智能的子目標生成系統。這個系統的工作原理就像一位經驗豐富的旅行向導，能夠將復雜的行程安排分解成一系列清晰、可執行的里程碑。

以一個典型的網頁任務為例："在地圖上找到CMU附近50英里范圍內最近的咖啡店"。傳統的AI代理可能會直接開始隨意點擊各種鏈接，希望最終能夠偶然找到正確答案。而MiRA系統則會首先將這個復雜任務分解為四個清晰的子目標：首先打開網頁瀏覽器并定位到地圖頁面，然后在地圖上搜索"CMU"，接著選擇附近的餐廳并添加"50英里以內"的過濾條件，最后選擇最近的咖啡店并報告相關信息。

這種分解過程并非簡單的模板化操作，而是基于對任務特性的深度理解。研究團隊使用先進的Gemini-2.5-pro模型作為"智能向導"，這個模型具備強大的視覺推理能力，能夠同時理解任務指令和當前網頁狀態，從而生成合適的子目標序列。更重要的是，這個系統采用了迭代式的上下文學習策略，通過精心設計的少樣本示例來確保生成的子目標既具有邏輯性又具有可執行性。

為了驗證這些自動生成的子目標是否真正有用，研究團隊開發了一套嚴格的評估方法。他們發現，雖然嚴格按照所有子目標執行并非成功的必要條件（因為AI有時會找到意外的替代路徑），但子目標的完成程度與最終任務成功率之間存在強烈的正相關關系。具體來說，ROC曲線下面積達到了0.84，這是一個相當高的預測準確性指標。

更令人印象深刻的是，研究團隊觀察到子目標完成數量與成功概率之間呈現嚴格的單調遞增關系。這意味著每完成一個額外的子目標，AI成功完成整個任務的概率都會顯著增加。這種現象證明了子目標分解策略的有效性：它們確實代表了通往最終成功的關鍵里程碑，而不僅僅是任意的中間步驟。

研究團隊還發現，不同類型的網站任務需要不同的子目標分解策略。例如，在GitLab這樣的代碼管理平臺上，子目標通常圍繞項目創建、成員管理和配置設置等核心功能展開。而在購物網站上，子目標則更多地涉及商品搜索、篩選條件設置和訂單處理等步驟。這種任務特定的分解能力使得MiRA系統能夠適應各種不同的網頁環境。

三、動態里程碑追蹤：實時導航系統的威力

擁有了清晰的子目標分解還只是成功的一半，就像有了詳細的旅行計劃，我們還需要在旅途中時刻確認自己是否按計劃前進。MiRA框架的第二個核心創新是一套動態里程碑追蹤系統，這套系統就像一個智能的GPS導航，能夠實時監控AI代理的進度，并在必要時提供糾錯指引。

這個動態追蹤系統的工作原理頗為巧妙。在每一個執行步驟中，AI代理都會進行三個關鍵的自我反思：回顧歷史記錄以確認已經完成了哪些里程碑，檢查當前子目標是否已經達成，以及規劃接下來應該朝哪個方向努力。這種內省機制讓AI能夠維持對整體進度的清晰認知，避免在復雜任務中迷失方向。

具體實現過程中，系統會讓AI代理像一位細心的項目經理一樣，定期檢查自己的"任務清單"。當AI需要判斷是否完成了某個子目標時，它會綜合考慮當前頁面的視覺信息、已執行的操作歷史，以及預期的目標狀態。例如，如果某個子目標是"導航到Reddit的sports子版塊"，系統會檢查當前頁面URL是否包含正確的路徑，頁面標題是否顯示相應內容，以及是否出現了預期的界面元素。

這種實時追蹤機制帶來的最大好處是錯誤恢復能力。傳統的AI代理一旦走錯路，往往會繼續在錯誤的方向上越走越遠。而配備了動態追蹤系統的AI代理則能夠及時發現偏離，并主動采取糾正措施。研究結果顯示，這種機制將"中途卡住"的失敗率從原來的48.41%降低到了39.87%，同時保持了較低的"嘗試失敗"錯誤率。

特別值得注意的是，這套系統在處理推理深度和計算效率之間找到了巧妙的平衡點。研究團隊發現，雖然靜態地增加每步的"思考預算"確實能提高成功率，但也會導致推理延遲急劇增加。例如，將每步的思考令牌數量從256個增加到8192個時，成功率從24.3%提升到32.5%，但每步的推理時間也從6.5秒增加到19秒。

MiRA的動態分配策略巧妙地解決了這個問題。系統只在真正需要深度思考的關鍵節點上分配更多的計算資源，而在簡單明確的步驟上則快速執行。這樣，它能夠在保持接近最佳靜態預算性能的同時，顯著降低平均推理時間。這就像一位經驗豐富的專家，知道在什么時候需要仔細思考，什么時候可以憑直覺快速行動。

四、基于里程碑的強化學習：讓AI在過程中獲得獎勵

傳統的AI訓練方法面臨一個根本性挑戰：如何給復雜任務中的每個步驟分配恰當的"分數"。在大多數網頁任務中，AI只有在完全完成任務時才能知道自己做得對不對，這就像學習烹飪時只有在品嘗最終成品時才知道中間的每個步驟是否正確一樣。這種稀疏的反饋讓AI很難學會哪些中間動作是有價值的。

MiRA框架通過引入"基于里程碑的強化學習"（簡稱MiRA-RL）巧妙地解決了這個問題。這套方法的核心思想是為AI的學習過程提供密集而有意義的中間獎勵，就像在長途旅行中設置多個加油站和休息點一樣。

系統首先會將任務執行過程中的離散子目標完成事件轉換為連續的進度分數。例如，如果一個任務包含4個子目標，系統會在子目標完成的時間點之間進行線性插值，創建一條平滑的進度曲線。這樣，AI在每個時間步都能獲得一個明確的進度指標，而不是只在完成整個任務時才知道結果。

更具體地說，假設一個任務的前兩個子目標分別在第2步和第4步完成，而整個任務在第9步結束。系統會為第1步分配大約0.16的進度分數，為第3步分配0.5的進度分數，為第7步分配約0.86的進度分數。這種連續化處理讓原本離散的里程碑事件變成了平滑的學習信號。

基于這些進度標簽，系統訓練了一個"潛力評估器"，這個組件就像一位經驗豐富的教練，能夠預測當前狀態距離成功還有多遠。在強化學習過程中，這個評估器提供的預測值被轉換為額外的獎勵信號，指導AI朝著正確的方向前進。

MiRA-RL的訓練過程采用了雙重評估體系。主要的價值函數仍然專注于預測最終任務成功的概率，確保AI不會偏離真正的目標。而潛力評估器則提供輔助的形狀化獎勵，幫助加速學習過程。這種設計確保了子目標的引導作用不會取代真正的任務目標，而是作為有益的補充。

訓練過程還包含了一套創新的經驗篩選機制。系統會計算每條訓練軌跡的"困惑度"，只保留那些既不太簡單（困惑度過低）也不太離譜（困惑度過高）的經驗。研究顯示，使用中等困惑度范圍內的訓練數據能夠獲得最佳的學習效果，成功率達到36.4%，而只使用低困惑度數據的成功率僅為27.9%，使用高困惑度數據的成功率更是只有23.6%。

五、迭代改進的學習循環：從失敗中持續成長

MiRA框架的另一個重要特色是它采用了一種持續學習的訓練范式，就像一位不斷從經驗中學習的學徒，能夠通過分析自己的失敗案例來持續改進技能。這種方法避免了傳統機器學習中"訓練一次就固定"的局限性，而是建立了一個動態的、自我完善的學習循環。

這個迭代學習過程分為幾個關鍵階段。首先，當前版本的AI代理會在一組精心選擇的任務上進行實際操作，生成大量的執行軌跡。這些軌跡包含了成功的案例，也包含了各種類型的失敗案例。接下來，系統會使用自動化的分析工具對這些軌跡進行深度解析，識別出導致失敗的具體原因和模式。

基于失敗分析的結果，系統會智能地調整下一輪訓練的任務分布。如果發現AI在處理某類特定任務時經常失敗，系統會在下一個訓練階段中增加類似任務的比例。同時，系統還會從預先準備的任務池中選擇與失敗案例在語義上相似的新任務，確保AI能夠在相關場景中獲得更多的練習機會。

這種失敗驅動的課程設計特別有效。研究團隊發現，通過這種方式訓練的AI代理不僅在整體成功率上有顯著提升，而且在處理之前經常失敗的任務類型時表現出了明顯的改善。例如，在Reddit相關的任務上，AI的成功率從Phase 0的約52%提升到了Phase 6的73%以上。

訓練過程中的數據管理也頗為精巧。系統維護著一個動態的經驗回放緩沖區，其中存儲了歷史上的高質量執行軌跡。在每個訓練階段，新生成的軌跡會與這些歷史經驗混合使用，確保AI既能學習新的技能，又不會忘記已經掌握的能力。為了保證訓練數據的質量，系統還會根據軌跡的困惑度分數進行篩選，只保留那些既有挑戰性又不過于混亂的經驗。

特別值得注意的是，這種迭代訓練方法在不同網站領域都顯示出了一致的改進效果。無論是在GitLab這樣的代碼管理平臺，還是在電商網站或地圖應用中，AI代理的能力都隨著訓練輪次的增加而穩步提升。這表明MiRA框架具有良好的泛化能力，能夠適應各種不同類型的網頁環境。

六、性能突破：從新手到專家的華麗轉身

MiRA框架在實際性能測試中展現出了令人矚目的改進效果，這些數字背后反映的是AI代理從笨拙的新手向熟練專家的華麗轉身。在WebArena-Lite這個權威的網頁代理基準測試中，使用MiRA訓練的開源模型Gemma3-12B創造了43.0%的成功率，這個成績不僅大幅超越了其基準版本的6.4%，甚至超過了GPT-4-Turbo的17.6%和GPT-4o的13.9%等強大的商用模型。

更令人印象深刻的是，當大型專有模型采用MiRA的在線規劃機制時，也獲得了顯著的性能提升。Gemini-2.5-pro模型在集成了子目標導向的推理系統后，成功率從原來的23.0%提升到了32.1%，實現了約10個百分點的絕對提升。這證明了MiRA框架的價值不僅限于提升小型模型的能力，對于已經相當強大的大型模型同樣有效。

從失敗模式分析的角度來看，MiRA的改進效果更加明顯。傳統AI代理最大的問題"中途卡住"現象得到了顯著緩解。在使用MiRA框架后，這類失敗的占比從原來的接近50%下降到了約21%。這意味著AI代理現在能夠更好地維持對長期目標的關注，避免陷入重復循環或無效操作的困境。

雖然"錯誤終止"類型的失敗有所增加，但研究團隊認為這實際上是一種積極的變化。這表明AI代理現在能夠成功地導航到任務的最終階段，只是在最后的判斷環節出現了偏差。這種失敗比"中途迷路"要容易解決得多，通常只需要改進最終的驗證邏輯即可。

在不同類型的網站任務中，MiRA都顯示出了一致的改進效果。在GitLab項目管理任務中，成功率從基準的40.0%提升到了56.7%。在復雜的購物管理系統任務中，改進幅度更加顯著，從42.9%提升到了54.3%。即使在相對簡單的任務類別中，MiRA也帶來了穩定的性能提升。

研究團隊還通過"Pass@k"指標來評估AI代理的一致性表現。這個指標衡量的是在給定k次嘗試機會時，AI能夠成功完成任務的概率。結果顯示，MiRA不僅提高了單次嘗試的成功率，還顯著提升了多次嘗試的成功概率，表明其改進是全面而穩定的。

特別值得關注的是，MiRA在處理長時間序列任務時的表現。通過分析子目標完成的時間分布模式，研究團隊發現早期階段的AI往往在前幾個子目標上就停滯不前，而經過MiRA訓練的AI則能夠均勻地在整個任務時間線上完成各個子目標，展現出了良好的時間規劃能力。

七、深度剖析：為什么MiRA如此有效

要理解MiRA框架為什么能夠取得如此顯著的性能提升，我們需要深入分析其設計背后的核心原理。從根本上說，MiRA解決了長期困擾AI代理的兩個關鍵問題：缺乏有效的進度跟蹤機制，以及稀疏獎勵環境下的學習困難。

傳統的AI代理訓練就像讓一個人在完全黑暗的迷宮中尋找出口，只有到達終點時才能知道自己是否走對了路。這種訓練方式的問題在于，AI無法區分哪些中間步驟是有價值的，哪些是無效的。MiRA通過引入子目標分解，相當于在迷宮中點亮了一系列指路明燈，讓AI能夠清楚地看到每一段路程的價值。

更重要的是，MiRA的設計確保了這些"指路明燈"是可靠的。研究團隊發現，自動生成的子目標與最終任務成功之間存在強烈的相關性，相關系數達到了0.84。這意味著完成更多子目標的AI代理確實更有可能成功完成整個任務，而不是僅僅完成了一些無關緊要的步驟。

從技術實現的角度來看，MiRA巧妙地平衡了兩個看似矛盾的需求：提供密集的中間獎勵，同時保持對最終目標的專注。系統通過雙重價值函數架構實現了這種平衡，主價值函數始終專注于預測最終任務成功的概率，而輔助的潛力函數則提供基于子目標進度的形狀化獎勵。

MiRA的成功還得益于其對訓練數據質量的嚴格控制。研究團隊發現，并非所有的訓練軌跡都對學習同樣有效。通過困惑度篩選機制，系統能夠識別出那些既有挑戰性又不過于混亂的經驗，專門用這些高質量的數據進行訓練。這就像一位優秀的教師，知道如何選擇最合適的練習題來幫助學生提高。

另一個關鍵因素是MiRA采用的漸進式學習策略。與傳統的"一次性訓練"不同，MiRA通過多輪迭代不斷改進AI的能力。每一輪訓練都基于前一輪的失敗分析結果來調整任務分布，確保AI能夠針對性地改進自己的薄弱環節。這種方法讓AI的學習過程更加高效和針對性。

研究團隊還通過詳細的消融實驗驗證了MiRA各個組件的重要性。當移除潛力函數時，性能下降到約35%。當使用KL散度優化替代MSE回歸時，性能降至33%。當去掉雙重魯棒優勢估計時，性能在早期階段甚至降到25%。這些實驗結果證明了MiRA框架中每個組件都發揮著不可替代的作用。

八、未來展望：智能代理的發展方向

MiRA框架的成功為AI代理的未來發展指明了幾個重要方向。首先，顯式的任務分解和進度跟蹤將成為處理復雜長期任務的標準方法。就像人類在面對復雜項目時會制定詳細的計劃和里程碑一樣，AI代理也需要類似的結構化思維能力。

研究團隊認為，MiRA的成功證明了"過程獎勵"在AI訓練中的重要價值。與傳統的結果導向訓練不同，基于過程的獎勵能夠幫助AI學會更好的決策邏輯和執行策略。這種方法不僅適用于網頁操作任務，還可能在機器人控制、游戲策略、甚至科學研究等其他需要長期規劃的領域發揮重要作用。

從技術演進的角度來看，MiRA展示了大型語言模型在多角色協作中的潛力。在這個框架中，同一個基礎模型同時扮演著任務規劃者、執行者、進度監督者和學習指導者等多個角色。這種"一專多能"的設計模式可能會成為未來AI系統的重要特征。

然而，研究團隊也坦誠地指出了當前方法的一些局限性。MiRA的效果很大程度上依賴于子目標生成的質量，如果生成的子目標不夠準確或不夠實用，整個系統的性能就會受到影響。此外，當前的方法主要適用于能夠明確定義子目標的任務，對于那些過程高度不確定或需要大量創造性思維的任務，其適用性可能有限。

展望未來，研究團隊提出了幾個值得探索的改進方向。首先是從固定的子目標模板轉向更靈活的自適應子目標生成，讓AI能夠根據具體任務的特點和當前情況動態調整分解策略。其次是探索非線性的進度估計方法，考慮到不同子目標的難度差異，為AI提供更精確的進度反饋。

另一個有趣的研究方向是"信號退火"策略的開發。在這種方法中，子目標獎勵會在訓練過程中逐漸減弱，確保AI最終能夠獨立完成任務，而不是過度依賴輔助信號。這就像訓練輪的輔助輪會在學會騎車后被拆除一樣，讓AI能夠發展出真正的自主能力。

說到底，MiRA框架的真正價值在于它向我們展示了一種全新的思路：通過模仿人類的分層思維和逐步執行模式，AI能夠在復雜任務中獲得更好的表現。這種方法不僅提高了任務完成的成功率，還增強了AI行為的可解釋性和可控性。當我們能夠清楚地看到AI在每個步驟想要達成什么目標時，我們就能更好地理解和信任這些智能系統。

隨著網絡環境日益復雜，自動化需求不斷增長，像MiRA這樣能夠處理復雜多步驟任務的AI代理將變得越來越重要。無論是企業的內部流程自動化，還是個人的日常網絡操作輔助，這類技術都有著廣闊的應用前景。更重要的是，MiRA展示的這種結構化學習范式，可能會成為通向真正通用人工智能的重要途徑之一。

Q&A

Q1：MiRA框架是什么，它解決了什么問題？

A：MiRA是Google DeepMind開發的一套AI代理訓練框架，專門解決AI在復雜網頁任務中容易"迷路"的問題。傳統AI代理在處理需要多個步驟的任務時經常陷入循環或忘記目標，MiRA通過將復雜任務分解為清晰的子目標，并為每個步驟提供及時反饋，讓AI能夠像有經驗的向導一樣穩步完成長期任務。

Q2：MiRA框架的性能表現如何？

A：MiRA的性能表現非常出色。開源模型Gemma3-12B使用MiRA后，成功率從6.4%大幅提升到43.0%，甚至超過了GPT-4-Turbo的17.6%。大型模型Gemini-2.5-pro也獲得了約10個百分點的提升。最重要的是，AI代理"中途卡住"的失敗率從近50%降低到約21%。

Q3：MiRA框架能應用到其他領域嗎？

A：研究團隊認為MiRA的核心理念具有廣泛的應用潛力。這種基于子目標分解和過程獎勵的方法不僅適用于網頁操作，還可能在機器人控制、游戲策略、科學研究等其他需要長期規劃的領域發揮作用。任何需要AI完成多步驟復雜任務的場景都可能從類似的方法中受益。