全球第一，13個SOTA！我們找到了龍蝦界掌管GUI的神

編輯｜冷貓

有沒有想過讓「龍蝦」替你打麻將？

自從龍蝦熱以來，大家慢慢接受了 AI 智能體能夠在電腦上執(zhí)行操作的特性。

既然龍蝦具備一定的控制能力，那讓它替我去掙歡樂豆不過分吧。

遺憾的是，現(xiàn)在的龍蝦，稱之為「Claw」是有道理的，笨拙的龍蝦爪的確很難進行復雜操作。讓它打開瀏覽器逛逛電商平臺比價，都要尋找各種對應的 Skills，而且執(zhí)行的吭哧癟肚的，這的確讓人很難放心地將正經(jīng)工作流交給龍蝦。

時隔半年有余，那個能夠直接操作圖形界面的，曾經(jīng)取得雙榜 SOTA 的通用 GUI 智能體模型 Mano 再一次產(chǎn)生了飛躍。不僅解決了自動操作工作流的痛點，甚至連「替我打麻將」的夢想都實現(xiàn)了：

這次，明略科技帶著自研全新進化的面向端側(cè)設備的 GUI-VLA 智能體模型 Mano-P 1.0亮相。這一模型能夠不依賴傳統(tǒng) API 對接，也不局限于瀏覽器場景，能夠直接理解并操作桌面軟件、網(wǎng)頁界面，完成更復雜的圖形化工作流，徹底引領龍蝦從「爪」向「手」的跨越式進化

簡而言之，Mano-P 1.0 模型是一個純視覺 GUI 操作模型，不依賴任何插件，打通全部兼容性瓶頸。與其他 GUI 操作模型不同，Mano-P 1.0 能夠完全實現(xiàn)本地運行，數(shù)據(jù)零上云開箱即用，三種形態(tài)，覆蓋全部開發(fā)者群體。

• 開源鏈接：https://github.com/Mininglamp-AI/Mano-P/tree/main

Mano-P，一臺 M4 Mac，兩行命令，一個能在你電腦上自主操作界面的 AI。

相比之前的 Mano 模型，Mano-P 產(chǎn)生了質(zhì)的飛躍。讓我們非常好奇的一點是，新模型名字中的「P」，到底是什么含義？

全球第一，斷檔領先

我們猜測，P for Power

讓我們來看看硬成績。雙榜 SOTA 遠遠不是 Mano 模型的上限。這次，Mano-P 1.0 模型給了我們巨大的震撼。

Mano-P 在全球 13 個多模態(tài)基準榜單上達到 SOTA，覆蓋 GUI Grounding、CUA、感知認知、視頻理解、上下文學習等多個維度，呈現(xiàn)出「屠榜式」的斷崖領先。

ScreenSpot-V2 上拿到93.5分，MMBench 上87.5分，UI-Vision 上46.6分，幾乎全面碾壓同量級競品。

在 GUI Agent 領域最具權威性的基準測試 OSWorld 上，Mano-P 1.0-72B 取得了58.2%的成功率，在所有專用 GUI 智能體模型中排名全球第一，領先第二名 opencua-72b（45.0%）整整13.2個百分點。

放到全模型榜單上看，排在前四位的都是千億級參數(shù)的通用大模型 ——Claude Sonnet 4.6（72.1%）、Gemini 2.5 Pro（66.9%）等。而 Mano-P 以 72B 參數(shù)量躋身第五位，作為一款專用模型打入通用模型的俱樂部，這本身就已經(jīng)說明了很多。

另一個值得關注的戰(zhàn)場是 WebRetriever Protocol I：Mano-P 拿到了 41.7 NavEval 分數(shù)，超越了 Gemini 2.5 Pro Computer Use（40.9）和 Claude 4.5 Computer Use（31.3）。

以上硬核成績，完全能夠說明 Mano-P 1.0 模型能夠摘得全球第一的桂冠。

GUI 是數(shù)字世界最真實的入口，而 Mano-P 正在把這個入口交給智能體。

在官方演示中，Mano-P 完成了一套從視頻生成、上傳、分析、剪輯到二次評測的全流程自動化，其中同時涉及網(wǎng)頁操作和專業(yè)剪輯軟件的混合使用 —— 這對依賴瀏覽器協(xié)議的方案來說是不可能完成的任務。

核心優(yōu)勢：「完全不上云」

當我們提起操作 GUI 的智能體，就能想到的一個極具代表性的應用是「豆包手機助手」。軟硬件深度結合的豆包，理論上能夠?qū)崿F(xiàn)任何手機上的操作。

當前主流的 Computer Use 方案，包括豆包手機助手在內(nèi)，本質(zhì)上都遵循同一個模式：截屏或讀取屏幕信息 → 上傳云端 → 云端推理 → 返回操作指令 → 本地執(zhí)行。

這意味著每一次操作，你的屏幕內(nèi)容都在被傳輸?shù)酵獠糠掌鳌Ｔ趥€人用戶的隱私保護，以及對數(shù)據(jù)安全有硬性要求的場景來說，這是一個無法忽視的風險。這也是豆包手機助手曇花一現(xiàn)的核心原因之一。

Mano-P 走了一條完全不同的路，支持本地運行，數(shù)據(jù)完全不上云

或許，P for Private

它支持在 Apple M4 芯片 + 32GB 內(nèi)存 的 Mac mini 或 MacBook 上直接進行本地推理。所有截圖和任務數(shù)據(jù)完全不出設備，不需要配置任何 API 密鑰，不需要聯(lián)網(wǎng)，不需要向任何外部服務器發(fā)送一比特的數(shù)據(jù)。

性能數(shù)據(jù)也足夠亮眼：其 4B 量化模型（w4a16）在 Apple M4 Pro 上可實現(xiàn) 476 tokens/s 預填充速度 和 76 tokens/s 解碼速度，峰值內(nèi)存僅占 4.3GB—— 一臺標配 M4 Mac mini 就能流暢運行。

明顯的，端側(cè)不是云端能力的「縮水版」，是 Agent 落地的另一條路徑 —— 一條更適合高安全需求、高隱私要求、以及希望對 AI 能力擁有完整控制權的用戶的路徑。

Mano-P 通過與眾不同的私有化策略，重構了「純視覺理解」與「本地執(zhí)行」的底層邏輯，讓你的「龍蝦」真正屬于你。

這種架構擁有「物理隔離」的安全感，更憑借其零門檻、開箱即用的部署特性，大幅降低了構建 GUI Agent 工作流的工程成本。

這標志著 AI 智能體私有化，個人化的開始。

小龍蝦們引發(fā)了一場 Mac mini 搶購熱潮，眼看 Mano-P 在 M4 Pro 芯片的亮眼成績，下一波斷貨還遠嗎？

開源的三步棋

開源一個強大的模型需要強大的魄力。便是如 Meta 這樣的巨頭，也逐步向閉源模型方向轉(zhuǎn)變。

Yann LeCun 就曾表示「獲勝的平臺將是開放的平臺」。可能，P for Public

Mano-P 是一個全開源的模型。它的開源策略很有意思 —— 分三個階段逐步釋放能力。

開源鏈接：https://github.com/Mininglamp-AI/Mano-P/tree/main

Skill 先行，開箱即用

這一階段的核心目標是：現(xiàn)在就能用起來。

Mano-CUA Skill 已經(jīng)開源。此階段的目標用戶是 Agent 愛好者，例如 OpenClaw 或 Claude Code 的用戶，使他們能夠利用 Mano-CUA 技能的功能構建更智能的 CUA 任務工作流程，擺脫人工干預帶來的瓶頸。

團隊提供了三種接入形態(tài)，分別對應不同類型的用戶：

• mano-cua（CLI 命令行工具）—— 面向開發(fā)者和高級用戶。通過 Homebrew 一行安裝，之后在終端里直接用自然語言驅(qū)動 GUI 操作，腳本集成、批處理、自動化流水線都能直接嵌入。
• mano-skill（Agent Skill 插件）—— 面向 Claude Code 和 OpenClaw 用戶。安裝后，當你向 AI Agent 提出需要 GUI 操作的需求時，Agent 會自主調(diào)用這個技能完成操作，無需人工介入。這打通了一個關鍵痛點：當前 Agent 工作流中，凡是涉及 GUI 操作的環(huán)節(jié)都需要人來「搭一手」，Mano-Skill 讓這個環(huán)節(jié)也可以由 AI 自主閉環(huán)。
• mano-client（Python SDK）—— 即將發(fā)布，面向需要在 Python 項目中深度集成 GUI 自動化能力的開發(fā)者。支持異步調(diào)用、回調(diào)函數(shù)、可編程的任務流控制。

三種形態(tài)，同一套核心能力。無論你是想快速體驗、深度集成、還是讓 Agent 自己去調(diào)度，都有對應的入口。

模型開放，能力下沉

第二階段，明略將開源 Mano-CUA 的本地模型和 SDK 組件

此階段的目標用戶是具有高安全性要求的開發(fā)者，使他們能夠直接使用可在 Mac 本地運行推理的 GUI-VLA 模型來構建自定義技能、工具等。重要的是，所有 CUA 操作都將在本地 Mac 上執(zhí)行，而不會上傳到外部服務器。

這是整個開源計劃中最關鍵的一步。

• 72B 完整模型：證明技術上限，OSWorld 58.2% 成績的締造者。
• 4B 量化模型（w4a16）：交付端側(cè)體驗，M4 Mac 上 476 tokens/s 預填充、76 tokens/s 解碼，峰值內(nèi)存僅 4.3GB。

大模型證明了 Mano-P 模型的能力上限，小模型專注于用戶的端側(cè)體驗。兩者互補，覆蓋從研究驗證到生產(chǎn)落地的完整鏈路。

方法公開，生態(tài)共建

最后一階段，團隊計劃開源的是訓練方法本身，包括 Mano-P 模型所使用的訓練方法、剪枝和量化技術。

Mano-Action 雙向自增強學習框架是整個項目的核心技術底座。與傳統(tǒng)單向預測方法不同，它采用 Text ? Action 循環(huán)一致性學習 —— 模型同時掌握兩個方向的能力：

• Text → Action：根據(jù)自然語言描述，定位并操作界面元素
• Action → Text：給定界面元素，準確描述其位置和功能

雙向互相增強，讓模型對 GUI 的理解更加魯棒。

訓練過程分為三個遞進階段：

1. SFT（監(jiān)督微調(diào)）：建立基礎的 GUI 理解與操作能力。

2. 離線強化學習（Offline RL）：在歷史數(shù)據(jù)上進行策略優(yōu)化，探索更優(yōu)的操作序列。

3. 在線強化學習（Online RL）：通過與真實環(huán)境的實時交互持續(xù)提升，實現(xiàn)自我進化。

配合 「思考 - 行動 - 驗證」 循環(huán)推理機制，每一步操作后都會驗證結果，發(fā)現(xiàn)偏差時自動糾錯調(diào)整。

端側(cè)優(yōu)化方面，GSPruning 視覺 Token 剪枝是一項值得關注的技術創(chuàng)新。該方法通過保留全局空間錨點來維持網(wǎng)頁結構骨架，同時識別語義異常值以捕獲關鍵 UI 元素，將視覺 Token 保留率壓縮至 12.57% 的同時仍保持較高任務成功率，吞吐量提升 2-3 倍。

開源完全體

從 Skill 到模型再到方法論，三步棋走完，開發(fā)者獲得的是一整套可以從使用到定制到研發(fā)的完整技術棧

Mano-P 的整個項目采用 Apache 2.0 協(xié)議開源，完整客戶端代碼公開可審計，支持商業(yè)使用與二次開發(fā)。

目前市面上的 GUI 自動化方案大致分三類：

• 傳統(tǒng) RPA：基于坐標定位或元素選擇器，界面一變就失效，維護成本極高。
• 瀏覽器型 CUA（如 OpenClaw）：依賴 CDP（Chrome DevTools Protocol），能力強但被限制在瀏覽器生態(tài)內(nèi)。
• 云端 Computer Use（如 Claude Computer Use / Manus）：能力最強，但依賴云端 API，且主要面向 Web 場景。

Mano-P 與傳統(tǒng)方案 CUA 對比

Mano-P 獨屬于第四類 ——純視覺 GUI Agent。它做的事情和人一樣：看著屏幕，理解界面，然后決定輸入，帶來了無限制的跨平臺通用性。總的來說，完全開源的 Mano-P 有四大核心競爭力：

• 極致端側(cè)性能：憑借 M4 芯片優(yōu)化與算力棒擴展，Mano-P 支持模型本地開箱即用，徹底擺脫了云端 API 束縛。
• 全場景視覺理解：采用純視覺 GUI 交互方案打破瀏覽器局限，實現(xiàn)了跨桌面軟件與復雜工具的全場景感知適配。
• 離線規(guī)劃能力：依托完全離線的自主規(guī)劃與糾錯閉環(huán)，在無網(wǎng)環(huán)境下亦能確保業(yè)務邏輯的高效安全執(zhí)行。
• 軟硬一體方案：通過即插即用的模型硬件一體化部署，消除了復雜的底層環(huán)境配置，顯著降低了 Agent 的落地門檻。

專訪：兩個時代的十字路口

我們知道，「Mano」一詞來源于西班牙語，意為「手」，生動地體現(xiàn)了模型在數(shù)字世界中「靈巧手」的核心能力。

而為了知道 Mano-P 模型中的「P」的真正含義，機器之心與明略集團副總裁，多模態(tài)首席科學家趙晨旭老師進行了一次專訪。

于是我們得到了明略科技官方的答復。「Mano-P 這個科研項目里面最核心的一個概念 ——P 的含義代表的是 personal（個人） 或者 party（組織）。

Personalized AI 的開端

趙晨旭老師認為：「我們已經(jīng)斷定現(xiàn)在正處在兩個時代的交界點上，可能好多人或者是一些開發(fā)者，或者是一些業(yè)內(nèi)的人還沒有意識到。是哪兩個時代呢？就是AGI 的時代和 Personalized AI的時代。」

AGI 的敘事已經(jīng)深入人心：打造一個無所不能的通用智能體。趙晨旭老師解釋了其中的邏輯：以 DeepSeek、GPT o1 為代表的路線，核心是基于事實性基礎進行推理。對于有確定解或唯一解的問題，這種推理方式確實「無敵」。但現(xiàn)實世界中，大部分問題恰恰是無解的或有多種解的。

「其實我們要找的是在這些解里面，對于個人或者對于某個組織、某個集體而言價值最大的那個解。」

每個組織和個人都有自己沉淀的經(jīng)驗和特有的品味，按照這些「私有資產(chǎn)」去做推理，才能拿到最優(yōu)解。「所以我們區(qū)別于 AGI，我們管這個叫做 Personalized AI。」

要說到底什么是 Personalized AI，文章開頭展示的打麻將，正是其最生動的例子。

如果你拿一個 AGI 的模型去幫你打麻將的話，因為他看過很多種麻將打法，他會實時判斷一下，然后直接去選，無論哪一步他走的都是最優(yōu)解，看上去特別像一個機器人。
但是你如果跟他說用您的方式去打這個麻將，AI 應該是按照您的習慣，您經(jīng)常怎么樣去胡牌，或者怎么樣去記牌，怎么樣去開杠不開杠、吃牌不吃牌，然后用您的方式去打。這個就是通用 AI 和 Personalized AI 的區(qū)別。

這個比喻恰似乎和當前的熱門話題，把同事，名人，甚至是前任「蒸餾」成 skill，在理念上有些相仿。當我們提出這個話題時，趙晨旭老師說：「這個其實就是你在打造你自己的 Personalized AI 的過程，只不過這些現(xiàn)在是以一種記憶或者文件的方式存儲的，它并沒有直接作用在 AI 的大腦里，沒有給它形成參數(shù)化。但這已經(jīng)是個性化 AI 的開始了。」

模型的技術歷程

從操作瀏覽器，到一步步把 Personalized AI 做成，其中的技術難度不言而喻。我們也請趙晨旭老師為大家介紹了現(xiàn)在走向 Personalized AI 的模型的三大技術突破。

去年首次在 Mind2Web 和 OSWorld 刷榜時，團隊攻克的核心難題是在線強化學習。

「之前的那些強化學習的路徑都是在一個虛擬的上下文里面去做強化…… 但是對于那種一步操作可能會直接影響整個周圍的真實環(huán)境的這種情況，可能就不是那么合適了。」

團隊引入了在線強化學習后，模型能力大幅提升，在 OSWorld 上拿下專有模型第一名，至今仍保持第一名

今年年初，團隊發(fā)現(xiàn)了另一種新的訓練范式 —— 雙向強化。傳統(tǒng)訓練方式只有單向映射：自然語言 → 動作（action）。

「大部分時候只有正向的，就是通過自然語言推測 action，但是沒有從 action 去推理自然語言的。比如說我按了一下這個按鈕，背后應該對應哪些自然語言？其實沒有人在做這項工作。」

團隊提出的方案是同時訓練兩個方向：自然語言→動作，以及動作→自然語言，兩者相輔相成。這種方法借鑒了視覺領域 GAN 的思想，效果出奇地好 ——

「我們就拿一套訓練集訓練一個模型，就直接刷新了 10 個榜單的紀錄。」

「這也是我們?yōu)槭裁茨芏虝r間內(nèi)突破這么多榜單，因為我們沒有在這些任何一個榜單專門針對任何一個榜單去做優(yōu)化微調(diào)，只是用一套訓練數(shù)據(jù)通過這個訓練方法訓練一個模型，就在 10 個榜單上達到了算法結果。」

第三個突破指向了一個更實際的約束：算力。如果要讓 Personalized AI 真正落地到每個人的設備上，模型必須在有限算力下完成推理甚至訓練。

視覺剪枝的方法是說，我們在做 GUI 任務的時候，屏幕截圖分辨率很高，可能都是 1080P 的分辨率，然后把圖像給它序列化變成一個個 token。這個 token 其實中間有好多是不必要的，在做任務時不需要關注這些 token。比如一個網(wǎng)頁里面有好多留白的空間，這些都是廢的 token。

通過識別并剔除這些冗余 token，模型的計算量得到顯著優(yōu)化，使得 Mono-P 能夠直接在 Mac 等端側(cè)設備上獨立運行。

讓更多的人用起來

當我們談及在榜單之外如何判斷模型是否成功，趙晨旭老師坦言標準正在發(fā)生遷移。

「在上個階段或者去年，我們主要以榜單為主。坦率地講，榜單大家可能理解得都比較直白。但是現(xiàn)在對于我們來說標準確實發(fā)生了一些變化，我們現(xiàn)在更希望的是我們自己的模型能夠被更多的人用起來。」

這也解釋了開源策略背后的考量 —— 如果不開源，用戶無法在本地優(yōu)化自己的場景，Personalized AI 的愿景就無法真正落地。

我們知道，要想讓更多人用起來，自然需要一個好用的場景，一個令人眼饞的落地實踐：

「我們設想的一個場景就是可以通過 GUI 去代替人進行測試。Claude Code 寫完搭建完應用之后會有一個 PRD，然后模型參考這個 PRD 去訪問網(wǎng)站測試，看有沒有錯誤、有沒有 bug。這樣就把人類進行測試的瓶頸給取消掉了。軟件可以 Claude Code 寫完代碼馬上就測試，測試完給反饋結果，有沒有 bug，功能有沒有實現(xiàn)，然后再改。改完之后再測試，整個流程中的人類瓶頸就消失了。這是我們構想的場景。」

這就是 Mano-afk 全自動應用構建場景，用戶輸入一句自然語言需求，系統(tǒng)自動完成需求澄清 → 技術架構設計 → 代碼生成 → 本地部署 → API 接口測試 → 頁面視覺檢測 → 端到端 GUI 自動化測試。測試失敗時自動定位、修復代碼、重新驗證，循環(huán)迭代直到全部通過。全程無人干預。

從 AGI 到 Personalized AI，從追求通用到擁抱個性，在這兩個時代的交界，我們的確該思考下一步的 AI 演進方向。

「我們相信，個體和組織都能夠創(chuàng)造屬于自己的個性化 AI。」

文中視頻鏈接：https://mp.weixin.qq.com/s/DQ2HLD29jNN_i4jZWjkaAQ