圖像編輯革命！UniWorld-V2實現超精準指令跟隨

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。

在 AI 圖像生成技術飛速發展的今天，指令型圖像編輯已成為熱門賽道。只需輸入文字描述，就能讓 AI 精準修改圖像內容。但傳統模型往往受限于有監督微調的固有缺陷，容易過度擬合訓練數據，難以應對復雜多樣的編輯需求。近日，北京大學與Rabbitpre AI聯合團隊推出的UniWorld-V2，憑借創新的Edit-R1 后訓練框架，在兩大權威基準測試中刷新紀錄，為圖像編輯技術帶來突破性進展！已上線始智AI-wisemodel開源社區，歡迎體驗。

模型地址

https://wisemodel.cn/models/PKU-YUAN/UniWorld-V2

01.

核心痛點：

傳統圖像編輯模型的三大瓶頸

盡管 diffusion 模型已大幅提升文本到圖像的生成質量，但指令型圖像編輯仍面臨諸多挑戰：

1. 泛化能力弱：有監督微調（SFT）范式易導致模型 "走捷徑"，忽視復雜指令，僅局限于還原訓練數據中的模式；
2. 可控性不足：難以在精準執行編輯指令的同時，完整保留圖像中未編輯區域的內容；
3. 獎勵機制缺失：編輯任務類型多樣，缺乏統一、高質量的獎勵模型來指導模型優化，導致訓練穩定性差。

此前嘗試將強化學習（RL）應用于擴散模型的方案，要么存在系統性偏差，要么依賴復雜推理導致計算成本過高，始終未能實現兼顧效率與效果的突破。

02.

技術革新：

Edit-R1框架的三大核心亮點

UniWorld-V2 的成功源于其創新的 Edit-R1 后訓練框架，通過三大核心設計破解行業痛點：

1. 擴散負感知微調（DiffusionNFT）：更高效的政策優化

摒棄傳統依賴似然估計的強化學習方法，采用與流匹配前向過程一致的無似然政策優化技術。這種方法實現了訓練與采樣的解耦，支持黑盒求解器，不僅能兼容高階采樣器提升生成效率，還能有效避免系統性偏差，在探索多樣編輯可能的同時保證生成質量。

2. 免訓練 MLLM 獎勵模型：精準對齊人類偏好

創新性地將多模態大語言模型（MLLM）作為統一獎勵模型，無需額外訓練即可提供細粒度反饋。不同于傳統的離散評分或鏈式推理（CoT）方法，該模型采用基于 logit 的連續評分機制，直接從模型輸出的 token 分布中計算期望得分，既保證了評估的可解釋性，又降低了計算成本，同時避免了推理偏差。實驗表明，該獎勵機制與人類偏好的對齊準確率高達 74.74%，遠超其他主流方法。

3. 低方差組過濾：穩定訓練過程

針對 MLLM 評分可能存在的噪聲問題，設計了智能過濾機制。通過設置均值和方差閾值，自動剔除那些評分高度相似、無法反映真實質量差異的樣本組，避免噪聲放大影響訓練效果，讓模型優化始終朝著正確方向推進。

03.

性能碾壓：

權威基準測試刷新紀錄

UniWorld-V2 在兩大權威基準測試中展現出壓倒性優勢：

• 在 ImgEdit 基準測試中，以 4.49 的總分位列第一，大幅超越 GPT-Image-1（4.20）等知名閉源模型；

• 在 GEdit-Bench 基準測試中，更是以 7.83 的高分刷新紀錄，展現出極強的跨場景泛化能力。

更值得關注的是，該框架具有模型無關性，將其應用于 Qwen-Image-Edit、FLUX-Kontext 等不同基礎模型時，均能實現顯著性能提升。例如，FLUX.1-Kontext [Dev] 版本經優化后，總分從 3.71 提升至 4.02，成功超越其更強的 Pro 版本（4.00）；Qwen-Image-Edit 優化后在 GEdit-Bench 上的得分從 7.54 提升至 7.76，成為開源模型中的佼佼者。

在人類偏好測試中，優化后的模型在指令對齊維度大幅領先官方版本，即便在圖像質量上與主流模型持平，仍因更精準的指令跟隨能力獲得用戶青睞，充分證明其獎勵機制與人類需求的高度契合。

04.

適用場景：

覆蓋九大編輯任務，落地性拉滿

視頻生成模型的訓練成本極高，而業界傳統的視頻VAE優化目標主要針對像素級重構質量。但研究發現，相比于重構質量，隱變量結構對擴散模型的收斂貢獻更大。

UniWorld-V2 的訓練數據集包含 27,572 個樣本，覆蓋替換、調整、移除、背景編輯、文本修改、紅框控制等九大任務類型，幾乎涵蓋日常及專業場景的所有圖像編輯需求：

• 文字修改：將 "SHEFFIELD" 替換為 "EDINBURGH"，精準還原字體風格；

• 內容替換：把人物替換為復古留聲機，保持場景協調性；

• 屬性調整：改變動物毛發顏色、輕微抬起人物頭部，細節處理自然；

• 元素操作：移除圖像中的特定物體、提取目標元素，不破壞背景完整性。

無論是日常修圖、設計創作，還是專業場景的圖像優化，UniWorld-V2 都能憑借強大的泛化能力和精準的指令跟隨，成為高效工具。

UniWorld-V2 的推出，不僅通過技術創新解決了傳統圖像編輯模型的核心痛點，更證明了 MLLM 與擴散模型結合的巨大潛力。其 Edit-R1 框架無需依賴復雜的領域特定數據集，即可快速提升各類基礎模型的編輯性能，為圖像編輯技術的工業化應用提供了高效解決方案。

----- END -----

wisemodel相關：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看