中科院、港中文等提出HiFi-Inpaint：重塑Inpainting生成范式！

HiFi-Inpaint 的整體框架，包含了數據集構建流程、高頻特征提取、SEA 模塊以及 DAL 損失。采用固定的高頻權重（Fixed）往往會導致特征沖突，在重繪區(qū)域產生明顯的視覺偽影；而 SEA 模塊巧妙地引入了可學習的權重因子（Learnable），使高頻細節(jié)的注入更加平滑、自適應，最終生成的 “人 + 商品” 圖像在光影與結構上更加和諧真實。傳統的 Canny 邊緣檢測會無差別地提取所有輪廓，引入大量無用的背景雜亂信息（如紅框所示）；而 HiFi-Inpaint 采用的特定頻域濾波方法（Ours）能夠精準高亮商品上的關鍵文字、Logo 與精細紋理（如藍框所示），從而為 DAL 損失提供最純凈、最精確的像素級監(jiān)督信號 。左側直方圖展示了極為廣泛的 Mask 面積占比分布，這意味著模型在訓練后能自適應從 “小掛件” 到 “大物件” 的各種生成比例；右側詞云圖則凸顯了極其豐富的商品類別，為模型學習真實世界中千變萬化的產品材質、形狀和物理結構打下了極其堅實的數據基石。與 ACE++、Insert Anything 和 FLUX-Kontext 相比，HiFi-Inpaint 能夠完美還原瓶身上的微小文字、Logo 和瓶蓋紋理，拒絕 “AI 幻覺”。HiFi-Inpaint 在多項自動評估指標上取得最佳性能（上：合成測試數據，下：真實測試數據）。圖注：無論是戶外無人物理環(huán)境、大姿態(tài)全身視角、復雜商品遮擋，還是大幅度的風格遷移（如漫畫風），HiFi-Inpaint 都能游刃有余。

在 AIGC 領域，基于參考圖像的圖像修復（Reference-based Inpainting）一直是一項備受關注的核心任務，它旨在利用參考圖像引導修復過程，生成視覺一致的內容。這一技術在廣告營銷和電商領域有著巨大的應用潛力，例如讓 AI 自動生成 “真人手持或穿戴商品” 的展示圖。然而，真實世界的商業(yè)應用對高保真度有著極其苛刻的要求。現有的模型在處理這類高標準任務時常常 “翻車”，尤其是在精細細節(jié)的保留上顯得力不從心：品牌 Logo 扭曲、包裝文字亂碼、產品紋理丟失等問題，成為了阻礙技術落地的最大痛點。

為了攻克這一難題，來自中國科學院大學、香港中文大學等機構的研究團隊聯合提出了HiFi-Inpaint模型。該工作深入探索了參考圖像修復的本質，通過創(chuàng)新性地引入高頻特征引導機制，實現了令人驚嘆的高保真細節(jié)還原。目前，該項工作已被計算機視覺頂級會議CVPR 2026接收。

• 論文標題：HiFi-Inpaint: Towards High-Fidelity Reference-Based Inpainting for Generating Detail-Preserving Human-Product Images
• 論文鏈接： https://arxiv.org/abs/2603.02210
• 項目主頁： https://correr-zhou.github.io/HiFi-Inpaint

行業(yè)痛點：為什么商品細節(jié)這么難搞？

雖然當前的擴散模型（Diffusion Models）在圖像生成上取得了革命性進展，甚至能通過圖像定制或文本驅動編輯來生成內容，但在處理高度定制化的 “人 + 商品” 圖像時，依然力不從心 。

現有的“基于參考圖像的圖像修復（Reference-based Inpainting）”方法提供了一個解決思路，但在實際應用中仍面臨三大阻礙 ：

1.細節(jié)易丟失： 擴散模型的去噪過程傾向于將內容 “平均化” 或產生幻覺，導致紋理、形狀和品牌元素（如文字）的嚴重不一致。

2.監(jiān)督信號粗糙： 傳統的隱空間（Latent Space）MSE 損失無法提供精確到像素級別的指導，難以約束高頻細節(jié)。

3.缺乏高質量數據： 大規(guī)模、多樣化且精準對齊的 “人 + 商品” 開源訓練數據極度匱乏。

核心洞察與解決方案：HiFi-Inpaint

為了解決上述問題，研究團隊提出了HiFi-Inpaint。它的核心 Insight 在于：既然隱空間容易丟失高頻信息，那就顯式地將 “高頻特征” 提取出來，直接注入到網絡結構和損失函數中！

HiFi-Inpaint 能夠將商品參考圖無縫融合到帶 Mask 的人物圖像中，同時保持極高保真度的細節(jié)還原。

HiFi-Inpaint 基于 FLUX.1-Dev 架構進行了深度改造 ，其三大核心創(chuàng)新點如下：

1. 結構創(chuàng)新：共享增強注意力（Shared Enhancement Attention, SEA）

為了在重繪區(qū)域精準保留商品特征，研究團隊設計了共享增強注意力模塊。它利用共享的雙流視覺 DiT 塊來細化 Mask 區(qū)域內的視覺 Token。具體而言，模型在另一個分支中將商品圖像的 Token 替換為對應的高頻圖 Token，通過學習一個權重因子，將高頻特征注入回主干網絡：

這種設計既增強了模型捕獲復雜商品特征的能力，又因為參數共享機制，保持了模型的緊湊性（每個模塊僅引入了一個額外參數）。

2. 訓練策略：細節(jié)感知損失（Detail-Aware Loss, DAL）

僅僅在模型結構上發(fā)力還不夠。為了彌補隱空間監(jiān)督的不足，研究團隊引入了細節(jié)感知損失函數。這是一種利用高頻像素級監(jiān)督的損失函數：

它專門針對 Mask 區(qū)域內的高頻成分（如文字邊緣、圖案紋理）進行約束，有效指導了那些難以僅通過潛在級別監(jiān)督恢復的細粒度細節(jié)的重建。

3. 數據破局：構建 HP-Image-40K 數據集

為了打破數據瓶頸，團隊提出了一套自動化的 “自合成與過濾” 流水線，構建了包含 4 萬多張 高質量樣本的數據集HP-Image-40K。 流程包括：使用 FLUX.1-Dev 生成雙聯圖（左側商品，右側人 + 商品）-> 邊緣檢測分割 ->YOLOv8 與 CLIP 進行語義一致性過濾 -> InternVL 進行文本重合度（Textual Filtering）過濾。這保證了訓練數據中商品文字和形態(tài)的高度一致性。

驚艷的效果對比

有了高頻特征引導和高質量數據的加持，HiFi-Inpaint 在定量和定性評估上都展現出了統治力。

在自動評估指標中，HiFi-Inpaint 在文本對齊（CLIP-T）、視覺一致性（CLIP-I 達到 0.950，DINO 達到 0.919）和結構相似度（SSIM-HF 達到 0.429）上均取得了 SOTA（State-of-the-Art） 的表現 。

此外，即使在更為復雜、未見過的真實世界數據集（包含復雜光照、遮擋、室內外場景）上，HiFi-Inpaint 依然表現出了強大的泛化能力和魯棒性，能夠自然地將目標商品融入場景并保留關鍵視覺屬性 。

總結與思考 (Takeaways)

HiFi-Inpaint 的出現，為電商海報生成、商品虛擬試用等商業(yè)落地場景掃清了一大障礙。它的成功給我們帶來了兩個核心啟發(fā)：

1.高頻信號不可忽視： 在生成模型全面走向高保真度要求的今天，單純依賴網絡 “自己領悟” 隱空間特征在某些任務中是不夠的。顯式地引入傳統圖像處理中的先驗（如通過傅里葉變換提取高頻圖），能為模型提供極其精準的 “錨點”。

2.Data-Centric AI 依然奏效： 利用大模型進行自動化數據合成與多重嚴格過濾，并進行自蒸餾學習，是突破領域數據匱乏的高效途徑。

目前該工作已被頂級計算機視覺會議 CVPR 2026 接收。期待未來能在更多商業(yè)和視頻生成場景中看到它的身影。