AdaGen: 讓圖像生成模型學(xué)會自適應(yīng)策略

當(dāng)前主流的圖像生成模型——擴散模型（如 DiT）、自回歸模型（如 VAR）、掩碼生成模型（如 MaskGIT）、流模型（如 SiT）——都遵循一個共同范式：將復(fù)雜的圖像生成任務(wù)拆解為多個可控的子步驟，逐步迭代完成。然而，這種多步策略引入了一個不可忽視的問題：每一步都需配置大量超參數(shù)（如噪聲水平、采樣溫度、引導(dǎo)尺度等），而現(xiàn)有方法普遍依賴手工設(shè)計的靜態(tài)調(diào)度規(guī)則來管理這些參數(shù)。

這種做法存在兩個重要缺陷：一是需要大量專家知識和反復(fù)調(diào)參，二是"一刀切"的靜態(tài)策略無法適配每個樣本的獨特特性。

本文提出AdaGen——一個通用的、可學(xué)習(xí)的、樣本自適應(yīng)的生成策略框架。通過強化學(xué)習(xí)訓(xùn)練一個輕量級策略網(wǎng)絡(luò)，AdaGen 能根據(jù)當(dāng)前生成狀態(tài)自動為每個樣本定制最優(yōu)的生成策略，在四大主流生成范式上均實現(xiàn)了顯著的性能提升與效率優(yōu)化。

• 論文標(biāo)題：
• AdaGen: Learning Adaptive Policy for Image Synthesis
• 論文鏈接：
• https://arxiv.org/abs/2603.06993
• 論文代碼：
• https://github.com/LeapLabTHU/AdaGen

核心動機：從"靜態(tài)一刀切"到"動態(tài)因材施教"

圖：AdaGen的核心思想。現(xiàn)有方法使用預(yù)定義的靜態(tài)策略，所有樣本共享相同調(diào)度規(guī)則；AdaGen則通過RL訓(xùn)練的策略網(wǎng)絡(luò)，為每個樣本自適應(yīng)地產(chǎn)生定制化的生成策略。

現(xiàn)有的多步生成模型在推理時，所有樣本共享同一套預(yù)定義的調(diào)度規(guī)則。以 MaskGIT 為例，即使生成步數(shù)為 T = 16，也需要配置 64 個策略參數(shù)（每步 4 個參數(shù)），實際操作中極度依賴人工經(jīng)驗。更關(guān)鍵的是，一張簡單的風(fēng)景圖和一張復(fù)雜的人物肖像，真的應(yīng)該用完全相同的生成策略嗎？

AdaGen 的核心思想非常直觀：引入一個通過強化學(xué)習(xí)訓(xùn)練的策略網(wǎng)絡(luò)（Policy Network），讓它觀察當(dāng)前的生成狀態(tài)，自動且自適應(yīng)地為每個樣本決定最優(yōu)的生成參數(shù)。

統(tǒng)一 MDP 建模：一個框架統(tǒng)一四大生成范式

狀態(tài)轉(zhuǎn)移 (Transition)：由預(yù)訓(xùn)練的生成模型決定。擴散模型和流模型的轉(zhuǎn)移由 ODE 求解器確定，是確定性的；MaskGIT 和自回歸模型的轉(zhuǎn)移則是隨機的。

對抗獎勵建模：不讓策略"投機取巧"

訓(xùn)練策略網(wǎng)絡(luò)的另一個核心挑戰(zhàn)在于：如何設(shè)計有效的獎勵信號？論文探索了三種方案，揭示了一個重要發(fā)現(xiàn)：

圖：三種獎勵設(shè)計的對比。(a) 用FID作獎勵：FID雖低至2.56，但圖像質(zhì)量差，保真度不達標(biāo)；(b) 用預(yù)訓(xùn)練獎勵模型：保真度好了但樣本多樣性嚴重不足；(c) AdaGen的對抗獎勵建模：保真度與多樣性兼顧。

(a) 用 FID 作獎勵：雖然 FID 數(shù)值可以被優(yōu)化到很低（2.56），但生成圖像的視覺質(zhì)量反而很差。策略網(wǎng)絡(luò)學(xué)會了"刷"指標(biāo)的捷徑，犧牲了視覺保真度。

(b) 用預(yù)訓(xùn)練獎勵模型：保真度上去了，但生成樣本趨于同質(zhì)化，多樣性嚴重不足。策略過擬合于獎勵模型的偏好。

(c) 對抗獎勵建模（AdaGen 的方案）：引入一個判別器作為獎勵模型，與策略網(wǎng)絡(luò)進行對抗訓(xùn)練。策略網(wǎng)絡(luò)試圖最大化獎勵，而判別器則不斷提高區(qū)分真假圖像的標(biāo)準，有效防止策略過擬合。最終實現(xiàn)了保真度與多樣性的良好平衡。

圖：AdaGen的訓(xùn)練流程。策略網(wǎng)絡(luò)控制生成過程產(chǎn)生圖像，對抗獎勵模型同時評估生成結(jié)果并不斷自我進化。預(yù)訓(xùn)練生成模型在整個過程中保持凍結(jié)。

訓(xùn)練算法簡潔優(yōu)雅，核心循環(huán)僅包含兩步：(1) 策略網(wǎng)絡(luò)優(yōu)化：生成圖像，用 PPO 算法更新策略網(wǎng)絡(luò)使獎勵最大化；(2) 獎勵模型優(yōu)化：同時采樣真實和生成圖像，訓(xùn)練判別器更好地區(qū)分兩者。兩者交替進行，形成類似 GAN 的博弈過程。

動作平滑：馴服高維動作空間的探索

圖：優(yōu)化過程。當(dāng)生成步數(shù)從T=8增加到T=32時（黃色曲線），優(yōu)化變得不穩(wěn)定且性能下降。引入動作平滑后（紅色曲線），訓(xùn)練恢復(fù)穩(wěn)定且性能超越T=8基線。

論文發(fā)現(xiàn)，不穩(wěn)定性的根源在于 PPO 探索時對每步獨立添加高斯噪聲，導(dǎo)致動作序列出現(xiàn)劇烈且不必要的高頻波動。而對于逐步推進的迭代生成過程，最優(yōu)策略往往是平滑變化的。為此，論文提出動作平滑技術(shù)——對策略輸出施加指數(shù)移動平均（EMA）濾波：

圖：動作平滑前后的對比。左側(cè)未平滑時，動作序列劇烈抖動（FID=3.5）；右側(cè)引入平滑后，序列合理平穩(wěn)（FID=2.3）。

上圖直觀對比了平滑前后的效果：從雜亂無章的鋸齒波到平滑有序的下降曲線，F(xiàn)ID 也從 3.5 降至 2.3。

實驗結(jié)果：四大范式全面提升

跨范式有效性驗證

AdaGen 在 ImageNet 256×256 上跨越四大生成范式、六個模型進行了驗證。在所有范式和推理步數(shù)下，AdaGen 均一致超越對應(yīng)的基線方法，且性能增益在推理步數(shù)較少時更為顯著：

表：AdaGen 在 ImageNet 256×256 上的 FID-50K 結(jié)果（↓越低越好），覆蓋四大生成范式。注：MaskGIT、DiT、SiT 在不同推理步數(shù) T 下評測；VAR 采用固定的 10 步生成，因此僅在 T=10 列報告結(jié)果。

效率優(yōu)勢

圖：AdaGen在四種模型上的質(zhì)量-效率權(quán)衡。無論是理論計算量（TFLOPs）還是實際GPU/CPU推理時延，AdaGen均能推進質(zhì)量-效率前沿，實現(xiàn)1.6×到3.6×的推理加速。

上圖系統(tǒng)展示了 AdaGen 在四種生成模型上的質(zhì)量-效率權(quán)衡。無論是理論計算量還是實際推理延遲，AdaGen 均一致推進了質(zhì)量-效率前沿，實現(xiàn)1.6× 到 3.6×的推理加速。

極低的額外開銷

AdaGen 的策略網(wǎng)絡(luò)僅為生成器增加0.07% 到 0.40%的額外推理計算量，因此其性能提升并不以增大推理開銷為代價：

表：AdaGen 策略網(wǎng)絡(luò)的推理開銷占生成器總計算量的比例。

結(jié)語

AdaGen 將生成策略的設(shè)計從"手工藝術(shù)"轉(zhuǎn)變?yōu)?數(shù)據(jù)驅(qū)動的優(yōu)化問題"。通過統(tǒng)一的 MDP 建模、對抗獎勵設(shè)計和動作平滑技術(shù)，AdaGen 以一種輕量、通用的方式，在四大主流生成范式上實現(xiàn)了 17% 到 54% 的性能提升，或 1.6× 到 3.6× 的推理加速。這一工作表明，多步生成模型的潛力遠未被充分挖掘——一個好的"調(diào)度策略"，和模型架構(gòu)本身同樣重要。