無需解碼器與數據增強的冗余精簡世界模型

無需解碼器與數據增強的冗余精簡世界模型

R2-DREAMER: REDUNDANCY-REDUCED WORLDMODELS WITHOUT DECODERS OR AUGMENTATION

https://openreview.net/pdf?id=Je2QqXrcQq

https://github.com/NM512/r2dreamer

摘要

基于圖像的模型強化學習（Model-Based Reinforcement Learning, MBRL）面臨的一個核心挑戰是：學習能夠從無關視覺細節中提煉出關鍵信息的表征。盡管基于重建的方法展現出一定前景，但其往往將大量表征容量浪費在與任務無關的大面積區域上。無解碼器方法則轉而通過利用數據增強（Data Augmentation, DA）來學習魯棒的表征，但對這類外部正則化器的依賴限制了其通用性。我們提出 R2-Dreamer，這是一種無解碼器的 MBRL 框架，其采用一種自監督目標作為內部正則化器，無需依賴數據增強即可防止表征坍縮。我們方法的核心是受 Barlow Twins 啟發的冗余減少（redundancy-reduction）目標，該目標可輕松集成到現有框架中。在 DeepMind Control Suite 和 Meta-World 基準上，R2-Dreamer 與 DreamerV3、TD-MPC2 等強基線方法性能相當，同時訓練速度比 DreamerV3 快 1.59 倍；在包含微小任務相關物體的 DMC-Subtle 任務上，該方法取得了顯著提升。這些結果表明，一種有效的內部正則化器能夠支撐通用、高性能的無解碼器 MBRL。代碼地址：https://github.com/NM512/r2dreamer。

1 引言

學習有效的潛在表征是基于模型的強化學習（MBRL）中世界模型的核心基石，但這也帶來了一項重要挑戰：表征必須捕捉任務關鍵信息，同時避免對無關細節的過擬合。盡管循環狀態空間模型（Recurrent State-Space Model, RSSM）等架構已取得顯著成功（Hafner 等人，2025），一個根本性問題仍未解決：學習表征本身的最優目標函數究竟是什么？這一問題在基于圖像的設定中尤為重要，因為高維觀測使得表征學習本身具有內在挑戰性。

在實踐中，許多主流方法通過優化像素級重建目標來學習表征（Micheli 等人，2023；Zhang 等人，2023；Seo 等人，2023；Micheli 等人，2024；Alonso 等人，2024；Hafner 等人，2025）。這帶來一個關鍵問題：學習信號被觀測中空間占比大但與任務無關的部分（如背景）所主導。因此，模型被激勵去精細重建這些細節，從而浪費了表征容量與計算資源，反而可能忽略那些雖小但對任務至關重要的物體。

為克服像素級重建的局限性，無解碼器方法通過自監督損失來學習表征（Deng 等人，2022；Okada & Taniguchi，2022；Burchi & Timofte，2025）。為防止此類方法中常見的表征坍縮問題，它們高度依賴數據增強（DA）作為外部正則化器。然而，這種對 DA 的依賴構成了通用智能體發展的顯著瓶頸（Laskin 等人，2020；Ma 等人，2025），因為變換方式的選擇具有任務依賴性：隨機平移可能丟棄關鍵的小物體，而顏色抖動在顏色本身是關鍵特征時反而有害。

在本工作中，我們聚焦于廣泛使用的 RSSM 框架內的表征學習目標，提出 R2-Dreamer，旨在打破對解碼器與數據增強的依賴。為單獨考察學習目標本身的影響，我們基于成熟的 Dreamer 架構進行構建。受 Barlow Twins（Zbontar 等人，2021）啟發，我們引入圖像嵌入與潛在狀態之間的冗余減少目標，無需外部正則化器即可防止表征坍縮，從而提供一個通用且魯棒的基線，能夠實現具有競爭力的性能。

我們的主要貢獻如下：

• 為基于 RSSM 的無解碼器 MBRL 提出了一種新的表征學習范式，以內部冗余減少目標取代了可能扭曲任務關鍵信息的啟發式數據增強（DA）。
• 在標準基準（包括 DeepMind Control Suite (DMC) 和 Meta-World）上具有競爭力的性能，并在我們新提出的、更具挑戰性的 DMC-Subtle 基準上表現優異；同時，通過移除解碼器實現了更快的訓練速度。
• 發布我們統一的 PyTorch 代碼庫，其中包括基于我們 DreamerV3 實現的方法與基線代碼，以及 DMC-Subtle 基準，以促進未來研究。

2 相關工作

我們的工作位于模型強化學習（MBRL）與自監督學習（Self-Supervised Learning, SSL）的交叉領域。我們通過回顧 MBRL 中的表征學習策略及其應對正則化挑戰的方式，來定位我們的方法。

2.1 世界模型中的表征學習

基于解碼器的世界模型
在 MBRL 中占主導地位的范式（由 Dreamer 系列工作普及，Hafner 等人，2025）通過從潛在狀態重建觀測來學習表征。盡管該方法取得了成功，但這種基于重建的目標往往迫使模型將表征容量浪費在與任務無關的細節（如背景）上，這促使研究轉向無解碼器方法。

無解碼器世界模型及其對數據增強的依賴
為克服重建方法的局限性，近期的無解碼器方法通過不涉及像素級重建的輔助目標來學習表征，例如預測未來獎勵或通過對比損失進行學習。然而，盡管其學習信號具有多樣性，這些代表性工作（Ye 等人，2021；Deng 等人，2022；Hansen 等人，2022；2024；Wang 等人，2024；Burchi & Timofte，2025）都關鍵性地依賴數據增強（DA）——通常是隨機平移——作為防止表征坍縮的外部正則化器。這種對可能扭曲任務相關細節的增強方式的根本性依賴，限制了其通用性，而這正是我們致力于解決的關鍵瓶頸。

除了數據增強外，一些方法通過架構機制來緩解視覺干擾；例如，VAI（Wang 等人，2021）引入了額外的注意力模塊，但其依賴運動線索，可能忽略靜態但對任務關鍵的視覺線索。另有若干工作通過向潛在特征注入高斯噪聲來更直接地正則化表征（Shu 等人，2020；Nguyen 等人，2021）。相比之下，我們表明：僅憑一個基于信息論的冗余減少原則，就足以在基于 RSSM 的模型中實現穩定且有效的表征學習，且無需任何數據增強。

2.2 從不變性到基于信息的正則化

數據增強驅動的不變性
許多流行的自監督表征學習方法（包括現有無解碼器智能體所采用的方法）都是基于不變性的。它們依賴數據增強（DA）來構建正樣本對（例如，同一圖像的不同增強視圖），并訓練模型為這些視圖生成相似的表征，這在對比學習（Chen 等人，2020；He 等人，2020；Caron 等人，2020）與非對比學習（Grill 等人，2020；Chen & He，2021）中均有體現。在此范式下，數據增強對于防止模型坍縮到平凡解至關重要。

無需數據增強的內部正則化
我們的工作采用了與基于信息的自監督學習文獻（Zbontar 等人，2021；Bardes 等人，2022）不同的思路，后者聚焦于減少特征冗余。盡管這些方法在計算機視覺領域仍使用數據增強，我們將這一原則適配為強化學習領域中完全替代基于數據增強的正則化方案。具體而言，我們在圖像編碼器的輸出與 RSSM 的潛在狀態之間應用冗余減少目標。這產生了一個足以防止表征坍縮的內部正則化器，從而使我們能夠在無需任務特定增強的情況下，構建一個更通用、更魯棒的學習框架。

3 方法

我們的方法 R2-Dreamer 重新設計了強大的 DreamerV3（Hafner 等人，2025）框架中的表征學習機制，使其無需解碼器且無需數據增強（DA）。我們通過將原本基于重建的目標替換為一種受 Barlow Twins（Zbontar 等人，2021）啟發的、基于冗余減少的自監督目標來實現這一目標。為單獨考察我們所提出的學習目標的影響，世界模型的其他組件以及 Actor-Critic 的實現均與原始 DreamerV3 保持一致。僅這一項改動便在計算效率與魯棒性方面帶來了顯著提升。本節首先詳細闡述潛在動力學模型，介紹我們新的世界模型學習目標，并回顧 Actor-Critic 的學習過程。

3.2 世界模型學習

我們的核心貢獻是一種新的世界模型學習目標，它替換了 DreamerV3 的重建損失。正如附錄 A 中的理論動機所述，這一新目標是擴展的順序信息瓶頸（Sequential Information Bottleneck）目標的一個易處理的代理方案。我們現在詳細說明該目標的實際實現，在適用的情況下遵循 DreamerV3 的原始損失組件。

DreamerV3 目標
DreamerV3 中的世界模型通過優化四個不同的目標進行訓練：重建、預測，以及兩個用于正則化潛在動力學的 KL 散度項。如公式 2 所示，總體損失是這些組件的加權和。

通過冗余減少進行表征學習（LBT） 我們采用 Barlow Twins 目標作為我們的冗余減少機制。與 VICReg（Bardes 等人，2022）等其他方法相比，選擇它是因其實現開銷最小且超參數更少，從而減少了調優工作量。該目標定義如下：

在我們的實現中，我們 detach（分離）目標 e t以增強穩定性，類似于 TD-MPC2（Hansen 等人，2024）中的策略。盡管如此，編碼器仍能接收通過投影器和 RSSM 反向傳播的豐富梯度，同時獎勵、回合延續、動力學和價值目標提供了與 DreamerV3 相同的任務相關監督信號。

3.3 Actor-Critic 學習

為確保我們的性能提升可歸因于世界模型的表征質量，Actor-Critic 學習過程保持與 DreamerV3 一致。Critic 在想象 rollout 和回放軌跡上均進行優化，而 Actor 僅在想象軌跡上進行優化。具體而言，想象 rollout 始于從回放軌跡推斷出的潛在狀態，并在當前策略下使用學習到的動力學模型進行展開。

Critic 被訓練以預測λ-returns 的分布，這是對未來獎勵的一種魯棒估計。Critic 的損失是預測這些 returns 的最大似然：

4 實驗

在本節中，我們進行了一系列實驗來驗證我們工作的核心主張：即 R2-Dreamer 以一種無解碼器且無數據增強（DA）的方式學習高質量表征，從而形成一個不僅計算高效而且高性能的框架。我們的評估旨在回答以下關鍵問題：

1. R2-Dreamer 在標準連續控制基準上，與領先的基于解碼器和無解碼器智能體相比表現如何？（第 4.2 節，第 4.3 節）
2. 我們的內部正則化如何處理具有挑戰性的場景，其中任務相關信息細微且容易被競爭方法忽略？（第 4.4 節）
3. 學習到的表征在關注任務相關信息方面，與基線方法在定性上有何不同？（第 4.5 節）
4. 與其他設計選擇（特別是數據增強 DA）相比，我們提出的冗余減少目標的直接影響是什么？（第 4.6 節）
5. 其無解碼器和無數據增強的設計在實際中帶來了哪些計算效益？（第 4.7 節）

我們報告 DMC 和 DMC-Subtle 上的任務得分以及 Meta-World 上的成功率，使用跨任務的均值和中位數總結結果，并在附錄中提供詳細的每任務曲線。在所有實驗中，我們基于五個隨機種子進行訓練，每個種子進行 10 次評估回合，并且除非另有說明，在所有任務和基準套件中使用相同的超參數配置（見附錄 F）。

4.1 實驗設置

基線 我們將 R2-Dreamer 與精心選擇的一組競爭性基線進行比較，以涵蓋基于圖像的強化學習的主要范式：

• R2-Dreamer（我們的方法）：基于我們基于 PyTorch 的 DreamerV3 復現實現。所有無解碼器變體均使用這一統一代碼庫，以確保性能差異可直接歸因于表征學習目標。
• DreamerV3（Hafner 等人，2025）：一種領先的、極具競爭力的基于解碼器的世界模型。為了提供最強且最可信的基線之一，我們使用作者的官方 JAX 實現作為主要比較對象，并采用最新版本（該版本包含了 2024 年 4 月進行的若干算法改進）。
• Dreamer-InfoNCE：一種使用 InfoNCE 損失（van den Oord 等人，2019）的對比學習基線，用于探究在沒有數據增強（DA）情況下的性能，該基線基于我們的 DreamerV3 復現實現。
• DreamerPro（Deng 等人，2022）：一種領先的無解碼器方法，依賴數據增強（特別是隨機圖像平移）來防止表征坍縮。由于原始實現基于 DreamerV2，我們在我們的 DreamerV3 復現上重新實現了其核心機制，以確保公平比較。這一重新實現也提升了其性能。
• DrQ-v2（Yarats 等人，2021）：一種用于基于圖像的強化學習的強大且廣泛使用的無模型（model-free）智能體，作為性能參考的代表性無模型基線。它依賴數據增強作為該方法的關鍵組成部分。我們使用作者的官方實現。
• TD-MPC2（Hansen 等人，2024）：一種強大的無解碼器基于模型的方法，它將 TD 學習與潛在空間規劃相結合，并使用數據增強作為外部正則化器來防止表征坍縮。我們使用作者的官方實現。

環境 我們所有的基準測試均專注于基于像素的連續控制。我們在三個基準測試套件上評估我們的方法：

• DeepMind Control Suite (DMC) (Tassa 等人，2018)：一個被廣泛采用的基于像素的連續控制任務基準測試套件，涵蓋了運動（locomotion）和操作（manipulation）領域。
• Meta-World (Yu 等人，2021)：一個用于評估使用機械臂執行多樣化操作任務性能的基準測試套件。我們使用 MT1 基準，其中智能體分別在 50 個不同的任務上進行訓練。這些任務涉及與各種物體（包括小物體）進行交互，并需要精確的細粒度操作。
• DMC-Subtle：一個新的基準測試，旨在作為基于像素控制中表征學習的受控壓力測試，其中任務關鍵物體被縮小，以使任務相關的視覺線索變得細微。例如，圖 2 展示了 Reacher 任務，其中目標被縮小到原始尺寸的三分之一。該基準測試對象征精度提出了更高的要求。所有任務的詳細修改見附錄 B。

4.2 在 DeepMind Control Suite 上的性能

我們首先在 20 個標準 DMC 任務上評估 R2-Dreamer。圖 3 使用均值和中位數總結了跨任務的性能。我們的方法在平均水平上與基于解碼器、無解碼器以及無模型的基線方法具有競爭力。這一結果表明，我們的內部冗余減少目標是一種有效的學習信號，能夠在無需解碼器或像數據增強（DA）這樣的外部正則化器的情況下，實現具有競爭力的性能。詳細的每任務曲線見附錄 C。

4.3 在 Meta-World 上的性能

我們在 Meta-World MT1 上評估 R2-Dreamer，該基準包含 50 個獨立訓練的機器人操作任務。圖 4 報告了跨任務的平均和中位數成功率，并標注了不同隨機種子間的標準差。平均而言，R2-Dreamer 在跨任務的平均成功率方面與基線方法具有競爭力，即使在涉及小物體的、接觸豐富的操作任務上也是如此。詳細的每任務曲線見附錄 D。

4.4 在挑戰性環境中的魯棒性

我們現在強調我們的方法在 DMC-Subtle 基準測試上的優勢，該測試平臺是一個具有挑戰性的測試環境，旨在對那些要么過擬合于無關背景、要么丟棄微小關鍵物體的方法進行懲罰。我們假設，我們的冗余減少目標特別適用于這些對精度要求較高的任務。由于不受由任務無關背景主導的重建信號驅動，并避免了數據增強（DA）可能對關鍵特征造成的扭曲，我們的方法應能學習到更具聚焦性的表征。圖 5 的結果證實了這一假設，顯示出相對于基線方法的顯著性能差距，并表明 R2-Dreamer 能夠有效隔離并關注任務關鍵信息——這一能力對于現實世界中顯著線索可能稀疏的應用場景至關重要。我們進一步分析學習到的表征，以理解這種魯棒性的來源。

4.5 潛在表征分析

我們使用一種基于遮擋的顯著性方法（Greydanus 等人，2018）來可視化策略的注意力焦點，以評估學習到的表征在捕捉任務相關信息方面的效果。針對 DMC-Subtle Reacher 任務的這一分析中，我們在每個回合的第一幀計算顯著性圖，以將空間焦點與時間動態分離開來。圖 6 的結果揭示了明顯的區別：R2-Dreamer 的顯著性圖清晰地聚焦于目標，表明其策略建立在任務關鍵的視覺證據之上。相比之下，基線方法表現出更為分散的顯著性，暗示其對任務的理解不夠精確。這一發現提供了強有力的定性證據，表明我們的冗余減少目標能夠促使模型學習緊湊且相關的表征。

4.6 消融研究

為隔離我們的核心貢獻，我們進行了一項有針對性的消融研究，以評估我們的冗余減少目標相對于數據增強（DA）的有效性。我們比較了六種變體：R2-Dreamer（我們的完整方法）、R2-Dreamer（半批量）、帶 DA 的 R2-Dreamer（添加隨機平移）、DreamerPro（依賴 DA 的基線）、不帶 DA 的 DreamerPro，以及不帶解碼器的 Dreamer（無視覺輔助目標）。

首先，圖 7 顯示，為 R2-Dreamer 添加數據增強（DA）僅帶來邊際性能提升。相比之下，DreamerPro 在沒有 DA 的情況下會發生表征坍縮，這證實了其對外部正則化器的關鍵依賴。其性能下降至接近不帶解碼器的 Dreamer 的水平，而后者缺乏學習視覺表征的顯式目標。

我們還測試了批量大?。╞atch size）的敏感性，因為自監督學習（SSL）目標可能受到相關性估計的影響。與 Barlow Twins（Zbontar 等人，2021）所報告的魯棒性一致，將批量大小減半（ B = 8
對比 B = 16
）并未導致顯著的性能下降。

其次，我們在一個需要保留細粒度空間信息的設定中檢驗了相同的設計選擇。在對精度要求較高的 DMC-Subtle 基準測試上，數據增強（DA）被證明是有害的。如圖 8 所示，添加 DA 會顯著降低我們方法的性能。這凸顯了外部正則化器的一個關鍵風險：盡管它們通常具有通用性，但可能會扭曲細微的、任務關鍵的信息。在這種情況下，我們無需 DA 的內部機制提供了一種更魯棒的解決方案，進一步印證了其作為 RSSM 原則性正則化器的有效性。

4.7 計算效率

我們無解碼器設計的一個核心優勢是其計算效率。為確保公平比較，我們在統一的 DreamerV3 復現平臺上，測量我們的方法相對于基線方法的實際訓練時間（wall-clock training time）。如表 1 所示，通過消除計算開銷較大的圖像生成過程，R2-Dreamer 相較于我們的 DreamerV3 復現實現了 1.59 倍的加速。此外，與 DreamerPro 相比，R2-Dreamer 實現了 2.36 倍的加速；DreamerPro 需要處理輸入的不同增強視圖以及后續相對復雜的邏輯。我們還包含了原始高度優化的 DreamerV3 JAX 實現的訓練時間作為參考。這些結果表明，R2-Dreamer 提供了一種更實用且可擴展的解決方案。

5 結論

我們證明了一個原則性的內部正則化目標可以取代 MBRL 中對圖像重建的需求。我們的框架 R2-Dreamer 無需解碼器或任務特定的 DA，即可學習聚焦于顯著特征的表征。

這種方法的優勢在我們具有挑戰性的 DMC-Subtle 基準上最為明顯，在那里 R2-Dreamer 通過隔離微小、關鍵的物體，大幅優于領先的基于解碼器和依賴 DA 的智能體。在跨越運動和操作領域的標準基準上，它與 DreamerV3 具有競爭力，同時實現了 1.59 倍的更快訓練速度。

未來工作的一個重要方向是在具有動態且無關背景的環境中評估 R2-Dreamer，例如 Distracting Control Suite（Stone 等人，2021）。我們在 DMC-Subtle 上的結果表明，我們的內部冗余減少目標自然地避免了將表征容量浪費在無關像素上，這可能意味著對此類動態干擾具有魯棒性。驗證這一假設將進一步確立無 DA 內部正則化對于復雜視覺控制任務的有效性。擴展到像 Humanoid 這樣的高維任務也是未來的方向。

通過將重點從視覺保真度轉移到信息效率，我們的工作為構建智能體提供了一個可擴展的基礎，在這些智能體中，啟發式增強存在扭曲任務關鍵信息的風險。這項研究開啟了對內部正則化的新探索，將其作為通往更通用、更強大學習智能體的原則性路徑。

原文鏈接：https://openreview.net/pdf?id=Je2QqXrcQq