兩個LLM互相對線，推理起飛：康奈爾團隊發(fā)布大模型版類GAN訓練法

大型語言模型（LLMs）雖然通過可驗證獎勵的強化學習（RLVR）取得了顯著進展，但仍然在很大程度上依賴外部監(jiān)督（例如人工標注的數據）。自博弈（self-play）提供了一種有前景的替代方案，使模型能夠通過與自身反復對抗來學習，從而減少對外部監(jiān)督的依賴。GAN 則提供了另一種更具吸引力的訓練范式：通過對抗式地訓練兩個模型，其中一個模型專注于生成具有挑戰(zhàn)性的任務或對抗樣本，另一個模型則專注于解決這些任務。

于是問題來了：LLM 是否也可以像 GAN 一樣進行訓練？我們的希望是，通過賦予每個模型不同的專門化角色，可以促進持續(xù)的競爭與共同進化，從而讓它們能夠解決單一模型可能從根本上無法勝任的任務。

為解決這一難題，來自康奈爾大學的 NLP 團隊提出了PasoDoble，一個面向大語言模型的全新類 GAN 訓練框架。PasoDoble 通過對抗式地訓練兩個幾乎相同的模型：Proposer 用于生成帶有標準答案的高難度問題，Solver 則嘗試解決這些問題。我們進一步利用高質量的數學預訓練語料，并引入離線訓練范式，以緩解潛在的訓練不穩(wěn)定性。值得注意的是，PasoDoble 在整個訓練過程中不依賴任何監(jiān)督信號

• 論文題目：Better LLM Reasoning via Dual-play
• 論文鏈接：https://arxiv.org/pdf/2511.10395
• 項目主頁：https://hcy123902.github.io/PasoDoble/
• 作者介紹：共同一作張正鑫，黃誠瑜為康奈爾大學計算機系博士，李奡翀為主要貢獻者之一，Claire Cardie 為通訊作者以及導師。

圖為使用 Qwen3-1.7B 在 MATH-500 上評估的 Solver 在不同訓練步驟中的訓練動態(tài)。Solver 的整體準確率在無任何監(jiān)督的情況下從 45% 提升至 67%。它在第 20 步之前就超過了基線模型，并在第 360 步達到最高的 67%。重要的是，PasoDoble 能夠在數百個更新步驟中保持持續(xù)提升，展現出遠強于相關工作 R-Zero 的擴展能力。

我們?yōu)槊總€問題采樣六個回答，并報告 pass@1 的準確率。基線模型按照 Qwen 技術報告中的設置，使用 4-shot 提示進行評估；其他模型則使用 0-shot 提示進行評估。

我們發(fā)現，在完全無監(jiān)督的情況下，PasoDoble 使 Qwen3-1.7B-Base 的數學任務平均性能提升約13 個點，使 Qwen3-4B-Base 提升約16 個點。

PasoDoble 方法概覽

PasoDoble 由四個組件構成：Proposer (π_p)、Solver (π_s)、Knowledge Base (K)，以及用于離線訓練的題目緩沖區(qū)（Question Buffer）。Proposer 和 Solver 均從同一個預訓練模型初始化，隨后會進行初始的冷啟動訓練。

在在線訓練中，每次迭代都會從知識庫中采樣一個知識片段（1），用于提示 Proposer 生成一批問答（QA）對（2）。隨后，Solver 會針對每個問題生成多個解答嘗試（3–4）。Solver 根據其答案是否與 Proposer 的標準答案一致來獲得正確性獎勵（5）。為評估問題的難度，我們計算 Solver 在該問題上的準確率（6），并將 Proposer 的難度獎勵定義為該準確率的反比（7）；同時，還會加入一個多樣性獎勵以鼓勵生成新穎的問題（8）。這些獎勵被組合得到 Proposer 的最終獎勵（9）。只有那些具有非平凡難度、被判定為有效的問題才會被保留下來用于 Solver 的訓練（10）。當至少存在一個有效問題時，兩個模型都會同步更新（11），從而形成完整的在線訓練循環(huán)。

在離線訓練中，Proposer 會在 Solver 凍結的情況下首先更新若干步（11），并將生成的有效問題存入 Question Buffer（12）。隨后，將 Proposer 凍結，Solver 則利用 Question Buffer 中的問題進行更新（13），從而構建其訓練數據集。

Proposer Reward 是如何設計呢？

簡而言之，Proposer 會因為生成困難（即 Solver 準確率低）且 多樣（與近期問題不相似）的問題而獲得獎勵，但前提是這些問題是有效且格式良好的。

Proposer 的任務是生成既具有挑戰(zhàn)性又多樣化的數學問題。為引導這種行為，我們設計了一個由難度 reward多樣性 reward兩部分組成的 reward 機制。

1. 難度 Reward

我們希望 Proposer 能生成有挑戰(zhàn)性的問題 —— 即 Solver 不能輕易答對的問題。我們用 Solver 的通過率來衡量難度：

通過率 p_i 越低，問題越難，獎勵就越高。具體地，難度獎勵為：

即使一個問題非常簡單（例如 p_i = 1.0），獎勵仍然為 0.1，以確保 Proposer 始終傾向于生成有效的問題，而不是生成錯誤或無意義的問題。

2. 多樣性 Reward

我們還希望避免退化現象，例如 Proposer 反復生成同一種類型的問題。為此，我們將新生成的問題 q_i 與歷史緩沖區(qū) H 中的最近問題進行比較，采用 Jaccard 相似度：

如果兩個問題過于相似，我們將其視為重復：

因此，多樣性獎勵定義為：

簡而言之：問題越獨特，獎勵越高。

3. Proposer 最終獎勵

我們只有在問題既有效又具有多樣性的情況下才會對 Proposer 進行獎勵：

• 有效性（Validity）：通過率不能過低：

• 多樣性（Diversity）：不能過于重復：

最終獎勵為:

Solver Reward 是如何設計呢？

Solver 的訓練僅依賴純正確性獎勵。

其中指標函數定義為：

實驗設置

我們在多種模型規(guī)模上進行實驗，包括 Qwen3-0.6B-Base、Qwen3-1.7B-Base、Qwen3-4B-Base、Qwen2.5-0.5B-Base、Qwen2.5-1.5B-Base 和 Qwen2.5-3B-Base，將它們分別用作 Proposer 和 Solver，然后執(zhí)行冷啟動訓練。在冷啟動之后，我們使用 GRPO 同時訓練 Proposer 和 Solver，并在在線與離線兩種設置下進行實驗。更多超參數設置參見論文附錄 B。我們使用 MegaMath-Pro-Max 預訓練數據集作為知識庫 K。

實驗結果

主流數學 benchmark 的結果

我們在競賽級數學基準上評估了我們的方法，包括 AIME 2024、AIME 2025、AMC、GSM8k、MATH-500 和 OlympiadBench。加粗表示最佳結果，下劃線表示第二優(yōu)。

PasoDoble 能顯著提升模型在數學基準上的表現，尤其是在 Qwen2.5-1.5B/3B 和 Qwen3-1.7B/4B 模型上。此外，PasoDoble 的性能提升隨著模型規(guī)模的增大而持續(xù)增強。

Qwen2.5-0.5B-Base 模型的實驗結果。

Qwen3-0.6B-Base 模型的實驗結果。

Qwen2.5-1.5B-Base 模型的實驗結果。

Qwen3-1.7B-Base 模型的實驗結果。

Qwen2.5-3B-Base 模型的實驗結果。

Qwen3-4B-Base 模型的實驗結果。

Proposer 與隨機獎勵：Solver 到底學到了什么？

先前的研究表明，即使使用隨機獎勵也可能帶來非平凡的提升。因此，我們在 Qwen3-1.7B 模型上采用在線訓練范式進行了相關實驗。

隨機獎勵的實驗結果。

如上表所示，使用完全隨機獎勵進行訓練會使 Solver 在所有數學基準上的平均準確率幾乎跌至零。即便我們強制 Solver 以正確格式作答（部分隨機獎勵），其準確率仍然大幅下降。與我們原始設置形成的鮮明對比清楚地表明：Solver 在訓練過程中確實從 Proposer 的答案中受益匪淺

Proposer 生成的問題是由記憶驅動的，還是由推理驅動的？

Qwen3-1.7B-Base 在不同提示前綴比例下（即 x% 表示向 Qwen3-1.7B-Base 提示前 x% 的 問題 ）對 Proposer 在第 200 個檢查點生成的問題進行評估，其 Exact Match（EM）和 ROUGE-L得分如上所示。所有評估均使用貪心解碼，并且不使用聊天模板。

我們通過上表進行了分析。即使提示問題前綴重疊達到 80%，EM 也僅約為 12%（使用知識庫）和 31%（不使用知識庫），這表明絕大多數生成的問題來源于推理而非記憶。

總結

我們的研究表明，大語言模型可以通過類似 GAN 的雙模型對抗式訓練來提升數學推理能力，并在多個數學基準上取得可量化的性能提升。該方法還通過利用預訓練知識增強后訓練效果，在預訓練與后訓練之間建立了一座橋梁。

盡管如此，我們的方法也存在局限性，例如在 GPQA 等領域外任務中并未帶來性能提升。未來的研究將探索將該框架拓展到其他領域，如代碼與事實問答，并進一步研究更廣泛的多模型訓練范式，包括協作式、競爭式以及角色專門化等設置。這些方向可能對于解決遠比單一模型能可靠處理的任務更加復雜的問題至關重要。

參考文獻:

[1] Goodfellow, Ian, et al. "Generative adversarial networks." *Communications of the ACM* 63.11 (2020): 139-144.

[2] Huang, Chengsong, et al. "R-Zero: Self-Evolving Reasoning LLM from Zero Data." *arXiv preprint arXiv:2508.05004* (2025).

[3] Yang, An, et al. "Qwen3 technical report." *arXiv preprint arXiv:2505.09388* (2025).

[4] Shao, Zhihong, et al. "Deepseekmath: Pushing the limits of mathematical reasoning in open language models." *arXiv preprint arXiv:2402.03300* (2024).

[5] Wang, Zengzhi, et al. "Octothinker: Mid-training incentivizes reinforcement learning scaling." *arXiv preprint arXiv:2506.20512* (2025).

[6] Shao, Rulin, et al. "Spurious rewards: Rethinking training signals in rlvr." *arXiv preprint arXiv:2506.10947* (2025).

[7] Lin, Chin-Yew, and Franz Josef Och. "Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics." *Proceedings of the 42nd annual meeting of the association for computational linguistics (ACL-04)*. 2004.