三星發(fā)力大模型！三星研究院聯(lián)合北大發(fā)布 M2RL，系統(tǒng)揭秘多領(lǐng)域RL訓(xùn)練機(jī)制

三星研究院開展了M2RL研究項(xiàng)目，對(duì)多域強(qiáng)化學(xué)習(xí)進(jìn)行了系統(tǒng)性的研究和分析。

大模型訓(xùn)練需要同時(shí)兼顧多個(gè)領(lǐng)域能力，包括Agentic 能力、數(shù)學(xué)推理、代碼生成等。如何訓(xùn)練一個(gè)能夠在多個(gè)領(lǐng)域同時(shí)達(dá)到專家水平的通用模型，已成為當(dāng)前研究中的一項(xiàng)關(guān)鍵挑戰(zhàn)。尤其是在強(qiáng)化學(xué)習(xí)（RL）階段，如何通過合理的訓(xùn)練機(jī)制與超參數(shù)配置，緩解多領(lǐng)域訓(xùn)練中的能力沖突與兼容問題，對(duì)于模型最終性能的提升至關(guān)重要。為此，三星研究院聯(lián)合北京大學(xué)，發(fā)布技術(shù)報(bào)告R2Mixer(To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models)，系統(tǒng)分析了多領(lǐng)域RL的訓(xùn)練機(jī)理，通過系統(tǒng)級(jí)調(diào)優(yōu)，顯著提升了多領(lǐng)域RL后的模型效果。

值得關(guān)注的是，結(jié)合去年10月份的相關(guān)報(bào)道，三星已向英偉達(dá)采購(gòu)5萬張 GPU用于構(gòu)建大規(guī)模AI 基礎(chǔ)設(shè)施。此舉或許標(biāo)志著三星在大模型領(lǐng)域正大幅加大投入，意在打造自主可控的基礎(chǔ)模型體系，為未來在手機(jī)、智能終端、自動(dòng)化工廠等場(chǎng)景中部署通用 AI 能力提供底層支撐。

文章地址：https://arxiv.org/abs/2602.12566

項(xiàng)目主頁：https://github.com/Mosi-AI/M2RL

01

關(guān)鍵痛點(diǎn)

在人工智能的浪潮中，LLM正以前所未有的速度席卷Agent、數(shù)學(xué)推理、代碼生成、科學(xué)問題求解等關(guān)鍵領(lǐng)域，一場(chǎng)關(guān)于"如何打造全能型AI專家"的技術(shù)競(jìng)賽已然拉開帷幕！目前學(xué)界存在兩種主流的RL后訓(xùn)練范式：

? 混合多任務(wù)范式：同時(shí)學(xué)習(xí)來自不同領(lǐng)域的數(shù)據(jù)和獎(jiǎng)勵(lì)；

? 專家融合范式：分別訓(xùn)練各領(lǐng)域?qū)＜遥偻ㄟ^權(quán)重合并或蒸餾技術(shù)融合。

兩大路線各有優(yōu)劣，DeepSeek-R1、Qwen3、GLM-4.5、MiMo-V2等明星模型亦選擇不同路徑，但學(xué)界對(duì)這兩種范式的系統(tǒng)性對(duì)比和內(nèi)在機(jī)制的分析仍然缺乏。面對(duì)構(gòu)建通用多領(lǐng)域?qū)＜夷Ｐ偷暮诵耐袋c(diǎn)：

1)訓(xùn)練效率與性能的兩難：不同領(lǐng)域的強(qiáng)化學(xué)習(xí)是否會(huì)產(chǎn)生梯度干擾，導(dǎo)致整體性能下降？混合多任務(wù)訓(xùn)練的計(jì)算成本是否低于分別訓(xùn)練后合并？ 2) 領(lǐng)域知識(shí)的遷移與干擾：不同領(lǐng)域的強(qiáng)化學(xué)習(xí)是否存在知識(shí)遷移效應(yīng)？還是會(huì)產(chǎn)生互相干擾？這種關(guān)系在不同類型的任務(wù)之間是否有差異？ 3) 模型合并的內(nèi)在機(jī)制：模型合并后的性能增益從何而來？不同合并方法之間有何優(yōu)劣？如何選擇最優(yōu)的合并策略？ 4) 自我評(píng)判能力的演化：RLVR訓(xùn)練是否能夠使模型獲得自我評(píng)判能力？這種能力在不同訓(xùn)練范式下如何變化？

研究團(tuán)隊(duì)基于開源數(shù)據(jù)集進(jìn)行完整的SFT+RL后訓(xùn)練過程實(shí)現(xiàn)可控的實(shí)驗(yàn)比較，進(jìn)而深入分析其內(nèi)在機(jī)制。

02

M2RL：系統(tǒng)性研究與實(shí)驗(yàn)設(shè)計(jì)

三星研究院開展了M2RL研究項(xiàng)目 （Mixed multi-task training or separate training followed by modelMerging forReinforcementLearning），對(duì)多域強(qiáng)化學(xué)習(xí)進(jìn)行了系統(tǒng)性的研究和分析。研究團(tuán)隊(duì)基于Nemotron 3 Nano技術(shù)報(bào)告中開源的SFT或RL數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，選擇了五個(gè)常見的RLVR域：數(shù)學(xué)、編程、科學(xué)、指令跟隨以及Agent，初始模型選用Qwen3-4B-Base，RL算法選用GRPO。

1）對(duì)于有監(jiān)督微調(diào)(SFT)，研究團(tuán)隊(duì)遵循Nemotron 3 Nano技術(shù)報(bào)告中的數(shù)據(jù)配比將其開源數(shù)據(jù)進(jìn)行合理組合。其中，對(duì)于數(shù)量較多的開源數(shù)據(jù)集進(jìn)行隨機(jī)采樣，對(duì)于數(shù)量較少的開源數(shù)據(jù)集則重復(fù)使用（最多10次），最終獲得~14M的數(shù)據(jù)用于有監(jiān)督微調(diào)，詳細(xì)配比如下：

2）對(duì)于強(qiáng)化學(xué)習(xí)訓(xùn)練，研究團(tuán)隊(duì)同樣使用Nemotron 3 Nano開源的RL訓(xùn)練數(shù)據(jù)，其數(shù)據(jù)配比及來源總結(jié)如下：

3）對(duì)于模型融合方法，研究團(tuán)隊(duì)考慮了廣泛使用的weight merging (對(duì)模型權(quán)重加權(quán)平均)和multi-teacher on-policy-distillation技術(shù)。其中，weight merging包括average merging, task arithmetic merging, Ties-merging以及SCE merging，同時(shí)也考察了這些方法與DARE的組合使用效果。對(duì)于MT-OPD，他們使用來自5個(gè)域的專家模型作為teacher蒸餾有監(jiān)督微調(diào)后的模型，設(shè)計(jì)相應(yīng)的teacher路由策略。

所有實(shí)驗(yàn)在相同型號(hào)顯卡上運(yùn)行，詳細(xì)的訓(xùn)練設(shè)置及GPU Hours如下：

03

M2RL：評(píng)測(cè)結(jié)果及機(jī)制分析

1.評(píng)測(cè)結(jié)果

研究團(tuán)隊(duì)在跨越5個(gè)域的9個(gè)benchmark上對(duì)模型進(jìn)行評(píng)估：數(shù)學(xué)（AIME’24和AIME’25）、代碼（LiveCodeBench v5和v6）、科學(xué)（HLE和GPQA-Diamond）、指令跟隨（IFEval和IFBench ）以及Agent（BFCL v3）：

其中model merging報(bào)告的是Ties-merging的結(jié)果，其表現(xiàn)最佳；詳細(xì)對(duì)比如下：

從上述結(jié)果可以看出：

[1]就5個(gè)獨(dú)立RL模型而言，math, coding,instruction following和agent域的RL模型都在對(duì)應(yīng)域的benchmark上獲得了最佳表現(xiàn)；有趣的是math域的RL模型比science域的RL模型在science benchmark上獲得了更好的表現(xiàn)，可能這兩個(gè)science benchmark需要更多的邏輯推理和數(shù)學(xué)計(jì)算而非科學(xué)知識(shí)。

[2]混合的多任務(wù)RL可以用約63.7%的GPU Hours獲得與單獨(dú)RL再融合相當(dāng)?shù)男Ч徊煌蛑g的干擾并不明顯，甚至有增益。例如，三個(gè)推理相關(guān)的域(math, coding和science)的RL就互有增益，Instruction Following域也有助于這三個(gè)域的評(píng)估。有趣的是，所有其他域都對(duì)agent域沒有增益，可能單輪的邏輯推理對(duì)于多輪的工具調(diào)用和環(huán)境交互價(jià)值有限，但仍然未觀察到互相干擾現(xiàn)象。

[3]weight merging這類training-free的融合方法效果意外的很好，不僅繼承了原始模型的絕大部分性能，甚至在AIME’24, AIME’25, HLE, IFEval和BFCL v3數(shù)據(jù)集比對(duì)應(yīng)專家模型還要強(qiáng)，再次印證了不同域的互相增益效果。此外，weight merging無需額外的GPU Hours即可達(dá)到稍微優(yōu)于MT-OPD的效果。

除了最終表現(xiàn)，研究團(tuán)隊(duì)還給出了不同域RL訓(xùn)練過程中模型在不同域的benchmark上的表現(xiàn)。具體的，選擇AIME’24, LiveCodeBench v5, GPQA-Diamond, IFEval和BFCL v3分別作為math, coding, science, instruction following和agent域的代表，結(jié)果如下：

可以看到三個(gè)推理域(math, coding和science)的RL過程可以穩(wěn)定提升彼此的表現(xiàn)。此外，instruction following和agent域的任務(wù)只有對(duì)應(yīng)域的RL能穩(wěn)步提升表現(xiàn)，推理域RL對(duì)其并無增益。反之，instruction following和agent域的RL卻可以或多或少的提升推理域的能力表現(xiàn)，說明推理為基本能力，各種域的學(xué)習(xí)都需要。

研究團(tuán)隊(duì)僅用開源數(shù)據(jù)，從Qwen3-4B-Base開始訓(xùn)練便獲得了和官方的Qwen3-4B可比的結(jié)果，證明其工程實(shí)現(xiàn)的有效性：

除了上述評(píng)測(cè)結(jié)果之外，研究團(tuán)隊(duì)還從信息約束、模型預(yù)測(cè)行為和自我驗(yàn)證等角度深入分析多域RL訓(xùn)練的工作機(jī)理。更多分析內(nèi)容詳見論文。

04

總結(jié)與展望

三星研究院針對(duì)大模型后訓(xùn)練范式進(jìn)行了系統(tǒng)的對(duì)比。研究通過嚴(yán)謹(jǐn)?shù)氖芸貙?shí)驗(yàn)，深入剖析了“混合多任務(wù)RL”與“專家模型融合”在多域能力構(gòu)建中的性能邊界。針對(duì)梯度干擾、領(lǐng)域知識(shí)遷移、模型合并機(jī)制及自我評(píng)判能力演化等行業(yè)核心痛點(diǎn)，該研究不僅揭示了多域強(qiáng)化學(xué)習(xí)的內(nèi)在作用機(jī)理，更在訓(xùn)練效率與性能平衡上提供了關(guān)鍵保障,有效支撐了千億、萬億等更大參數(shù)模型的RL訓(xùn)練。

05

作者信息

本文共有3位共同一作，其中王好慶、龍翔為三星大模型高級(jí)研究員，李子恒為北京大學(xué)博士生，研究方向?yàn)榇竽Ｐ蛷?qiáng)化學(xué)習(xí)。

本文通訊作者為唐業(yè)輝，目前擔(dān)任三星大模型算法負(fù)責(zé)人、高級(jí)技術(shù)總監(jiān)。他博士畢業(yè)于北京大學(xué)，已發(fā)表AI頂會(huì)論文50余篇，Google學(xué)術(shù)引用1萬+，并擔(dān)任NeurIPS、ICML等會(huì)議的領(lǐng)域主席。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。