AReaL v1.0 發(fā)布：改一行配置，讓任意Agent跑上強(qiáng)化學(xué)習(xí)

3 月 4 日，螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布開(kāi)源強(qiáng)化學(xué)習(xí)訓(xùn)練框架 AReaL v1.0 穩(wěn)定版。該版本主打“Agent 一鍵接入 RL 訓(xùn)練”：不用改代碼，兼容各類 Agent 框架，讓智能體強(qiáng)化學(xué)習(xí)訓(xùn)練開(kāi)箱即用。

2026 年開(kāi)年以來(lái)，Agent 持續(xù)升溫，以 LangChain、Claude Code、OpenClaw 為代表的智能體框架繁榮發(fā)展，但也暴露出兩大瓶頸。一是接入訓(xùn)練成本高：現(xiàn)有智能體框架接口各異，每接入一個(gè)往往需要編寫(xiě)整套適配代碼。二是 Agent 缺乏持續(xù)進(jìn)化的能力：多數(shù) Agent 的能力取決于底層模型在訓(xùn)練階段習(xí)得的固定權(quán)重，部署后無(wú)法再針對(duì)特定場(chǎng)景持續(xù)優(yōu)化，能力上限在交付時(shí)便已確定。

AReaL 是首個(gè)全異步訓(xùn)推解耦的大模型強(qiáng)化學(xué)習(xí)訓(xùn)練系統(tǒng)，能讓 Agent 在真實(shí)任務(wù)交互中獲得反饋、持續(xù)優(yōu)化決策。此次發(fā)布的 v1.0 版本讓任意 Agent 零改造接入 RL 訓(xùn)練成為現(xiàn)實(shí)——通過(guò)在智能體與訓(xùn)練系統(tǒng)之間加入 Proxy Worker 中轉(zhuǎn)層，開(kāi)發(fā)者只需修改一個(gè)請(qǐng)求地址即可接入訓(xùn)練。

（圖說(shuō)：AReaL 無(wú)縫接入智能體的異步訓(xùn)練架構(gòu)）

以當(dāng)前大熱的 OpenClaw 為例，開(kāi)發(fā)者只需在 OpenClaw 配置文件中將 base_url 和 api_key 指向 AReaL 網(wǎng)關(guān)，就能讓自己的 OpenClaw 接入強(qiáng)化學(xué)習(xí)訓(xùn)練。智能體像往常一樣執(zhí)行任務(wù)，用戶周期性給 Agent 完成任務(wù)的情況打分，AReaL 在后臺(tái)自動(dòng)完成訓(xùn)練數(shù)據(jù)的采集與模型的更新，在持續(xù)使用的過(guò)程中讓智能體自動(dòng)進(jìn)化。

AReaL v1.0 還推出了原生訓(xùn)練引擎 Archon，它是基于 PyTorch 原生能力實(shí)現(xiàn)完整的 5D 并行（數(shù)據(jù)并行、流水線并行、張量并行、上下文并行、專家并行），降低了安裝與調(diào)試門(mén)檻，同時(shí)在訓(xùn)練與推理側(cè)提供多種后端選擇，便于在不同環(huán)境中靈活部署。令人驚訝的是，這樣一個(gè)復(fù)雜的分布式系統(tǒng)，從零開(kāi)始實(shí)現(xiàn)到驗(yàn)證正確性，僅用了 1 人·月的工作量——32 天內(nèi)，累計(jì)修改近百萬(wàn)行代碼完整實(shí)現(xiàn)了 Archon 引擎，讓它能訓(xùn)練千億參數(shù) MoE 模型。

創(chuàng)造這一效率奇跡的秘訣在于AReaL集成的一整套AI輔助開(kāi)發(fā)體系，實(shí)現(xiàn)了復(fù)雜工程開(kāi)發(fā)的高度自動(dòng)化。

AReaL v1.0 引入的 AI 輔助開(kāi)發(fā)流程，為開(kāi)發(fā)者提供了從規(guī)劃、編碼、校驗(yàn)到 PR 創(chuàng)建的全鏈路支持。尤其是在處理 MoE 并行、內(nèi)存優(yōu)化、算法實(shí)現(xiàn)等核心模塊時(shí)，專屬的 AI 編程助手會(huì)像一位資深專家，在代碼變更時(shí)及時(shí)出現(xiàn)并提供針對(duì)性指導(dǎo)，為每一次代碼變更保駕護(hù)航，有效降低了開(kāi)發(fā)和維護(hù)的門(mén)檻。AReaL 的 AI 輔助編程不只是提效工具，更能在復(fù)雜基礎(chǔ)設(shè)施工程中承擔(dān)“可交付”的研發(fā)工作，引領(lǐng)了下一代 AI 基礎(chǔ)設(shè)施工程范式的革新。

AReaL 團(tuán)隊(duì)表示，將繼續(xù)圍繞訓(xùn)練引擎、易用性和多模態(tài)智能體訓(xùn)練等方向迭代。目前 AReaL v1.0 的代碼與文檔已在 inclusionAI 社區(qū)開(kāi)源。

• GitHub 倉(cāng)庫(kù)：https://github.com/inclusionAI/AReaL
• 相關(guān)論文：https://arxiv.org/abs/2505.24298