快科技3月4日消息，今天螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布開(kāi)源強(qiáng)化學(xué)習(xí)訓(xùn)練框架AReaL v1.0穩(wěn)定版，主打Agent一鍵接入RL訓(xùn)練，不用改代碼即可兼容各類Agent框架，讓智能體強(qiáng)化學(xué)習(xí)訓(xùn)練開(kāi)箱即用。

近日以LangChain、Claude Code、OpenClaw為代表的智能體框架持續(xù)升溫，但是還存在兩大痛點(diǎn)。

一是接入訓(xùn)練成本高，現(xiàn)有智能體框架接口各異，每接入一個(gè)往往需要編寫整套適配代碼；同時(shí)多數(shù)Agent能力受限于底層模型的固定權(quán)重，部署后無(wú)法針對(duì)特定場(chǎng)景持續(xù)優(yōu)化。

而AReaL作為首個(gè)全異步訓(xùn)推解耦的大模型強(qiáng)化學(xué)習(xí)訓(xùn)練系統(tǒng)，讓Agent能在真實(shí)任務(wù)交互中獲取反饋、持續(xù)優(yōu)化決策。

此次發(fā)布的v1.0版本，能讓任意Agent零改造接入RL訓(xùn)練成為現(xiàn)實(shí)，通過(guò)在智能體與訓(xùn)練系統(tǒng)之間加入Proxy Worker中轉(zhuǎn)層，開(kāi)發(fā)者只需修改一個(gè)請(qǐng)求地址即可接入訓(xùn)練。

以O(shè)penClaw為例，開(kāi)發(fā)者僅需在配置文件中將base_url和api_key指向AReaL網(wǎng)關(guān)，即可讓智能體接入強(qiáng)化學(xué)習(xí)訓(xùn)練。

用戶周期性對(duì)任務(wù)完成質(zhì)量打分，AReaL后臺(tái)自動(dòng)完成數(shù)據(jù)采集與模型更新，使智能體在使用過(guò)程中持續(xù)進(jìn)化。

該版本還推出原生訓(xùn)練引擎Archon，基于PyTorch實(shí)現(xiàn)完整的5D并行（數(shù)據(jù)并行、流水線并行、張量并行、上下文并行、專家并行），便于在不同環(huán)境中靈活部署，能夠支持千億參數(shù)級(jí)MoE模型的分布式訓(xùn)練。

至于未來(lái)，將繼續(xù)圍繞訓(xùn)練引擎、易用性和多模態(tài)智能體訓(xùn)練等方向迭代，目前AReaL v1.0的代碼與文檔已在inclusionAI社區(qū)開(kāi)源。