AReaL 2.0 - 蚂蚁等开源的Agent在线强化学习基础架构

AReaL 2.0是什么

AReaL 2.0是蚂蚁联合香港科技大学、清华大学开源的Agent在线强化学习基础架构，能让已部署的Agent从真实交互轨迹中持续自我演进。AReaL 2.0通过轨迹数据协议、企业级数据代理和演进控制平面三根支柱，将生产环境中的会话流转化为可训练经验，无需重写Agent或推倒业务系统，已加入PyTorch基金会并支持昇腾NPU适配。

AReaL 2.0的主要功能

• 在线RL闭环：将Agent真实交互轨迹自动转化为可训练经验，实现从执行到学习的闭环。
• 轨迹数据采集：通过ATDP协议以步骤为单位记录完整决策过程，包括观察、动作、结果和元数据。
• 企业级数据治理：Data Proxy负责拦截、脱敏、权限控制和轨迹持久化，确保训练前完成合规处理。
• 演进控制平面：根据轨迹统计、失败簇、用户修正率等多维信号，判断模型更新、记忆写入或工具调整等修复入口。
• 微服务化架构：将训练、推理、权重更新拆分为Gateway、Router、Data Proxy等可独立部署的组件。

AReaL 2.0的技术原理

• Agent Trajectory Data Protocol (ATDP)：面向学习的智能体轨迹协议，将复杂任务拆分为可追责、可回放的学习样本。以步骤为单位记录Agent的观察、内部状态、动作选择、动作结果、奖励反馈以及模型版本、工具版本、租户、成本等元数据，回答”哪次检索、哪个工具调用影响了任务成败”等关键问题。
• Agentic Data Proxy：部署在模型、工具、检索系统、人类反馈渠道等关键边界上的学习数据层。负责拦截、采集、脱敏、权限控制、轨迹持久化、奖励收集和回放管理。数据进入训练队列前即完成治理，区分可见字段、训练资格数据和仅用于调试审计的数据。
• Agent Evolution Control Plane：智能体演进控制平面，将”是否更新、更新哪里”变成可治理的系统性决策。根据轨迹统计、用户修正率、工具失败簇、评估器得分、成本信号、安全约束和分布漂移，判断演进应落在模型RL、偏好优化、记忆写入还是工具路由调整层面，并支持回放评估、回归测试、灰度发布和版本化追踪。
• Online RL微服务运行时：将原有RL基础设施改造为承接Agent服务流量的在线系统。Gateway作为入口承接请求；Router维护会话与Data Proxy的绑定关系，保证多轮交互上下文连续；Data Proxy管理会话状态和轨迹；Agent-Compute Worker执行推理、采样和训练计算；Controller负责调度、扩缩容和健康检查。

微信关注回复“开源”，加入AI开源项目交流群

如何使用AReaL 2.0

• 访问项目主页：打开GitHub仓库 https://github.com/areal-project/AReaL 获取源码和文档。
• 安装基础设施：部署AReaL 2.0的Gateway、Router、Data Proxy和Controller等微服务组件。
• 切换推理入口：将现有Agent的LLM API调用后端（base_url/api_key）指向AReaL 2.0管理的Gateway。
• 配置轨迹协议：启用ATDP，以步骤为单位记录Agent的观察、动作、工具调用和结果。
• 部署数据代理：配置Data Proxy完成数据拦截、脱敏、权限控制和轨迹持久化。
• 启动训练闭环：将采集的真实轨迹导入训练服务，启动在线RL，让Agent从交互中持续学习。

AReaL 2.0的核心优势

• 低侵入式接入：只需切换LLM推理后端，无需重写Agent的规划、工具调用、沙箱或记忆模块。
• 真实轨迹驱动：直接用线上真实交互数据训练，弥合离线仿真环境与实际行为之间的差距。
• 企业级安全治理：数据脱敏、权限控制和合规边界在训练前完成，适配多租户、多业务线场景。
• 可解释可回滚：每次演进经过回放评估、回归测试和版本化追踪，出问题可快速退回。
• 开源生态丰富：已加入PyTorch基金会，社区提供昇腾NPU适配和LoRA低算力方案。

AReaL 2.0的项目地址

• 项目官网：https://areal-ai.io/en/intro.html
• GitHub仓库：https://github.com/areal-project/AReaL
• arXiv技术论文：https://arxiv.org/pdf/2607.01120

AReaL 2.0的同类竞品对比

AReaL 2.0的应用场景