QwenGyre - 阿里千问推出的在线强化学习框架

QwenGyre是什么

QwenGyre 是阿里千问推出的超长程智能体在线强化学习框架，面向单次约 70 万 token、持续数小时的任务。QwenGyre用弹性调度在任务不中断时把空闲 GPU 在采样与训练间切换，用轨迹处理保留真实上下文、评估部分成果、去重共享前缀以控制成本。在 Qwen3.8-2.4T 上 48 步把 NL2RepoBench 通过率从 52.48% 提至 58.54%，较 Async 端到端加速 1.78×。

QwenGyre的主要功能

• 超长程智能体在线强化学习：在单次执行长达数小时、累计约百万 token 的任务上直接做 RL 训练。
• 弹性 GPU 调度：任务不中断的情况下，动态把空闲 GPU 在采样与训练间切换。
• 请求重路由与 KV cache 迁移：切换 GPU 角色时智能体继续运行，工作区和工具状态保留，通过 RDMA 迁移 KV cache 减少重复计算。
• 流式训练与新节点中途加入：核心 cell 保存权威参数，卫星 cell 可随时拉取快照加入正在进行的批次，按进度领取微批次。
• 轨迹树与真实上下文保留：用 Token-in Token-out 记录每次调用的精确输入输出，按共享前缀组织成轨迹树，输出始终对应生成时的上下文。
• 部分评分（Partial Scoring）：超时未完成的任务若产出可检验成果，仍按任务规则评分并用于训练。
• 轨迹预算与损失均衡：每个执行最多保留 Jmax 条轨迹，共享前缀只计一次损失，避免分支多的任务权重过大。

QwenGyre的技术原理

• 弹性调度（Elastic Scheduler）：将 GPU 划分为若干同构计算单元，每个 cell 能用 SGLang 提供采样服务，也能用 Megatron 承载完整训练副本。调度器跟踪”水位”，未完成任务量，只要剩余采样容量足以支撑在跑任务且训练数据供应充足，就按序把 cell 逐个切入训练；切换时由代理把模型请求重定向到新推理引擎并重试未完成请求，后端进程和通信组无需重建。核心 cell 持有权威权重与优化器状态，卫星 cell 通过 RDMA 拉取参数快照后加入当前批次的梯度累计，最后由核心统一汇总更新，实现训练随数据就绪逐步扩容、采样与训练高度重叠。
• 轨迹处理（Trajectory Processor）：QwenGyre 通过代理记录每次模型调用的精确输入/输出 token ID 和行为策略对数概率，把共享前缀复用、分叉处建分支，组织成轨迹树，保证每条输出始终对应其生成时的原始上下文。训练准入阶段按角色优先级为每个执行选取不超过 Jmax 条轨迹，仅策略模型生成的 token 参与损失、共享目标只计一次；损失先在执行内对选中 token 取平均、再对执行取平均，使执行权重与其分支数量解耦。配合 Partial Scoring 对超时任务的已完成部分评估打分，最大化利用超长程执行中稀疏而昂贵的有效信号。

如何使用QwenGyre

目前 QwenGyre 用论文形式发布，阿里尚未公开代码与安装包。

QwenGyre的核心优势

• 首次实现旗舰模型超长程在线 RL：在 Qwen3.8-2.4T 上完成单次约 70 万 token 任务的在线强化学习，48 步将 NL2RepoBench 通过率从 52.48% 提升至 58.54%。
• 训练效率大幅提升：相同 GPU 预算下端到端加速最高达 1.78×（对 Async）、1.85×（对 Colocate），48 步训练耗时从 134.55 小时缩短至 75.42 小时。
• 任务零中断的弹性调度：GPU 在采样与训练间动态切换时，智能体执行、工作区和工具状态完全保留，切换耗时仅数秒，相对数小时的执行可忽略。
• GPU 利用率最大化：细粒度 cell 级资源分配消除了 Colocate 模式的长尾等待空转和 Async 模式的固定分区僵化，训练可被采样完全隐藏。
• 真实上下文保真训练：TITO 机制保证每条输出都对应其生成时的原始上下文，避免历史压缩、子智能体上下文拼接导致的”虚假上下文”训练信号。

QwenGyre的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2609.33848

QwenGyre的应用场景

• 自然语言生成完整代码仓库：根据自然语言规格从零构建多包软件仓库，单次执行约 70 万 token、长达数小时。
• 已有仓库的长程软件工程：在现有代码库中完成功能开发、缺陷修复与跨文件改造等复杂任务。
• 多轮终端自动化操作：智能体在命令行环境中连续执行数百轮工具调用，完成系统配置与运维任务。
• 大规模代码库重构迁移：跨仓库技术栈升级、整体重构等需要数小时连续规划执行的工程任务。
• 多智能体协作任务：主智能体委派子智能体的层级执行场景，轨迹处理可利用分叉结构控制子任务训练成本。