阿里 Qwen 推出 QwenGyre:面向超长时程智能体的弹性强化学习框架
阿里 Qwen 团队发布 QwenGyre,一个面向超长时程智能体训练的弹性强化学习框架,通过调度器在 rollout 与训练之间动态切换 GPU,并借助轨迹树压缩训练样本。据报在 Qwen 3.8 2.4T 模型上,NL2RepoBench 通过率由 52.5% 升至 58.5%。
核心事实
阿里巴巴 Qwen 团队发布了 QwenGyre,一个面向超长时程(XLong-horizon)智能体训练的弹性强化学习框架。据 MarkTechPost 报道,该框架是一个在线强化学习系统,通过未经修改的黑盒 harness 训练编码智能体,面向可持续数小时、处理接近 100 万 token 的 rollout。QwenGyre 被用于 Qwen 的旗舰模型 Qwen 3.8 2.4T,并在 Qwen 3.6 122B 上做过测试。
其设计围绕两点:一是把空闲 GPU 在 rollout 与训练之间调度;二是把分支化的智能体历史转化为有界的训练样本。调度器按「rollout 水位」判断切换时机,模型调用经代理转发,KV-cache 块在重路由时通过 RDMA 迁移。轨迹处理器以 token-in、token-out 方式记录 token ID 与行为对数概率,将调用存为前缀共享的轨迹树,每次执行最多保留 5 条轨迹。
背景与影响
该团队将超长时程任务定义为跨越数小时、包含数百次模型与工具交互的智能体运行,例如按规格生成完整代码仓库。此类场景下 rollout 存在长尾,训练常需等待最慢的执行;同时 Claude Code 一类 harness 会压缩上下文、派生子智能体并重试,使单次执行变成分支树,展开全部路径会重复共享前缀、抬高训练成本。
据该报道,在相同 GPU 预算与匹配陈旧度下,QwenGyre 相对 Async 提速 1.38 倍至 1.78 倍,相对 Colocate 提速 1.21 倍至 1.85 倍。在 Qwen 3.8 2.4T 上完成 48 步耗时 75.42 小时,Async 为 134.55 小时,Colocate 为 91.47 小时;NL2RepoBench 通过率由 52.48% 升至 58.54%。
限制与来源
上述数字均来自项目方自身实验设置,不同框架的提速幅度不可直接横向比较。报道称该论文未披露公开代码发布或许可证信息,GPU 型号亦未披露;122B 运行使用 24 至 32 个节点,2.4T 运行使用 192 个节点。相关结论尚未获独立验证,具体可用性与后续更新请以 Qwen 官方渠道当前信息为准。本文信息源自 MarkTechPost 的报道。