NVIDIA Dynamo 瞄准强化学习 rollout 瓶颈,推出路由与权重分发优化
NVIDIA 技术博客介绍 Dynamo 在强化学习训练中的服务层作用:通过 KV 感知路由平衡缓存复用与负载,ModelExpress 以增量方式分发权重,并在 worker 故障时重路由请求。文中列举了微软 AI、CoreWeave 等使用案例及第三方公布的加速数据。
核心事实
NVIDIA 在开发者技术博客中发文,介绍其服务层 Dynamo 如何缓解强化学习(RL)训练中的 rollout 瓶颈。据文章描述,Dynamo 位于 rollout 编排与推理 worker 之间:RL 框架提交生成请求,Dynamo 将请求路由到可用容量,推理引擎执行模型,ModelExpress 负责权重与产物分发。文章称,Dynamo 的 KV 感知路由在缓存复用与 worker 负载之间取得平衡,以减少重复的 prompt 计算和排队等待;ModelExpress 通过复用集群中已有权重、并以压缩的增量更新替代全量传输来缩短权重分发时间;在 worker 失效时,Dynamo 可检测故障、将新请求导向健康容量,并在替代 worker 就绪后纳入路由。
背景与影响
文章指出,RL 训练中 rollout 的完成时间、重复上下文和权重新鲜度是三项主要约束,随着训练规模扩大,冗余计算、慢 rollout、权重更新和 worker 故障会浪费 GPU 容量。文中提到,微软 AI 在 post-training 阶段使用 Dynamo 支持 RL rollout 推理;CoreWeave 使用 Dynamo 与 ModelExpress 加速模型权重更新;Cognition 在 SWE-1.7 的 post-training 中用 Dynamo 管理推理 worker 并路由 rollout;Prime Intellect 将其用于分布式推理编排;H Company 使用 Dynamo 与 ModelExpress 缩短平均训练步时间并减少 GPU 小时。文章还称 Dynamo 已与 verl、NeMo RL、Slime 和 prime-rl 等开源 RL 框架集成。
限制与来源
上述加速倍数与训练时间、GPU 小时降幅均为相关企业自行披露,文章未给出可复现的测试条件与基准细节,具体效果因工作负载而异。文中提及的集成框架、部署方式与可用配置,请以 NVIDIA 官网及 Dynamo 文档的当前信息为准。本文信息来自 NVIDIA 开发者博客,发布日期为 2026 年 11 月 19 日。