NVIDIA 提出 Reshard 集合通信，加速强化学习权重重载
NVIDIA 技术博客介绍 Reshard 集合通信，将强化学习中的权重重载重构为 DTensor 到 DTensor 的传输，只搬运理论最小数据量。其开源参考实现 NCCL M2N Reshard 在 NeMo RL 基准中据报比传统 gather-and-broadcast 方式快 2.7 至 5.7 倍。
NVIDIA 提出 Reshard 集合通信，重构强化学习权重重载
NVIDIA 在开发者博客中介绍了一种名为 Reshard 的新型集合通信，用于加速强化学习后训练中的权重重载（refit）。据该文描述，Reshard 把重载重新表述为 DTensor 到 DTensor 的传输，在任意源与目标布局之间只移动理论上的最小数据量，而不再采用先聚合再广播（gather-and-broadcast）的做法。其开源参考实现 NCCL M2N Reshard 已通过 NVIDIA/nccl-extensions 仓库提供。
背景与影响
在分离式部署中，推理与训练分别运行在不同 GPU 资源上，训练侧更新策略模型后需定期把最新权重同步到推理 GPU。由于两侧并行映射不同，传统做法要先在训练侧 all-gather 出完整参数再广播，推理 GPU 即使只需一个分片也会收到完整张量，产生冗余通信。博客以 BF16 权重估算，Kimi K3 与 Qwen 3.8 2.4T A95B 的单次重载逻辑载荷分别约为 11.2 TB 和 9.6 TB。NCCL M2N Reshard 通过计算源与目标分片的精确交集、按 NVLink 域对副本分组，使每份数据只经网络传输一次，其余部分在域内通过 NVLink 交换。博客称在 DGX H100 与 DGX GB200 上的 NeMo RL 基准中，Reshard 重载相对传统方式取得 2.7 倍至 5.7 倍加速，覆盖 Qwen 3 235B、DeepSeek v3 671B 等模型。
限制与来源
上述加速数据来自 NVIDIA 自行公布的基准，测试环境与模型配置特定，实际表现可能因部署而异。博客还提到 NeMo RL 采用混合方案：对占载荷主体的前馈投影权重使用 Reshard，较小权重仍保留 gather-and-broadcast 以维持功能覆盖。支持的 backend、布局与精度模式，以及 NCCL Reshard 的配置要求，均以官方文档和官网当前信息为准。本文内容整理自 NVIDIA 技术博客，发布日期为 2026 年 11 月 6 日。