NVIDIA 推出开源工作负载恢复服务，自动处理分布式训练中断

核心事实

NVIDIA 在开发者博客中介绍，开源的工作负载级恢复服务 NVIDIA Recovery 已作为 NVIDIA DSX OS 的一部分发布。该服务通过应用日志、GPU 指标和调度器信号检测训练中断，经故障归因定位相关资源，再协调节点隔离与从检查点重启，从而在集群范围内自动处理并发中断。其恢复循环分为检测、归因、隔离、重启或停止四个阶段，并通过 HTTP 或 gRPC 接口与调度器集成，目前支持 Slurm，Kubernetes 支持列在路线图中。

背景与影响

博客指出，随着分布式训练规模扩大，单个训练进程卡住可能触发 NCCL 超时，GPU 节点可能停止响应调度器，慢节点也会拖慢整个任务。文中引用一项针对 24000 块 A100 GPU、为期 11 个月的研究称，硬件故障中断的任务不足 1%，但这些任务占用了 19% 的 GPU 运行时间。NVIDIA 表示，其在一个训练集群 7 月 9 日至 10 月 9 日的生产监控中覆盖了每天近 200 个任务，记录约 8550 次异常检测，平均检测与恢复动作延迟分别为 69 秒和 94 秒。新部署默认处于仅监控模式，只发布建议而不对调度器执行操作。

限制与来源

上述延迟与检测数据来自 NVIDIA 自述的单集群监控，并非第三方独立评测，实际表现可能因集群配置而异。博客称恢复动作延迟止于自动操作，后续调度与检查点恢复才决定训练何时真正恢复。Slurm 集成通过 Helm chart 部署参考 Advisor Controller，支持集群内与 SSH 两种模式。功能范围、部署要求与许可条款请以 NVIDIA 官网及代码仓库当前信息为准。来源：NVIDIA 开发者博客。