AB
AiBoss
ニュース

AWS 为 SageMaker HyperPod 增加工作负载恢复与扩展基础设施检查

AWS 宣布在 Amazon SageMaker HyperPod 上推出工作负载恢复与扩展基础设施检查,包括多节点训练验证、Kubernetes 资源监控代理和挂起作业检测三项能力,用于更早发现训练故障。

核心事实

AWS 在官方博客中宣布,为 Amazon SageMaker HyperPod 推出工作负载恢复与扩展基础设施检查。据该博文,新能力共三项:面向由 Amazon EKS 编排的集群的 MultiNodeTrainingValidation 深度健康检查,会在实例创建、更新或按需触发时训练一个小模型,若损失变为 NaN 或无穷大、或训练未在时限内完成则判定失败;HyperPod Kubernetes Resource Monitoring Agent 持续观察 Kubernetes 层,发现设备插件崩溃循环、DaemonSet 缺失、节点污点等问题,并在作业失败时以 Kubernetes 事件和 Amazon CloudWatch 日志报告涉及的 Pod 与节点;挂起作业检测则针对 Slurm 集群,通过节点代理观察作业输出与 GPU 活动或自定义日志模式,可写入 CloudWatch 事件并取消作业以便 Slurm 重新排队。

背景与影响

博文指出,HyperPod 原有的健康监控代理、InstanceStress 与 InstanceConnectivity 检查均以单节点硬件为对象,无法判断 GPU 是否计算正确、作业是否仍在推进、以及 Kubernetes 组件是否正常。文章将漏检的故障归为数值故障、挂起作业和集群级故障三类,并称这些故障会降低有效训练时间占比(goodput)。博文还引用 Meta 的数据称,其 54 天 Llama 3 405B 预训练中 419 次意外中断有 6 次源于静默数据损坏。三项能力分别对应调度、运行时与程序三个层面的 goodput。

限制与来源

博文说明,MultiNodeTrainingValidation 仅适用于 EKS 集群及受支持的、启用 EFA 的 NVIDIA GPU 实例;Kubernetes 资源监控代理面向 EKS 集群;挂起作业检测为 Slurm 集群新增,EKS 上经 HyperPod 训练算子运行的作业此前已支持挂起检测,Ray Train 作业默认具备该能力。博文以 32 台 ml.p5.48xlarge 为例估算挂起成本,相关价格与可用性请以 AWS 官网当前信息为准。上述内容来自 AWS 官方博客,具体功能与地区支持尚未获独立确认。