AB
AiBoss
News

AWS 为 SageMaker HyperPod 推出增强可观测性,辅助诊断 GPU 训练问题

AWS 发布 Amazon SageMaker HyperPod 增强可观测性能力,通过诊断摘要、静态诊断规则和可选高级指标,帮助定位 GPU 训练中的硬件故障、网络降速与过热降频问题,支持 EKS 与 Slurm 两种编排方式。

核心事实

AWS 在其官方博客宣布,为 Amazon SageMaker HyperPod 推出增强可观测性(enhanced observability)能力,用于更快诊断 GPU 训练问题。该能力同时面向由 Amazon Elastic Kubernetes Service(Amazon EKS)和 Slurm 编排的训练工作负载,提供诊断与性能剖析功能。其中,诊断摘要借助 Amazon CloudWatch 的 DetectGroupOutliers API,在利用率、显存、温度、功耗和 SM 时钟等维度上比较同一训练任务中的各块 GPU,标记出明显偏离同类的 GPU;静态诊断规则则识别 GPU 硬件故障(XID 错误、ECC 显存错误)、EFA 吞吐下降、热降频与过热等常见故障模式。

背景与影响

AWS 在文中指出,大规模模型训练是 GPU 上成本最高的工作负载之一,单块不健康的加速器就可能拖住整个分布式任务;此前的可见性需要拼接多个独立工具,指标往往只能说明性能下降,却无法说明原因和位置。增强可观测性提供默认指标与可选的高级指标:默认指标自动启用,覆盖集群健康、CPU/磁盘/操作系统层使用情况、GPU 利用率与温度以及按任务的资源使用,采集间隔为 30 秒;高级指标需主动开启,包含完整的 node exporter 指标集、NVIDIA GPU DCGM 与 AWS Neuron 指标以及 EFA 网络指标。指标存储可选 Amazon CloudWatch(现为默认)或 Amazon Managed Service for Prometheus,此前仅支持后者。该能力以 EKS 集群的 add-on 和 Slurm 集群的 extension 形式交付,可通过 AWS Identity and Access Management(IAM)控制安装与变更权限。

限制与来源

AWS 说明,高级指标会增加发送至指标存储的遥测数据量,因而带来成本影响,在小集群上运行小任务的用户可能并不需要。文中提到的 CPU 开销与内存占用为 AWS 自述数值,未提供第三方验证。具体可用区域、计费方式与功能细节可能调整,请以 AWS 官网当前信息为准。本文基于 AWS 官方博客文章《Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod》,该文署名 Mijanur Palash、Aman Pratap Singh、Farrukh Sohail、Sai Kiran Akula、Subodh Kamble 与 Uday Singamala。