NVIDIA 开源 Attribution 工具，用于诊断分布式 AI 工作负载故障

核心事实

NVIDIA 在开发者博客发文介绍开源工具 NVIDIA Attribution。据文章描述，该工具把工作负载范围内的日志、指标、遥测数据和调度器状态关联起来，输出结构化诊断结果，包括结果判定、根因、受影响节点、支撑性症状和证据链。系统由两个可部署组件构成：Attribution Service 通过 REST API 暴露核心归因引擎；Attribution Blueprint 是 Python 参考编排器，负责连接集群调度器与遥测源。Blueprint 自带面向 Slurm、Kueue 和静态输入的执行上下文连接器，以及面向 Loki、本地文件、Kubernetes Pod 日志和 PromQL 指标的日志与指标连接器。

背景与影响

文章指出，分布式 AI 工作负载中单一错误会引发连锁症状，例如某个 GPU 或网络事件在其他 rank 上表现为 NCCL 错误，而报出的异常只说明工作负载在哪里停下，不说明故障从何处开始。归因流程分四步：确定工作负载范围、采集观测数据、通过确定性规则提取并关联事件、返回结构化结果。文中给出的示例中，一个节点上的 NVLink 信号完整性被识别为根因，其他 rank 的 NCCL 错误则作为支撑症状保留。文章称该工具已在 NVIDIA AI 基础设施的生产环境中使用多年，每周分析数百万个工作负载、覆盖数十万块 GPU，并曾在某大型 RDMA 集群中关联端口错误、连接重置和调度事件，定位到特定主机与交换机端口附近的模式。

限制与来源

文章强调，归因质量取决于底层遥测数据的质量与完整性；当多种原因都符合证据时，结果中的 sub_domain 会标记为 ambiguous，以反映不确定性而非给出确定结论。Blueprint 被定位为供使用者按自身环境定制的参考实现。上述生产规模数据来自 NVIDIA 官方博客自述，尚未获独立验证。具体功能、部署方式与许可条款请以项目仓库和官网当前信息为准。来源：developer.nvidia.com。