英伟达开源 NVCRE：用真实负载验证 GPU 集群就绪度

核心事实

据英伟达开发者博客文章，NVIDIA Cluster Readiness Engine（NVCRE）是一个开源的 Kubernetes 控制器，用于在正式 AI 负载上线前验证 GPU 集群的就绪状态。它会在拓扑感知的节点组上运行真实的分布式负载，测量结果并报告哪些节点未通过测试。文章称，其 API 由 Certification、Workflow、Job 三层自定义资源组成，可将每次失败归因到具体节点和类别，例如 NCCL 通信或 NeMo 预训练；自适应故障隔离会自动拆分失败分组并重跑测试，最终给出少量可疑节点，而非把整组节点都列为嫌疑对象。此外还有独立的 WorkloadRun API，用于处理 Kubernetes 上重复性的多节点 GPU 负载配置。

背景与影响

文章指出，GPU 集群可能通过全部健康检查却仍无法跑好 AI 负载：某个 GPU 变慢、链路在负载下降级，或配置悄悄走了较慢路径，都可能让大规模训练任务性能不达标甚至失败，而运维人员往往在运行数小时后、甚至等到客户提工单才发现问题。在 Slurm 上跑一次验证只需一条 srun 命令，Kubernetes 则缺少等价能力，需要手动处理 GPU 与 RDMA 资源请求、匹配网络结构的 NCCL 设置、共享内存卷以及 Pod 同步启动。NVCRE 试图填补这一空白。文章还提到它与 NVIDIA AI Cluster Runtime（负责已验证配置）和 NVSentinel（负责持续遥测健康监控）配合，构成 NVIDIA DSX OS 的运维层。

限制与来源

本文信息来自英伟达开发者博客的一篇文章，页面标注由 AI 生成摘要，并提示 AI 生成内容可能不完整，重要信息需自行核实。文中未给出实测性能数字、定价、地区可用性或发布时间承诺；其内置目录、阈值示例与支持的框架类型均以文章描述为准，具体功能、版本与支持范围请以英伟达官网及项目仓库当前信息为准。文章建议的下一步包括安装 NVCRE CLI、初始化控制器并参考官方文档执行端到端验证。