AB
AiBoss
News

AWS 博客演示在 Amazon EKS 上使用 NVIDIA Run:ai GPU 分片

AWS 博客发布技术教程,演示如何在 Amazon EKS 上借助 NVIDIA Run:ai 的 GPU Fractioning Operator 实现单卡多 Pod 共享,并在 G5/A10G 实例上验证每 Pod 的 GPU 显存限额。

核心事实

AWS 博客发布了一篇技术教程,介绍如何在 Amazon Elastic Kubernetes Service(Amazon EKS)上使用 NVIDIA Run:ai 的 GPU Fractioning(GPU 分片)能力。据文章说明,该方案在基于 MPS 的软件共享之上,增加了与 Kubernetes 调度集成、按 Pod 的显存契约与限额执行,以及按 Pod 的指标。验证环境为单台 Amazon EC2 g5.xlarge 实例,搭载一块 NVIDIA A10G GPU,位于美国东部(俄亥俄)区域,EKS 控制平面运行 Kubernetes 1.36。示例中两个 Pod 各获得 8 GiB 显存契约、实际分配 6 GiB,并演示了 9 GiB 请求被拒绝的情况。

背景与影响

文章指出,GPU 共享并非新概念:MIG、时间切片与 MPS 分别面向不同的隔离与利用率需求。在默认配置下,NVIDIA 设备插件把整块 GPU 暴露为一个 nvidia.com/gpu 资源,两个各请求 1 块 GPU 的 Pod 无法在同一节点并发运行,即使其显存需求之和仍有余量。GPU 分片适用于交互式 Notebook、短时评估任务、GPU 兼容性测试和小型推理服务等场景。文章同时说明,NVIDIA 于 2026 年 10 月 13 日宣布 Run:ai 开源,该示例用到其中 KAI Scheduler 与 GPU Fractioning Operator 两个模块。文章强调,演示所体现的部署密度提升并不等同于吞吐提升或普遍的成本下降。

限制与来源

文章明确,该验证仅覆盖 G5/A10G 一种配置,其他配置需另行做兼容性检查与验证;GPU Fractioning Operator v0.1.7 要求 R615 或更新驱动,而 R615 属短生命周期版本,并非 GPU Operator 默认版本,因此示例自行构建了基于 Amazon Linux 2023 的镜像。文中还说明,该演练只测试显存限额,不测试故障隔离或计算性能,显存限额也不预留成比例的计算资源;相关错误域划分不构成安全保证。教程会创建计费资源,需在验证后清理。以上内容来自 AWS 博客原文,具体版本、区域与功能支持请以 AWS 与 NVIDIA 官网当前信息为准。