NVIDIA 发布 CUDA 13.4，为 Kubernetes GPU 共享引入内存强制隔离

核心事实

NVIDIA 开发者博客于 10 月 27 日发文介绍，CUDA 13.4 新增了应用无感知的 GPU 内存边界强制能力：工作负载可以申请精确的内存大小，超出即分配失败；也可以声明一个保底下限与可弹性增长的上限；同时每个工作负载可在默认的时间片（time-slicing）与 SM 共享（sm-sharing）两种计算模式间选择。配套的开源 Kubernetes Operator gpu-fractioning 托管在 GitHub 的 KAI Scheduler 组织下，与 NVIDIA GPU Operator 并行运行，负责在每个 GPU 节点上启停并监管 MPS、在进程启动前施加各容器的内存限制与计算模式，并按 GPU 分片而非整卡统计用量。

背景与影响

据博客说明，许多 AI 工作负载只需一小部分 GPU，整卡分配会造成闲置。此前 NVIDIA GPU 已有 MIG、时间片与 MPS 等共享方式，但缺少在 Kubernetes 侧落地内存强制的环节。KAI Scheduler 自 v0.18.0 起提供名为 NvFractions 的 GPU 共享模式，作为首个与 gpu-fractioning 集成的调度器，它负责挑选 GPU 分片并把内存请求、上限、计算模式与设备分配写入按容器的 Pod 注解，由 Operator 在节点上执行。管理员可在安装 KAI Scheduler 时通过 Helm 参数启用，并同时安装该 Operator 作为依赖。博客强调，任何能写入这些注解的调度器都可实现同样的强制效果，调度器仍需保证同一张 GPU 上不混用两种计算模式。

限制与来源

博客指出，SM 共享模式下多个工作负载处于同一错误域，因此只适合彼此可信的工作负载；时间片模式则各自独立错误域。分片上限为可选，省略时上限等于请求值。上述功能、版本号与安装方式均来自 NVIDIA 技术博客的说明，具体可用性、配置项与支持范围请以 NVIDIA 官网及项目仓库当前信息为准。