AWS SageMaker 推理端点支持 NVIDIA MIG 分区
AWS 宣布 Amazon SageMaker Inference 支持基于 NVIDIA Multi-Instance GPU 的 GPU 分区，可在托管端点上把单块 GPU 划分为多个硬件隔离分区，让多个模型共享同一加速器。该能力仅适用于使用推理组件的端点。
核心事实
据 AWS 官方博客，Amazon SageMaker Inference 现已支持 GPU 分区，借助 NVIDIA Multi-Instance GPU（MIG）把一块物理 GPU 划分为多个独立分区，每个分区获得固定的计算单元份额和专属显存，隔离由硬件实现。AWS 表示，该能力建立在推理组件（inference components）之上，分区作为组件申请的资源，与 CPU、内存的申请方式相同。
背景与影响
博客指出，此前部署到 GPU 端点时最小可申请单位是一整块加速器，模型数量受实例加速器数量限制，例如一台 ml.p4d.24xlarge 有八块 A100，就只能承载八个模型。MIG 最多可将一块 GPU 划分为七个实例，每个实例拥有独立的计算、缓存、显存与显存带宽，因此可以在一台设备上混用不同大小的分区，并让每个模型常驻、避免加载惩罚。AWS 称，此前需要自行在 Kubernetes 上搭建 MIG 的用户，现在可由 SageMaker AI 处理 GPU 配置、放置与扩缩容。Salesforce 方面在博客中表示参与了需求定义与初步方案验证，并称正筹备以代表性生产负载进行验证。
限制与来源
博客明确，分区仅适用于使用推理组件的端点，单模型端点、无服务器端点以及异构实例池不支持分区；分区数量上限取决于加速器且不超过七个；MIG 只允许在分区空闲时更改布局，在 SageMaker AI 上即在创建端点时选定布局；需要多块 GPU 的模型仍需整块设备。API 方面新增两个可选字段，不引入新的 API 操作、资源类型或 IAM 动作，未填写时端点行为与现在一致。上述内容来自 AWS 博客，具体可用区域、实例支持范围与计费方式尚未在该素材中说明，请以 AWS 官网当前信息为准。