AWS 发布 Ray LLM 深度学习容器，支持多节点推理部署

核心事实

AWS 在其机器学习博客中介绍，用户可借助多节点 Ray LLM 深度学习容器（Deep Learning Containers，DLC），在 Amazon Elastic Kubernetes Service（Amazon EKS）上把一个大语言模型部署到两个 GPU 节点上，并以 prefill 与 decode 分离的方式运行，最终通过一个 OpenAI 兼容端点对外提供服务。据该文章描述，容器内置 Ray Serve LLM、NVIDIA Inference Transfer Library（NIXL）以及 Elastic Fabric Adapter（EFA）协议栈，整个服务应用以 YAML 形式描述，无需编写应用代码。

背景与影响

文章指出，LLM 推理分为两个阶段：prefill 并行处理整段输入提示并构建键值（KV）缓存，属于计算密集型；decode 逐 token 生成响应，受内存带宽限制。两者共用同一 GPU 时会争抢资源，突发且计算密集的 prefill 会干扰对延迟敏感的 decode。将两个阶段放到不同节点，可各自独立扩展，代价是 prefill 阶段构建的 KV 缓存需要传输到 decode 节点，因此节点间互联性能至关重要。文章称该方案适合检索增强生成（RAG）、文档摘要和智能体类应用。示例架构中，一个 CPU 系统节点运行 KubeRay operator 与 Ray head，两个 GPU 工作节点分别承担 prefill 和 decode，KV 缓存经 NIXL 通过 EFA 传输；由于 EFA 不能跨可用区，GPU 节点组被固定在同一可用区。

限制与来源

本文内容来自 AWS 官方博客文章《Run multi-node inference workloads using Ray LLM Deep Learning Containers》，作者为 Ananth Raghavendra、Felipe Lopez 和 Jinyan Li，发布时间标注为 2026 年 10 月 12 日。文章列出的前提条件包括：已启用计费的 AWS 账户、目标区域中两个 g6.8xlarge 实例（至少 64 vCPU）的足够服务配额，以及配置好凭证的 AWS CLI、kubectl、eksctl、helm 和 envsubst 工具。上述实例规格、组件与部署方式均以该文章描述为准，具体可用性、配额与计费请以 AWS 官网当前信息为准。