AWS 推出 SGLang-Neuron，在 Trainium 上部署前沿模型

核心事实

亚马逊云科技（AWS）在官方博客中宣布，SGLang-Neuron 已公开可用，用户可通过 AWS 深度学习容器获取。该组件由 RadixArk 与 Annapurna Labs 合作发布。据博客说明，借助 SGLang-Neuron，用户可以在 AWS Trainium 上使用与现有相同的 SGLang 接口来提供模型服务，并生成强化学习（RL）rollout。

背景与影响

Trainium 是 AWS 面向 AI 训练与推理的芯片产品组合。SGLang-Neuron 采用 out-of-tree 插件设计，使 Trainium 支持与 SGLang 核心可以独立开发、加快迭代。安装插件后，通过 SGLang 的插件入口注册 neuron 平台，并在启动服务器时设置 SGLANG_PLATFORM=neuron 选用。SGLang 核心继续提供 API 服务器、请求生命周期、RadixAttention 与前缀缓存记账，插件则实现 Trainium 相关的模型、注意力、混合专家（MoE）与图执行器。博客还提到该插件支持 PD 分离（PD disaggregation）配置，prefill 服务器计算提示 KV 缓存并通过 EFA 上的 NIXL 传输至 decode 服务器。

限制与来源

博客给出的示例使用 Trainium3 Amazon EC2 实例与 pytorch-inference-sglang-neuronx 容器，示例模型为 openai/gpt-oss-120b。支持的模型、功能与已验证配置需以项目仓库文档和官网当前信息为准；具体可用区域、定价与性能表现，素材未作说明，本文亦不作推断。来源：AWS 官方博客，2026 年 11 月 12 日。