Exa 借助 AWS AI 芯片将嵌入吞吐提升约 50%
AWS 博客披露,Exa 在 AWS Inferentia2 与 Trainium2 上优化嵌入推理,最终版本相较初始基线在每百万文档嵌入的性能与成本上改善约 47%,吞吐提升约 1.5 倍。
核心事实
AWS 官方博客于 2026 年 11 月 18 日发布客户案例,介绍网页索引服务商 Exa 在 AWS Neuron 硬件(AWS Inferentia2 与 AWS Trainium2)上优化嵌入(embedding)推理负载的过程。据该文,Exa 从最初直接编译的数据并行 FP16 实现出发,经过权重布局优化、启用 autocast、使用 NKI 预置算子、自研融合 SwiGLU MLP 内核以及针对模型实际形状重写注意力内核等步骤,最终版本相较初始基线在每百万文档嵌入的性能与成本上改善约 47%,整体吞吐提升约 1.5 倍。博客标题表述为吞吐提升 50%。
背景与影响
Exa 表示其以多塔语义模型把网页数据与查询嵌入同一向量空间,并自建向量数据库,因此嵌入的单位成本会随文档规模放大。此次优化的触发点是一次回填:为切换到新的文档模型,Exa 选取 300 亿篇高优先级文档重新嵌入,迁移期间嵌入负载翻倍,促使其重新评估硬件选择。文中称,优化后的流程可在单个 NeuronCore 上运行,并通过数据并行扩展;正确性以与参考模型 0.999 余弦相似度为门槛。相关优化由代理式(agentic)开发流程在 Flyte 工作流中完成编译、校验、性能剖析与饱和基准测试。
限制与来源
上述数字均来自 AWS 博客中 Exa 的自述,尚未见独立第三方复现;具体实例类型、区域可用性与价格请以 AWS 官网当前信息为准。本文不构成任何采购或投资建议。来源:aws.amazon.com 博客文章《Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips》。