AB
AiBoss
News

AWS 推出分布式 KV 缓存 Agent Skill,称可降低自托管 LLM 成本与时延

AWS 发布面向自托管大模型的分布式 KV 缓存 Agent Skill,称配合 Amazon ElastiCache 可降低推理成本与首字延迟,并可在编码 Agent 内完成评估与配置。相关收益数字来自 AWS 博客,尚未获独立验证。

核心事实

AWS 在其机器学习博客发文,介绍 Agent Toolkit for AWS 中的「分布式 KV 缓存」Agent Skill。据该文描述,这一 Skill 可引导编码 Agent 判断工作负载是否适合分布式 KV 缓存、为测试或生产环境搭建缓存集群,并排查 LLM 推理缓存问题。文章称其可与 Kiro、Claude Code、OpenAI Codex 等支持 Agent Skills 的编码 Agent 配合使用。

背景与影响

自托管大模型时,每台 GPU 服务器上的本地缓存容量有限,无法保存或共享 AI Agent 与聊天应用反复发送的长上下文,导致 GPU 重复执行 prefill 计算。AWS 称,借助 Amazon ElastiCache 的分布式 KV 缓存,可把自托管 LLM 推理成本最多降低 40%、首字延迟(TTFT)最多降低 80%。文中还提到 KVTrace 工具,用于在部署前基于用户自有模型与流量估算收益,并称该工具不额外收费。文章同时提醒,共享 KV 缓存可能带来租户间信息侧信道风险,需要隔离的场景应使用独立缓存。

限制与来源

上述成本与延迟降幅均为 AWS 博客给出的说法,尚未获独立验证,实际效果取决于所用模型、流量模式与提示路由方式。文章列出的前提条件包括:支持 Agent Skills 的编码 Agent、支持 EFA RDMA 写入的 GPU 实例(如 p5)、LMCache 0.5.8rc1 或更高版本、vLLM 0.11.1 或更高版本(或 SGLang 0.5.13 或更高版本),以及 ElastiCache for Valkey 9.1 或更高版本(使用 cache.i8ge.48xlarge 节点)。具体可用性、定价与版本要求请以 AWS 官网当前信息为准。来源:aws.amazon.com 博客文章。