AB
AiBoss站
快讯

亚马逊 SageMaker AI 实时端点新增 KV 缓存感知路由

亚马逊 SageMaker AI 为实时端点推出 KV 缓存感知路由策略,依据模型容器上报的缓存状态,把请求发往已缓存较长匹配前缀且负载较低的实例,适用于多轮对话、长共享提示词等场景。

核心事实

亚马逊云科技(AWS)在官方博客中宣布,Amazon SageMaker AI 的实时端点新增 KV 缓存感知路由(KV cache-aware routing)策略。该策略依据模型容器上报的缓存状态,将每个请求发往已持有较长缓存匹配、且负载不过高的实例。启用方式有两处:在模型侧添加一个环境变量,使容器上报缓存内容;在端点配置中将 RoutingStrategy 设为 KV_AWARE。客户端调用端点的 API 与以往相同。

背景与影响

博客指出,聊天助手、检索增强生成(RAG)以及带长系统提示词的智能体,会发送大量开头相同的请求。模型把提示词处理结果保存在 GPU 显存的 KV 缓存中,同一实例再次收到相同开头时可跳过这部分计算。此前的 PREFIX_AWARE 策略仅根据请求本身推断前缀位置,无法感知实例是否已淘汰缓存;多轮对话在请求长度未超过 PrefixLength 前,也可能落到不同实例。KV 缓存感知路由通过托管缓存索引记录容器上报的缓存事件,索引只保存截断的单向哈希指针,不保存提示词、token ID、请求负载或 KV 张量。当最长匹配实例繁忙时,请求会转往次优可用实例;若无可用匹配或候选均繁忙,则回退到负载感知路由。

限制与来源

据该博客,KV 缓存感知路由仅在至少有两个实例、或推理组件至少有两个副本时生效,单实例下该设置没有效果。它需要受支持的容器,博客提到 AWS vLLM Deep Learning Container。扩容或实例更新后,新实例缓存为空,短期内延迟可能升高。该策略无需像前缀感知路由那样配置并发阈值。具体可用区域、容器版本与计费方式,请以 AWS 官网当前信息为准。本文内容来自 AWS 官方博客,尚未见独立的第三方评测数据。