清华团队开源 AKV：面向 LLM 智能体的 KV 缓存工程服务系统

清华团队开源 AKV：让智能体直接编辑 KV 缓存

据 MarkTechPost 报道，清华大学与香港中文大学的研究人员开源了 AKV，一个面向大语言模型智能体的 KV 缓存工程服务系统，代码以 Apache-2.0 许可发布，构建在 SGLang 之上。与通过摘要压缩历史文本的「上下文工程」不同，AKV 不改动文本轨迹，只调整哪些 KV 缓存条目继续参与注意力计算。据论文数据，在 3 个模型和 4 个智能体基准上，平均成本下降 27.7%，平均任务得分提升 1.7 分。

背景与影响

传统做法在截断或摘要历史后，前缀失效会导致后续 KV 状态全部作废，保留的后缀必须重新预填充，因此智能体框架往往很晚才做激进摘要，容易丢失中间轮次的细节。AKV 定义了追加、丢弃、重排三类缓存操作，并扩展 SGLang 的基数树以支持丢弃与重定位节点，被丢弃的 KV 仅在没有活跃请求需要时才释放。接口为无状态、兼容 OpenAI 的 API，客户端可传入 drop_message 与 reposition 字段，也提供内置策略库与让模型自行调用丢弃上下文的工具。论文称 KV 缓存读取占总 API 成本的 82.4%。

限制与来源

据项目说明，目前支持范围仅限 Qwen、GPT-OSS 与 MiniMax-M2 系列文本模型，需在 NVIDIA GPU 上通过 SGLang 自托管，没有 CPU 或 MLX 路径。论文实验使用 8 张 A800-80GB 显卡、BF16 精度；快速上手示例以 2 张 GPU、张量并行 2 部署 GPT-OSS-120B。文中成本为基于公开费率的 API 等效估算，各对比方案的数字来自各自论文、实验设置不同，不宜直接横向比较。上述性能数据均来自研究团队自述，尚未获独立验证；具体功能、支持范围与许可请以官方仓库和项目页当前信息为准。来源：MarkTechPost。