Buoyant 发布 Kinference：面向 Kubernetes 与 vLLM 的开源推理控制平面

核心事实

据 MarkTechPost 报道，Linkerd 背后的公司 Buoyant 发布了开源项目 Kinference，定位为面向 Kubernetes 与 vLLM 的推理控制平面。它部署在一组 vLLM 工作节点之前，决定每个请求发往哪个端点，并在同一层内提供路由策略、token 速率限制、KV 缓存感知负载均衡和按租户统计的指标。项目采用 Apache 2.0 许可，托管在 GitHub，当前版本为 v0.1.0-alpha.7，使用 Rust 编写，通过 5 个 Kubernetes CRD 进行配置。

背景与影响

按 Buoyant 的说法，vLLM 是数据平面，Kinference 是控制平面。系统由流量网关与推理处理器两部分组成，后者暴露 gRPC 接口，返回选定的端点以及可能被改写的请求体，需与 Buoyant Gateway 等代理配合使用。它监听 vLLM 的 KV 缓存事件与引擎指标，目前借助 NVIDIA 的 dynamo-kv-router 处理缓存事件。声明式的 InferencePolicy 规则可按租户、请求模型、GPU 池状态和语义标签匹配，示例覆盖低成本模型分流、突发流量回退到外部提供商、PII 请求留在本地、空闲 GPU 批处理以及模型别名等模式。Buoyant 自报的基准测试显示，在共享前缀负载下中位首 token 时延从 6.88 秒降至 0.31 秒，多轮对话下降约 65%；无共享前缀的对照负载则无明显差异。这些数字为厂商自测，基线是 kube-proxy 随机路由，而非其他缓存感知路由器。

限制与来源

该项目仍处于 alpha 阶段，速率限制、分类器与 Anthropic API 支持尚未发布，分片预填充/解码等能力未披露。上述性能数据均为 Buoyant 自报，尚未获独立验证；功能、许可与部署要求请以项目官网和 GitHub 当前信息为准。本文信息来源为 MarkTechPost 的报道。