AB
AiBoss站
快讯

Cloudflare 为 AI Gateway 的 User Insights 增加任务上下文分析

Cloudflare 更新 AI Gateway 的 User Insights 功能,新增任务上下文视角,用于识别模型能力超出任务所需的情况,并定位推动用量的用户与智能体。该功能对 AI Gateway 用户免费提供。

核心事实

Cloudflare 在其官方博客发文,宣布为 AI Gateway 的 User Insights 功能推出更新。据该文介绍,User Insights 于上个月上线,用于展示哪些用户、应用、任务和模型在推动 AI 流量,并标记用户与智能体层面的异常,帮助团队在支出与用量失控前发现问题。此次更新新增了「上下文」维度:当某个模型的能力可能超出任务实际所需时,界面会予以提示,同时展示是哪些用户和智能体在推动这类用量,以及任务、模型、成本与对话模式之间的关联。文章称,这些能力对 AI Gateway 用户免费提供。

背景与影响

Cloudflare 在文中解释,仅凭模型名称和请求次数只能说明流量去向,难以反映背后的工作性质——同一次请求可能是代码审查、研究任务,也可能是智能体为完成一项工作而发起的多次调用;相同的 token 数量也可能对应差异很大的工作类型。文章举例说,一个团队将内部 AI 流量接入 AI Gateway 后,若数周内支出上升、部分请求变慢,可能的原因包括开发者用 AI 处理更复杂的编码工作、智能体为完成任务发起过多后续调用,或少数用户与智能体占据了不成比例的用量。团队需要先理解流量代表什么,再决定是否调整模型、工作流或路由规则。

限制与来源

上述内容来自 Cloudflare 官方博客文章《Identify AI model overuse with User Insights》,作者为 Ayush Kumar 与 Frank Meszaros。文中未披露具体的定价、性能数据或地区可用性细节,仅说明该能力对 AI Gateway 用户免费。功能的具体范围、可用地区与账号条件,请以 Cloudflare 官网当前信息为准。