Snowflake 称可观测性 API 让 AI 智能体排查成功率升至 69%

核心事实

Snowflake 工程博客发文称，其可观测性产品 Observe by Snowflake 通过改进 API 设计，让 AI 智能体在排查可观测性问题时表现明显提升。据该文介绍，在一组 56 道经过整理、带有标准答案评分规则的可观测性问题内部基准测试中，智能体的通过率从 7.8% 提升至 69.0%。测试使用 Claude Code 调用其 MCP 服务器，每个提示运行三次，共 168 次试验，并由另一个模型按五分制对照参考答案评分，四分及以上计为通过。

背景与影响

文章指出，仅向智能体开放遥测数据并不够：智能体仍需自行判断问题中的名称指代什么、相关数据存放在哪里、如何构造查询并解释结果。为此，团队将能力分为两层 API：一层负责实体解析与定位相关数据，另一层提供服务健康、依赖关系等领域操作。据其数据，仅加入第一层后通过率升至 26.2%，再叠加领域 API 后达到 69.0%。消融测试中，移除领域操作造成的降幅最大；移除数据路径后通过率降至 51.2%，移除实体解析后降至 54.8%，移除上下文传递后为 65.9%。与仅用原始查询和关键词搜索的基线相比，完整方案的延迟与 token 用量均下降约 58%，每次排查的工具调用从 15 次降至 6 次。

限制与来源

上述数字均来自 Snowflake 自述的内部基准与特定模型配置，并非第三方独立评测，实际表现可能因问题类型、模型版本与部署环境而异。文章也承认，69% 的通过率仍有提升空间，上下文传递（可组合性）在工程师追问场景中的价值尚未测量。相关功能与可用范围请以 Snowflake 官网当前信息为准。来源：Snowflake 工程博客。