AWS 发布 Amazon Bedrock AgentCore 智能体评估指南

核心事实

AWS 在官方博客发布《The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations》，介绍在 Amazon Bedrock AgentCore Evaluations 上评估智能体的方法。文章称，AgentCore 提供三类评估器：由 AWS 编写并做质量测试的内置评估器（如 Builtin.GoalSuccessRate、Builtin.Helpfulness 等，按 ID 引用）；来自 DeepEval 与 AutoEval 两个开源评估库的第三方托管评估器，托管模式下由 AgentCore 托管代码、选择评判模型并运行推理；以及以现有评估器为基础、可替换模型或修改提示词与评分标准的自定义评估器。

背景与影响

文章指出，智能体上线后团队常只能抽查输出、观察延迟或收集用户反馈，难以判断其是否真正完成任务、在长会话中保持主题一致、泄露个人身份信息（PII）或跳过应执行步骤。作者建议先以业务语言定义成功，再拆解为可观测行为，最后按 trace 级或 session 级映射到对应评估器。内置评估器覆盖回答质量、任务与目标完成、工具使用、技能与安全等维度，并提供三种对照预期工具路径的轨迹检查；DeepEval 指标偏重多轮对话场景；AutoEval 则提供安全、过度保守与幽默感等更专门的信号。文章还提到可通过 ListEvaluators API 获取完整目录与自定义评估器。

限制与来源

上述内容来自 AWS 博客原文，具体评估器定义、评分尺度与输入要求以 AgentCore 文档的提示词模板库为准；可用性、计费与区域支持请以 AWS 官网当前信息为准。本文未做实测，不构成使用建议。