AWS 介绍在 AgentCore Evaluations 中接入决策模型
AWS 发布技术文章,说明如何通过代码型评估器把 Jev 与 Strands Decider 2B 两类决策模型接入 Amazon Bedrock AgentCore Evaluations,用固定选项的概率分布替代自由文本评分。
核心事实
AWS 于 2026 年 11 月 4 日发布技术文章,介绍如何在 Amazon Bedrock AgentCore Evaluations 中通过代码型评估器(code-based evaluator)接入决策模型。文章给出的两个后端分别是 TypeSafe 提供的托管决策模型 Jev,以及 Strands Agents 团队开源的 20 亿参数决策模型 Strands Decider 2B。据文章描述,两者均支持三类问题:是/否问题返回 0 到 1 之间的概率;选择问题在最多 255 个选项中返回最可能选项及完整分布;评分问题在 2 至 10 个有序等级上返回概率加权分数。
背景与影响
AgentCore Evaluations 可在开发阶段按需评分、对已存会话批量评分,也可针对生产流量在线评分,并提供 15 个内置评估器。文章强调,决策模型并非替代 LLM-as-a-judge,而是补充:前者适合答案固定、可一眼判断的窄问题,输出可阈值化的置信度;后者适合需要串联证据、解释判断依据的深度评估。文章建议把决策模型当作筛选层,先用通过/失败信号挑出值得深入评估的对话轮次,再交由内置评估器给出解释。示例场景是一个基于 Strands Agents 构建、部署在 AgentCore runtime 上的人力资源助手,使用固定模拟数据。
限制与来源
文章说明,部署示例需要一个可使用 AgentCore Evaluations 的 AWS 区域(示例默认美国西部俄勒冈)、启用 CloudWatch Transaction Search、可访问 Amazon Bedrock 基础模型,以及 Python 3.12 以上、AWS CLI 与 Docker;Jev 需要 TypeSafe API key,Strands Decider 需要自建服务端,可本地运行或部署在 VPC 内的 Amazon EC2 上。上述区域可用性、接入条件与费用均以 AWS 官网当前信息为准。本文仅为技术方案介绍,不构成任何采购或投资建议。来源:aws.amazon.com。