AWS 发布 SageMaker AI 多轮强化学习实操指南

核心事实

AWS 在其机器学习博客发布了一篇实操指南，介绍如何在 Amazon SageMaker AI 上进行多轮强化学习（Multi-Turn Reinforcement Learning，MTRL）。据文章描述，该流程由 SageMaker AI 负责训练任务与策略模型，智能体、任务环境与奖励函数则托管在 Amazon Bedrock AgentCore 上；每次 rollout 时，训练服务向 AgentCore 运行时传入一行训练数据，智能体通过 SageMaker Job Runtime 的 OpenAI 兼容端点调用正在训练的策略模型，在环境中执行多轮动作，并在回合结束时返回一个奖励。文章以猜词游戏 Wordle 作为教学示例，采用 GRPO 方法更新策略模型上的 LoRA 适配器。

背景与影响

文章指出，监督微调只能针对单一提示给出更优回答，而智能体任务是一连串相互依赖的动作，往往没有唯一正确的轨迹可模仿，单轮强化学习也难以把奖励归因到数步之前的决策。MTRL 只要求定义如何给最终结果打分，不要求标注正确轨迹。作者称，在一次运行中，MTRL 使 gpt-oss-20b 在留出词上的解谜率从 61% 提升到 84%（默认推理强度），在其训练所用的低推理强度下从 15% 提升到 69%，训练 token 成本约 339 美元。文章同时说明，Wordle 只是教学示例，实际用途是让小规模低成本模型掌握企业特有的多步流程。文章列出当时支持的基座模型与 AWS 区域，包括 Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B 和 Qwen 3.6 27B，分别位于美国东部（弗吉尼亚北部）和美国西部（俄勒冈）区域。

限制与来源

上述解谜率与成本数据均来自该文作者自述的单次运行，并非独立评测，也未获第三方确认。支持的模型、区域、计费维度与价格可能随时调整，请以 AWS 官网与 MTRL 文档的当前信息为准。文章还提到 AgentCore 运行时按 vCPU 与内存另行计费，本次运行约 79 美元。来源：aws.amazon.com 博客文章《Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide》。