微软与Hugging Face：用数据库校验结果作强化学习奖励训练智能体

核心事实

微软与 Hugging Face 于 10 月 22 日联合发布博客，介绍 ThinkingBox 的训练方法：把智能体任务结束时对数据库最终状态的可执行校验结果，直接作为强化学习奖励，用于基准之外任务的后期训练。据该博客披露，研究团队用离线筛选出的训练任务池，对 Qwen3.8-27B 执行 50 步 GRPO 微调，随后在 507 项任务的 ThinkingBox-Bench 上评测。结果显示，pass@1 从 51.70% 升至 60.78%；20 次尝试全部通过的任务数从 38 增至 107；至少通过一次的任务数从 453 降至 446。

背景与影响

ThinkingBox 最初用于评估智能体是否在未真正完成任务时宣称完成，其校验针对后端记录而非具体工具调用。团队由此发现，多数任务的校验可直接返回 1 或 0，因而也能充当奖励函数。为挑选训练任务，他们提出“离线策略相对难度”，在训练前用基础策略估计每个任务的成功概率，并固定训练池。博客称，训练后模型的可重复成功率明显上升，但覆盖广度略有下降，作者将其解释为分布“锐化”。按博客给出的估算成本口径，每个可依赖任务的成本从 24.36 美元降至 8.00 美元，该数值为比较用的服务指数，并非实际账单。

限制与来源

上述数字均来自微软与 Hugging Face 的联合博客及配套论文，尚未见独立复现。评测集为 507 项任务、每项重复 20 次，结论受任务域与模型版本限制；成本估算不含训练与策略探测开销。ThinkingBox-Training 已在 GitHub 发布，具体功能、许可与使用条件以官方仓库及官网当前信息为准。