IBM Research 用学习型记忆让 GPT-4.1 客服智能体登顶 τ²-bench
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve：不更新模型权重，仅把从历史任务中提炼的行为准则追加到系统提示，就让基于 GPT-4.1 的 ReAct 客服智能体在 τ²-bench 零售任务上取得 67.5% 的 Pass^4，据其公布的榜单快照高于所有零售条目。
核心事实
IBM Research 在 Hugging Face 博客发文介绍 ALTK-Evolve 方法：不更新模型权重，也不依赖人工标注，而是让模型分析智能体在训练任务上的成功与失败轨迹，提炼成简短的行为准则，再作为纯文本列表追加到系统提示中。据文章给出的数据，使用 GPT-4.1 的基础 ReAct 客服智能体在 τ²-bench 零售任务上达到 67.5% 的 Pass^4（即四次独立尝试全部成功的任务占比），在其 2026 年 10 月 12 日的榜单快照中高于所有零售条目。除这段准则外，策略、工具与脚手架均为 τ²-bench 原版。
背景与影响
τ²-bench 由 Sierra 提出，用 LLM 模拟客户，要求智能体在书面策略约束下完成查订单、退款、改签等往往不可逆的操作，只有最终数据库状态与预期一致才算解决。文章报告，加入准则后零售任务平均准确率从 78.1% 升至 82.5%，Pass^4 提升 10 个百分点；航空任务准确率从 57.5% 升至 65.0%。作者称提升来自更准确的判断而非更长的对话，在双方均解决的任务上轮次略有减少。文章还称，用 GPT-5.5 同时做智能体与准则提炼时，航空任务 Pass^4 从 55.0% 升至 70.0%。
限制与来源
上述数字均为作者自述，测试集规模较小（零售 40 项、航空 20 项），且依赖特定模型版本与基准实现，尚待独立复现。文章也指出准则数量需按领域调参，准则会推高输入 token 成本，零售配置下每轮对话成本约增加 65%。相关方法与榜单表现以官方博客及 τ²-bench 当前信息为准。来源：Hugging Face 博客（IBM Research），2026 年 10 月 20 日发布。