Ai2 发布 XYBench 基准，测试 AI 能否识别用户提问中的错误前提

Ai2 发布 XYBench 基准，测试 AI 能否识别提问中的错误前提

Allen 人工智能研究所（Ai2）在其 Hugging Face 博客中发布 XYBench 基准，包含 8,115 条真实问题，用于评估 AI 助手面对「XY 问题」时的表现。所谓 XY 问题，指用户想达成目标 X，却认定某种做法 Y 可行，于是只就 Y 求助。例如用户问如何让糖霜在纸杯蛋糕上不滑落，真正的问题可能是蛋糕还没放凉。该基准由 Ai2 与卡内基梅隆大学、英伟达及约翰斯·霍普金斯大学的研究者共同开发，据博客介绍获得 EMNLP 2026 最佳资源论文奖。

背景与实验发现

XYBench 的问题来自 Stack Overflow、Stack Exchange、人工整理样本以及依据 WikiHow 指南生成的题目。基准从三个维度打分：是否给出针对表层请求（Y）与真实目标（X）的解决方案、回答的侧重方向，以及是否识别并劝退错误做法。博客称，在单轮设置下评测了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro，所有模型给出表层请求解决方案的比例都高于针对真实目标的比例；在 Stack Overflow 题目上，回答主要聚焦真实目标的比例仅为 35%–41%。另一项实验中，模型在二选一判断时更倾向选出面向真实目标的答案，说明「识别好建议」与「自己给出好建议」之间存在差距。

限制与来源

据博客说明，XYBench 目前仅覆盖英文提问，且以流程性、操作性问题为主，扩展到其他语言、文化背景和多轮对话仍是待研究方向。评测采用 Claude Sonnet 4.5 作为自动评判，并以人工标注校验一致性。上述数据均来自 Ai2 官方博客，具体评测细节与数据使用条件以论文、数据集页面及官网当前信息为准。