Ai2 发布 StateBench：测试语言模型能否追踪长文档中的状态变化

核心事实

Ai2 在 Hugging Face 博客中介绍了 StateBench，一个用于评估长上下文状态追踪能力的基准。所谓状态追踪，指模型在长文档中持续跟踪实体信息变化的能力，例如代码中变量的赋值与重新赋值，或故事中人物位置与物品归属的变动。该基准把状态追踪划分为四个难度层级：不可变赋值、按值重新赋值、自引用更新，以及按引用赋值，后者包含类似“五只杯子下藏球并反复交换位置”的依赖链问题。据博客介绍，相关技术报告、数据集与代码已一并发布。

背景与影响

博客称，Transformer 在长依赖链的困难状态追踪上存在已知的理论局限，这也是 Gated DeltaNet 等循环与混合架构受到关注的原因之一。研究团队用 StateBench 测试了开放预训练模型、四个前沿模型，以及从零开始直接在该任务上训练的 2.75 亿参数模型。据博客描述，前沿模型在较简单层级表现良好，但在自引用与按引用赋值层级，随输入变长准确率明显下降，最长的一般有限问题上降至 13% 或更低。直接训练后，Gated DeltaNet 与混合模型在多个层级上泛化到数万次赋值，而 Transformer 始终未能学会最难层级。团队认为，对循环与混合模型而言，差距更多指向训练而非架构本身。

限制与来源

上述结论均来自 Ai2 的博客与技术报告，尚未获独立复现确认。博客也列出若干未解问题：受限记忆更新的 Gated DeltaNet 在层级中的确切位置仍待确定，数值精度或与注意力层组合的影响尚不清楚；StateBench 目前假设变量数量固定，未覆盖真实任务中不断出现新实体的情形。基准的具体配置、数据规模与适用范围请以官方页面和数据集说明为准。来源：Hugging Face 博客，作者 Kyle Wiggers（Ai2Comms）。