Ai2 发布 FairStress 基准，评估大模型决策中的隐性公平偏差

Ai2 发布 FairStress 公平性评测基准

据 Hugging Face 博客文章，Ai2（Allen Institute for AI）发布名为 FairStress 的基准，用于衡量大语言模型在影响他人机会与资源的决策中的人口群体公平性。该基准覆盖招聘、医疗、信贷、教育、住房、刑事司法等 29 个领域，共 300 个双候选人决策场景，通过改变身份信息的呈现方式与加入说服性论据（文中称 adversarial prefixes），组合出超过 1300 万个测试用例。团队同时提供约 5 万条的精简子集 FairStress-Core，并表示该基准可下载，也已接入其评测工具 Olmo-eval。

关注点从最终答案转向决策稳定性

文章指出，传统公平性基准通常只比较交换候选人身份后模型是否给出相同选择，但相同答案可能掩盖差异：当模型被追问或受到说服时，不同身份版本下改变决定的难易程度可能不同。FairStress 因此同时测量模型在压力下是否同样坚持有证据支持的判断。研究覆盖 Olmo、Llama、Qwen、Gemma、Claude 与 GPT 系列等开放权重和前沿模型，称在身份信息更明确时模型行为更不对称，并把「更愿意放弃正确判断以偏向少数群体编码候选人」的现象称为 anti-stereotypical over-correction。文章还提到模型解释用词与内部激活模式的差异，但明确表示激活分析仅限两个模型和少量身份对比，结论范围较窄。

限制与来源

上述发现来自 Ai2 自行开展的实验，尚未见独立复现。FairStress 采用以平等为核心的特定公平定义，文章也承认它不覆盖所有公平观念，例如以历史劣势为考量的公平取向。文中与 BBQ 等既有基准的对比结果，部分取决于提问与计分方式，相关分析在素材中未完整给出。基准的具体可用范围、许可与使用条件请以 Hugging Face 页面及官方技术报告当前信息为准。