什么是过度拒绝评估(Over-Refusal Evaluation)?——衡量文生图模型「误拒」的基准方法
过度拒绝评估(Over-Refusal Evaluation)是衡量文生图模型把无害提示误判为有害而拒绝生成的评测方法。arXiv 论文 OVERT 提出首个大规模基准,包含 4,600 条「看似有害实则无害」的提示与 1,785 条真正有害提示,用于考察安全与可用性的权衡。
过度拒绝评估(Over-Refusal Evaluation)是一类针对生成式模型的评测方法,用来衡量模型在安全对齐之后,是否会把本身无害的输入误判为有害而加以拒绝。它要解决的问题是:安全机制在挡住有害内容的同时,也可能连带挡掉正常请求,而这种「误拒」在只看安全指标的评测里往往被忽略。在文生图(Text-to-Image,T2I)领域,arXiv 论文 OVERT 给出了一个系统化的实现:该论文称其构建了首个面向文生图模型过度拒绝行为的大规模基准。
为什么重要
文生图模型已经能够根据文本输入生成质量可观的视觉内容。为防止模型输出有害内容,研究者提出了多种安全对齐策略。但 OVERT 论文指出,这些策略常常导致模型行为过度谨慎——连无害的提示也被拒绝,这一现象被称为过度拒绝(over-refusal),它会降低文生图模型的实用价值。
在过度拒绝评估出现之前,安全评测的重心基本落在「该拒的有没有拒」上:给定一批有害提示,看模型是否成功拦截。这种单向视角的痛点在于,一个把所有请求都拒掉的模型可以在安全指标上表现很好,却几乎不可用。要刻画这种失效模式,需要另一类数据——看起来像有害、实际上无害的提示,以及与之配套的、真正有害的对照集,才能把「安全」与「可用」放在同一张表上比较。该论文的出发点正是:尽管过度拒绝在实践中已被观察到,此前并不存在系统评估文生图模型这一现象的大规模基准。
工作机制
按 OVERT 论文的描述,过度拒绝评估的核心做法可以拆成以下几个环节。
- 构造「看似有害但无害」的提示集。 论文提出了一套自动化的合成评测数据构建流程,由此得到 OVERT 基准。其主体是 4,600 条看似有害、实则无害的提示(seemingly harmful but benign prompts),覆盖九个与安全相关的类别。这些提示是评测过度拒绝的关键:它们触碰安全敏感的表面特征,但本身不构成有害请求,模型若拒绝即计为一次过度拒绝。
- 配套真正有害的对照集。 基准同时包含 1,785 条真正有害的提示,记为 OVERT-unsafe。它的作用不是衡量误拒,而是提供另一端参照,使评测能够考察安全与可用性之间的权衡(safety-utility trade-off):一个模型既不应大量误拒无害提示,也不应放过真正有害的提示。
- 按类别统计拒绝行为。 论文使用 OVERT 评估了若干主流文生图模型,发现过度拒绝在多个类别上普遍存在。这一结论的范围应限定为该论文所评测的模型与数据,而不是对所有文生图系统的断言。
- 支持按策略定制数据。 论文称其生成框架具有灵活性,可以适配不同的安全要求,按用户自定义的策略生成定制化的评测数据。这意味着评估口径不必固定为单一标准,可以随部署方的政策而变。
此外,论文把提示重写(prompt rewriting)作为缓解过度拒绝的初步尝试进行了探索,但发现它常常损害对原始提示含义的忠实度。这一结果说明,降低误拒并不是简单地改写输入就能解决,改写本身会引入语义漂移的代价。
典型例子
素材中出现的最主要实例就是 OVERT 基准本身。按论文摘要,它由三部分构成:4,600 条跨九个安全相关类别的「看似有害但无害」提示、1,785 条真正有害提示(OVERT-unsafe),以及一套可生成定制化评测数据的自动化构建流程。论文使用该基准对若干主流文生图模型进行了评测,并据此报告过度拒绝是跨类别的普遍问题。
另一个可举的例子是论文对提示重写这一缓解手段的检验:它被作为减少过度拒绝的初步方案提出,但实验显示其常以牺牲对原提示语义的忠实度为代价。这构成了「缓解措施本身也需要被评估」的具体案例。
需要说明的是,上述数字、类别数与结论均出自该论文,属于作者在其设定下的报告,并非独立复现的结果。
边界与常见误解
首先,过度拒绝评估不等于安全评估的全部。它衡量的是「无害请求被误拒」这一侧,必须与真正有害提示上的拦截表现合并解读,否则可能诱导模型走向另一个极端。OVERT 同时提供 OVERT-unsafe 正是出于这一考虑。
其次,它容易被误解为「拒绝越少越好」。论文的框架把问题定位为安全与可用性的权衡,而不是单目标优化;把误拒率压到最低并不等于模型更安全。
第三,评测数据的构造方式带来固有边界。OVERT 的提示是合成生成的,其「看似有害但无害」的判定依赖于构建时所依据的安全类别与策略;论文虽强调框架可按用户自定义策略生成数据,但不同策略下的结论不能直接互相套用。
第四,已知代价方面,论文明确指出提示重写这类缓解手段会损害对原始提示的忠实度,说明降低过度拒绝存在实际成本。此外,该基准面向文生图模型,其设计与结论不宜直接外推到其他模态的生成模型。
最后需要强调归属:OVERT 是 arXiv 论文作者提出的基准与主张,包括「首个大规模基准」的定位、过度拒绝普遍存在的发现,均应视为该论文的表述,而非行业共识。