AB
AB
AiBoss

All Categories

Wiki

什么是N选优越狱（Best-of-N Jailbreaking）？一种通过反复采样提示变体绕过模型安全对齐的黑盒攻击方法

N选优越狱（Best-of-N Jailbreaking，BoN）是论文 arXiv:2412.03556 提出的一种黑盒越狱算法：它对同一提示反复施加随机打乱、大小写变换等增广，生成大量变体并逐一采样，直到模型输出有害内容。该论文报告，在采样 10,000 条增广提示时，对 GPT-4o 的攻击成功率为 89%，对 Claude 3.5 Sonnet 为 78%，并可扩展到视觉与音频语言模型。

N选优越狱（Best-of-N Jailbreaking，BoN）是一种黑盒越狱算法：它把同一个有害意图的提示反复施加随机增广（例如文本提示的随机打乱词序、随机改变大小写），生成大量语义相近但表面形式不同的变体，然后逐一提交给目标模型采样，直到某一次采样引出有害回复为止。它要解决的问题是：在不接触模型权重、不掌握梯度的前提下，仅靠输入层面的无害扰动，就能以可观的概率绕过前沿模型的安全对齐。

为什么重要

在 BoN 出现之前，越狱研究大致沿两条路线展开。一条是白盒路线，依赖对模型权重或梯度的访问来构造对抗性输入；另一条是手工提示工程路线，靠人工设计角色扮演、情境嵌套等提示模板。前者需要内部访问权限，对只提供接口的闭源模型不适用；后者高度依赖人的经验，模板一旦被厂商在训练中修补，就需要重新设计，且难以系统性地量化成功率。

BoN 的重要性在于它把越狱重新表述为一个「采样次数」问题。按该论文的说法，攻击者不需要理解模型为何拒绝，只需要能够反复调用接口、观察输出是否被拒绝，并持续更换提示的表面形式。论文指出，语言模型对看似无害的输入变化是敏感的，而这种敏感性可以被攻击者在多种模态上利用。这意味着防御方不能只针对某几种已知的提示模板做修补，还要考虑模型在大量近似输入上的稳定性。

论文还报告了一个对防御评估有直接影响的观察：攻击成功率（Attack Success Rate，ASR）作为采样次数 N 的函数，在多种模态上、跨越多个数量级，经验上呈现幂律式（power-law-like）的行为。也就是说，增加采样次数会稳定地提升成功率，而不是很快饱和。这一结论来自该论文的实验，属于作者的实证发现，并非业界已经形成的共识。

工作机制

按论文描述，BoN 的流程可以拆成以下几个要点：

  1. 确定目标提示。攻击者先写出一条希望模型回答的有害请求，作为后续所有变体的语义基底。
  2. 施加模态相关的增广。对文本提示，论文举例的增广包括随机打乱（random shuffling）与随机大小写变换（capitalization）；对其他模态则使用与该模态相匹配的增广方式。增广本身不改变请求的意图，只改变输入的表层形式。
  3. 批量采样变体。把增广后的提示逐条提交给目标系统，得到 N 条回复。N 是该方法的核心可调参数。
  4. 判定并停止。对每条回复判断是否构成有害内容；一旦出现满足条件的回复即停止，否则继续采样。由于整个过程只依赖输入与输出，不需要模型内部信息，因此被论文称为一种简单的黑盒算法。
  5. 可选地与其他黑盒方法组合。论文指出 BoN 可以与其他黑盒算法叠加使用，例如与一种优化过的前缀攻击（prefix attack）组合时，ASR 最多可提升 35%。

从机制上看，BoN 并不试图寻找某个「万能提示」，而是把成功视为多次独立尝试中的一次命中。这使得它的成本结构非常直接：算力与接口调用次数换成功率。论文报告的幂律式关系正是这一成本结构的量化表达。

典型例子

论文给出了若干具体的实验对象与数字，均出自该论文自身的测量：

  • 在闭源语言模型上，当采样 10,000 条增广提示时，BoN 对 GPT-4o 的攻击成功率为 89%，对 Claude 3.5 Sonnet 为 78%。
  • 论文称 BoN 同样能绕过当时先进的开放源代码防御手段，例如「断路器」（circuit breakers）。
  • BoN 可以扩展到其他模态：使用模态特定的增广，它可以越狱视觉语言模型（Vision Language Model，VLM），如 GPT-4o，以及音频语言模型（Audio Language Model，ALM），如 Gemini 1.5 Pro。
  • 在组合攻击方面，BoN 与优化过的前缀攻击结合，ASR 最多提升 35%。

这些数字描述的是论文在特定时间、特定模型版本与特定判定标准下的测量结果，不应被理解为对当前任何模型产品的普遍结论。

边界与常见误解

首先，BoN 常被误解为一种「提示模板」或某句特定的话术。实际上它是一种采样策略：真正起作用的是「大量变体 + 逐条判定」这一循环，而非某一条固定提示。把某条成功样本当作方法本身，会低估其成本结构，也会误判防御重点。

其次，BoN 的成功率高度依赖 N。论文报告的 89%、78% 等数字都对应 10,000 条增广提示这一采样规模；在采样次数很少时，同一方法的成功率会显著不同。引用这些数字时必须同时说明采样条件，否则容易造成误导。

第三，BoN 是一种黑盒方法，其前提是攻击者能够反复调用目标系统并读取输出。对于调用次数受限、输出经过过滤或带有额外监控层的部署环境，论文并未给出适用性结论。它也不涉及权重层面的攻击，因此不能用来推断模型内部的安全机制是否健全。

第四，论文关于幂律式增长的结论是对其所测模型与模态的经验观察，作者用的是「power-law-like」这一限定表述。它是否适用于其他模型家族、其他语言、其他判定标准，需要独立验证，不能直接外推为普遍规律。

最后，BoN 与「越狱」一词的日常用法容易混淆。日常语境中的越狱多指单次巧妙的提示，而 BoN 强调的是可重复、可度量、可用采样次数调节成功率的攻击流程。这一区别对红队评估的设计尤为关键：评估若只测试少量提示，可能系统性低估此类攻击的风险。

参考资料

Back