什么是提示自动迭代精炼（Prompt Automatic Iterative Refinement）？一种用攻击方大模型自动改写越狱提示的黑盒算法

提示自动迭代精炼（Prompt Automatic Iterative Refinement，PAIR）是一种面向大语言模型（Large Language Model，LLM）安全评估的自动化越狱算法：它借助一个「攻击方」大语言模型，在只能以黑盒方式访问「目标」大语言模型的条件下，自动生成并反复改写候选越狱提示，直到目标模型绕过自身安全护栏、对原本会被拒绝的请求作出回应。它要解决的问题是：以往寻找越狱提示往往依赖人工反复试写，成本高、难以规模化，而 PAIR 把这一搜索过程交给模型自动完成，使安全评估可以在较少查询次数内批量进行。

为什么重要

论文指出，随着各方日益关注如何让大语言模型与人类价值对齐，这类模型的对齐机制却容易被对抗性越狱所突破——越狱提示会诱导模型压过自身的安全护栏。因此，识别这些脆弱点对于理解模型的固有弱点、防止未来被滥用具有直接意义。

在 PAIR 出现之前，寻找有效越狱提示主要有两条路径。其一是人工设计：研究者或红队人员凭经验构造角色扮演、情境包装等话术，逐条尝试。这种方式高度依赖个人技巧，难以复现，也难以覆盖大量模型与大量有害意图。其二是自动化搜索：在提示空间里做优化或梯度式搜索。论文将 PAIR 与既有算法对比时称，PAIR 往往只需不到二十次查询就能产出一次越狱，比既有算法高效若干数量级。这一对比是论文作者在其设定下给出的结论，并非独立第三方评测。

PAIR 的重要性还体现在评估视角上：它假设评估者拿不到目标模型的权重、梯度和日志，只能像普通用户一样提交提示并读取回复。这与真实部署场景更接近，也使评估结论更容易迁移到闭源商用模型上。

工作机制

论文说明，PAIR 受社会工程攻击启发，核心是把「写越狱提示」这件事交给另一个模型自动完成，全程无需人工干预。其流程可以拆成以下几个要点：

双模型分工。系统中有两个角色：攻击方大语言模型负责生成与改写提示，目标大语言模型是被测试对象。攻击方只通过接口向目标方提交提示、读取回复，不接触目标方的内部参数。
以有害意图为起点。评估者给定一个希望目标模型执行、但按安全策略本应被拒绝的请求，作为迭代的目标。攻击方围绕这一目标构造初始候选越狱提示。
迭代查询与反馈。攻击方把候选提示发给目标模型，读取其回复；再根据回复判断是否已被拒绝、拒绝的理由是什么，据此更新候选提示。论文的描述是「迭代地查询目标模型以更新和精炼候选越狱」。
语义层面的改写。论文强调 PAIR 生成的是「语义越狱」，即通过改写措辞、情境与叙述框架来改变提示的语义包装，而不是靠乱码、特殊字符或对抗后缀之类的非语义扰动。
查询预算约束。迭代在有限的查询次数内进行。论文报告的经验结果是，PAIR 常常在不到二十次查询内就得到一次成功越狱，这也是其论文标题「二十次查询内越狱黑盒大语言模型」的由来。

需要说明的是，上述步骤是论文对算法结构的概括性描述；具体的提示模板、判定成功的规则、查询预算的取值等实现细节，应以论文原文为准，本条目不作推断。

典型例子

论文在实验中把 PAIR 用于多个开源与闭源大语言模型，摘要中明确点名的包括 GPT-3.5/4、Vicuna 与 Gemini。论文称，PAIR 在这些模型上取得了有竞争力的越狱成功率，并表现出一定的迁移性——即针对一个模型找到的越狱提示，在另一个模型上也可能奏效。

论文给出的效率对照同样属于实验结论：与既有算法相比，PAIR 在查询次数上低若干数量级，通常少于二十次查询即可成功。这里的「成功」由论文自身的判定标准界定，不同评测设定下的数值不可直接横向比较。

从使用方式看，PAIR 的典型场景是红队评估与安全研究：评估者列出若干本应被拒绝的请求，让 PAIR 自动为每个请求搜索越狱提示，再统计各模型在多少查询内被突破，从而形成可复现的脆弱性报告。论文的定位也正是「识别脆弱点以理解固有弱点并防止未来滥用」，而非提供可直接滥用的攻击工具。

边界与常见误解

它不是一种模型对齐方法。PAIR 本身不提升模型安全性，而是用于发现安全护栏的缺口。把它理解为「越狱防御技术」是常见误解；它属于评估与攻击侧的方法，防御需要另行设计。

它依赖攻击方模型的能力。PAIR 的效果受攻击方大语言模型自身能力制约：攻击方需要能理解拒绝理由并据此改写提示。论文的结论是在其选用的攻击方模型与实验设定下得到的，换用更弱或更强的攻击方，结果可能不同。

「二十次查询」是经验观察，不是保证。论文的措辞是 PAIR「常常」需要少于二十次查询，并非对任意目标模型、任意请求都成立的上界。查询预算、判定标准与请求难度的变化都会影响实际所需次数。

成功率与迁移性来自论文自评。论文报告的竞争性成功率与迁移性是其作者在特定模型版本与评测流程下测得的结果。模型提供方会持续更新安全策略，论文中的数值不应被当作对当前线上模型的稳定描述。

存在明确的滥用风险与使用边界。论文把 PAIR 的动机放在理解弱点、防止误用上。把该算法用于对生产系统发起真实攻击、绕过服务条款或获取有害内容，超出其研究用途；实际开展评估时通常需要在受控环境、获得授权的前提下进行，并对产出的越狱文本做妥善保管。

它不覆盖非语义攻击面。PAIR 生成的是语义越狱，针对的是提示的叙述与措辞层面。基于对抗后缀、编码混淆、多模态输入等路径的攻击不在其方法描述范围内，不能用 PAIR 的结果推断模型在这些方向上的稳健性。

参考资料

arXiv:2310.08419 Jailbreaking Black Box Large Language Models in Twenty Queries