AB
AiBoss站
百科

什么是成员推断攻击(Membership Inference Attack)?

成员推断攻击是一种针对机器学习模型的隐私攻击:攻击者只拿到一条数据记录和对模型的查询接口,就要判断这条记录是否出现在模型的训练集中。它揭示的是模型对训练数据的记忆程度,而不是模型输出本身的对错。

成员推断攻击(Membership Inference Attack)是一类针对机器学习模型的隐私攻击:给定一条数据记录,以及对目标模型的查询访问(论文中设定为黑盒访问),攻击者要判断这条记录是否属于该模型的训练数据集。它要回答的不是「模型预测得准不准」,而是「模型是否记住了某条具体记录」,因此被用来衡量模型对训练数据的隐私泄漏程度。

为什么重要

在成员推断攻击被系统研究之前,评估一个模型是否泄漏训练数据,通常依赖对模型输出内容的直接检查,或者依赖对模型结构的假设。但很多实际部署的模型只对外提供预测接口,训练数据本身也不公开,外部无法直接看到模型内部。这样一来,「模型是否记住了某条敏感记录」就缺少可操作的检验手段。

这个问题在模型即服务(Machine Learning as a Service)的场景下尤其突出:模型由服务方训练,用户只能通过接口提交样本、拿回预测结果。如果一条记录是否在训练集中可以被推断出来,那么训练集本身就会通过模型被部分暴露。Shokri 等人在论文中明确把「医院出院记录」这类成员身份本身即属敏感信息的数据集作为评估对象,说明泄漏的后果不只是技术指标,而是直接对应到个人。

成员推断攻击的意义还在于它提供了一个可量化的隐私度量:攻击成功率越高,说明模型对训练样本与未见样本的区分越明显,记忆越强,隐私风险越大。后续研究把它当作评估差分隐私等防护手段效果的基准任务之一。

工作机制

成员推断攻击的核心思路,是利用模型在训练样本与未训练样本上的行为差异。模型通常在训练数据上表现出更高的置信度或更小的损失,这种差异就是攻击者可利用的信号。按 Shokri 等人论文的描述,攻击可以拆成以下要点:

  • 攻击者能力设定:攻击者拥有目标模型的黑盒访问权限,即可以提交输入并获得预测输出(如各类别的置信度向量),但看不到模型参数与训练数据。
  • 构造影子模型:为了学习「成员」与「非成员」在输出上的差异,攻击者训练若干与目标模型结构相近的影子模型(shadow model),并刻意让影子模型的训练集与目标模型的训练集分布相似。
  • 生成训练数据:对每个影子模型,分别用其训练集内的记录和训练集外的记录去查询,得到两组输出,并打上「成员 / 非成员」标签。
  • 训练推断模型:用一个二分类器学习从「模型输出向量」到「是否成员」的映射,这个分类器就是攻击模型。
  • 实施攻击:把目标模型对候选记录的输出送入攻击模型,得到该记录属于训练集的判断。

论文同时指出,攻击效果受多种因素影响,包括模型过拟合程度、输出向量的精度(例如是否只返回 top-1 标签还是完整置信度)、训练集规模与数据分布等,并据此讨论了相应的缓解策略。

2021 年的后续工作对评估方法提出了不同看法。Carlini 等人在论文中指出,此前普遍使用的平均准确率指标无法刻画攻击能否「有把握地」识别出训练集中的成员,主张改为在极低假阳性率(例如低于 0.1%)下计算真阳性率。他们据此提出似然比攻击(Likelihood Ratio Attack,LiRA),把文献中的多个思路组合起来。该论文称,在低假阳性率条件下其攻击强度是此前方法的 10 倍,并且在既有指标上也严格优于先前的攻击。这一结论属于该论文的主张,应视为对评估口径的修正,而非已被普遍采纳的定论。

典型例子

Shokri 等人的论文在由商业「机器学习即服务」提供商(如 Google、Amazon)训练的分类模型上进行了实证评估,使用的数据集与分类任务贴近真实场景,其中包括一个成员身份在隐私上敏感的医院出院数据集。论文的结论是,这些模型可能容易受到成员推断攻击。

Carlini 等人的论文则以评估方法本身为对象:他们用低假阳性率下的真阳性率重新审视了此前的多种攻击,发现多数先前攻击在这种口径下表现不佳,并以此作为提出 LiRA 的动机。这两个工作分别代表了成员推断攻击研究的两个侧面——一是证明攻击在真实服务上可行,二是争论「怎样才算攻击成功」。

边界与常见误解

成员推断攻击不等于数据提取。它只判断某条记录是否参与过训练,并不还原记录内容,也不保证攻击者事先掌握该记录的完整字段。攻击者通常需要对待判断的记录有一定了解,才能构造有意义的查询。

它也不等于模型 inversion 或属性推断等其他隐私攻击,尽管它们共享「模型泄漏训练信息」这一前提。把成员推断的成功率直接等同于「训练数据被泄露」是一种过度解读:成功率依赖于攻击者能力、模型输出粒度、数据分布等一系列条件,不同论文设定的威胁模型并不相同。

评估口径本身存在争议。平均准确率高,并不代表攻击能在可接受的误报水平下锁定成员;反过来,低假阳性率下的指标也依赖具体的阈值选择与攻击者掌握的辅助信息量。Carlini 等人对既有指标的批评,正是这一争议的体现。

此外,攻击需要大量查询目标模型,实际部署中可能受查询配额、速率限制、输出精度裁剪等因素制约;论文中的攻击设定通常假定攻击者可以获取较丰富的输出信息。缓解手段方面,Shokri 等人讨论过正则化、限制输出精度等策略,但这些策略会以模型效用或可用性为代价,具体取舍需结合场景评估。

参考资料