无数据场景下的高效模型窃取：一种基于精英样本蒸馏的攻击方法

《Journal of Information Security and Applications》：Efficient model stealing in data-free scenarios: An attack method via elite sample distillation

　　

摘要

高质量的机器学习模型越来越多地以机器学习即服务（MLaaS）的形式部署在云平台上，这使得它们容易受到模型窃取攻击。攻击者可以利用基于查询的黑盒访问来构建代理模型，以复制目标云模型的功能。然而，现有的无数据窃取方法在生成器训练过程中经常出现模式坍缩问题，导致显著的数据冗余、计算资源浪费以及低窃取效率。为解决这些问题，我们提出了精英样本蒸馏（ESD），这是一个新颖的框架，能够缓解生成器的模式坍缩并实现对机器学习模型的高效窃取。ESD采用渐进式学习策略，使生成器能够自适应地演化并产生信息量逐渐增大的样本。同时，设计了一种精英样本选择机制，以高效引导生成器趋近于目标模型的决策边界。理论分析验证了ESD在无数据黑盒设置下的有效性。广泛的实验结果表明，我们的方法在窃取大规模机器学习模型方面优于现有最先进的方法，以更高的效率实现了更高的保真度。

引言

机器学习即服务（MLaaS）因其部署简便和成本效益而广受欢迎。视觉Transformer（ViT）[1]等模型的出现进一步推动了它们在各行各业的广泛采用。在这一范式下，训练好的模型的预测结果通过应用程序编程接口（API）向公众开放，每次API调用都会产生用户成本。不幸的是，这些模型容易受到模型窃取攻击（MSA）[2]、[3]、[4]的影响，这是一种旨在复制受害模型功能的攻击方法。具体而言，攻击者通过查询服务提供商提供的API获取带标签的数据，并将返回的结果作为查询的标签。随后，这些数据被用来训练一个克隆模型。例如，此前曾报道过公司间商业模型被盗的案例[5]。此外，克隆模型可以作为其他攻击的代理。例如，攻击者可以利用代理模型来制作对抗样本[6]、[7]、[8]、[9]，通过成员推断攻击侵犯用户成员隐私[10]、[11]，并通过模型反转攻击泄露用于训练模型的敏感用户信息[12]、[13]、[14]，传统方法很难防御此类攻击[15]、[16]、[17]。

在模型窃取攻击的背景下，面临被窃取风险的模型被称为"受害模型"，而攻击者开发的副本被称为"克隆模型"。根据对受害模型的访问级别，模型窃取方法可分为两类：1）白盒[18]、[19]和2）黑盒[20]、[21]、[22]。前者可以访问受害模型的架构、权重和梯度，而后者则不可以。此外，根据对受害模型训练数据知识的可用性，这些攻击可以分为数据感知和数据无关场景。图1展示了黑盒数据无关设置下的模型窃取。如图所示，攻击者只能通过调用其API接口来访问受害模型。在没有受害方私有数据集知识的情况下，攻击者必须使用自己的数据来查询模型。在本工作中，我们专注于软标签黑盒设置，其中受害API返回logits或后验概率向量。这种设置使攻击者能够使用预测分布来训练克隆模型，并允许我们通过受害模型与克隆模型的一致性来评估预测保真度。因此，当前的ESD框架主要是为软标签API设计的，而将其扩展到严格的硬标签API则留待未来工作。当前关于无数据模型窃取的大多数研究都使用生成对抗网络（GANs）来生成训练图像数据[23]。为了提高生成数据的质量，Truong等人[24]和Kariyappa等人[25]在训练过程中使用学生模型的梯度对生成器进行微调。在[26]中，GAN和克隆模型在单一过程中同时训练。参考文献[24]和[25]关注软标签场景，而[26]和[27]研究了受害模型仅返回top-1预测标签的硬标签场景。

在本文中，我们通过识别以下关键局限性来挑战当前模型窃取方法在低查询预算下的有效性：1）生成器能力不足：传统图像生成器的数据合成能力有限。随着模型任务的复杂性增加，这些生成器无法充分建模决策边界，导致边界逼近不精确。2）数据冗余：传统生成器随机批量生成图像数据，导致重复和冗余样本，造成显著的数据冗余[28]。3）查询效率低：当应用于大规模基于Transformer的模型时，现有的窃取方法需要令人望而却步的长查询时间。这些方法需要收集大量API响应，但许多查询样本提供的信息增益微乎其微。这种低效性显著增加了查询成本和计算资源的浪费。

为解决这些挑战，我们提出了精英样本蒸馏（ESD），一个查询价值驱动的闭环框架，用于无数据模型窃取。与优化固定生成器或不加区分地查询合成样本的先前方法不同，ESD将无数据模型窃取视为严格查询预算下的精英样本发现和分配问题。其关键创新在于通过统一的查询价值机制协调生成器演化、边界分歧探索、多样性控制和硬样本回放。该机制明确估计哪些合成样本值得生成、查询、保留和回放，从而提高了查询效率，而不仅仅是增加合成样本的数量或多样性。

我们在五个广泛使用的图像分类数据集上评估了所提出的ESD方法：MNIST、FMNIST、SVHN、CIFAR-10和CIFAR-100。与最先进方法的对比实验表明，我们的方法在准确性和查询效率方面均实现了卓越的性能。例如，在CIFAR-10上，ESD在模型准确率上比QEDG高出9.26%，而仅需要QEDG查询成本的40%。这突出了我们的方法在严格查询预算下平衡高性能和资源效率的有效性。结果一致地证实，ESD不仅增强了克隆模型对受害模型的保真度，还大幅减少了所需查询数量，使其特别适合大规模和实用的黑盒模型提取场景。

总之，本文的主要贡献有三点：

• •
  我们将有限查询预算下的无数据模型窃取公式化为一个精英样本发现和分配问题，其中每个合成样本在提交给受害模型之前都会根据其边界信息量、非冗余性和训练效用进行评估。
• •
  我们设计了一个查询价值驱动的闭环机制，将渐进式生成器演化、分歧引导的边界探索、多样性感知的演化搜索和加权硬样本回放耦合在一起，使得样本生成和克隆模型优化在窃取过程中相互促进。
• •
  在标准基准数据集上的广泛实验表明，所提出的查询价值机制在多种模型架构和黑盒设置下均提高了窃取准确率和查询效率，优于最先进的无数据模型窃取方法。

章节摘要

相关工作

模型窃取攻击通过查询受害模型来提取模型，而知识蒸馏可以显著增强此类攻击在无数据场景中的执行。我们在研究中调查了以下方面。

通过精英样本蒸馏进行无数据模型窃取攻击

我们提出了ESD，这是一种新颖的方法，可以有效减少查询次数，同时实现对基于Transformer的模型的提取。对分歧最大化、多样性正则化、演化搜索、回放缓冲区和高难度样本挖掘的简单聚合不足以实现查询高效的模型窃取：仅靠分歧最大化可能会反复访问狭窄的边界区域，仅靠多样性正则化可能产生多样但无信息量的样本，并且

实验

在本节中，我们首先详细说明实验设置。为了展示我们方法的有效性，我们从多个角度进行了全面评估。

结论

在本文中，我们提出了ESD，一个查询价值驱动的闭环框架，用于无数据模型窃取。ESD没有将分歧最大化、多样性增强、生成器演化和硬样本回放视为独立模块，而是通过精英查询价值估计来协调它们，以确定哪些样本应该被生成、查询、保留和回放。这种公式化使合成样本能够快速趋近于克隆模型的决策边界并沿其分布

CRediT作者贡献声明

刘俊杰：撰写 – 审阅与编辑，撰写 – 初稿，可视化，验证，软件，资源，项目管理，方法论，调查，形式分析，数据整理，概念化。 文蜜：监督，资源，项目管理，资金获取。 于晓晴：监督，项目管理。

利益冲突声明

作者声明他们不存在已知的竞争性财务利益或个人关系，这些可能影响本文所述工作的判断。

刘俊杰|文蜜|于晓晴