CGNNStealer：一种针对图神经网络的无数据协同模型提取攻击方法

《Computer Standards & Interfaces》：CGNNStealer: Cooperative data-free model extraction attack on graph neural networks

　　吴玉林|李泽琳|刘艾伟|孙晓珍|王玉欣|李俊毅|王轩中国广东省深圳市518055，哈尔滨工业大学（深圳）计算机科学与技术学院摘要随着基于图的机器学习即服务（GMLaaS）模式的出现，图神经网络（GNNs）被广泛应用于各个领域。然而，GMLaaS也使得GNN模型面临诸如模型提取攻击（MEAs）之类的威胁，这类攻击旨在通过查询模型并训练替代模型来窃取模型的功能。现有的MEAs通常依赖于一个不切实际的假设，即能够获取模型的机密训练数据。相比之下，无数据模型提取攻击（DFMEAs）通过使用生成器来产生查询样本，提供了一种更为实用的方法。目前针对GNNs的DFMEAs研究仍然有限，仅有一种方法依赖于竞争策略。这种方法存在较高的查询成本以及生成器分布偏移的问题，这可能导致灾难性遗忘和性能不稳定。此外，现有的GNN MEAs主要关注消息传递神经网络（MPNNs），而非新兴的图变换器（GT）架构。为克服这些限制，我们提出了CGNNStealer，一种用于GNNs的合作式DFMEA框架。首先，我们引入了一种合作策略，使生成器和替代模型保持一致，后者通过分类损失引导前者生成高置信度的样本。随后，我们构建了一种基于节点质量的新颖重放机制，该机制根据不确定性和代表性评估来缓存有用的节点及其子图。此外，我们首先在MPNN和GT架构上验证了攻击的有效性，实验结果表明，与基线方法相比，CGNNStealer在显著降低查询成本的同时，在MPNN和GT模型上均实现了更高的准确性和保真度。引言近年来，GNNs[1]通过同时利用节点特征和邻接关系，在图结构数据上取得了先进的性能表现。传统的GNN模型采用MPNNs[2]的设计框架。近年来，通过将自注意力架构整合到消息传递机制中，GT[3],[4],[5]作为一种更先进的GNN架构出现，其在处理大规模图数据方面展现出更大的潜力。这些进展使得GNNs在社交网络分析[6]、生物信息学[7]以及交通网络优化[8]等领域得到了成功应用。然而，图数据的复杂结构以及训练所需的巨大计算资源，使得大多数用户难以在本地训练高性能的GNNs，从而限制了他们使用基于GNN的推理能力。为了解决这一问题，模型开发者通常将GNN模型部署在云平台上，让用户可以通过简单的API调用即可使用GNN推理功能，而无需进行本地模型训练。这种服务模式被称为GMLaaS[9]，它不仅为开发者创造了商业价值，同时也推动了GNNs在实际场景中的应用。尽管GMLaaS带来了便利，但它也增加了针对GNN模型的隐私攻击风险。其中一种隐私攻击就是MEA，其目的是窃取目标模型Ft的功能。MEA涉及构造输入样本来查询Ft，然后利用这些输入-输出对训练替代模型Fs，以复制Ft的功能。MEA的危害主要体现在两个方面：(1)高性能的机器学习模型是开发者宝贵的知识产权，模型功能的窃取会给开发者带来巨大的经济损失；(2)Fs可以作为代理，为针对目标模型的其他攻击提供便利，比如模型反演攻击[10]。传统的MEA方法[11],[12]通常假设攻击者能够获取与Ft的训练数据在分布上相似的代理数据集。Fs的保真度通常与这个代理数据集的相似度呈正相关。但在实际场景中，Ft的训练数据及相关信息往往高度机密，攻击者很难获得与Ft训练数据集分布相似的数据。DFMEAs[13],[14],[15],[16],[17]通过训练生成器G来合成样本，从而消除了对Ft训练数据的依赖。在攻击过程中，通过Fs的梯度信息不断优化G的参数，引导G逼近Ft的训练数据。DFMEAs不需要对Ft的训练数据做任何假设，因此更适用于现实世界场景，已成为当前MEA研究中的主流方法。目前关于DFMEAs的研究主要集中在传统的机器学习模型上，如CNNs[13],[14],[15],[16]，仅有少数研究针对GNNs[17]。鉴于GNNs在关键领域的广泛应用，针对GNNs的DFMEAs研究变得愈发紧迫，对攻击方法的研究可以为防御策略的开发提供有效的参考。迄今为止，Zhuang等人[17]提出了STEALGNN，这是唯一专门为GNNs的DFMEAs设计的框架。STEALGNN侧重于在传递式学习环境[18]和归纳式学习环境[1]下的节点分类任务。如图1所示，STEALGNN利用竞争方法[13]来训练生成器G。竞争方法类似于生成对抗网络（GANs）[19]，其中G和Fs之间存在对抗关系。Fs旨在最小化与Ft的预测差异，而G则试图生成使这一差异最大化的样本。然而，竞争方法存在较高的查询次数问题。由于大多数基于云的模型服务都是按查询次数向用户收费，较高的查询成本意味着攻击者需要承担更大的经济负担。此外，在STEALGNN中，随着G不断生成新的查询输入，Fs往往会过度拟合当前批次的数据分布，从而导致先前学到的知识被灾难性遗忘，进而降低攻击性能。最后，虽然STEALGNN已经在传统的MPNN模型上进行了测试，但并未在采用GT架构的Ft上进行评估。为了解决这些限制，我们提出了CGNNStealer，一种用于GNNs的合作式DFMEA框架。与STEALGNN不同，CGNNStealer采用合作方法来训练G。如图1所示，在合作方法中，G和Fs共享优化目标，形成合作关系而非对抗关系。G旨在生成能够最小化Fs与预定义标签Yp之间预测差异的样本。随着Fs在提取过程中逐渐逼近Ft，它可以作为代理，引导G在Ft的问题域内生成高置信度的样本。此外，为了解决攻击过程中的灾难性遗忘问题，我们提出了基于节点质量评估的重放机制。该机制通过缓存先前查询过的数据，并在历史数据和新查询数据的混合体上重新训练Fs，从而在后续训练阶段让Fs保留过去的知识，进而缓解灾难性遗忘问题。同时，受到主动学习方法[20]的启发，该机制还让Fs能够在训练过程中选择最具信息量的节点。每个选定节点的邻域会被提取出来作为子图，并存储在缓存模块中以供后续重放使用。这种方法结合了不确定性 and代表性这两个关键标准来选择样本，确保缓存样本具有较高的重放价值。为了全面评估攻击的有效性，我们扩展了STEALGNN的实验设置。具体而言，我们还使用了GT作为目标模型Ft来进一步评估该方法。总之，我们的贡献如下：1.我们首先提出了一种合作策略，使生成器和替代模型保持一致，从而为GNN的DFMEA生成高置信度的样本。该策略不仅在攻击准确性和保真度方面表现出更优的性能，还将查询成本降低了50%（从100次查询降至50次查询），显著提升了攻击效率。2.我们构建了一种基于节点质量评估的新型重放机制，该机制根据不确定性和代表性评估来缓存有用的节点及其子图。这一机制确保了替代模型能够保留历史知识，从而提升攻击性能。3.实验结果表明，与基线方法相比，CGNNStealer在MPNN和GT模型上均实现了更高的准确性和保真度，且查询成本显著更低。据我们所知，这是首项将GT纳入GNNs DFMEA评估范围的研究。相关工作现有的GNNs MEAs通常假设攻击者能够获取目标模型的训练数据。在传递式学习GNNs的背景下，DeFazio等人[21]假设攻击者可以获得目标模型训练图g的一个子图Gsub，然后通过插入扰动节点来扩大Gsub，从而为Fs提供足够的训练数据。Wu等人[22]证明，即使攻击者仅能部分了解gsub中的节点特征，他们也可以使用离散节点查询Ft并进行推断。符号说明表2中对所有符号进行了全面总结，为本文后续内容中使用的符号及其对应含义提供了参考。模型架构消息传递神经网络。给定一个图g=(V,E)，其中V是大小为n的节点集合，E是边集合，MPNNs通过聚合来自相邻节点的消息来更新每个节点的表示。MPNN中每一层节点的更新过程可用公式(1)表示：hυl+1=σAGGWlhυl概述CGNNStealer的整体流程如图3所示，包括三个步骤：合作图生成、替代模型训练以及基于节点质量评估的重放。将攻击的查询预算设置为Q后，CGNNStealer会循环执行上述三个步骤，共Q轮。本节其余部分将分别介绍这三个步骤。完整流程见算法1。合作图生成如图3所示，在合作图生成阶段，实验在本节中，我们通过实验评估了CGNNStealer的攻击性能。首先介绍实验设置，包括实验环境、目标模型配置、目标模型的训练数据集、替代模型配置、生成器配置以及用于比较的基线方法。随后，通过与基线方法的对比实验，我们证明了即使在有限的查询预算下，CGNNStealer也能展现出更优异的性能。结论在这项工作中，我们提出了CGNNStealer，一种针对GNNs的合作式DFMEA方法。与现有的攻击方法相比，CGNNStealer为生成器引入了合作优化策略，显著降低了查询成本。同时，通过引入基于节点质量评估的重放机制，它解决了在GNNs的DFMEA过程中出现的灾难性遗忘问题，从而提升了替代模型的预测准确性和保真度。此外，这项工作还是……CRediT作者贡献声明吴玉林：撰写——初稿、项目管理、方法论、概念设计。李泽琳：撰写——初稿、软件、方法论、概念设计。刘艾伟：可视化、软件。孙晓珍：撰写——审阅与编辑、验证。王玉欣：调研、形式分析。李俊毅：监督、资源协调。王轩：撰写——审阅与编辑、验证。利益冲突声明作者声明不存在任何可能影响本文所汇报工作的已知财务利益或个人关系。致谢本研究部分得到了中国深圳市高校稳定支持计划（编号GXWD20220811170225001）、国家自然科学基金（编号62402142）以及深圳市科技计划（编号KJZD20230923114213027）的资助。