图神经网络中成员推断的防御

《Neurocomputing》：Defending against membership inference in graph neural networks

　　

# 摘要

图神经网络（GNNs）在图结构化数据上表现出色，但仍然存在易受成员推断攻击（MIAs）的漏洞，这类攻击利用模型预测和内部表示中的成员相关信号。知识蒸馏通过切断已发布模型对私有训练数据的直接访问，提供了一种有前景的防御手段。然而，传统的蒸馏方法依赖有限的公共参考图和逐点的教师-学生匹配，这可能会限制知识多样性并保留从私有教师继承的样本特定信息。为了解决这些局限性，我们提出了DMIA，一个基于蒸馏的防御框架，从两个互补的角度调节知识转移。首先，自适应结构混合（AS-Mixup）通过置信度引导的特征插值和拓扑构造来扩展公共参考空间。其次，分布级隐藏表示对齐匹配中间表示的一阶和二阶统计量，实现更不细粒度的知识转移，而无需显式复制样本特定的教师响应。通过联合控制参考空间多样性和表示级知识转移，DMIA降低了成员可区分性，同时保留了与任务相关的信息。在多个数据集、GNN架构和攻击设置上的大量实验表明，DMIA始终将成员推断成功率降低至接近随机猜测水平，同时保持有竞争力的分类准确率。消融实验和敏感性分析进一步验证了所提组件的互补贡献和鲁棒性。

# 引言

图神经网络（GNNs）已成为从图结构化数据中学习的 dominant 范式，并广泛应用于社交平台、推荐系统、金融风控和生物医学分析等领域。在这些应用中，图通常包含关于个体、其属性及其关系的敏感信息。因此，GNN的部署引发了严重的隐私问题，其中成员推断攻击（MIAs）是一种突出的威胁。攻击者在获得已训练模型的情况下，试图确定目标节点是否参与了模型训练，这可能泄露敏感的参与情况、隶属关系或医疗信息。

成员泄露的后果可能远超是否暴露某个个体节点是否被包含在训练图中。在社交网络中，用户的成员状态可能揭示其是否参与了隐私敏感的社区，并可能间接暴露隐藏的社交关系，从而破坏匿名性和社交隐私。在金融或交易图中，节点和边可能代表账户、企业或交易行为，成员信息的泄露可能暴露敏感的对手方关系，导致经济、法律或监管风险。因此，保护GNN免受MIAs侵害对于其在隐私敏感环境中的可信部署至关重要。

成员泄露传统上与模型过拟合相关联。然而，较小的泛化差距并不一定意味着较低的风险，因为攻击者可能利用即使在泛化良好的模型中仍可观测到的成员依赖统计信号。对于GNN而言，这一问题尤为棘手，因为成员信息可能在消息传递的多个阶段被编码。在邻域聚合过程中，节点表示通过使用其自身属性和局部结构上下文被反复更新。因此，训练节点与非训练节点不仅可能在最终预测分布上存在差异，在中间表示的统计特性上也可能不同。这些隐藏差异随后可能通过分类器传播，表现为更尖锐的置信度分数、更低的预测熵或其他可利用的输出模式。因此，仅抑制输出置信度可能减少可观测的预测差距，但仍使表示空间中的成员相关信息可被白盒攻击者利用。

现有的防御方法仅解决了部分问题。面向输出的方法，包括基于知识蒸馏的防御、标签平滑和权重正则化，主要调节模型预测或减少过度置信。尽管这些方法可以削弱输出空间中的成员线索，但它们并不显式控制内部表示统计量如何转移或保留。因此，拥有中间嵌入访问权限的攻击者仍可能利用表示级信号。噪声注入和差分隐私提供了限制信息暴露的替代机制，但其扰动通常是针对控制输出敏感度或训练数据影响而设计的，而非显式调节公共参考图联合特征-拓扑空间上的知识转移。过度的扰动也可能破坏与任务相关的图信息并降低预测效用。

知识蒸馏提供了有前景的方向，因为学生模型可以在独立的公共参考图上进行训练，而无需直接访问用于训练教师的私有图。然而，原始训练数据的分离并不能自动防止隐私泄露。私有教师可能在其预测和隐藏表示中编码成员相关信息，如果学生模型过度模仿样本特定的教师响应，就可能继承这些信息。此外，公共参考图往往在规模和结构多样性上有限。在有限的参考节点集上进行蒸馏可能导致学生模型过度依赖教师对这些特定样本的响应，从而限制泛化能力并削弱数据分离带来的隐私优势。

这些观察结果表明，隐私保护的图蒸馏应当控制知识转移的两个互补方面：教师知识在何处转移，以及在何种粒度上转移。首先，公共参考图的支撑应在特征域和拓扑域两方面进行扩展，使学生模型能够从多样化的图上下文中学习，而不是记忆有限的教师响应集。其次，转移目标应强调群体级的表示统计量，而非强制执行逐点模仿，从而减少学生模型对教师编码的样本特定信息的依赖。

基于这一见解，我们提出了DMIA，一个隐私感知的图蒸馏框架，结合置信度引导的参考图扩展与分布级表示转移。DMIA首先引入自适应结构混合（AS-Mixup），利用教师的预测置信度校准混合强度，并通过联合混合节点特征和邻域结构来生成增强节点。该过程扩展了公共参考图的支撑范围，提供了更多样化的蒸馏信号。DMIA进一步引入了基于FID的隐藏表示对齐目标，在增强后的参考图上匹配教师和学生表示的一阶和二阶统计量。与实例级的logit或嵌入模仿不同，该目标转移全局表示结构，而不要求学生模型独立复制每一个教师响应。这两个组件通过联合优化来平衡与任务相关的知识保留、学生模型泛化能力和抗成员推断能力。

本文的主要贡献总结如下：
- 我们从知识蒸馏的角度重新审视图成员防御，将其表述为控制从私有教师模型继承隐私信号的问题。我们识别了该场景下的两个核心挑战：公共参考图有限的特征-拓扑支撑，以及通过实例级模仿转移样本特定教师信息的风险。
- 我们开发了一种置信度引导的自适应结构混合机制，在特征空间和拓扑空间两方面扩展公共参考图。所提机制并非仅将图结构作为GNN的输入，而是显式构造用于蒸馏的增强图上下文，使学生模型能够在不访问私有训练图的情况下从更多样化的参考样本中学习。
- 我们将隐藏表示蒸馏重新表述为Fréchet分布匹配问题。所提的基于FID的目标函数在增强的公共节点上对齐教师和学生表示的群体级一阶和二阶统计量，减少了对单个教师响应的依赖，同时保留了与任务相关的表示结构。
- 我们将参考空间扩展和分布级表示转移整合到一个统一的防御框架中。在多个GNN架构和攻击设置上的实验表明，这两个组件为隐私-效用权衡提供了互补的控制，在降低成员推断风险的同时保持了有竞争力的预测性能。

# 章节片段

## 成员推断攻击

成员推断攻击（MIAs）旨在确定某个样本是否被用于训练目标模型。Shokri等人引入了经典的影子模型攻击，而Yeom等人将成员漏洞与模型过拟合及泛化差距联系起来。然而，过拟合并非成功推断的必要条件，因为即使泛化良好的模型也可能由于训练样本的不同影响而表现出成员依赖行为。

## 问题描述与威胁模型

我们考虑一个图知识蒸馏场景，包含教师模型、学生模型、私有图和公共参考图。教师模型在节点子集上进行训练，而学生模型仅在公共参考图上进行蒸馏，利用从教师转移的知识。我们假设私有图与公共图不相交，因此没有私有节点被直接用于学生模型训练。

攻击者针对已发布的学生模型，旨在确定目标节点是否属于教师的训练集。因此，成员推断攻击...

## 方法

DMIA从两个互补的角度调节图蒸馏：参考空间多样性和表示转移粒度。如图1所示，AS-Mixup在特征和拓扑空间扩展公共图，而Fréchet对齐转移分布级表示统计量而非逐点响应。两者结合提高了泛化能力并减少了从教师继承的成员相关信息。

## 实验设置

我们在黑盒和白盒成员推断攻击下评估DMIA，涉及不同程度的模型访问权限。

**攻击设置：** 对于黑盒评估，我们考虑了基于影子模型的攻击和基于阈值的修正熵攻击。对于每个类别，节点被划分为参考分区和目标分区。目标训练节点被视为成员，而目标分区最后的一部分节点被视为非成员。相同的构造用于影子模型...

## 结论

本文提出了DMIA，一个用于缓解GNN中成员推断风险的基于蒸馏的防御框架。DMIA从两个互补的角度解决知识转移过程中的隐私泄露：AS-Mixup通过置信度引导的特征和结构增强扩展公共参考图的支撑范围，而分布级表示对齐调节教师-学生知识转移的粒度，减少对样本特定信息的过度依赖...

# 未引用参考文献

[4]、[9]、[23]、[38]、[53]

# CRediT作者贡献声明

全兴义：原创草稿撰写、可视化、验证、方法论。
高海昌：审阅与编辑、监督、获取研究资金。
马志轩：审阅与编辑、监督、方法论。
祁福奇：审阅与编辑、监督、概念化。
李博灵：审阅与编辑、方法论、概念化。

# 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能影响到本文所报告的工作。

# 致谢

本工作部分由中国国家重点研发计划（2023YFB3107505）资助，部分由中国自然科学基金（62302371）资助，部分由中国博士后科学基金（GZC20232035）资助，部分由中国博士后科学基金会（2025M771552）资助。

全兴义于2026年获得中国西安电子科技大学计算机科学与技术硕士学位。她当前的研究方向包括图学习、成员推断和对抗攻击。

全兴义 | 高海昌 | 马志轩 | 祁福奇 | 李博灵