WGLE：面向图神经网络的无后门多比特黑盒水印技术

《Neurocomputing》：WGLE: Backdoor-free and multi-bit black-box watermarking for graph neural networks

　　

• 观察到边可作为图神经网络（GNN）中信息泄露的侧信道。
• 设计边层级距离差（Layer-wise Distance Difference on Edge, LDDE）作为水印载体。
• 提出WGLE，一种无后门、多位数的GNN黑盒水印方案。
• WGLE可在有或无训练数据访问的情况下嵌入水印。
• WGLE在大多数情况下表现出优于现有方案的性能。

**引言**

图神经网络（GNNs）因其擅长捕获图结构数据中的关系结构，被广泛应用于金融[1]、医疗[2]、社交网络分析[3]以及恶意网站防御[4]等领域。开发高性能模型需要大量计算资源和大规模数据集，使其成为有价值的知识产权（IP），容易遭受版权侵权，如未经授权的使用或非法复制[5]。因此，训练良好的GNN模型构成了需要版权保护的宝贵知识产权。

所有权验证被广泛用于保护模型版权[6]、[7]。其目的是判断疑似模型是否为原始模型的未授权副本，还是独立训练的模型。在实际部署中，所有权验证通常在黑盒设置下进行[7]，即无法访问模型的内部参数或架构。验证仅依赖于分析触发图（trigger graph，一种精心设计的输入图，使模型返回预定义的特定输出）的预测结果。黑盒设置下的所有权验证可通过基于后门的黑盒水印或模型指纹识别来实现。然而，两者在实际应用中都存在固有的局限性。

基于后门的黑盒水印方法[8]、[9]将触发诱导的错误分类行为作为水印嵌入到GNN中。如果疑似模型能被后门样本触发，则被验证为副本。虽然有效，但将后门攻击用作水印会对主要任务构成严重的安全威胁。相比之下，模型指纹识别方法[10]、[11]、[12]通过模型相似度比较避免了显式后门，但存在计算开销高、易受后处理（如微调与剪枝）影响以及不可忽视的假阳性率等缺点[13]、[14]。此外，大多数现有GNN所有权验证方法仅限于零位容量，导致三个关键问题：第一，验证者必须为每个受保护的模型维护一个独特的触发图，并在验证疑似模型时测试所有触发器。第二，零位容量下的所有权碰撞概率只能通过经验估计，无法通过数学推导得出。第三，零位水印本质上更加模糊：攻击者可以收集自然错误分类的样本（即误分类并非由水印引起）并用来否认验证[14]、[15]。

这些缺陷揭示了一个根本性的空白：能否在不嵌入后门的情况下，在黑盒设置中验证GNN的所有权，同时支持可扩展的多位数识别？我们的工作旨在填补这一空白，通过系统地研究以下问题：

**P1** 是否存在GNN的内在属性，可在黑盒访问下作为稳定且可控的水印载体，而非依赖后门？

**P2** 能否在不嵌入任何可能被恶意用户利用的后门行为的情况下，实现GNN的黑盒所有权验证？

**P3** 单个触发图能否支持多位水印，即所有者能否从加水印的GNN中提取多位字符串，而不仅仅是产生布尔（是/否）验证结果？

解决这些问题需要重新思考除了单个样本预测之外，信息如何通过GNN预测泄露。为GNN设计无后门、多位数的黑盒水印面临几个基本障碍，如下所示：

1. **黑盒设置中可控载体严重稀缺。** 在黑盒访问中，只能观测到模型预测结果，导致可用的水印载体严重不足。
2. **节点预测与图拓扑之间的耦合。** 在GNN中，预测在样本间并非独立。消息传递机制将节点特征、标签和拓扑纠缠在一起。虽然传统模型（即文本、图像模型）的先前方法利用特定的熵值作为载体而非后门[16]，但GNN预测对微小的局部扰动非常敏感，使得通过此策略嵌入稳定水印变得困难[17]。
3. **单个触发图下的多位容量。** 传统模型在黑盒设置中实现多位容量的一种方法是使用多个独立触发器[18]。然而，该策略仍依赖于后门，且产生的水印容量有限，不适合许多加水印的模型。

这些挑战共同解释了为什么现有GNN水印方法主要依赖基于后门的方案，以及为什么直接将传统模型的水印方法应用于GNN仍然是非平凡的。

我们的关键洞见源于一个基本观察：黑盒GNN不仅揭示单个节点的预测，还揭示了节点之间的隐式关系信息。如图1所示，先前针对GNN的黑盒水印方法仅关注单个样本的预测。GNN通过消息传递机制固有地编码了关系依赖。这些依赖反映在相连节点在特征空间和预测空间中的相对距离上。基于这一观察，我们识别了GNN在黑盒访问下的关系泄露通道，并将其形式化为边层级距离差（LDDE）——即相连节点对之间的预测距离与特征距离之差。关键在于，LDDE具有三个理想属性：首先，它对多种GNN架构具有广泛的兼容性，且可在黑盒访问下计算。其次，通过模型微调可以精确控制特定边的LDDE符号，使其转为期望的符号。第三，此类修改对模型的主要任务性能影响极小。这些属性使LDDE成为理想的水印载体（P1），如第4节所述，可在不引发后门行为的情况下实现所有权验证。

如图1所示，基于后门的水印方法依赖于后门样本激活率，这是一个仅由该比率是否超过预定义阈值决定的单比特指标。某些样本因后门诱导行为被错误分类为特定类别。相比之下，在WGLE中不存在确定性导致指定分类的特征模式。每个节点保留其原始特征，而这些节点之间的边携带特定的LDDE值作为水印（P2）。每条边可被分配一个独特的LDDE值，这些LDDE值的符号形成序列，随后映射为多位二进制字符串（P3）。在验证期间，验证者从疑似模型在触发图上的预测中提取多位水印字符串。每个加水印的模型具有独特的水印字符串，然而所有模型都使用相同的触发图进行查询。

考虑到实际部署需求，我们提出两种水印嵌入设置：**训练图可用设置（S.T.A.）**，所有者利用原始训练图直接作为触发图进行水印嵌入和验证；**训练图缺失设置（S.T.M.）**，所有者生成一张图作为触发图，并利用无数据对抗知识蒸馏在无法访问训练图的情况下嵌入水印。该设置特别适合所有权转移场景，即新所有者仅拥有GNN模型而缺乏训练数据。

我们在六个主流GNN架构和六个真实世界数据集上评估了WGLE以及最先进的GNN黑盒水印方法（GDOA[19]）和指纹识别方法（Canary[20]）。实验结果表明，WGLE实现了100%的所有权验证准确率，同时无后门并支持多位容量。在保真度方面，与GDOA的1.25%和Canary的0.35%相比，WGLE在S.T.A.下平均测试准确率仅下降2.37%，在S.T.M.下下降0.45%。WGLE在所有实验中保持零假阳性率，而Canary在剪枝或微调后表现出非零假阳性率。WGLE在S.T.A.下对模型提取攻击具有鲁棒性，而GDOA在此攻击下表现不佳。

我们提出WGLE，一种面向GNN所有权验证的新型无后门、多位黑盒水印范式。本文的贡献总结如下：

1. **GNN水印的新安全视角。** 我们识别并利用了一个先前被忽视的关系泄露通道（LDDE），并证明其适合作为黑盒水印载体。
2. **面向GNN的无后门、多位黑盒水印框架。** 我们提出WGLE，一种不使用后门的新型GNN黑盒水印范式，使验证者能够通过单个触发图从疑似模型中提取不同的多位水印字符串。
3. **全面的嵌入设置以支持实际部署。** 我们设计了两种互补的水印嵌入模式：S.T.A.用于训练图可用的场景，S.T.M.用于训练图缺失的所有权转移场景。
4. **全面的安全评估。** 在六个数据集和六个GNN模型架构上的实验表明，WGLE实现了完美的所有权验证准确率、零假阳性、高保真度以及对常见所有权攻击（包括剪枝、微调、水印覆盖和模型提取攻击）的强鲁棒性。

**章节片段**

**图神经网络**

图神经网络（GNNs）被广泛应用于各种图处理任务[1]、[2]、[3]、[21]、[22]。GNNs通过迭代地从局部邻域收集信息来为节点创建向量表示（嵌入）。在第$l$层，节点$v$的嵌入$h_v^{(l)}$通过聚合其邻居$u$的嵌入$h_u^{(l-1)}$来计算：
其中$h^{(l)}$表示节点在第$l$层的嵌入，初始值$h^{(0)}$来自节点特征$x$。消息函数计算节点之间交换的消息

**系统与威胁模型**

图2描述了WGLE中的三个实体：原始模型所有者、攻击者和验证者。验证者可以是模型所有者或提供触发图和水印的受信任第三方。

**原始模型所有者。** 模型所有者投入大量资源获得模型，因此持有模型的合法知识产权（IP）权利。
• **目标：** 所有者的目标是以低开销将水印嵌入其拥有的GNN中。当客户端请求时

**关键洞见：LDDE**

LDDE源于GNN中的聚合函数和消息交换机制。LDDE表明，在黑盒查询中，GNN模型不仅输出单个样本的预测，还揭示了样本之间的关系依赖。这使得所有权验证可以依赖于样本的预测或它们之间的关系。我们首先定义LDDE，然后提出三个关键观察。这些观察构成了我们对WGLE的洞见

**WGLE：设计与实现**

我们首先讨论多位数或无后门的其他潜在实现方法。然后描述WGLE水印的生成、嵌入和提取。

**实验**

我们在六个数据集和六个主流模型架构上评估WGLE，以解决以下研究问题：
• **RQ1. WGLE的有效性和保真度。** WGLE能否准确区分加水印的模型和独立训练的模型？与原始模型相比，水印嵌入对主要任务准确率的下降程度如何？
• **RQ2. WGLE的鲁棒性。** 我们评估对四种常见所有权攻击的鲁棒性：剪枝、微调、水印覆盖和

**LDDE的潜在应用**

我们基于LDDE概述了几个潜在的未来研究方向。由于每个训练好的GNN模型对于给定的输入图会产生独特的LDDE值，一个有前景的方向是探索LDDE是否可以作为指纹。由于基于LDDE的水印修改了相连节点之间的距离，而此类距离已知可用于链接窃取攻击[40]、[41]，值得研究LDDE修改是否会破坏这些攻击的成功率。节点之间的距离

**结论**

本文提出了WGLE，一种面向节点级GNN的新型无后门、多位黑盒水印范式。我们引入了边层级距离差（LDDE）的洞见，并通过理论分析和实验证明LDDE适合用于水印。WGLE将所选边的LDDE符号作为水印而非后门机制，消除了后门攻击的风险。通过修改每条所选边的LDDE值来分别

**作者贡献声明**

Tingzhi Li：撰写初稿、可视化、验证、软件、资源、方法论、调查、概念化。Xuefeng Liu：撰写审阅与编辑、监督。Jing Lei：撰写审阅与编辑、监督。

张新刚：监督。
资助信息
本研究受中国河南省高等学校科学研究重点项目（项目编号：24A520032）资助，部分受教育部人文社会科学研究一般项目（项目编号：25YJAZH246）资助，部分受教育信息化发展研究项目（项目编号：2025KT01005）资助，部分受河南省哲学社会科学规划项目资助编号。
利益冲突声明
作者声明不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。
致谢
本研究得到了西安电子科技大学和南阳师范学院的支持。
李挺之是中国南阳师范学院的一名教师。他获得新疆大学计算机科学学士学位和西安电子科技大学硕士学位。他的研究兴趣包括人工智能安全和数据安全。
李挺之 | 刘学锋 | 雷静 | 张新刚