FedOwner：利用黑盒与白盒水印技术保护图像分类模型

《Image and Vision Computing》：FedOwner: Protecting image classification models using black-box and white-box watermarking

　　

Twinkle Tyagi|Amit Kumar Singh

印度比哈尔邦巴特那国立技术学院计算机科学与工程系

摘要

随着智能设备的广泛应用，包括音频、视频和图像在内的多媒体产品在社交媒体、医疗保健、欺诈检测和金融等众多实际应用领域中得到了迅猛发展。尽管取得了这些成果，但这也引发了关于安全和隐私的严重担忧。由于智能物联网设备产生了大量多媒体产品，尤其是数字图像，如今这些图像常常通过深度学习模型在从计算机视觉任务到安全敏感领域的各种实际应用中得到处理。然而，这类模型可能被用于未经授权的访问，从而侵犯创作者的权利并带来知识产权风险。通常，现有的解决方案采用黑盒或白盒水印技术，但在防止模型版权侵犯方面存在局限性。因此，在本研究中，我们提出了FedOwner这一统一框架，通过结合黑盒和白盒水印技术以及准确识别恶意客户端，来保护图像分类模型的版权。具体而言，我们介绍了三种新机制。首先，以客户端身份信息的哈希值作为种子，生成特定于该客户的触发集，再通过这种触发集与任务特定的随机图像相结合，从而生成唯一的客户端特定触发（水印）集。其次，在不影响整体任务准确性的前提下，将水印适配层整合到模型中，从而提高有效性并通过白盒水印确认所有权。第三，为了识别恶意客户端，利用该客户的触发集对可疑模型进行评估，并通过计算预测概率分布的平均值来确定平均置信度，再将此平均置信度与目标置信度进行比较，以此确认是否存在黑盒水印，进而揭示恶意客户的身份。实验结果表明，FedOwner在准确性方面优于现有的最先进方法，同时还能有效应对不同类型的模型攻击。此外，水印生成过程中所使用的混沌映射还展现出极高的不可预测性。

引言

随着智能设备的快速发展，大量数字产品通过公共网络生成和传输，它们在社交媒体[1]和消费者应用[2]中发挥着重要作用。由于智能物联网设备产生了大量数字产品，尤其是数字图像，如今这些图像常常通过深度学习模型在从计算机视觉任务[3]、[4]、[5]到安全敏感领域[6]、[7]的各类实际应用中得到处理。此外，深度学习模型已成为计算社会系统[1]的主要工具，但同时也引发了关于未经授权使用的严重担忧[1]。目前，具身人工智能环境[8]通过能够感知、处理和交换敏感数据的互联消费设备，提供了多种服务，从而提升人类福祉。根据2025年发布的报告，当前具身人工智能市场的规模为44.4亿美元，预计到2030年将增长至230.6亿美元。然而，传统的深度学习高度依赖集中式数据收集，这引发了关于隐私、安全以及数据泄露风险的严重担忧[10]。联邦学习则提供了一种有前景的隐私保护型分布式架构，它能够在不集中原始数据的情况下实现多中心间的模型协同训练，从而降低隐私风险[11]。

尽管取得了这些进展，但联邦学习方式仍然容易受到对抗性攻击的影响，这在不同任务中的可靠性方面引发了严重担忧[12]，如图1所示。水印技术通过在训练期间或之后将难以察觉且可验证的水印嵌入模型参数或行为中，为防范知识产权侵犯提供了保障[13]。之后可以提取该水印来检测知识产权侵犯行为并确定模型的所有权。水印技术一般分为两种类型：白盒和水盒。白盒水印技术[14]将水印嵌入模型的内部参数中，随后可以通过访问这些参数来提取水印。这种方法适用于模型在本地分布且验证者能够获取其参数的场景。而黑盒水印技术[14]则将水印嵌入模型的行为中，通过使用特殊设计的触发样本来查询模型以实现水印提取。这种方法适用于模型远程托管的情况，即用户无法直接访问内部参数，但可以通过API查询模型。现有的解决方案通常采用黑盒[15]、[16]、[17]、[18]、[19]或白盒水印[20]、[21]、[22]、[23]技术，这些技术限制了各自方法的优势，降低了其在防止模型版权侵犯方面的效果。因此，在本研究中，我们提出了FedOwner这一统一框架，通过结合黑盒和白盒水印技术以及准确识别恶意客户端，来保护图像分类模型的版权。我们的主要贡献包括：

• •
  水印生成：以客户端身份信息的哈希值作为种子，通过特殊的混沌映射生成特定于该客户的触发集。随后将这些生成的值与任务特定的随机图像相结合，从而形成唯一的客户端特定触发（水印）集。
• •
  水印嵌入：将生成的客户端特定触发（水印）嵌入到一个名为适配层的特定层次中，这一操作不会影响整体任务准确性，从而提升了有效性，并通过白盒水印确认了所有权。
• •
  恶意客户端识别：利用该客户的触发集对可疑模型进行评估，然后从预测的概率分布中计算出平均置信度。将提取出的平均置信度与目标置信度进行比较，以此确认是否存在黑盒水印，进而揭示恶意客户的身份。
• •
  大量实验验证：通过大量实验验证了FedOwner的有效性，该框架不仅具备了最先进的性能，还表现出更高的准确性。水印生成过程中所使用的混沌映射进一步体现了其极高的不可预测性。

章节节选

相关工作

近年来，白盒和水盒水印方案已成为保护联邦学习模型所有权的常用方法。文献[15]的作者提出了一种基于冻结水印的联邦学习框架，用于保护知识产权。该框架通过随机噪声与随机模式相结合来创建触发样本，每次聚合轮次后都在服务器端插入水印。不过，这种框架仍然容易受到数据投毒攻击。

提出的方法

我们提出了一项统一框架，通过结合黑盒和白盒水印技术以及准确识别恶意客户端，来保护图像分类模型的版权。该方案分为三个阶段：水印生成、水印嵌入以及版权保护和恶意客户端识别。这些步骤将在后续章节中详细阐述，并在图2中展示。

实验与结果

我们在四种图像分类模型——ResNet18、ResNet34、VGG16和VGG19[24]上，针对CIFAR10、CIFAR100[25]以及德国交通标志识别基准测试集（GTSRB）[26]进行了实验，以评估所提方法的效果。该方法是在PyTorch平台上实现的，实验结果是在A100 GPU上评估的。我们通过在CIFAR10、CIFAR100和GTSRB数据集上训练的ResNet18、ResNet34、VGG16和VGG19模型，来评估所提方法的性能。

结论

基于深度学习的任务在性能上取得了显著提升，但其安全风险却几乎未被深入研究。本研究提出了FedOwner这一统一框架，通过结合黑盒和白盒水印技术以及准确识别恶意客户端，来保护图像分类模型的版权。具体而言，是以客户端身份信息的哈希值作为种子，通过特殊的混沌映射来生成特定于该客户的触发集。

CRediT作者贡献声明

Twinkle Tyagi：撰写——初稿、验证、软件、方法论、研究、形式分析、概念设计。Amit Kumar Singh：撰写——审阅与编辑、验证、监督、软件、方法论、研究、形式分析、概念设计。

利益冲突声明

作者声明，他们不存在任何可能影响本文所述工作的已知利益冲突或个人关系。