FedAWM：非独立同分布（Non-IID）联邦学习中的自适应水印分配

《Knowledge-Based Systems》：FedAWM: Adaptive Watermark Allocation in Non-IID Federated Learning

联邦学习场景下，针对非独立同分布数据中水印任务与主任务冲突的问题，提出自适应水印分配框架FedAWM。通过计算客户端水印适应性(WA)和深度(WD)，动态调整水印样本分配比例，优先让具备更强容错能力的客户端承担更高强度的水印嵌入任务。实验表明该方法在MNIST、CIFAR-10等四个基准数据集上，主任务精度达98.2%-99.6%，水印可检测性达95.3%-98.1%，同时有效缓解梯度冲突和客户端异构性带来的训练不稳定问题，鲁棒性显著优于WAFFLE、FedIPR等基线方法。

　　随着机器学习技术的不断发展，其在多个敏感领域的应用日益广泛，如医疗健康、自动驾驶等。这些应用场景对模型的归属权保护提出了更高的要求，尤其是在分布式环境中，如何确保模型的知识产权不被侵犯成为研究的重要方向。联邦学习（Federated Learning, FL）作为一种分布式机器学习范式，允许多个客户端在不共享原始数据的前提下联合训练一个全局模型，从而在隐私保护与模型性能之间取得平衡。然而，一旦训练完成，这些全局模型仍然面临被滥用或盗用的风险，特别是在开放或半信任的环境中。因此，研究如何在联邦学习框架下实现有效的模型归属权保护显得尤为重要。

模型水印技术作为一种保护模型知识产权的重要手段，被广泛应用于深度学习模型的保护中。根据水印验证过程中对模型参数的访问方式，模型水印可以分为黑盒水印和白盒水印两种类型。白盒水印通常要求模型拥有者能够直接访问模型的内部结构，如网络架构、参数和激活值，从而可以在模型中直接嵌入水印。这种水印方式虽然直观，但对模型的隐私性保护较弱。相比之下，黑盒水印则不依赖对模型内部结构的访问，而是通过输入特定的触发信号来验证模型的归属权。这种验证机制确保了模型的保密性，因此在联邦学习环境中更具吸引力。

然而，在联邦学习的背景下，水印技术的实现面临诸多挑战。一方面，水印任务与主任务之间的梯度冲突可能导致模型性能下降、收敛性受阻以及水印的可信度降低。另一方面，联邦学习中的客户端通常具有非独立同分布（non-IID）的数据，这使得水印的有效性在不同客户端之间存在显著差异。如果采用统一的水印注入策略，将无法充分考虑不同客户端的特性，从而导致水印嵌入效果不一致，甚至可能影响模型的整体性能。

针对上述问题，本文提出了一种名为FedAWM（Adaptive Watermark Allocation in non-IID Federated Learning）的新型方法，旨在优化联邦学习中的主任务和水印任务。FedAWM的核心思想是根据每个客户端的水印嵌入能力动态调整水印的嵌入强度，而不是采用统一的分配策略。通过这种方式，FedAWM能够在不同客户端之间实现更高效的水印嵌入，同时避免对主任务学习的过度干扰。具体而言，FedAWM引入了一个新的指标——水印适应性（Watermark Adaptability, WA），用于量化每个客户端对水印嵌入的接受能力。这一指标的计算基于一个由服务器构建的全局测试集，该测试集使用公开数据集或服务器内部数据进行构建，并且保持类别平衡以确保公平性并防止隐私泄露。

基于水印适应性（WA），FedAWM进一步计算了水印深度（Watermark Depth, WD），用于确定每个客户端应嵌入的水印样本数量。通过引入一种新的分配策略，FedAWM能够根据每个客户端的适应性差异，动态调整水印任务的分配比例。这种策略确保了在具备较高水印嵌入能力的客户端中嵌入更强大的水印，而在适应性较低的客户端中减少或不分配水印任务。这种方法不仅提高了水印的可信度，还有效缓解了水印任务与主任务之间的冲突，从而改善了模型的收敛性和整体性能。

为了验证FedAWM的有效性，本文在四个广泛使用的图像分类数据集上进行了大量实验，包括MNIST、CIFAR-10、CIFAR-100和PathMNIST。实验结果表明，FedAWM在保持主任务准确率的同时，能够实现较高的水印检测可信度，并且在多种攻击场景下表现出较强的鲁棒性。这些攻击包括模型提取、知识蒸馏和对抗性操作等。实验结果还表明，FedAWM在非IID数据分布下能够显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

此外，本文还探讨了现有水印技术在联邦学习中的局限性。许多现有的水印方法在实验评估中未能充分考虑非IID数据的影响，导致在实际应用中水印的有效性不足。这些方法通常采用统一的水印注入策略，即对所有客户端应用相同的触发策略和样本分配，而忽视了不同客户端在数据分布和任务难度上的差异。然而，在现实的联邦学习部署中，客户端的学习能力往往存在高度的多样性。一些客户端可能由于数据稀缺、类别不平衡或分布偏移等问题，难以有效学习主任务。如果对这些客户端施加同样强度的水印任务，可能会对其主任务学习造成显著干扰，最终影响全局模型的收敛性和稳定性。

本文的研究表明，水印的嵌入过程需要根据客户端的适应性进行动态调整。只有在水印分配与客户端的适应性相匹配的前提下，才能实现对模型归属权的有效保护，同时不牺牲模型的实用价值。因此，FedAWM提出了一种动态、协作的水印嵌入方法，根据每个客户端的水印深度（WD）调整水印策略。这种方法不仅能够有效应对客户端的异构性，还能在数据和标签不平衡的情况下保持较高的模型性能。此外，FedAWM在计算上具有较高的效率，使其适用于实际应用中的低开销联邦学习系统。

为了进一步提升水印的鲁棒性，FedAWM引入了多种水印嵌入策略。这些策略包括基于秘密密钥和噪声模式的图像合成，以及根据客户端数据分布的水印分配。通过这种方式，FedAWM能够在不同客户端之间实现更精准的水印嵌入，从而提高水印的检测可信度。同时，这种方法还能有效减少水印任务对主任务学习的干扰，提高模型的整体稳定性。

在实验方面，本文采用了多种评估指标来衡量FedAWM的性能。这些指标包括主任务准确率、水印检测可信度以及对各种攻击的鲁棒性。实验结果表明，FedAWM在保持主任务准确率的同时，能够实现较高的水印检测可信度，并且在多种攻击场景下表现出较强的鲁棒性。此外，FedAWM还能够在非IID数据分布下显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

本文的研究还表明，水印的嵌入过程需要与客户端的适应性相匹配。只有在水印分配与客户端的适应性相协调的前提下，才能实现对模型归属权的有效保护，同时不牺牲模型的实用价值。因此，FedAWM提出了一种动态、协作的水印嵌入方法，根据每个客户端的水印深度（WD）调整水印策略。这种方法不仅能够有效应对客户端的异构性，还能在数据和标签不平衡的情况下保持较高的模型性能。此外，FedAWM在计算上具有较高的效率，使其适用于实际应用中的低开销联邦学习系统。

在联邦学习的背景下，水印的嵌入过程需要充分考虑客户端的异构性。FedAWM通过引入水印适应性（WA）和水印深度（WD）指标，实现了对客户端的动态评估，从而能够根据其实际能力调整水印的嵌入强度。这种方法不仅提高了水印的检测可信度，还有效缓解了水印任务与主任务之间的冲突，从而改善了模型的收敛性和整体性能。此外，FedAWM还能够在非IID数据分布下显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

本文的研究还表明，水印的嵌入过程需要与客户端的适应性相匹配。只有在水印分配与客户端的适应性相协调的前提下，才能实现对模型归属权的有效保护，同时不牺牲模型的实用价值。因此，FedAWM提出了一种动态、协作的水印嵌入方法，根据每个客户端的水印深度（WD）调整水印策略。这种方法不仅能够有效应对客户端的异构性，还能在数据和标签不平衡的情况下保持较高的模型性能。此外，FedAWM在计算上具有较高的效率，使其适用于实际应用中的低开销联邦学习系统。

在联邦学习的背景下，水印的嵌入过程需要充分考虑客户端的异构性。FedAWM通过引入水印适应性（WA）和水印深度（WD）指标，实现了对客户端的动态评估，从而能够根据其实际能力调整水印的嵌入强度。这种方法不仅提高了水印的检测可信度，还有效缓解了水印任务与主任务之间的冲突，从而改善了模型的收敛性和整体性能。此外，FedAWM还能够在非IID数据分布下显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

为了进一步提升水印的鲁棒性，FedAWM引入了多种水印嵌入策略。这些策略包括基于秘密密钥和噪声模式的图像合成，以及根据客户端数据分布的水印分配。通过这种方式，FedAWM能够在不同客户端之间实现更精准的水印嵌入，从而提高水印的检测可信度。同时，这种方法还能有效减少水印任务对主任务学习的干扰，提高模型的整体稳定性。

在实验方面，本文采用了多种评估指标来衡量FedAWM的性能。这些指标包括主任务准确率、水印检测可信度以及对各种攻击的鲁棒性。实验结果表明，FedAWM在保持主任务准确率的同时，能够实现较高的水印检测可信度，并且在多种攻击场景下表现出较强的鲁棒性。此外，FedAWM还能够在非IID数据分布下显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

本文的研究还表明，水印的嵌入过程需要与客户端的适应性相匹配。只有在水印分配与客户端的适应性相协调的前提下，才能实现对模型归属权的有效保护，同时不牺牲模型的实用价值。因此，FedAWM提出了一种动态、协作的水印嵌入方法，根据每个客户端的水印深度（WD）调整水印策略。这种方法不仅能够有效应对客户端的异构性，还能在数据和标签不平衡的情况下保持较高的模型性能。此外，FedAWM在计算上具有较高的效率，使其适用于实际应用中的低开销联邦学习系统。

在联邦学习的背景下，水印的嵌入过程需要充分考虑客户端的异构性。FedAWM通过引入水印适应性（WA）和水印深度（WD）指标，实现了对客户端的动态评估，从而能够根据其实际能力调整水印的嵌入强度。这种方法不仅提高了水印的检测可信度，还有效缓解了水印任务与主任务之间的冲突，从而改善了模型的收敛性和整体性能。此外，FedAWM还能够在非IID数据分布下显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

综上所述，本文提出FedAWM，这是一种适应性水印嵌入方法，旨在解决联邦学习中非IID数据分布下的水印嵌入问题。通过引入水印适应性（WA）和水印深度（WD）指标，FedAWM能够根据客户端的适应性动态调整水印任务的分配比例，从而在不牺牲模型性能的前提下，实现对模型归属权的有效保护。这种方法不仅提高了水印的检测可信度，还有效缓解了水印任务与主任务之间的冲突，从而改善了模型的收敛性和整体性能。此外，FedAWM还能够在非IID数据分布下显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

本文的研究成果表明，FedAWM在联邦学习中具有重要的应用价值。通过动态调整水印任务的分配比例，FedAWM能够在不同客户端之间实现更高效的水印嵌入，从而提高水印的检测可信度。同时，这种方法还能有效减少水印任务对主任务学习的干扰，提高模型的整体稳定性。此外，FedAWM在计算上具有较高的效率，使其适用于实际应用中的低开销联邦学习系统。

在联邦学习的背景下，水印的嵌入过程需要充分考虑客户端的异构性。FedAWM通过引入水印适应性（WA）和水印深度（WD）指标，实现了对客户端的动态评估，从而能够根据其实际能力调整水印的嵌入强度。这种方法不仅提高了水印的检测可信度，还有效缓解了水印任务与主任务之间的冲突，从而改善了模型的收敛性和整体性能。此外，FedAWM还能够在非IID数据分布下显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

本文的研究还表明，水印的嵌入过程需要与客户端的适应性相匹配。只有在水印分配与客户端的适应性相协调的前提下，才能实现对模型归属权的有效保护，同时不牺牲模型的实用价值。因此，FedAWM提出了一种动态、协作的水印嵌入方法，根据每个客户端的水印深度（WD）调整水印策略。这种方法不仅能够有效应对客户端的异构性，还能在数据和标签不平衡的情况下保持较高的模型性能。此外，FedAWM在计算上具有较高的效率，使其适用于实际应用中的低开销联邦学习系统。

在联邦学习的背景下，水印的嵌入过程需要充分考虑客户端的异构性。FedAWM通过引入水印适应性（WA）和水印深度（WD）指标，实现了对客户端的动态评估，从而能够根据其实际能力调整水印的嵌入强度。这种方法不仅提高了水印的检测可信度，还有效缓解了水印任务与主任务之间的冲突，从而改善了模型的收敛性和整体性能。此外，FedAWM还能够在非IID数据分布下显著提高水印的嵌入效果，同时避免对模型整体性能的负面影响。

综上所述，本文的研究成果表明，FedAWM在联邦学习中具有重要的应用价值。通过动态调整水印任务的分配比例，FedAWM能够在不同客户端之间实现更高效的水印嵌入，从而提高水印的检测可信度。同时，这种方法还能有效减少水印任务对主任务学习的干扰，提高模型的整体稳定性。此外，FedAWM在计算上具有较高的效率，使其适用于实际应用中的低开销联邦学习系统。