《Journal of Information Security and Applications》：High-fidelity and robust watermarking for diffusion-generated images
编辑推荐：
摘要随着生成式人工智能的快速发展，保护版权并确保扩散模型生成内容的可追溯性已成为信息安全领域的重要挑战。本文提出了一种基于层次特征调制机制的鲁棒且高保真的图像水印框架。与将水印视为独立扰动的传统方法不同，所提出的方法将水印信息嵌入到变分自编码器（VAE）解码器的多级特征中，从
摘要
随着生成式人工智能的快速发展，保护版权并确保扩散模型生成内容的可追溯性已成为信息安全领域的重要挑战。本文提出了一种基于层次特征调制机制的鲁棒且高保真的图像水印框架。与将水印视为独立扰动的传统方法不同，所提出的方法将水印信息嵌入到变分自编码器（VAE）解码器的多级特征中，从而在整个图像生成过程中实现水印的协同嵌入。通过利用解码器的层次化表征能力，所提出的框架增强了水印信息与图像内容之间的耦合，从而在保证视觉质量的同时提高了水印的鲁棒性。实验结果表明，所提出的方法在面对旋转、裁剪和JPEG压缩等多种失真与攻击时表现出强大的抗性，同时保持了高图像保真度、出色的视觉不可感知性以及低误报率。所提出的框架为扩散模型生成图像的版权保护和内容追溯提供了有效的解决方案。
引言
近年来，随着生成式模型的快速发展，基于扩散模型的图像生成技术取得了显著进展。以Stable Diffusion为代表的模型能够生成具有丰富细节和强语义一致性的高质量图像[1]、[2]、[3]，并已广泛应用于内容创作、设计辅助和多媒体生成等领域。然而，这些技术在带来巨大便利的同时，也引发了版权保护、内容追溯以及虚假信息传播等方面的安全问题[4]、[5]。例如，恶意用户可能利用先进的生成模型创建大规模逼真的合成内容，并通过在线平台进行分发，这使得验证生成图像的来源和真实性变得更加困难[6]、[7]。因此，为生成图像提供可靠的身份识别和来源验证机制已成为生成式人工智能安全研究中的重要问题。
图像水印技术被广泛认为是一种解决上述问题的有效方法。其核心思想是将可检测的信息嵌入图像中，同时不影响其视觉质量，从而实现内容追溯和版权保护[8]、[9]。随着扩散模型的快速发展，越来越多的研究将水印机制纳入图像生成流程中。现有的扩散水印方法主要根据水印嵌入的不同阶段进行设计，包括将水印信息嵌入到潜空间[10]、[11]，将水印信号编码到扩散模型的初始噪声中[12]、[13]、[14]、[15]，以及在去噪过程或VAE解码阶段集成水印信息[16]、[17]。这些方法在扩散模型生成图像的版权保护和内容溯源方面展现了良好的性能。然而，在水印鲁棒性、图像质量和训练效率之间实现更好的平衡仍然是一个具有挑战性的问题。
基于上述观察，我们提出了一种面向扩散模型生成图像的多阶段特征级水印嵌入框架。所提出的方法着重于建模水印信息与生成特征之间的耦合关系。通过利用VAE解码过程中不同阶段的中间特征，所提出的框架实现了水印信息与图像特征的协同集成，从而提高了水印的鲁棒性和训练效率。
总之，本工作的贡献如下：
- •
我们充分利用VAE解码器不同层级中间特征的差异性来实现多阶段水印嵌入，这显著提高了水印信息传播的稳定性，并减少了训练时间。
- •
我们将水印嵌入建模为一个特征耦合过程，而非独立扰动。这种学习策略促进了水印信息与生成特征之间更有效的交互，加速了模型收敛，并提高了训练效率。
- •
通过精心设计水印嵌入位置和耦合强度，所提出的方法在各种攻击下比现有方法实现了更强的鲁棒性，同时对生成图像的视觉质量影响极小。
各节摘要
扩散模型
扩散模型近年来在生成建模领域取得了显著进展，并逐渐成为高质量图像生成的重要技术范式[1]、[18]。这些方法通过构建一个逐步添加噪声的随机过程来学习数据分布，然后通过去噪过程逆转该过程[19]。一个代表性框架是去噪扩散概率模型（DDPM）[20]，它将数据生成过程建模为……
方法
水印嵌入与提取的整体流程如图1所示。给定用户提供的文本提示和UserID（即水印消息），使用预训练的潜空间扩散模型（LDM）生成图像，同时在生成过程中嵌入水印。输出的是包含嵌入水印的合成图像。在提取阶段，使用水印解码器恢复嵌入的UserID，然后进行匹配和……
实验
本节介绍了所提出方法的训练实验设置。此外，我们通过与几种基线方法的比较进行性能评估，从鲁棒性和图像质量方面提供定量和定性的评估。此外，我们研究了不同水印消息长度对系统性能的影响，并探索了水印对深度分类器的抗性及其鲁棒性……
消融实验
为了验证我们水印嵌入策略的合理性和有效性，本节进行了系统的消融实验。第5.1节重点讨论了乘性调制和加性调制的粒度配置方案，研究不同调制强度对性能的影响。第5.2节评估了水印嵌入模块数量对鲁棒性和图像质量的影响。
结论
本文提出了一种基于特征调制机制的扩散模型图像水印方案。通过利用VAE解码器内部层级间的特征变化，我们的方法实现了多阶段水印嵌入。该方法显著增强了生成过程中信息传播的稳定性，同时有效减少了模型训练时间。
与传统将水印视为独立扰动的观点不同，本……
CRediT作者贡献声明
Yifan Wei：撰写——初稿。Jianhong Xie：撰写——审阅与编辑。
利益冲突声明
作者声明不存在任何已知的可能影响本文所述工作的竞争性财务利益或个人关系。
Yifan Wei|Jianhong Xie
