EchoMark：一种在基于扩散模型的图像编辑中嵌入数字回声的非侵入式水印方案

《Neurocomputing》：EchoMark: A non-intrusive watermarking scheme by embedding digital echo in diffusion-based image editing

　　

摘要

生成式编辑模型，特别是基于扩散模型的方法，扩展了灵活图像操作的可能性。然而，在AI辅助二次创作的背景下，它们也带来了重大的版权和伦理挑战，尤其是关于衍生作品方面。现有的水印技术主要针对一次性的文本到图像生成而设计，当应用于迭代编辑工作流时存在明显不足。其水印信号可能在AI编辑过程中被移除，或者方法可能无法迁移，或破坏扩散过程，导致严重的语义失真。为解决这些局限性，我们提出了EchoMark，一个专门为AI辅助编辑流水线设计的新颖水印框架。EchoMark通过在图像编辑过程中利用反转后期阶段的潜在表示来嵌入水印。在此阶段，潜在信号非常接近高斯噪声，但仍保留微弱的语义痕迹。应用小波变换来分解潜在空间，并将水印嵌入到其高频子带中。该水印对传统图像攻击具有鲁棒性，并在后续的基于扩散的AI编辑过程中保持高水印可检测性，从而实现衍生内容的可靠追溯。我们的方法是非侵入式的，意味着水印的嵌入对编辑过程引入的干扰有限，从而在整个过程中保持语义一致性。它作为即插即用且无需训练的解决方案运行，确保易于集成和实际可用性。大量实验表明，EchoMark在评估设置下的鲁棒性和不可感知性方面优于对比的基线方法。它为AI生成的衍生品提供有效的版权保护，并支持构建更具问责性和透明度的生成媒体生态系统。

引言

生成式人工智能的快速发展，特别是基于扩散的模型如Stable Diffusion [1]，使用户能够从文本描述中合成真实且多样化的图像。这些技术促进了多个领域的创新，包括动画、设计和广告。然而，照片级真实的AI生成图像在社交媒体上的广泛传播越来越多地模糊了现实与合成之间的界限，促进了错误信息和深度伪造的传播 [2]。此外，这一趋势引发了关于AI生成和AI衍生内容的版权归属、来源和问责制的关键关切。

对此，生成式水印 [3]、[4]、[5]、[6]、[7]、[8] 作为重要的技术对策应运而生。通过将不可感知的标识符嵌入合成过程中，例如像Tree-Ring [9]中那样嵌入在初始噪声模式中，这些方法能够实现来源声明和内容认证，从而支持文本到图像生成中的版权保护。

虽然纯图像生成的水印已被广泛研究，但生成式AI的实际前沿正迅速转向图像编辑。现代编辑模型 [10] 使用户能够通过风格迁移、对象替换和语义细化来修改现有图像，并已在商业应用中广泛采用。与完全由随机噪声初始化驱动的从头生成流水线不同，编辑模型通常通过反转和条件重采样在图像上操作。如图1所示，这种范式转换显著提高了可用性，但同时也引入了更复杂的版权和所有权争议。即使引入了新元素，如果编辑输出的核心表达在很大程度上源自原始作品，仍可能侵犯版权。此外，不当的提示词可能生成扭曲的衍生作品，通过破坏原始创作的完整性而侵犯作者的精神权利。

大多数现有的免训练水印方法是在针对单次图像生成的假设下开发的。具体来说，它们通常假设单一生成过程，对初始噪声的完全控制，以及水印嵌入后潜在表示不再演进。这些假设在实际编辑流水线中不再有效，其中潜在表示通过反转和扩散被反复重建，反转错误在编辑步骤中累积和放大，而嵌入在初始噪声中的水印信号被提示引导的编辑主动抑制。此外，直接将现有水印技术转移到编辑模型中通常会引入额外的副作用。实验证据表明，水印扰动可能干扰模型对编辑指令的解释，导致水印输出与非水印输出之间的语义不一致。另外，由于反转和扩散过程之间的固有对称性，水印信号难以与生成动态完全协调，这可能降低纹理一致性和视觉保真度。这些问题进一步加剧了水印在压缩和噪声等无损攻击下的脆弱性。

现有的生成式水印方案可以大致分为后处理、微调和潜在空间水印方法。后处理方法依赖于表面图像修改，本质上容易受到明确操作表面特征的编辑操作的破坏。基于微调的方法将水印信息嵌入模型参数中，其可检测性取决于原始生成流形。然而，在编辑过程中，编码器将输入投影到编辑模型流形上，抑制异常扰动，从而移除嵌入的水印。潜在空间方法将水印信号嵌入潜在表示中，一些方法可以无需额外训练即可实现。但是，由于提示引导的迭代重建倾向于逐步抑制语义无关的扰动，现有方法嵌入的水印往往在图像编辑场景中退化。

最近的潜在空间水印方法已显示出有前景的鲁棒性和视觉质量。LaWa [11] 在潜在生成过程中引入可训练的水印嵌入模块，Latent Watermark [12] 在潜在扩散空间中学习水印注入和检测，而FreqMark [13] 优化VAE编码图像潜在表示的频率表示。然而，它们的原始公式主要关注图像生成、潜在水印学习或再生鲁棒性，而不是明确描述水印在重复反转-编辑-重建周期中的传播。

基于扩散的图像编辑引入了独特的工作流，其中现有图像首先被反转，然后在新的语义条件下重建。为解决这一设置，EchoMark将水印信息嵌入到用于后续编辑的同一反转轨迹的中间状态中。这种编辑感知且免训练的设计明确将水印插入与编辑过程耦合，旨在提高所考虑编辑模型和参数设置下的实际水印保留率。

为解决这些局限性，我们提出了EchoMark，一个用于提示驱动的AI编辑模型的实用水印框架。术语"echo"反映了所提出方法的在过程嵌入本质。EchoMark将水印嵌入无缝集成到编辑操作的采样过程中，使水印信号与用户指令对齐。这一设计使得在修改预训练扩散模型参数的情况下实现高保真编辑和鲁棒水印生成。EchoMark以即插即用方式运行，针对高保真、版权敏感的编辑流水线，而非通用图像操作系统。此外，EchoMark提供非侵入式水印机制，旨在最小化嵌入信息对语义内容和视觉质量的影响。通过在不损害实用性的情况下启用可追溯性，EchoMark支持平台级治理，保护原创作者的权利，并有助于构建可信的AI增强创意生态系统。

我们的主要贡献总结如下：
•我们提出了EchoMark，一个扩散编辑感知的水印框架，通过引入数字回声机制提高新兴AI编辑工作流中的水印持久性，用于AI生成衍生品的版权追溯。
•我们开发了一种新颖的在过程水印嵌入方案，将版权信息注入中间反转状态，实现非侵入式和即插即用的部署，无需模型微调。
•我们设计了反转过程中的潜在空间频域水印策略，将水印信息嵌入结构化高频潜在表示中，以改进基于扩散编辑下的水印保留，并提供对抗压缩和噪声等常见后处理攻击的鲁棒性。

Section snippets

扩散模型

在图像生成领域，扩散模型已成为新的主导范式 [14]、[15]。其理论基础源于非平衡热力学，通过渐进的前向加噪过程和参数化的反向去噪过程学习复杂的数据分布。与依赖对抗训练的生成对抗网络（GAN）相比，扩散模型基于变分推断优化目标，从而具有更精确的特性

扩散模型中的精确反转

扩散模型通过学习数据分布与噪声先验之间的可逆变换来生成高质量样本。前向扩散过程被公式化为一个随机微分方程（SDE），逐步将数据腐化为噪声。为了消除随机性引入的采样方差，概率流常微分方程被提出作为保持相同边际分布的确定性替代方案：

去噪扩散隐式模型（DDIM）提供了

问题建模

基于上述系统模型和对抗假设，水印设计问题可以公式化为一个受约束的优化问题。设条件为密钥的解码函数为，输出提取的消息。目标是在允许的对抗集合下，实现水印鲁棒性与可检测性之间的有利平衡，同时保持生成图像的质量和模型的编辑功能。具体来说，通过优化水印

数据集准备

我们使用两个基准数据集评估我们的方法，即MS-COCO 2017 [48]和Stable-Diffusion-Prompt1集合。MS-COCO 2017是一个广泛使用的计算机视觉基准，具有复杂日常场景中的多样化对象。我们使用1000个随机选择的标题作为文本提示，为每个标题生成一张图像。Stable-Diffusion-Prompt集合由大约80,000个从在线来源过滤的创意提示词组成，提供

讨论

为进一步评估EchoMark在实际对抗场景中的鲁棒性，我们采用LaMa模型评估其在不同攻击强度下的擦除攻击性能。图15说明了擦除攻击的视觉效果。给定预定义掩码，LaMa移除并重建原始图像的选定区域，生成具有最少感知伪影的视觉合理编辑图像。表11报告了三种攻击下的定量鲁棒性结果

结论

本文提出了EchoMark，一个即插即用的水印框架，通过过程中潜在嵌入保护AI编辑图像。通过在编辑轨迹上的中间潜在表示调节水印信号，EchoMark在评估设置下实现了鲁棒的水印持久性，同时保持视觉质量和语义一致性。所提出的框架保留了编辑模型的原始生成能力，并支持非侵入式部署

CRediT作者贡献声明

Jinhe Li：写作 – 原稿，可视化，方法论，调查，数据整理。Hongxia Wang：写作 – 审阅与编辑，验证，监督，资源，调查。Fei Zhang：写作 – 审阅与编辑。Heng Wang：写作 – 审阅与编辑。

利益冲突声明

作者声明以下财务利益/个人关系，可被视为潜在的利益冲突：
Hongxia Wang报告获得了中国国家自然科学基金委员会（NSFC）的财务支持。Hongxia Wang报告与中国国家自然科学基金委员会（NSFC）的关系包括：资助拨款。如果有其他作者，他们声明没有已知的可能构成利益冲突的财务利益或个人关系

致谢

本工作由中国国家自然科学基金委员会（NSFC）资助，批准号62272331和U25A20422。

Jinhe Li从西藏大学（XU），中国拉萨获得学士学位，从四川大学（SCU），中国成都获得硕士学位。他目前在四川大学，中国成都的网络科学与工程学院攻读博士学位。他的研究兴趣包括图像和视频水印。

Jinhe Li|Hongxia Wang|Fei Zhang|Heng Wang
四川大学网络科学与工程学院，中国四川成都610065