LatinMark：一种基于拉丁超立方体采样的鲁棒水印技术，用于潜在扩散模型，通过保持分布的重排实现

《Expert Systems with Applications》：LatinMark: Robust watermarking for latent diffusion models via distribution-preserving rearrangement based on latin hypercube sampling

针对AIGC版权保护与溯源难题，提出基于拉丁超立方采样的潜在空间水印框架LatinMark，通过分布保持的变换嵌入不可感知水印，结合部分微调策略降低计算开销，实验验证其鲁棒性和生成质量优于现有方法。

　　

肖凯格|肖明赵|徐莉柴|崔慧群|王玉成

河南大学工业物联网工程技术研究中心人工智能学院，中国郑州450046

摘要

为应对人工智能生成内容（AIGC）快速发展带来的版权保护和来源追踪挑战，在内容生成过程中嵌入可追踪的水印已成为一项关键技术措施。然而，传统的水印技术往往会导致可见的图像失真，从而不可避免地影响图像的保真度。尽管基于AIGC的最新水印方法提高了图像质量，但它们仍然需要耗时的训练或微调，导致较大的计算负担。为了缓解这些限制，本文提出了LatinMark，这是一个联合生成水印框架，它利用扩散模型重新排列潜在分布。具体而言，该方法通过拉丁超立方体采样引导的分布保持变换，将二进制水印编码映射到潜在结构中。通过强制执行全局统计和局部结构约束，重新排列的潜在表示既保证了全局分布的保持，又保证了局部统计的均匀性，从而实现了高保真度的图像生成。此外，为了降低训练开销并提高提取精度，我们使用部分微调策略对潜在扩散模型（LDM）编码器进行了微调。在解码器参数固定的情况下，反转后的潜在表示与原始代码几乎完全相同。最后，我们从水印的鲁棒性、提取精度和图像质量等方面评估了该方法的有效性。实验表明，LatinMark在多种攻击下的真实阳性率为99%，比特精度为97%，FID值为25.24。这证实了该方案在最小化退化的同时具有很强的鲁棒性，超越了大多数现有方法。

引言

去噪扩散概率模型（DDPMs）（Sohl-Dickstein等人，2015年；Ho等人，2020年；Dhariwal和Nichol，2021年；Rombach等人，2022年；Croitoru等人，2023年）已成为多模态内容生成的主要范式，包括图像和文本。这些模型由于其严格的概率基础和出色的生成质量而得到了快速采用。生成机制依赖于一个反向马尔可夫链，该链通过递归细化过程迭代地去噪各向同性高斯噪声，将其转换为高保真度的合成数据。与生成对抗网络（GANs）（Goodfellow等人，2020年；Zhao等人，2024年；Aggarwal等人，2021年；Saharia等人，2022年；Zhang等人，2023年）相比，DDPMs本质上缓解了模式崩溃和训练不稳定的问题，因此在视觉内容生成方面代表了重大突破。特别是在文本到图像的生成中，扩散模型利用跨模态语义对齐，实现了从自然语言描述到高度真实图像的精确映射。因此，这种显著的能力大大降低了专业图像创作的技术门槛，并提高了各个行业的生产力。它们的影响在数字艺术、广告、游戏开发和电影设计等领域尤为明显。

然而，AIGC系统中高真实度、低访问门槛和用户友好界面的结合引入了被恶意利用的巨大风险。因此，这些技术特性直接促进了错误信息的传播、知识产权侵犯和各种非法商业活动。一个显著的例子发生在2025年1月7日丁里县6.8级地震之后，当时有人伪造并广泛传播了“儿童被困在废墟中”的AI生成图像。这种伪造内容在社交媒体平台上迅速传播，引发了公众的广泛关注。恶意利用灾难场景来增加流量不仅加剧了公众的不满，还凸显了滥用AIGC技术所带来的严重社会风险。针对此类威胁，监管机构和研究人员倡导建立前瞻性的风险预防措施，特别是针对虚假信息传播和数字伪造等恶意AI行为。

作为一种主动的认证机制，数字水印将不可察觉的标识符嵌入到生成的内容中，从而实现来源的可追踪性和法律责任。在基于扩散的模型领域，已经提出了几种水印算法范式。如图1所示，现有方法可以根据它们与生成过程的耦合方式分为三类：后处理、生成中和水印嵌入初始噪声。每一类方法在鲁棒性、感知质量和生成灵活性之间都存在不同的权衡。具体来说，后处理技术（Luo等人，2020年；Pang等人，2023年；Yin等人，2022年；Ma等人，2022年）是指将水印应用于模型的输出。这些方法与传统数字水印非常相似，通过直接修改空间像素或变换域特征来嵌入信息。然而，一个核心挑战是鲁棒性和感知质量之间的固有权衡，因为嵌入过程可能会引入可见的失真或持续的统计伪影。为了解决这一冲突，生成中水印技术（Feng等人，2024年；Yuan等人，2024年；Fernandez等人，2023年；Wang等人，2025年）将嵌入机制直接集成到基于扩散的生成过程中，从而使水印成为底层数据分布的内在属性，而不仅仅是附加的噪声。例如，AquaLoRA（Feng等人，2024年）通过在反向去噪过程中微调U-Net参数来嵌入水印。同样，Stable Signature（Fernandez等人，2023年）通过微调潜在解码器来嵌入水印，确保在各种变换下生成图像的可靠检测和识别。尽管它们的集成能力很强，但由于计算复杂度高，这些方法面临显著的限制，需要大量的GPU内存和大量的时间来进行参数优化和模型微调。

为了降低这种高计算成本，开发了初始噪声水印方法（Wen等人，2023年；Yang等人，2024年；Arabi等人，2025年；Luo等人，2025年）。它们的核心原理是通过修改初始潜在噪声的结构来进行模型无关的水印注入。因此，初始噪声水印方法提供了即插即用的能力，无需参数调整或架构修改，从而确保了高度的适应性和灵活性。例如，TreeRing（Wen等人，2023年）将特定模式嵌入到初始噪声的傅里叶域中。然而，这种频域扰动会导致初始噪声偏离标准的高斯分布。因此，这种偏差迫使扩散模型沿着次优轨迹采样，最终导致生成图像的结构失真和纹理退化。随后，Gaussian Shading（Yang等人，2024年）通过使用逆累积分布函数（ICDF）采样策略，实现了显著的里程碑，它在保持全局高斯分布的同时分析地映射水印。然而，Gaussian Shading的一个关键限制是它对初始噪声的局部统计特性的约束不足。虽然理论上对于全局分布对齐非常严格，但基于ICDF的分析采样主要关注全局矩匹配，忽略了局部样本均匀性的显式约束，可能导致高维潜在空间中的统计聚类，从而引入微妙的纹理伪影。此外，Gaussian Shading依赖于像素值的精确数值反演进行解码。这种严格的依赖性使得水印容易受到非线性失真的影响，轻微的数值漂移可能导致解码失败。

为了解决现有方法如何降低图像质量和破坏初始潜在噪声中的标准高斯分布的问题，我们提出了LatinMark。该框架引入了一种基于拉丁超立方体采样（LHS）的分层重新排列机制。通过将概率空间划分为等概率区间，LHS在保持全局分布的同时确保了局部样本的均匀性，有效消除了样本聚类。为了进一步提高鲁棒性，我们引入了一种基于幅度的加权投票策略。LatinMark不是依赖于脆弱的数值反演，而是将水印编码到强信号分量的极性中，即使在严重的几何或信号处理攻击下也能确保可恢复性。因此，我们的方法可以通过标准的逆扩散采样生成带水印的图像，而无需对现有流程进行任何架构修改。本文的贡献如下：

•

本研究提出了LatinMark，一种用于扩散模型的潜在空间水印框架。它利用拉丁超立方体采样（LHS）重新映射初始噪声坐标，在保持全局高斯分布的同时确保局部均匀性。这确保了输出质量和生成性能的保持，而无需对模型进行修改。

•

在本文中，采用了一种冻结微调策略，仅优化LDM编码器，从而实现了稳健的水印提取。这最小化了计算成本，同时确保映射的潜在分布与训练阶段一致，从而减少了编码偏差，并显著提高了提取精度和鲁棒性。

•

在多种扩散骨干网络和对抗性设置中，LatinMark在 watermark 提取精度、鲁棒性和 watermark 图像生成质量方面优于大多数现有方法。在各种攻击下，平均真实阳性率和比特精度仍可分别保持在99%和98%以上。

相关工作

本节回顾了推动所提出的LatinMark框架的基础文献和最新进展。

方法

在本节中，我们首先概述了图2中所示的应用场景和功能。随后，我们提供了所提出水印方法保持分布特性的数学证明。最后，我们详细阐述了图3中所示的水印嵌入、提取和LDM编码器微调过程。从根本上说，LatinMark框架是为潜在扩散模型制定的，基于分布不变性的核心原则。

实验

在本节中，我们通过一系列精心设计的实验系统地评估了所提出的LatinMark水印框架。首先，我们从两个应用场景（版权归属和内容可追踪性）定量评估了该方法的验证性能。然后，我们将所提出的方法与现有基准进行比较，以验证其在面对各种图像失真时的鲁棒性。最后，我们进行了详细的消融研究。

结论

为了解决现有水印技术在图像质量和计算开销之间的平衡问题，本研究提出了LatinMark，这是一种为扩散模型量身定制的、保持性能的水印框架。LatinMark基于拉丁超立方体采样构建了一种保持分布的重新排列机制，将二进制水印信息转换为潜在空间中的结构化操作，同时严格保持了全局和局部的高斯特性。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了河南省科学技术项目（编号262102211060）、河南省高校重点科研项目（授权号24A520003）、河南省自然科学基金项目（授权号242300421404）、中国博士后科学基金（编号2025?M770799）、中国博士后科学基金的博士后奖学金计划（编号GZC20230688）、以及河南省重点研发与推广项目（编号242102211069的支持。