SALT：基于语义引导的扩散模型自适应潜在空间截断采样水印技术

《Journal of Information Security and Applications》：SALT: Semantic-guided adaptive latent space truncation sampling watermarking for diffusion models

　　

郭玉宁|何学文|何悦|陈勇

中国重庆，401331，重庆师范大学计算机与信息科学学院

摘要

扩散模型在内容生成领域的快速普及，凸显了结果可追溯性和版权保护的重要性。然而，现有的潜在空间水印方法往往存在嵌入强度不足以及忽视语义结构的问题。为解决这些缺陷，我们提出了SALT，这是一种无需训练、基于语义引导的扩散模型潜在空间截断采样水印框架。SALT借助CLIP的语义先验，通过语义激活投影来估计扩散潜在空间中的语义响应。此外，我们还引入了高斯空间结构先验，将其与语义激活得分结合，构建语义重要性分布。在受控语义掩码的约束下，SALT对语义敏感维度进行保持分布的适应性截断采样，而对非语义敏感维度则采用常规采样方式，从而在不破坏潜在空间统计一致性的前提下，提升水印信号的检测性和稳健性。大量实验表明，SALT在各种扩散模型和失真场景下都能实现更高的检测精度和更强稳定性，同时保持较低的FID值和较高的语义一致性，显示出其在保障生成模型的可信发布和版权保护方面的高效性与可扩展性。

引言

近年来，由于出色的生成真实度及可控的语义建模能力，扩散模型已成为人工智能生成内容领域的核心支撑技术[1]–[4]。自去噪扩散概率模型被提出以来[1]–[6]，研究人员不断在采样效率、生成稳定性及控制能力等方面取得进展，由此产生了确定性扩散模型[7]、基于分数的生成模型[2]以及潜在扩散模型[8]等多种变体。尤其是潜在扩散模型，它能在压缩的潜在空间中执行扩散过程，大幅降低高维生成任务的计算成本。这一设计使得如Stable Diffusion[8]这样的模型即便在计算资源有限的条件下，也能生成高分辨率、语义连贯的文本到图像输出[9]。在这一框架中，潜在空间不仅编码了简洁的视觉表征，还作为语义对齐、条件控制及生成调度的重要载体。其结构化特性还为内容编辑、语义操控及可逆推理提供了可能。然而，随着扩散模型在各类开放平台和商业系统中的广泛应用，其生成内容的可验证性与可信度问题日益突出。这些模型的高保真生成能力使得它们能够生成几乎与真实图像难以区分的内容，从而引发了伪造与滥用、内容归属以及安全监管等方面的挑战[10]–[11]。因此，在保持生成质量与模型通用性的同时，实现可验证且稳健的隐式水印嵌入，已成为现代生成模型安全治理中的关键问题。

数字水印技术[12]–[15]是保障内容安全与真实性验证的基础技术，已被广泛应用于信息隐藏、篡改检测及身份认证等领域。传统的图像水印方法[16]–[19]通常通过在像素域或频率域嵌入隐式信息，以在检测性与感知保真度之间取得平衡。但这些方法主要是为静态信号设计的，难以适应扩散模型的高维、非线性潜在分布及其复杂的生成流程。近年来，越来越多的研究试图将水印嵌入机制直接集成到扩散过程中。典型的方法包括在初始噪声、潜在变量或条件控制信号中注入可检测的扰动，例如Stable Signature[20]、Tree-Ring[21]和高斯阴影技术[22]，它们通过调整潜在空间采样流程或调度策略来实现隐式信息嵌入。此外，TAG-WM[23]利用潜在表示对像素级操作的敏感性，将水印嵌入扩展到扩散逆过程之中，从而实现篡改检测与定位功能，提升了复杂后期编辑场景下生成水印的检测能力。尽管这些方法证明了在基于扩散的生成流程中引入隐式标识符的可行性，但其整体性能仍受到多种因素的限制。首先，大多数现有嵌入策略依赖于均匀或随机的位置选择，而忽视了潜在维度与语义结构之间的强相关性，这可能导致在语义重要的区域出现可感知的扰动，进而降低生成内容的语义一致性与视觉保真度。其次，这些方法通常采用全局固定的阈值或统一的截断强度，无法适应潜在分布的局部差异，这种不匹配可能会破坏扩散模型的原有一致性，进而影响推理过程的可逆性与稳定性。更为重要的是，现有方法缺乏细粒度、语义自适应的嵌入与检测机制，这大大降低了水印信号在重新扩散、跨模型再生以及各种现实世界失真场景下的可分离性与可恢复性，从而导致其稳健性不足，难以在开放部署环境中实现稳定的检测与可靠的追溯。

为应对这些挑战，我们提出了SALT，这是一种基于语义引导的扩散模型潜在空间截断采样水印框架。与那些主要依赖像素域扰动或统一修改潜在空间的现有方法不同，SALT从潜在空间中的语义建模角度出发进行水印嵌入。在扩散采样阶段，它直接调控潜在变量的分布，从而在保持底层分布不变的前提下实现隐式水印嵌入。SALT的核心思想是通过CLIP驱动的语义先验，引导对潜在空间采样的选择性调节。具体而言，该方法通过基于CLIP的语义编码建立文本语义与潜在维度之间的对应关系，并进一步通过语义激活评分来表征潜在语义的重要性。在引入空间结构先验后，SALT能够构建一个可解释的语义显著性分布，以此指导水印嵌入强度的适应性分配。对于语义重要的维度，会施加较强的截断处理，以提高比特分离度与检测稳健性；而对于语义不敏感的维度，则保持较弱的截断强度，以维持潜在空间分布的一致性。通过这种设计，SALT实现了生成质量与水印稳健性之间的更好平衡。

本文的主要贡献如下：

• •
  我们提出了一种基于CLIP语义先验的潜在空间建模方法。该方法通过跨模态投影与语义激活评分，表征潜在变量在各维度上的语义重要性，并进一步整合空间结构先验以生成明确的语义掩码，从而为自适应水印嵌入提供稳定且精细的语义约束。
• •
  我们引入了一种语义自适应的潜在空间采样策略，该策略能够根据语义重要性动态调节扰动强度，从而在保持潜在空间分布的可逆性及生成过程稳定性的同时，提升水印的分离度，实现语义一致性与时觉保真度之间的有效协调。
• •
  我们在多个版本的Stable Diffusion模型以及不同的失真场景下进行了大量测试，结果表明所提出的SALT框架在稳健性与生成质量方面均表现优异，充分证明了其在实现语义感知型水印嵌入方面的有效性、稳健性及跨模型泛化能力。

章节节选

扩散模型

DDPM[1]、[5]、[6]在高维高斯噪声空间中构建了逐步去噪的马尔可夫链，从而实现从随机噪声到目标数据分布的逐步映射，这一设计显著提升了生成质量与稳定性。后续研究则聚焦于优化采样效率与可控性，其中DDIM[7]通过用常微分方程近似扩散过程来加速采样，而基于分数的

方法

本文提出了SALT，这是一种基于语义引导的扩散模型潜在空间截断采样水印框架，旨在在潜在空间层面实现语义感知、分布保留以及模型独立性，其应用场景如图1所示，整体架构如图2所示。

实验设置

数据集。所有实验都在两个标准的图像-文本对齐基准数据集MS COCO 2017[40]和Flickr30k[41]上进行，以便在多种场景与语义分布下评估生成质量与水印稳健性。为确保广泛的语义覆盖与统计代表性，我们从这两个数据集的标题库中随机均匀抽取了5000条英文文本描述，每条描述用于生成一张图像，从而避免

结论

本文提出了SALT，这是一种基于语义引导的扩散模型潜在空间截断采样水印框架，旨在在保持生成质量的同时，实现稳健、可控且可检测的隐式水印嵌入。与那些主要依赖均匀扰动或固定嵌入结构的现有生成水印方法不同，SALT利用CLIP驱动的语义重要性建模，能够区分不同重要性级别的元素

CRediT作者贡献声明

郭玉宁：写作——审阅与编辑，写作——初稿撰写，可视化，验证，软件，项目管理，方法论，形式分析，数据整理，概念构思。何学文：写作——审阅与编辑，验证，资源获取。何悦：项目管理，调研工作。陈勇：写作——审阅与编辑，监督工作，资源获取。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究工作的已知财务利益或个人关系。