ForenMark：用于潜扩散图像的证据恢复语义密钥水印技术

《Knowledge-Based Systems》：ForenMark: Semantic keyed watermarking with evidence recovery for latent diffusion images

　　

•提出ForenMark，一种取证感知的潜在扩散水印框架。
•使用DINO引导的掩码和提示词条件化的语义键实现鲁棒验证。
•报告真实性、局部一致性、定位、恢复与鲁棒性。

**引言**

潜在扩散模型（LDMs）及相关文本到图像扩散系统迅速将图像生成从研究原型转变为实用的内容生产工具[1]，[2]。这一系列模型现在不仅支持图像合成，还支持更广泛的编辑与控制生态系统，这是视觉与多模态表示研究中所强调的趋势[3]。这一进展为AI生成图像的来源追溯、版权保护、可追溯性以及主动深度伪造防御带来了新的挑战[4]，[5]，[6]，[7]。一旦生成的图像离开原始生成环境，通常会被平台侧压缩、调整大小、重新发布、截图、智能抠图、社交平台转码或进一步的图像编辑[8]，[9]，[10]，[11]，[12]。在现实场景中，验证者接收到的并非原始图像，而是一个其嵌入证据已被削弱的流通样本。

传统的来源追溯线索在这样的环境中是脆弱的。元数据可以被剥离，可见水印可以被裁剪，服务端日志在内容跨平台传播后不会随之移动。最近的主动与被动取证研究通过水印证据、身份感知哈希、噪声与频率伪影、同步线索和定位痕迹来识别生成或篡改的内容[6]，[7]，[13]，[14]，[15]，[16]，但此类事后证据在内容被大量编辑、重新编码或重新生成时可能会被削弱。鲁棒水印仍然是一个更有前景的方向，但生成环境比传统图像水印提出了更高的要求。核心问题不仅是能否在生成时嵌入水印，而是在后处理和重新生成后是否仍能提取可用的取证证据[4]，[5]，[17]，[18]，[19]，[20]。

深度神经水印已经表明，编码器-解码器方案可以在现实失真下联合优化不可感知性与鲁棒性[21]，[22]，[23]，[24]。一些针对潜在扩散模型的近期水印方法进一步扩展了设计空间。Stable Signature将水印嵌入解码器参数中，使图像天生带有签名[18]。Tree Ring通过将结构化模式嵌入初始噪声来对扩散轨迹进行指纹化[17]。更近期的顶级会议研究，包括EditGuard和ProMark，进一步证明水印可以与生成过程集成[19]，[21]。最近的期刊研究也探讨了以分发者为中心的生成器水印、无密钥潜在分布水印、扩散生成图像的鲁棒水印以及扩散模型中的高斯噪声调制[4]，[5]，[20]，[25]。然而，尽管取得了这些进展，鲁棒水印嵌入与图像流通后可靠的取证验证之间仍存在明确的研究差距。现有的扩散水印方法从不同角度研究了生成端嵌入、载荷恢复、检测与定位，但这些功能通常被单独考虑。因此，仅凭鲁棒嵌入并不能保证在后处理和重新生成后仍能获得可靠且可解释的水印证据。

这一差距在三种情况下尤为明显。首先，全局水印分配倾向于将扰动能量分配到平滑的背景区域，导致可见伪影。其次，当提示词条件化验证仅依赖于对文本字符串的直接哈希时，可能会变得语义上脆弱，使良性语义重写难以与真正的语义不匹配相区分。第三，在激进退化或基于扩散的净化之后，验证可能失败，原因并非原始图像缺乏水印，而是嵌入的证据已漂移到提取器的有效工作区域之外。此外，扩散原生水印应与篡改定位、结构化伪造分析、同步以及自恢复感知处理一起分析，而不仅仅是与载荷存活相关[11]，[13]，[14]，[15]，[16]。因此，本研究的目标是开发一个统一的取证感知水印框架，在生成过程中保持视觉保真度的同时，在图像流通后实现语义一致、抗退化且可解释的验证。

为解决上述问题，本文提出了ForenMark，一种用于潜在扩散图像的取证感知水印框架。ForenMark没有将扩散水印视为一次性的嵌入与解码问题，而是将验证组织为一个闭环，将生成过程中的语义分配与测试时的语义键控检查和置信度门控恢复相结合。具体而言，该框架使用DINO引导的语义软掩码分配水印压力，从提示词语义推导验证端键，并且仅对模糊查询图像调用恢复分支，然后进行结构化匹配与局部分析。通过这种方式，ForenMark共同支持真实性评估、面向完整性的局部一致性分析、粗略定位线索以及面向审阅者的恢复参考。大量实验表明，ForenMark在常见退化、重新生成以及语义声明不匹配设置下，同时提供了良好的视觉质量与鲁棒验证性能。

我们的贡献总结如下：
•我们提出了ForenMark，一种用于潜在扩散图像的取证感知水印框架。它将生成过程中的语义分配、语义键控验证、置信度门控恢复和结构化报告集成为一个统一的闭环流水线，用于流通阶段分析。
•我们进一步提出了DINO引导的语义软掩码分配策略，以及提示词条件化的语义键控机制和轻量级恢复模块。这些组件共同提升了视觉保真度，保持了对良性提示词重写的容错能力，并为模糊退化样本恢复了可解码性。
•我们专门设计了一种面向扩散水印的结构化取证分析与评估协议。除全局真实性评分外，该框架还支持面向完整性的局部一致性比率、粗略定位线索、面向审阅者的恢复参考，以及对鲁棒性与虚假接受行为的全面大规模分析。

本文其余部分组织如下：第2节回顾相关工作。第3节提出所提出的框架。第4节报告实验结果与分析。第5节讨论局限性与未来方向。第6节总结全文。

**章节摘要**

**扩散生成与编辑生态系统**

现代生成图像流水线已迅速围绕扩散与潜在扩散架构整合，这一转变由基础扩散论文和近期扩散水印研究所记录[1]，[2]，[4]，[5]。潜在扩散尤其是通过将有噪去除迁移至潜在空间，使高分辨率生成在计算上更加可行[1]。围绕这一骨干架构，一个更广泛的编辑、控制与多模态提示生态系统通过语言条件化逐步涌现。

**问题建模**

设G_θ表示一个潜在扩散生成器。给定提示词p和随机噪声ε，生成的图像为x=G_θ(p,ε)。

我们没有将载荷视为任意自由消息，而是采用提示词条件化的审计载荷。对于每幅图像，首先从声明的提示词派生一个语义键k∈{0,1}^B，嵌入载荷定义为m=Trunc_L(SHA256(k∥ν))，其中ν表示在嵌入时固定的实例级审计元数据。这一构造使得生成时载荷与...

**实验设置**

实验在MS COCO 2017验证集上使用标题作为提示词进行。除非另有说明，定量结果在统一的1000张图像基准上报告，以确保所声明的趋势获得具有统计意义的证据支持。代表性视觉比较使用选定示例以保证可读性，部分专门分析（如边界样本验证）在适当处单独报告。分数分布、ROC、核心消融实验、恢复损失...

**讨论、影响与局限性**

所提出的框架表明，语义分配与验证端恢复可以相结合以提高流通阶段的可追溯性，同时保持可接受的视觉质量。扩展的SOTA研究被有意组织为独立比较而非单一混合表格。Stable Signature作为解码器根植的多比特基线进行评估，而Tree Ring则作为零比特检测器进行评估。这种分离避免了不公正的跨范式评分，同时仍然能够暴露...

**结论**

在本研究中，我们提出了ForenMark，一种用于潜在扩散图像的取证感知水印框架。该方法首先利用语义注意力机制引导水印分配至视觉容忍度高且与内容相关的区域，从而减少对平滑背景区域的不必要干扰。随后，引入了一种语义键控策略，将验证与生成语义绑定，而非仅依赖固定检测器。对于水印验证...

**CRediT作者贡献声明**

陈阳：写作 – 初稿，软件，方法论，概念化。
高斌：写作 – 审阅与编辑，监督，方法论。
李晓白：验证，软件。
李宇通：可视化。
刘书天：写作 – 审阅与编辑，调查，资金获取。
刘正军：写作 – 审阅与编辑，资金获取。

**利益冲突声明**

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

**致谢**

本工作得到国家自然科学基金（12074094，12374271，62375065，62575091，62405079）；黑龙江省自然科学基金联合培育基金（PL2024F035）；黑龙江省教育厅基本业务费项目（2024-KYYWF-0118）；中央高校基本科研业务费（HIT.OCEF.2024055）；哈工大交叉学科研究基金（IR2021237）；自适应国家实验室基金...

陈阳|高斌|李晓白|李宇通|刘书天|刘正军