综述：半脆弱图像水印技术：综述、分类及研究方向

《Computer Science Review》：Semi-fragile image watermarking: A comprehensive survey, classification, and research directions

　　摘要
保护数字图像的有效手段之一是使用隐形水印。不同的应用场景对水印的抗后期处理能力有不同的要求。鲁棒的水印方案能够抵抗多种修改；而脆弱的水印方案则主要用于完整性控制，即使是对图像进行微小的修改也会被破坏。半脆弱的水印方案结合了鲁棒和脆弱水印的特点，以解决图像认证问题。这类方案的设计确保了在压缩、亮度变化、模糊或旋转等“无害”修改下仍能验证图像的真实性。然而，如果图像内容被篡改（例如通过插入或删除对象），图像真实性验证就能揭示伪造行为。迄今为止，研究人员提出了许多不同的方法来确保数字图像水印的半脆弱性，包括使用传统嵌入方法和神经网络。在这项研究中，我们对半脆弱图像水印方案进行了分类，并回顾了该领域的当前研究。我们根据水印类型、篡改检测方法以及定位和恢复被篡改区域的能力分析了已知方案。同时，我们也讨论了这些方案在嵌入不可见性、鲁棒性和脆弱性方面的有效性。基于回顾结果，我们指出了半脆弱图像水印面临的一些挑战，并提出了对开发数字图像认证工具的研究人员可能有用的方向。

1. 引言
现代世界的一个显著特征是数字信息的持续交换。典型的互联网用户每天都会处理大量数字数据，尤其是数字图像。这些图像的内容可以从简单的图表到全色照片和数字绘画不等。各种在线平台和服务使与他人共享图像变得容易。然而，这种便利性也有代价：与广泛的用户群体共享图像使它们成为版权侵权和恶意修改的潜在目标。潜在的攻击者可能声称拥有某张照片的版权，并欺骗其他人。他们还可以对图像内容进行修改，比如在照片中添加或删除对象。在生成式人工智能的时代，这一点尤为重要，因为攻击者甚至不需要精通复杂的图形设计工具就能制作高质量的伪造图像。因此，版权侵权和恶意图像修改是需要认真对待的严重问题。
解决这些问题的有效方法是使用数字图像水印技术。这些方法以不可见的方式在图像中隐藏一个称为水印的特殊标记。它不会扭曲图像内容，也不会阻止图像被发布在网站、社交网络或作者的作品集中。隐藏过程称为嵌入，而 reverse 过程称为提取。在水印提取阶段，可以从带有水印的图像中恢复水印。提取的水印有助于图像认证、作者识别以及图像修改的检测。因此，图像水印是确保互联网上数字图像共享安全的强大工具。

迄今为止，科学文献中提出了许多具有不同特性的图像水印方案[[1], [2], [3]]。根据鲁棒性标准（即嵌入水印对图像修改的抵抗力），这些方案可以分为三大类：鲁棒水印、脆弱水印和半脆弱水印。鲁棒水印的目的在于保护版权，即使在图像处理、几何变换、内容修改等破坏性影响下也能保持水印的可见性。有些方案主要抵抗某一类型的攻击（如压缩[4,5]、几何攻击[6,7]或打印-扫描[8]），而其他方案则能抵抗多种类型的攻击[9,10]。脆弱水印旨在控制图像的完整性，任何对图像的修改都会导致相应水印片段的破坏，从而实现篡改检测和定位[11,12]。半脆弱水印方案兼具鲁棒性和脆弱性的特点，能够抵抗一些合法场景中的常见图像处理操作，如JPEG压缩、亮度变化或模糊。在这种情况下，修改被认为是无害的，水印表现为鲁棒性。但如果图像内容被以显著影响其内容的方式修改（例如复制粘贴图像片段），则水印表现为脆弱性，并能检测到这种修改。这样的方案在检测图像伪造（甚至是深度伪造[13,14]）方面非常有效。它们考虑了标准用户体验，包括非恶意的图像处理操作。图1展示了脆弱水印、半脆弱水印和鲁棒水印在无害和恶意修改下的区别。

2. 方法综述
实现图像水印的半脆弱性是一项具有挑战性的任务，研究人员提出了多种方法。然而据我们所知，很少有研究以综述的形式总结和分析这些方法。一些综述仅关注鲁棒水印[15]或仅关注脆弱水印[16]。一些作者在图像认证和伪造检测方法的综述中提到了半脆弱水印方案[[17], [18], [19]]。在其他研究中，半脆弱水印方法与鲁棒和脆弱水印方法一起在图像水印的综述中提到[[20], [21], [22], [23]]。但这些综述通常缺乏对半脆弱水印方案的详细研究，包括其分类和特点讨论。它们通常不分析个别方案的鲁棒性和脆弱性属性，也不考虑嵌入质量指标的值或方案所抵抗的攻击类型。关于半脆弱图像水印的综述研究示例包括[24]和[25]。这些研究分别发表于2012年和2017年，因此未能涵盖现代半脆弱水印方案。表1列出了包含半脆弱图像水印方案综述的研究示例。

表1. 图像水印领域的综述研究比较，包括半脆弱水印方案的综述。
| 参考文献 | 年份 | 研究范围 | SFWS（半脆弱水印方案） |
|---------|-----------|-----------------|-----------------|
| [17] | 2008 | 图像认证方法（包括水印） | |
| [24] | 2012 | 变换域中的半脆弱图像水印方法 | |
| [25] | 2017 | 专注于量子水印的半脆弱图像水印方法 | |
| [20] | 2024 | 图像和视频的水印方法 | |
| [21] | 2024 | 图像水印方法 | |
| [22] | 2024 | 图像水印方法 | |
| [23] | 2026 | 包括半脆弱水印方法的图像水印方法综述 | |

基于该领域系统性研究的缺乏，我们在本研究中提出了半脆弱图像水印方法的综述。如表1所示，我们的综述不仅展示了半脆弱图像水印领域的当前最新进展，还针对半脆弱水印的特点对各类方案进行了详细分析。我们的主要贡献如下：
1) 提出了半脆弱图像水印方法的分类，系统化了已知方案的多样性。
2) 总结了半脆弱图像水印领域的当前研究，讨论了水印类型、篡改检测方法以及篡改定位和恢复的具体方法，并提供了主要嵌入质量指标的数值评估。
3) 明确了该研究领域的未解决问题，并提出了有前景的研究方向。

本文的其余部分安排如下：第2节总结了半脆弱图像水印领域的理论背景，包括主要攻击类型、方法分类和性能指标。第3节回顾了传统的和基于神经网络的半脆弱图像水印方案。第4节分析和讨论了综述结果，并提出了当前的问题和有前景的研究方向。第5节总结了我们的综述。它结合了“深度学习”和“伪造”技术，通常指的是使用人工智能来修改图像中人物的外貌[33]。在大多数情况下，这类技术包括面部交换、属性编辑、面部匿名化和表情重现[13]。下载：下载高分辨率图像（174KB）下载：下载全尺寸图像图3. 经典“摄影师”图像的恶意攻击示例：a) 原始图像，b) 对象插入（在右侧添加了一只白鸽），c) 复制粘贴攻击（帽子上的羽毛被复制了），d) 深度伪造（男性的面部被替换）。根据对各种攻击的响应方式，图像水印方案分为三类。脆弱水印被设计成对任何攻击都非常敏感，因为它们的主要目的是控制图像的完整性和真实性。无论图像修改是恶意的还是良性的，水印在图像相关部分被破坏都表明发生了变化。脆弱水印面临的主要挑战是应对故意的攻击，因为这些攻击通常发生在图像伪造场景中。许多脆弱水印方案能够重建被篡改的图像区域[[34], [35], [36], [37]]。鲁棒水印的性质则相反。它们的主要目的是保护数字内容的所有者或作者的权利。这些水印在经过各种修改后仍然能在图像中保留存在痕迹，从而确保可靠的保护[[38], [39], [40]]。鲁棒水印面临的主要挑战是应对高强度的图像处理攻击，如低质量压缩或几何攻击。涉及对象移除或添加的攻击也对鲁棒水印构成挑战，但这些通常超出了典型攻击者的行为范围。在版权侵权情况下，攻击者通常使用具有原始内容的数字对象，并仅在颜色、大小等方面进行微小修改。半脆弱水印旨在检测图像伪造。它们兼具脆弱水印和鲁棒水印的特性，并根据攻击类型表现出不同的行为。如[22]中所述，它们实现了软认证，而脆弱水印则具有硬性完整性标准。在半脆弱水印的背景下，良性修改和恶意修改被分别考虑。假设非恶意修改属于合法情况，因此不被视为对图像完整性和真实性的侵犯。在这种情况下，半脆弱水印的行为类似于鲁棒水印，在修改后仍然保留在图像中。然而，如果有人修改了图像内容，即使用恶意攻击，半脆弱水印就会像脆弱水印一样执行篡改检测和定位。一般来说，半脆弱水印方案可以为特定应用定制允许的修改列表，并调整鲁棒性和脆弱性之间的平衡。半脆弱水印方案的双重特性使其在意外和恶意修改下都具有认证灵活性。因此，我们将注意力集中在图像的不可见和水半脆弱水印上。需要注意的是，半脆弱水印的概念在科学文献中可能有不同的解释。半脆弱水印可以理解为将脆弱水印和鲁棒水印的任务结合在一个方案中。在这种情况下，研究人员通常会在单个图像中嵌入鲁棒水印和脆弱水印[[41], [42], [43], [44]]。在[45]中，提出了一种将两个鲁棒水印嵌入单个图像的方案，其中一个作为缩略图图像用于篡改定位，即解决了脆弱水印的问题。另一种对半脆弱性的理解是不同的嵌入级别对不同类型攻击的抵抗能力，但没有为恶意修改指定严格的标准[46]。这里强调的水印方案在各种应用场景中表现出高效率。然而，在本综述中，我们探讨了水印区分良性修改和恶意修改的能力，并在这个背景下理解半脆弱水印。接下来，我们将讨论在这种限制下的半脆弱图像水印方法。2.2. 半脆弱图像水印方法的分类在本文中，我们提出了一种水印方法的分类，如图4所示。下载：下载高分辨率图像（210KB）下载：下载全尺寸图像图4. 半脆弱图像水印方法的分类。根据嵌入和提取方法，所有方法可以分为传统方法和基于神经网络的方法。传统方法是指不使用神经网络的方案。这些方案使用经典的嵌入操作，如在图像的空间域或频率域中进行最小有效位（LSB）修改或量化索引调制（QIM）。将水印嵌入频率域是半脆弱水印的典型方法，因为这种嵌入可以对许多非恶意图像修改提供鲁棒性。另一类水印方案基于使用神经网络。神经网络在提高鲁棒水印提取精度方面的出色能力[47]也为半脆弱水印提供了实现鲁棒性的有希望的方法。其中一些在所有水印处理阶段都使用神经网络模型，而其他则仅在提取阶段使用。这些方案的一般思想是专门训练模型以确保水印具有半脆弱性。更详细的分类与半脆弱图像水印方案的各种特征相关。第一个特征是水印类型。有两种选择——外部（独立的）水印和基于图像（基于内容的）水印。外部水印是一些与封面图像无关的附加信息。这可以是一个图像标志、文本标识符或使用密钥生成的随机二进制序列。基于图像的水印是使用封面图像元素生成的一些附加信息。在这种情况下，水印的生命周期包括一个称为水印生成的额外步骤。半脆弱水印方案可以根据其篡改检测方法进行分类。盲检测意味着除了带水印的图像外，不需要任何其他信息即可检测和/或定位篡改。带水印图像的元素与嵌入水印之间的内部关系确保了篡改者的检测。这类方案通常使用密钥，但该密钥与输入数据无关，可以用于不同的图像-水印对。否则，需要原始水印或为水印生成的一些唯一数据来根据非盲方法检测和/或定位篡改者。如果这些数据或原始水印丢失，则无法验证带水印的图像。一些半脆弱水印方案仅提供篡改检测。这意味着水印提取和验证步骤回答以下问题：“图像是否包含恶意操作的迹象？”然而，没有关于图像哪些特定区域被修改的信息。其他方案不仅提供恶意操作的检测，还提供篡改区域的定位。通常，这类方案返回一个二进制 distortion 地图，突出显示被篡改的区域。某些半脆弱图像水印方案的另一个特征是恢复被篡改的区域。为此，需要基于原始图像生成额外的恢复数据或恢复水印。恢复水印有时单独存储，在其他情况下，它与验证数据一起嵌入到带水印的图像中。2.3. 半脆弱水印方案的嵌入质量指标用于评估各种半脆弱图像水印方案性能的三个主要指标是不可感知性、鲁棒性和脆弱性。嵌入不可感知性意味着嵌入的水印在带水印的图像中不可见。高水平的不可感知性意味着水印嵌入不会扭曲图像内容，并且嵌入的事实肉眼无法察觉。大多数已知研究使用两个指标来评估嵌入不可感知性：峰值信噪比（PSNR）和结构相似性指数（SSIM）[48,23]。以下公式用于计算 PSNR 指标：(1)???????????=20×log10?255√????????,(2)????????=1??×?????∑??=1??∑??=1(??????????′?????)2，其中 ??????? 是原始图像的一个像素，大小为 ??×??，??′????? 是包含水印的图像中的一个像素。值得注意的是，一些半脆弱水印方案还提供篡改恢复功能。恢复程序后的图像质量通常也使用 PSNR 指标进行评估。SSIM 指标的计算公式如下：(3)SSIM=(2??????????+??1)×(2????????+??2)(??2??+??2??+??1)×(??2??+??2??+??2)，其中 ???? 是原始图像像素值的平均值，???? 是带水印图像像素值的平均值，??2?? 是原始图像像素值的方差，??2?? 是带水印图像像素值的方差，??????? 是两种图像的协方差，??1 和 ??2 是常数。嵌入鲁棒性表征了水印对攻击的抵抗能力。在半脆弱水印的背景下，鲁棒性指标表明嵌入方案如何能够抵御非恶意修改，如亮度变化、压缩或缩放。最常用的评估鲁棒性的指标是归一化互相关（NCC）、比特错误率（BER）和比特正确率（BCR, 1?BER）。NCC 值的计算公式如下：(4)NCC=∑????=1∑????=1(???????×??′?????)√∑????=1∑????=1(???????)23√∑????=1∑????=1(??′?????)2，其中 ??×?? 是水印的宽度和高度，??????? 是嵌入水印的一个位，??′????? 是提取水印的一个位。BER 值的计算公式如下：(5)????????=∑????=1∑????=1(???????⊕??′?????)?????，其中 ⊕ 表示“异或”运算符（XOR）。然而，重要的是要注意，大多数半脆弱方案并不单独评估鲁棒性。它们通过显示嵌入在良性修改下的脆弱性变化来评估鲁棒性。对于半脆弱方案，嵌入鲁棒性决定了在保持高验证准确性的同时可以承受的不同非恶意修改的数量。嵌入脆弱性表征了嵌入方案对带水印图像修改的敏感程度。在半脆弱水印的背景下，脆弱性表明嵌入方案如何能够检测和/或定位恶意攻击。与不可感知性和鲁棒性指标不同，现代论文中并没有所有研究者都使用的单一指标来评估嵌入的脆弱性。用于评估嵌入脆弱性的指标中，最常见的是 BER 和 BCR，它们用于表征提取水印的完整性，以及各种分类问题的指标[[49], [50], [51], [52], [53]]，如真正率（TPR）或召回率（TNR）、假正率（FPR）、假负率（FNR）、准确性（ACC）和 F1 分数。TPR（召回率）显示正确检测或定位的篡改者的比例，计算公式如下：(6)????????=??????????+?????，其中 ????? 是正确检测或定位为篡改者的图像或图像元素的数量，????? 是错误识别为真实的图像或图像元素的数量。TNR 显示正确检测或定位的真实图像或图像元素的比例，计算公式如下：(7)????????=??????????+?????，其中 ????? 是错误识别为篡改者的真实图像或图像元素的数量，????? 是正确识别为真实的图像或图像元素的数量。FPR 是误报概率。该指标显示错误检测或定位为篡改者的真实图像或图像元素的比例。FPR 的计算公式如下：(8)????????=??????????+?????。FNR 是误接受率。该指标显示错误识别为真实图像或图像元素的篡改图像或图像元素的比例。FNR 的计算公式如下：(9)????????=??????????+?????。ACC 指标显示正确结果与其总数的比例，即正确识别为篡改者的结果与正确识别为真实的元素的比例。以下公式用于计算：(10)????????=?????+??????????+?????+?????。精确度值显示正确检测或定位的篡改者相对于所有（真实和错误）篡改者或定位的比例，使用以下公式计算：(11)??????????????????????????=??????????+?????。F1 分数结合了精确度和召回率，使用以下公式：(12)???1????????????=2·Precision·Recall。曲线下面积（AUC）也常用于基于神经网络的方案来评估分类质量[13,54]。3. 半脆弱图像水印方案的综述在本节中，我们介绍了现代半脆弱图像水印方案的综述。我们综述中列出的水印方案适用于 2D 光栅图像。专门的半脆弱水印场景，如验证工程图形[55] 和 3D 对象[56,57] 或零水印方案[58] 不在我们的研究范围之内。在这篇综述中，我们包括了 2016 年至 2026 年间由 Elsevier、Springer、IEEE 和其他出版社发表的文章和会议论文。综述包含了半脆弱图像水印方法，包括传统方法和基于神经网络的方法。我们的动机是调查确保半脆弱嵌入特性的方法，并比较它们的有效性。我们研究的一个重要特点是专注于软认证和部分鲁棒性。这意味着水印方案能够将图像修改分类为良性或恶意修改，或者即使在存在额外“无害”扭曲的情况下，也能忽略一定数量的允许修改并正确检测伪造内容。因此，本综述不包括提出双重水印方案的研究，这些方案使用鲁棒水印来保护版权，同时使用脆弱水印来控制图像完整性。例外情况是使用半脆弱水印而非脆弱水印的双重方案。我们仅考虑能够区分良性与恶意图像修改的方案。描述这些方案的论文通常会提供一些良性与恶意修改的列表，并包含相关的实验结果。因此，纳入综述的研究包含了实验数据，使我们能够评估在水印允许修改和恶意攻击条件下水印方案的行为差异。

3.1 传统方案
在本小节中，我们考虑不使用神经网络的传统半脆弱水印方案。这些方案在图像的空间域或频域中进行水印处理。在处理空间域时，直接修改图像的像素。例如[50]中介绍了一种空间域方案，它适用于医疗图像，并且只允许图像压缩作为处理方式。该方案仅对医学数字成像和通信（DICOM）JPEG和DICOM JPEG2000压缩提供鲁棒性。其设计如下：首先，将鲁棒水印（二进制标志）进行向量化并使用卷积编码来增加冗余性和提高嵌入鲁棒性。接着，使用密钥生成一个伪随机二进制序列作为半脆弱水印。嵌入操作是将水印的一个比特嵌入到3×3块中，嵌入方式是根据比特值和嵌入强度因子增加或减少块内像素的平均值。在提取阶段，根据当前像素值与3×3邻域平均值的比例来决定提取的比特值。然后，鲁棒水印会通过错误校正算法进行验证。提取的半脆弱水印与原始水印进行比较以计算误比特率（BER）指标，超过阈值则表示图像区域被篡改。如果认证过程成功，可以通过插值恢复接近原始的像素值。

大多数半脆弱图像水印方案将水印嵌入频域，因为这可以提供对各种非恶意修改的鲁棒性。在这种情况下，嵌入操作应用于频率变换系数。许多此类方案在小波变换域中操作。这类方案的一般思路如图5所示。水印可以是外部的，但通常是基于原始图像生成的，然后嵌入到频域中形成带水印的图像。在篡改检测阶段，使用带水印的图像生成水印，同时从同一图像的频域中提取水印。最终的水印用于检测和定位篡改者。

下载：下载高分辨率图像（317KB）
下载：下载全尺寸图像
图5. 传统半脆弱图像水印方法的一般流程。左半部分展示了基于图像内容生成水印的嵌入过程，右半部分展示了盲提取水印的过程。
接下来，我们来看一些实际例子。在[59]中，提出了一种用于保护面部图像的半脆弱水印方案。该方案由两部分组成：认证水印和信息水印。认证水印是从16×16图像块的奇异值分解（SVD）系数生成的。特征值按降序排序，前9个值被量化，然后与基于密钥生成的随机矩阵一起用于生成水印。作者随后在图像中检测面部并提取主成分分析（PCA）系数，用这些系数生成信息水印。该方案结合了两种水印并对它们进行加密以增强安全性。最终水印使用基于组的小波量化方法嵌入到中频离散小波变换（DWT）系数中。提取步骤重新生成认证水印并从DWT域中提取两种水印的嵌入比特。篡改检测基于生成的水印比特与提取的水印比特的比较，从而构建篡改检测掩码。进一步通过八邻域特征进行调整。篡改恢复过程是将水印信息比特转换为PCA系数。

在[60]中，提出了一种使用泽尼克矩（ZMM）和Sobel边缘检测器的半脆弱水印方案。首先生成两个水印。为了生成主要水印，对图像应用归一化和三个级别的DWT。Sobel边缘检测应用于低-低（LL3）子带的第三层级，所得到的边缘图被作为水印。为了生成次要水印，从归一化图像的LL3子带中提取泽尼克矩，经过量化过程后形成水印。然后将主要水印使用嵌入强度因子嵌入到小波系数中。方案通过边缘检测找到Sobel边缘点，并以类似方式嵌入次要水印。在嵌入次要水印时采用冗余增强方法，在图像中嵌入多个副本。在提取阶段，从归一化图像的DWT系数中提取主要水印，从Sobel边缘点中提取次要水印（即ZMM比特模式）。通过计算提取的ZMM与生成水印的ZMM之间的加权欧几里得距离（WED）来验证水印的真实性。计算结果与阈值1进行比较，以将修改分类为良性或恶意。提取的主要水印和边缘检测结果用于定位篡改位置。

在[61]中，对原始图像应用了五个级别的DWT。LL5子带系数被量化，量化系数中最显著的比特形成认证水印。为了生成恢复水印，对原始图像应用两个DWT级别，然后使用数据表示组合（DRC）方法形成比特序列。将组合后的水印使用QIM方法嵌入到DWT系数块中。提取阶段比较提取的水印和生成的水印比特以检测篡改区域。通过比较恢复的水印系数来定位篡改区域。

[62]方案将图像划分为不重叠的块，对每个块应用归一化和两级小波变换。从块的LL2区域随机选择元素用于水印嵌入和特征提取。作者指出，在同一域中实现水印嵌入和特征提取可以降低计算成本。提取的图像特征形成特征向量，嵌入位置设置水印向量。嵌入操作基于旋转水印向量，旋转角度根据特征向量和量化步骤确定。在水印提取阶段，进行反向操作以恢复特征向量和水印。接着通过比较恢复的特征和提取的水印生成一致性矩阵。基于此生成扭曲矩阵，通过分析邻域将随机噪声与恶意操作分离。方案通过比较BER指标和扭曲矩阵的篡改簇率（TCR）值与特定阈值[63]来最终判断图像的真实性及篡改者的性质。

[64]方案生成认证水印和恢复水印。前者用于检测和定位篡改者，后者用于恢复被篡改的区域。对图像应用两级整数小波变换（IWT），近似系数二值化后进行异或运算以生成认证水印。作者进一步使用密钥变换结果序列以增强安全性。最终水印使用LSB方法嵌入到细节系数中。带水印的图像传递到恢复水印生成过程的输入端。图像被划分为2×2块，每块分别进行二维离散余弦变换（DCT）和量化，根据系数的符号和最大值确定10个水印比特。方案通过排列和连接结果序列进行压缩并无损传输到接收端。因此，带水印的图像只包含一个水印，即认证水印。在验证阶段，使用归一化汉明相似度（NHS）[65]比较提取和再生的水印。为了定位篡改位置，构建扭曲图并通过邻域分析进行细化。保存的恢复水印用于恢复被篡改的区域。

[66]研究分析了[64]方案的局限性及其改进方案。提出了基于逻辑图动态选择嵌入位置的方法，以防止未经授权的提取和替换。还提出了一种使用块平均值和混沌加密生成恢复标签的新方法。

[67]方案将水印比特嵌入两级IWT的低-高（LH）和高-低（HL）带系数中，使用LSB方法。首先对IWT的LL2带的LSB应用异或运算和二进制密钥矩阵预先生成水印。与嵌入过程并行地进行恢复数据准备，包括对原始图像应用排列变换。在提取阶段，从IWT系数中提取水印比特并与密钥矩阵进行异或运算。同样的异或操作也应用于结果序列和LL带中的序列，从而生成扭曲图。接着计算NHS值，将其与阈值比较以区分真实图像和修改图像。如果图像被篡改，则执行两级篡改检测，包括分析扭曲图的各个片段。在恢复阶段，使用逆排列后的原始图像恢复被篡改的区域。如果扭曲图中存在假阴性比特，则使用图像修复技术恢复未检测到的篡改区域。

[68]方案在DCT域中进行水印嵌入。图像被划分为块，每个块分别进行DCT和两级小波变换。从块的LL2区域随机选择元素用于水印嵌入和特征提取。作者指出，在同一域中同时进行水印嵌入和特征提取可以减少计算成本。提取的图像特征形成特征向量，嵌入位置设置水印向量。嵌入操作基于旋转水印向量，旋转角度由特征向量和量化步骤确定。在水印提取阶段，执行逆过程以恢复特征向量和水印。接下来，通过比较恢复的特征和提取的水印生成一致性矩阵。基于此生成扭曲矩阵，通过分析邻域将随机噪声与恶意操作区分开来。方案比较BER指标和扭曲矩阵的篡改簇率（TCR）值与特定阈值[63]，以最终判断图像的真实性及篡改者的性质。

[64]方案生成认证水印和恢复水印。前者用于检测和定位篡改者，后者用于恢复被篡改区域。首先对图像应用两级整数小波变换（IWT），近似系数二值化后进行异或运算生成认证水印。作者进一步使用密钥变换结果序列以提高方案安全性。最终水印使用LSB方法嵌入到细节系数中。带水印的图像传递到恢复水印生成过程的输入端。图像被划分为2×2块，每个块分别进行二维离散余弦变换（DCT）和量化，根据系数的符号和最大值确定10个水印比特。方案通过排列和连接结果序列并压缩无损传输给接收端。因此，带水印的图像只包含一个水印，即认证水印。在验证阶段，使用归一化汉明相似度（NHS）[65]比较提取和再生的水印。为了定位篡改位置，构建扭曲图并通过邻域分析进行细化。保存的恢复水印用于恢复被篡改的区域。

[66]研究分析了[64]方案的局限性及其改进方案。提出了一种基于逻辑图动态选择嵌入位置的方法，以防止水印被未经授权检索和替换。还提出了一种使用块平均值和混沌加密生成恢复标签的新方法。

[67]方案使用LSB方法将水印比特嵌入两级IWT的低-高（LH）和高-低（HL）带系数中。首先对IWT的LL2带的LSB应用异或运算和二进制密钥矩阵预先生成水印。与嵌入过程同时进行恢复数据准备，包括对原始图像应用排列变换。在提取阶段，从IWT系数中提取水印比特并与密钥矩阵进行异或运算。同样的异或运算也应用于结果序列和LL带中的序列，从而生成扭曲图。接着计算NHS值，将其与阈值比较以判断图像是真实的还是被修改的。如果图像被篡改，执行两级篡改检测，包括分析扭曲图的各个片段。在恢复阶段，使用逆排列后的原始图像恢复被篡改的区域。如果扭曲图中存在假阴性比特，则使用图像修复技术恢复未在先前步骤中检测到的篡改区域。

[68]方案在DCT域中进行水印嵌入。图像被划分为块，各块分别进行DCT，低频区域的部分系数使用JPEG量化矩阵量化。在量化的AC系数中选择两个嵌入位置。水印是基于给定位置DCT系数值与相同位置量化矩阵最大值之差计算得到的认证值。水印嵌入位置的选择取决于相应位置的DCT系数值和混沌映射的元素。嵌入过程是通过在选定位置添加系数和认证值得到的。恢复数据根据[67]中的相同原理生成。在提取阶段，根据嵌入位置的量化系数值构建扭曲图。修改后的区块的邻域分析确保了篡改定位的准确性得到提高。预保存的恢复水印被用来恢复被篡改的区域。方案[69]使用两种水印：YCbCr模型中的Cr分量用于嵌入鲁棒水印；随后依次应用DWT和SVD，然后将也已经过SVD处理的鲁棒水印通过嵌入强度因子嵌入到奇异矩阵S中。Y分量则用于嵌入半脆弱水印。首先对Y分量进行DWT处理，然后利用切比雪夫混沌映射（CCM）初始化完整性验证信息的生成过程，从而创建一个二进制矩阵，并通过QIM方法将其嵌入到High-High（HH）分量中。最终的水印图像包含两种水印——鲁棒水印和半脆弱水印。在提取阶段，鲁棒水印用于验证版权信息。该方案生成一个与嵌入阶段相似的二进制矩阵来提取半脆弱水印。同时，使用QIM方法提取嵌入的比特，从而生成第二个水印矩阵。通过对这两个矩阵应用XOR操作可以识别出被篡改的区域。为了防止由于舍入误差导致的误判，还需进行额外的后处理。如果一个元素的3×3邻域中包含超过4个相同类型的元素，则该元素被视为被篡改的。

方案[70]基于小波包分解（WPD）方法。应用WPD后，将属于同一位置的系数分组到空间频域链（SFC）中，将这些SFC分成具有共同特征的四个容器，并计算容器元素的总和。根据这些总和生成内容依赖型水印：如果总和与零比较的结果为0或1，则相应的位置会被标记为水印。最终水印是通过将内容依赖型水印与用户选定的外部水印进行XOR操作而形成的。水印嵌入过程会考虑总和值与某个阈值的比例，并在必要时对某些SFC进行加性修改。恢复比特是基于原始图像颜色通道的空间摘要生成的，并使用QIM方法嵌入到WPD系数中。在提取阶段，容器以与嵌入阶段相同的方式形成，用于提取水印比特。提取出的水印与原始水印进行比较，然后通过分析错误比特的分布来确定攻击类型。被判定为遭受恶意攻击的位置将使用恢复比特进行修复。

[71]的作者提出了一种基于DWT和错误定位（EL）码的半脆弱图像水印方案。首先对图像应用DWT，将HH区域划分为区块，并为每个区块生成一个伪随机序列（使用密钥）。接着生成一个随图像区块大小变化的随机二进制码字，该码字被视为水印，并将其与随机序列结合后嵌入到HH系数中。在提取阶段，从DWT系数中提取码字。作者采用了三种不同的错误检测策略来构建失真图：第一种策略仅判断码字中是否存在错误；第二种策略定位错误的符号；第三种策略定位错误的比特，但计算成本较高。实验中，作者使用Reed-Solomon（RS）码、Bose–Chaudhuri–Hocquenghem（BCH）码、重复码和EL码比较了这三种策略的性能，结果表明第二种策略与EL码的组合在篡改定位准确性和计算复杂度方面表现最佳。

还有一些方案在DCT域中操作。例如，方案[72]是为对抗JPEG压缩而设计的。应用下采样后，使用8×8区块的DCT系数生成水印。该方案从块的DC系数和两个AC系数生成11位序列。在嵌入阶段，使用伪随机序列对水印进行加密以提高安全性。随后，根据权重函数将水印比特嵌入到8×8区块的中频DCT系数中。在提取阶段，生成两个版本的水印：一个从图像区块中提取，另一个类似于水印生成阶段的过程。通过比较两个水印版本生成篡改图。作者分别对水印的DC部分和AC部分采用不同的邻域特征描述方法，以去除与真实篡改无关的随机噪声。然后利用水印信息恢复被篡改区域，包括使用修复技术。

[73]的作者也提出了一种在DCT域中的半脆弱嵌入方案。他们利用图像区块DCT系数对之间的差异来构建特征数据。该方案有两种变体：一种针对DCT的AC系数，另一种针对DC系数。第一种方案基于使用相邻区块的DC系数估计DCT区块的AC系数；特征数据的每个比特对应于中心3×3邻域区块与其估计值之间的量化差异的奇偶校验。信息嵌入涉及用计算出的补偿值替换原始系数，特征数据经过无损压缩后得到紧凑的摘要，作为数字签名存储以供认证使用。认证阶段从接收到的图像生成特征数据并从中恢复压缩数据。通过对比提取数据和接收数据的XOR操作进行篡改定位。第二种方案采用类似方法，利用相邻DC系数估计中心DC系数。方案的抗恶意和非恶意攻击能力通过一组可配置参数进行调整。

基于傅里叶变换的方案也很常见。方案[52]将两种水印嵌入图像以实现半脆弱性：首先将原始图像划分为区块并应用四元数离散傅里叶变换（QDFT），用户根据密钥预生成二进制认证水印并将其嵌入QDFT系数的实部；随后在逆QDFT后将该水印嵌入到结果水印图像中。此水印由某种双极性同步序列和伪随机均匀双极性序列的元素相乘得到。嵌入操作基于QDFT和改进的均匀对数极坐标映射（IULPM）。提取步骤对水印图像进行几何校正，为此使用IULPM生成映射矩阵，并通过DFT将映射矩阵和原始同步水印转换到频域。通过计算得到的系数确定水印偏移值并进行反向操作以校正图像。接着从校正后的图像中提取认证水印。该方案基于提取的和原始认证水印构建差异图以定位篡改位置，还从水印图像中提取颜色和纹理特征，用于光谱尺度空间分析、流形排序和多视图融合，最终形成融合图。作者提出的篡改传播策略确保了篡改区域的精确定位。

另一个基于QDFT的方案[74]将图像预先划分为四块一组，将半脆弱水印嵌入到每组前三个区块的中频QDCT系数中。使用中间图像生成补偿信息（作为可逆水印），该方法通过计算嵌入前后的频率和空间域差异来捕获差异并生成哈希码以检查完整性。该方案无损压缩可逆水印并将其嵌入到每组第四个区块中。提取步骤提取可逆水印并与生成的水印进行比较，如果匹配成功则恢复原始图像；否则使用支持向量机（SVM）提取半脆弱水印。接下来通过分析频域中的差异图生成实值篡改图，并对结果图进行基于图的优化。最后使用篡改传播策略确定篡改区域。

另一类有趣的方法是基于向量量化（VQ）方法的半脆弱水印方案。[75]提出的方案不使用频率变换，仅使用一种半脆弱水印进行嵌入。鲁棒水印（零水印）不直接嵌入图像，而是在认证过程中为图像生成。首先使用Linde–Buzo–Gray（LBG）算法为特定图像集生成码本，然后将原始图像分割成向量，找到每个向量的最佳码字，并使用这些码字的索引生成二进制序列。最后将用户选择的生物特征图像与生成的序列通过XOR结合得到零水印。还构建索引矩阵并对这些向量使用LSB方法进行修改，然后使用VQ解码器获得水印图像。接收端以类似嵌入过程的方式从接收到的图像生成零水印。对于提取的和原始水印，计算NHS值以判断是否存在篡改；半脆弱水印提取步骤通过VQ编码器获取索引并提取嵌入比特，对提取和原始半脆弱水印进行XOR操作，并对结果失真图进行后处理以去除噪声。通过比较错误像素的比例与固定阈值来判断图像修改是偶然的还是恶意的。

[76]提出了一种基于树结构向量量化（TSVQ）方法和DWT的遥感图像水印方案。嵌入阶段将图像划分为不同尺寸的三维区块，其中两个维度表示空间特征，一个维度表示光谱特征。区块经过DWT处理后，对LL子带应用迭代TSVQ过程，直到结果树的熵值满足要求。这些熵值由伪随机序列确定，用于生成每个区块的水印。由于图像的改变会导致熵值变化，因此该方案能有效检测伪造。由于遥感图像的特殊性，允许的修改范围有限（例如压缩），因此该方案确保了对其JPEG2000压缩的抵抗力。在水印验证阶段，执行类似嵌入的过程来生成树木，然后检查区块的熵值；如果熵值确认，则区块是真实的，否则为被篡改的。

所讨论的水印方案总结在表3和表4中。表3包含了每种水印方案的基本信息，包括水印类型、篡改检测方法、篡改定位和恢复能力以及基本方法。表4揭示了每种方案的不可见性、鲁棒性和脆弱性的水平。不可见性水平通过PSNR和SSIM指标来表征。为了评估鲁棒性，我们提供了一份不会影响篡改检测和定位质量的非恶意修改列表。如果这些修改在相关研究中有所提及，我们还提供了它们的参数。在“脆弱性”一栏中，我们列出了对应方案敏感的恶意攻击类型。如果类型不特定，我们标记为“恶意篡改”。当有可用数据时，我们还提供了脆弱性指标的数值。最后，在“恢复”一栏中，我们提供了篡改恢复后图像的数值特征。此外，在表5中，我们指出了作者在他们的研究中使用的图像数据集（如果指明的话），并说明了使用的图像是彩色的还是灰度的。如果某些方案涉及篡改恢复，恢复后的图像将与原始图像具有相同的位深度。

表3. 传统半脆弱水印方案的关键特征，包括水印类型、篡改检测类型、篡改定位和篡改恢复选项以及基本方法。

| 参考文献 | 水印类型 | 篡改检测 | 篡改定位 | 篡改恢复 | 基本方法 |
|---------|--------|--------|---------|---------|
| [50] | 外部 | 非盲式 | 是 | 否 | 卷积编码、加性嵌入、插值 |
| [59] | 基于图像 | 盲式 | 是 | 是 | DWT、SVD、PCA、量化 |
| [60] | 基于图像 | 盲式 | 是 | 否 | 图像归一化、Zernike矩、Sobel边缘检测、DWT |
| [61] | 基于图像 | 盲式 | 是 | 是 | DWT、DRC、QIM |
| [62] | 外部 | 盲式 | 是 | 否 | 图像归一化、小波变换、向量旋转、量化 |
| [64] | 基于图像 | 盲式 | 是 | 是 | IWT、LSB、DCT、量化、NHS |
| [66] | 基于图像 | 盲式 | 是 | 是 | IWT、LSB、逻辑映射、NHS |
| [67] | 基于图像 | 盲式 | 是 | 是 | IWT、XOR、LSB、NHS、修复 |
| [68] | 基于图像 | 盲式 | 是 | 是 | DCT、量化、混沌映射 |
| [69] | 外部 + 基于图像 | 盲式 | 是 | 否 | DWT、SVD、CCM、QIM |
| [70] | 外部 + 基于图像 | 非盲式 | 是 | 是 | WPD、SFC、QIM |
| [71] | 外部 | 盲式 | 是 | 否 | DWT、纠错码、EL码、QIM |
| [72] | 基于图像 | 盲式 | 是 | 是 | DCT、量化、权重函数隐藏、修复 |
| [73] | 基于图像 | 非盲式 | 否 | 特征数据摘要、DCT、量化 |
| [52] | 外部 | 非盲式 | 否 | QDFT、QIM、IULPM、多尺度特征生成、篡改传播策略 |
| [74] | 外部 + 基于图像 | 盲式 | 否 | QDFT、SVM、基于图的优化、篡改传播策略 |
| [75] | 外部 | 非盲式 | 否 | VQ、LBG、LSB、NHS、XOR |
| [76] | 外部 | 盲式 | 是 | 否 | DWT、TSVQ、熵 |

表4. 传统半脆弱水印方案的性能指标，包括不可见性、鲁棒性和脆弱性。使用的符号：标准差（STD）、质量因子（QF）、缩放因子（SF）、窗口大小（WS）、不适用（N/A）。

| 参考文献 | 不可见性 | 鲁棒性 | 脆弱性 | 恢复 |
|---------|---------|---------|---------|
| [50] | •PSNR: 41.758–55.343 dB | •SSIM: 0.9972–0.9984 | •DICOM JPG |
| [59] | •PSNR: 36.1 dB | •SSIM: 0.83 | •JPG (QF: 50–100) |
| [60] | •PSNR: 40.9 dB | •JPG (QF: 20–80) | •RTN (角度: 5–45) |
| [61] | •PSNR: 40.36–47.46 dB | •SSIM: 0.9713–0.9965 | •JPG (QF: 70–95) |
| [62] | •PSNR: 39.03–42.46 dB | •SSIM: 0.9837–0.9960 | •JPG (QF: 75) |
| [64] | •PSNR: 38.75–42.01 dB | •SPN (sigma: 0–0.1) | •SCN (sigma: 0–0.1) |
| [66] | •PSNR: 40.1467–45.1552 dB | •SSIM: 0.9859–0.9979 | •JPG (QF: 75–100) |
| [67] | •PSNR: 54.6849–54.7752 dB | •SSIM: 0.9979–0.9993 | •SPN (sigma: 0.01–0.5) |
| [78] | •PSNR: 39.55–42.3245 dB | •SSIM: 0.9907–0.9989 | •JPG (QF: 50–90) |

表5. 传统半脆弱水印方案使用的图像数据集（如果指明的话），以及图像是彩色的还是灰度的说明。如果某些方案涉及篡改恢复，恢复后的图像将与原始图像具有相同的位深度。

表5. 用于传统半脆弱水印方案的数据集
| 数据集 | 半脆弱水印方案 |
|------------------|----------------------|
| [[60], [61], [62], [64], [66], [67], [68], [72], [73]] | 如“飞机”、“芭芭拉”、“戈德希尔”、“莉娜”、“辣椒”等经典图像，来自USC-SIPI等来源；灰度 |
| [52, [68, [73], [74], [75]] | 如“飞机”、“芭芭拉”、“戈德希尔”、“莉娜”、“辣椒”等经典图像；彩色 |
| [59] | 面部识别技术（FERET）；灰度 |
| [59] | ImageNet大规模视觉识别挑战2016（ILSVRC2016）；灰度 |
| [59] | 康卡德无损真彩色图像套件（Kodak PCD0992）；彩色 |
| [68] | Korus和Huang的逼真篡改数据集；灰度 |
| [71] | CASIA图像篡改检测评估（CASIA v1.0和v2.0）；彩色 |
| [52, [73, [74]] | 原始图像数据集（RAISE）；彩色 |
| [52, [74] | 如表3、表4、表5所示，传统半脆弱水印方案的一个重要优势是能够定位 distortion；这是本小节考虑的所有水印方案的特征。方案[59,61,64,[66], [67], [68], [72]的另一个优势是具有篡改恢复能力。方案[52,62,64,69]对最多的良性修改具有鲁棒性，而研究[[66], [67], [68]]则研究了对抗最多恶意修改类型的敏感性。本综述中研究的局限性之一是图像数据集的覆盖范围不足，无法有效评估嵌入效果。一些方案仅处理如“狒狒”、“莉娜”、“辣椒”等经典图像，例如[60,61,64,66]和[67]。另一个局限性是在评估方案脆弱性水平时缺乏攻击类型的指定，例如在[59,61,62,71,52]和[74]中。尽管存在一些局限性，但本小节中回顾的所有研究的作者都展示了所提出水印方案的半脆弱性特性，并在不可见性、鲁棒性和脆弱性之间取得了平衡。 |

3.2. 基于神经网络的方案
在本小节中，我们考虑了使用神经网络的半脆弱水印方案。其中一些方案仅在提取水印阶段使用神经网络方法。例如，在方案[49]中，原始图像的副本经过JPEG压缩。该方案计算原始图像与其压缩版本之间的绝对差异，以确定嵌入的差异阈值，使用YUV颜色空间的亮度通道。对原始图像应用提升小波变换（LWT），然后对2×2块应用DCT来形成隐藏空间。水印位嵌入操作使用基于先前计算差异的阈值矩阵修改每个块的DC系数。与水印过程并行，使用Jarvis算法生成原始图像的半色调版本，该版本被视为消息摘要，并与带水印的图像一起传输给接收者。在提取阶段，使用重建的图像摘要和加速鲁棒特征（SURF）方法对带水印的图像进行几何校正。转换到LWT-DCT域后，使用前馈神经网络（FNN）提取水印。通过比较原始水印和提取的水印来检测被篡改的区域，使用XOR操作。邻域分析用于排除孤立的修改像素。在恢复阶段，通过将它们替换为来自恢复摘要的相应像素来恢复被篡改的像素。

研究[53]提出了一种使用两个水印的水印方案。第一个是鲁棒水印，通过将用户选择的二进制标志和使用密钥获得的随机二进制序列应用XOR操作生成。第二个水印是半脆弱认证水印，即一个随机二进制序列。在嵌入之前，进行纹理分析，包括特征提取和k均值聚类，以获取每个图像块的纹理系数。接下来，对图像应用剪切波变换（ST）、LWT和DCT来形成水印隐藏空间。使用QIM方法将鲁棒水印嵌入到DCT系数中。认证水印通过应用相关技术嵌入到高频ST系数中，该技术考虑了先前计算的纹理系数。该方案使用非支配排序遗传算法（NSGA-II）对量化步骤和相关步骤进行优化[77]。在提取阶段，作者使用多层感知器（MLP）获取认证水印。然后方案比较原始水印和提取的水印，并标记为被篡改的区域。排除孤立像素，并应用形态学运算符对篡改图进行后处理。鲁棒水印提取的过程是鲁棒水印嵌入的逆过程。

在[78]中，提出了一种用于医学图像的水印方案。嵌入步骤将彩色图像转换为YCbCr颜色空间，并将图像分割成2×2块。对块应用斜变换（SlT），然后为每个块生成8位水印，将其嵌入到同一块的LSBs中，同时使用逻辑映射进行水印混淆和块排列。在水印提取阶段，图像输入到预训练的深度神经网络的输入，作者特别考虑了残差网络（ResNet）、EfficientNet和视觉变换器（ViT）。为了训练网络，使用了包括原始、内容移除、复制移动、复制粘贴、文本添加和多区域篡改在内的数据集。网络对图像进行分类，确定其是否真实，如果是伪造的，还可以确定攻击类型。该方案的一个有趣特点是分类模型本身也受到半脆弱对抗水印的保护。如果确定图像被篡改，下一步是定位伪造和恢复阶段。在这种情况下，水印从2×2图像块中提取，其中6位被解释为提取的定位位，2位被解释为提取的认证位。然后将提取的认证位与根据水印生成程序为给定块计算的认证位进行比较，不匹配表示块被修改。为了更准确的检测，还将完全提取的8位水印与根据水印生成程序为该块计算的8位水印进行比较。接下来是对被篡改块的自恢复过程。图表的左侧展示了使用嵌入神经网络嵌入水印的过程，其训练包括模拟攻击。图表的右侧展示了使用神经网络提取水印的过程。下面我们考虑一些相关研究的例子。方案[54]基于深度学习，其独特之处在于它使用秘密彩色图像来生成水印。原始封面图像不会影响水印的生成。作者指出，水印与受保护图像内容的独立性增加了对针对性攻击的抵抗力，因为攻击者故意修改水印图像时，这些变化不会被检测到。水印的嵌入和提取分别通过隐藏网络和揭示网络完成。隐藏网络基于具有全卷积层的U-Net架构。作者在训练阶段使用了攻击模块，以确保对典型的图像后期处理操作（如压缩和噪声）具有高鲁棒性，并能够准确检测到恶意操作。该模块包括水平组合的畸变和篡改层来模拟畸变。提取网络基于带有残差连接的卷积框架，其任务是提取水印并恢复秘密图像。接下来，将恢复的秘密图像与原始秘密图像进行比较，形成一个预测掩码以定位被篡改的区域。

在[79]中，提出了一种基于U-Net架构的图像和视频的半脆弱水印方法。预加密的水印和原始数字对象被输入到训练有素的编码器网络中，从而得到带有水印的对象。在提取阶段，带有水印的对象被输入到解码器网络中，该网络最终判断水印图像的真实性。通过神经网络的训练阶段实现嵌入的半脆弱性。训练过程涉及模拟各种图像修改，以确保对畸变的选择性鲁棒性。作者在方案中包括了高斯模糊、压缩、对比度变化、大小调整等非恶意修改。作者将图像合成和面部操作归类为恶意修改。在训练期间，攻击模拟使用篡改掩码，然后从对应于掩码的区域部分去除水印。

[80]中提出的基于深度学习的方案适用于单张图像和视频帧。在训练期间，根据经典加性方案进行嵌入，但嵌入强度系数的值不是固定的，而是通过编码器优化得到的。在训练阶段，同时模拟良性及恶意修改。采用多阶段学习策略，逐步增加非恶意修改的程度，以确保嵌入的选择性鲁棒性。例如，图像最初是未受攻击的，然后添加亮度修改，在中间阶段进行压缩模拟，在后期阶段进行联合攻击。在水印提取阶段，解码器网络提取水印并将其与原始水印进行比较。计算位恢复精度，并将其值与阈值进行比较以判断图像的真实性。篡改定位需要带有水印的图像和像素级比较。该研究的一个特点是实验比较了多种模型，包括卷积神经网络（CNN）、ResNet、长短期记忆（LSTM）模型和U-Net。比较结果显示，基于U-Net架构的编码器表现最佳。

许多研究专注于使用半脆弱图像水印技术进行深度伪造检测。在[13]中，提出了一种基于可逆神经网络（INN）的主动深度伪造检测方案。该方案将可学习的面部模板隐藏在图像中。首先对输入图像和训练好的模板应用小波变换（DWT），然后将结果输入到包含一系列仿射耦合块的神经网络中。训练阶段模拟数据在通信通道上的传输过程，期间对模板进行各种修改。非恶意修改包括高斯模糊、高斯噪声、JPEG压缩、缩放、亮度和饱和度变化。作者使用自混合技术来模拟恶意攻击（深度伪造）。神经网络从图像中重建嵌入的模板以检测深度伪造。所使用的分类器是补丁判别器，通过二元交叉熵损失函数进行训练，它返回图像是深度伪造的概率。该方案旨在检测面部交换、属性编辑和面部匿名化等恶意攻击。

[81]的研究作者还提出了一种半盲式深度伪造检测方案。水印被视为两个相关的伪随机序列，包括身份水印和属性水印。使用面部识别网络从原始图像中提取身份向量，并将身份水印添加到其中。修改后的U-Net架构处理属性特征。属性水印通过迭代自编码器投影进行嵌入。该方案使用自适应注意力去归一化（AAD）生成器来生成带有水印的图像。作者使用一种特殊的噪声层来模拟典型的图像处理操作（如压缩、模糊等），以提高水印对抗非恶意修改的鲁棒性。在图像验证阶段不需要原始水印，这意味着该方案提供了盲检测功能。它估计属性水印与从带有水印的图像中提取的身份水印之间的互相关。

[14]提出了一种基于分形的深度伪造检测方案。该方案创建一个分形矩阵作为希尔伯特曲线的表示，使用一组用户定义的参数（如分形类型、加密密钥等）来生成水印。对生成的水印应用混沌加密。神经网络嵌入方案包括图像特征提取模块、水印扩散模块和水印融合模块。第一个模块提取图像的最重要特征以便后续恢复。第二个模块扩展水印矩阵。第三个模块将图像特征和水印结合以创建带有水印的图像。检测阶段使用解码器网络从图像中恢复水印。方案的设计不仅能够检测图像伪造的事实，还能够定位被修改的区域。

[82]中，半脆弱水印方案是两阶段深度学习基于的反深度伪造系统的一部分。特别是生成对抗性半脆弱水印并添加到图像中，以对抗深度伪造的创建。生成器基于U-Net架构。在训练阶段，该方案使用可微分压缩模块来模拟压缩这种最可能的攻击类型。网络结构包括一个预训练的深度伪造生成模型，可以检测从原始图像和带水印图像创建的深度伪造图像之间的差异。如果主动保护失败且成功创建了深度伪造，基于U-Net架构的特殊检测器将检测水印并判断图像是原始的还是被篡改的。

[83]提出了一种用于医学图像的深度伪造检测方案。该方案使用两种水印：脆弱水印和半脆弱水印。脆弱水印是一个伪随机二进制序列。该方案使用QIM方法将其嵌入到小波变换（DWT）的LH、HL和HH系数中。半脆弱水印是一个均值为零、方差为单位的基于高斯分布的实值序列。该方案使用扩频方法将其嵌入到DCT的中频系数中。提取阶段通过相应方法的逆过程从DWT和DCT系数中提取水印。尽管嵌入本身包含频域元素的经典变化，但该方案在嵌入和提取阶段使用神经网络。在嵌入阶段，使用多尺度注意力机制根据图像的不同区域自适应调整嵌入强度。提取步骤生成一个包含提取水印信息的特征张量，并将其输入到仅在真实图像上训练的堆叠自编码器中。自编码器根据重建误差判断图像的真实性，然后使用轻量级U-Net来改进误差图。此外，使用基于梯度的可解释性层进行临床解释。

[84]提出了一种基于潜在扩散模型（LDM）的半脆弱水印方法，该方法将水印作为图像在潜在空间中的语义内容的一部分。假设深度伪造通常针对面部，因此将水印嵌入到图像的面部区域。使用外部二进制水印进行嵌入。局部熵感知模块根据纹理复杂度调整嵌入强度，以确保高水平的嵌入不可察觉性。纹理复杂的区域具有较高的嵌入强度，而平滑区域的嵌入强度较低。解码器架构基于隐藏数据与深度网络（HiDDeN）方法[85]。提取阶段从可能被攻击的图像中提取水印。提取器的对抗性训练确保了对JPEG压缩或亮度调整等典型图像处理操作的鲁棒性。将提取的水印与原始水印进行比较以计算比特准确率。如果获得的值超过阈值，则认为图像是真实的，否则被认为是被篡改的。

表6总结了所考虑的水印方案的主要特征。表7展示了这些方案的主要性能指标。此外，表8列出了作者在研究中使用的数据集。从表6、表7和表8可以看出，基于神经网络的水印方案的主要优势是对大量良性修改具有鲁棒性。方案[49,53]和[81]在所考虑的方案中显示出最高的鲁棒性水平。研究[49]和[80]调查了对最多类型恶意修改的敏感性。方案[13,14,81,82,83]和[84]的优势在于能够检测深度伪造。方案[49,53,78,54,80,14]和[83]的优势在于能够定位被篡改的区域。只有方案[49]和[78]提供了对被篡改区域的恢复，这可以被视为它们的另一个优势。与传统方案一样，一些方案的局限性包括在不同图像数据集上的泛化能力不足[49]和[53]，以及缺乏关于恶意修改检测的攻击类型规范[79]和[82]。然而，我们可以注意到，所考虑研究的作者在嵌入质量的关键指标之间找到了平衡，并确保了嵌入的半脆弱性。

表6. 基于神经网络的半脆弱水印方案的关键特征，包括水印类型、篡改检测类型、篡改定位和篡改恢复选项以及基本方法。
| 水印类型 | 篡改检测 | 篡改定位 | 篡改恢复 | 基本方法 |
|---------------|--------------|---------------|-------------|------------------|
| [49] | 外部 | 非盲 | 是 | 半色调、LWT、DCT、SURF、FNN |
| [53] | 外部 | 非盲 | 是 | ST、LWT、DCT、MLP、NSGA-II、k-means clustering、QIM |
| [78] | 基于图像 | 盲 | 是 | SlT、LSB、逻辑映射、ResNet、EfficientNet、ViT |
| [54] | 外部 | 非盲 | 是 | U-Net、攻击模拟 |
| [79] | 外部 | 盲 | 否 | U-Net、攻击模拟 |
| [80] | 外部 | 非盲 | 是 | CNN、ResNet、LSTM、U-Net、攻击模拟 |
| [13] | 基于图像 | 非盲 | 否 | INN、DWT、攻击模拟 |
| [81] | 外部 | 盲 | 否 | 面部识别网络、U-Net、攻击模拟、AAD生成器 |
| [14] | 外部 | 非盲 | 否 | 深度学习、希尔伯特曲线、混沌加密 |
| [82] | 基于图像 | 盲 | 否 | U-Net、JPEG压缩模拟 |
| [83] | 外部 | 盲 | 是 | 多尺度注意力机制、DWT、DCT、堆叠自编码器、基于梯度的可解释性层 |
| [84] | 外部 | 非盲 | 否 | LDM、HiDDeN |

表7. 基于神经网络的半脆弱水印方案的性能指标，包括不可察觉性、鲁棒性、脆弱性和恢复能力。使用的标识：标准差（STD）、质量因子（QF）、缩放因子（SF）、窗口大小（WS）、不适用（N/A）。参考文献：不可感知性、鲁棒性、脆弱性、恢复能力[49]•PSNR：40.9769–46.7033 dB•SSIM：0.9804–0.9988•HSE•SHR（强度：2–20）•SPN（密度：0.01–0.1）•GSF（sigma：0.1–0.6）•SCN（sigma：0.005–0.01）•JPG（QF：50–90）•JPG2（QF：60–90）•TRN（‘100,100’和‘150,150’）•CRP（25%）•SCL（1.1–1.5）•RTN（角度：1–35）•BRC（60–100）•混合攻击•复制粘贴TPR：87.28–99.13FPR：1.72–6.81•复制粘贴+CRPTPR：99.31FPR：13.25•对象插入TPR：95.85–99.37FPR：7.52–8.91•对象插入+CRPTPR：98.44FPR：2.46–5.59•VQ+CRPTPR：97.95FPR：1.62•恶意篡改PSNR：约34–41 dBSSIM：约0.85–0.99[53]•PSNR：34.49–40.73 dB•SSIM：0.857–0.97•SPN（密度：0.01–0.04）•SCN（方差：0.01–0.02）•GSN（方差：0.001–0.004）•JPG（QF：70–100）•JPG2（压缩比：1–10）•BRC（攻击强度：10–100）•SHR（攻击强度：0.2–2）•GSF（攻击强度：0.1–1）•HSE•AVF（WS：3 × 3）•MDF（WS：3 × 3）•SCL（0.5, 2）•LSBs变化（2–4）•恶意篡改TPR：约95–100ACC：约80–100FPR：约0–0.12•对象插入TPR：71.09–81.23ACC：97.19–98.63FPR：0.1–0.79•复制粘贴+VQTPR：71.43ACC：98.88FPR：0.69N/A[78]•PSNR：44.91 dB•SSIM：0.9624•JPG（QF：85）•GSN（方差：0.005）•RTN（角度：2）•对象移除精度：约0.94–0.99ACC：约0.98–1•复制粘贴精度：约0.93–1ACC：约0.98–1•对象插入精度：约0.91–0.98ACC：约0.98–1•对象移除PSNR：约26–42 dBSSIM：约0.68–0.95•复制粘贴PSNR：约25–40 dBSSIM：约0.65–0.95•对象插入PSNR：约27–40 dBSSIM：约0.68–0.95[54]•PSNR：38.05 dB•SSIM：0.94•GSF（STD：0.1–0.8）•JPG（QF：40–100）•CRP（大小：50–100%）•水平翻转•颜色调整•复制粘贴AUC：0.9139–0.9793FPR：0.0144•修复AUC：0.9080–0.9991FPR：0.0176•对象插入AUC：0.9210–0.9959FPR：0.0124N/A[79]•PSNR：35.43 dB•SSIM：0.962•GSF（sigma：0.1–0.8）•CRP•RTN•CNC•BRC•TRN•JPG（QF：30–100）•恶意篡改AUC：0.996N/A[80]•PSNR：39.44 dB•SSIM：0.981•BRC•GSF•CNC•对象插入BCR：0.5346–0.5625•复制粘贴BCR：0.5328–0.5626•修复BCR：0.4971–0.5242•RTNBCR：0.4901–0.5043N/A[13]•PSNR：57.50–57.89 dB•SSIM：0.998•JPG（QF：55–95）•GSN（STD：0.01–0.05）•GSF（STD：1.2–2.0）•SCL（SF：0.5–0.9）•BRC（因子：0.8–1.2）•STR（因子：1.2–2.0）•面部交换AUC：99.86–100%•属性编辑AUC：99.5–100%•匿名化AUC：100%N/A[81]•PSNR：38.9975 dB•SSIM：0.9865•JPG•SCL•GSF•MDF•BRC•CNC•STR•色调•SPN•GSN•面部交换ACC：71.37–99.00%•属性编辑ACC：72.75–98.67%N/A[14]•PSNR：35.926–38.129 dB•SSIM：0.974–0.981•JPG•GSN•GSF•MDF•SCL•CRP•面部交换AUC：99.99%•面部重建AUC：99.99%N/A[82]•PSNR：46.27–46.55 dB•SSIM：0.9853–0.9887•JPG（QF：40–100）•GSN（0.01–0.04）•SCL（3/4, 5/4, 3/2, 7/4）•GSF（0.4–0.7）•重复压缩（2–5）•元数据去除•自适应攻击•深度伪造TPR：0.9746–1.0N/A[83]•JPG（QF：70–85）•SCL和恢复：90%•CNC（10%）•GSF（sigma：0.5）•JPG+SCL+CNC•RTN（5度）•TRN（5像素）•深度伪造（对抗性攻击，基于GAN的攻击，复制粘贴，修复）ACC（检测）：97.6%ACC（定位）：98.1%精度（检测）：97.1%召回率（检测）：97.0%F1分数（检测）：97.0%F1分数（定位）：90.4%AUC（检测）：0.989N/A[84]•PSNR：40.62 dB•SSIM：0.980•JPG（QF：20–80）•色调（0.1）•BRC（因子：0.5–1.1）•STR（因子：0.5, 1.2–1.8）•面部交换BCR：0.2292–0.3542•属性编辑BCR：0.4375–0.4792•潜望编辑BCR：0.5812N/表8. 用于基于神经网络的半脆弱水印方案的数据集数据集半脆弱水印方案来自USC-SIPI和其他来源的经典图像，如“飞机”、“Barbara”、“Goldhill”、“Lena”、“Peppers”等；彩色、灰度[49,53]Flickr-Faces-HQ（FFHQ）；彩色[13,54,81,84]CelebA或CelebA-HQ；彩色[13,14,54,[79], [80], [81], [82],84]CASIA图像篡改检测评估（CASIA v1.0或v2.0）；彩色[54]Columbia图像拼接检测数据集；彩色[54]Microsoft常见上下文对象（MS COCO）；彩色[54]MIRFLICKR；彩色[79,80]UCF-101；彩色[79,80]VGGFace2；彩色[13]野外标记面孔（LFW）；彩色[14,82]CheXpert；灰度[83]肝脏肿瘤分割（LiTS）；灰度[83]ISIC 2019；彩色[83]4. 综述结果在本节中，我们分析了半脆弱图像水印方案的研究结果，强调了这一研究领域的当前挑战，并提出了有前景的研究方向。4.1. 统计和分析我们的综述包括了2016年至2026年间发布的30种半脆弱图像水印方案。其中，18种是传统方案，12种是基于神经网络的方案（图7）。下载：下载高分辨率图像（180KB）下载：下载全尺寸图像图7. 综述中研究的分布：a）按主要嵌入方法分类，即传统方案或基于神经网络的方案；b）按出版年份分类。在传统方案中，有6种方案仅使用外部水印，9种方案仅使用基于图像的水印，另有3种方案使用两种不同的水印。大多数方案（18种中的13种）提供盲提取水印的功能，这只需要水印图像即可完成提取。我们的综述表明，传统图像水印方案在检测和定位各种类型的恶意攻击方面非常有效，包括添加和删除对象以及复制粘贴。方案[50,60,69,70]和[75]还将裁剪操作定义为图像的恶意修改。方案[66]在恶意修改列表中包括了RTN和SPN。正如综述所示，所有传统方案都能定位被篡改的区域。同时，只有8种方案提供了被篡改区域的恢复功能。在鲁棒性方面，这些方案可以分为低、中、高三个级别。能够抵抗1–2次非恶意修改的方案可以被认为是低鲁棒性方案。这些研究包括[50,59,61,66,67,71,72]和[76]。值得注意的是，几乎所有这些方案都能抵抗JPEG压缩。图像压缩在内存消耗的背景下被广泛用于图像存储和传输。因此，在绝大多数情况下，压缩被视为允许的操作。在某些情况下，例如处理医疗图像时，这是水印图像唯一的合法后处理操作。其他方案提供了更灵活的处理水印图像的场景。我们认为能够抵抗3–7次非恶意修改的方案具有中等鲁棒性，这些方案包括[60,68,69,73]和[75]。除了压缩之外，这些方案还允许用户进行一些几何变换，如旋转，以及典型的图像处理操作，如添加噪声和模糊。能够抵抗8次或更多次非恶意修改的方案可以被认为是高鲁棒性方案。 such schemes include [52,62,64,69] 和 [74]。这些方案允许用户灵活调整图像的亮度和对比度，应用缩放、噪声和滤波，以及各种混合修改。只有涉及修改内容的攻击才会被检测为恶意攻击。在基于神经网络的方案中，有9种方案使用外部水印，只有3种方案基于原始图像生成水印。只有5种方案提供盲检测和定位的功能，而7种方案需要额外的数据来完成这些任务。超过一半的方案（12种中的7种）以检测篡改为特征，而其他方案则以检测篡改为特征。与传统半脆弱图像水印方案不同，一些基于神经网络的方案被开发用于检测深度伪造，这些方案在[13,14,[81], [82], [83], [84]中有所介绍。根据之前提到的分类鲁棒性级别的方法，方案[13,14,54,[78], [79], [80], [81], [82], [83],[84]可以被归类为具有中等鲁棒性，而[49,53]和[81]可以被归类为具有高鲁棒性。大多数基于神经网络的方案在训练阶段使用模拟攻击（无论是恶意的还是非恶意的），这提高了鲁棒性和脆弱性。图8显示了本综述中考虑的所有半脆弱水印方案的主要特征统计信息。表9、表10和表11提供了本综述中考虑的所有研究在鲁棒性和脆弱性方面的分类。表9显示了不同方案的鲁棒性级别。表10列出了半脆弱水印方案能够抵抗的攻击类型。表11列出了半脆弱水印方案对哪些攻击类型敏感（如果相关论文中提到了特定的攻击类型）。下载：下载高分辨率图像（446KB）下载：下载全尺寸图像图8. 综述中研究的分布：a）水印类型（外部、基于图像的或两者都有）；b）篡改检测（盲检测或非盲检测）；c）篡改定位（是或否）；d）篡改恢复（是或否）。表9. 图像半脆弱水印方案的鲁棒性级别，包括低、中、高。鲁棒性级别半脆弱水印方案低[50,59,61,66,67,71,72,76]中等[13,14,54,60,68,69,73,75,[78], [79], [80],[82], [83], [84]]高[49,52,53,62,64,69,74,81]表10. 图像半脆弱水印方案在攻击类型方面的鲁棒性。攻击类型半脆弱水印方案信号处理[13,14,49,[52], [53], [54],59,60,62,64,[67], [68], [69], [70], [71], [72], [73], [74], [75],[78], [79], [80], [81], [82], [83], [84]]压缩[13,14,49,50,[52], [53], [54],[59], [60], [61], [62],66,[68], [69], [70], [71], [72], [73], [74], [75], [76], [77], [78], [79],[81], [82], [83], [84]]几何[13,14,49,[52], [53], [54],60,62,64,73,75,[78], [79], [80], [81], [82], [83]]表11. 图像半脆弱水印方案在攻击类型方面的脆弱性。攻击类型半脆弱水印方案对象插入[49,53,54,60,64,66,67,69,70,72,73,78,80]对象移除[54,[66], [67], [68],70,73,78,80]复制粘贴[49,50,53,54,60,[66], [67], [68], [69], [70],73,78,80]向量量化[49,53]拼贴[62,[66], [67], [68],72]几何[49,50,60,66,69,70,75,80]深度伪造[13,14,[81], [82], [83], [84]]总结综述的结果，可以得出关于半脆弱图像水印领域当前技术水平的以下结论。半脆弱图像水印方案在科学文献中的呈现频率低于鲁棒或脆弱水印方案。然而，科学文献中包含了对传统半脆弱水印方案和基于神经网络的水印方案的研究。尽管我们的综述中包含的传统方案更多，但由于深度学习和生成智能的积极发展，预计未来基于神经网络的方案数量将会增加。已知的半脆弱水印方案对恶意攻击具有敏感性，并对非恶意修改具有鲁棒性。不同方案的良性攻击列表各不相同。这使得可以选择适合不同场景的水印方案。例如，如果需要确保医疗图像或卫星图像的真实性，提供压缩抵抗性就足够了。如果照片或插图处于公共领域，并且可以由多个用户在他们的网站和博客上合法使用，则允许广泛的非恶意修改是合适的。许多方案提供盲检测篡改的功能。这确保即使原始水印丢失，许多研究忽略了攻击类型，或者没有探讨攻击效果对恶意修改强度的依赖性。•用于性能评估的图像集合有限。这个问题主要与传统的水印方案相关。正如综述所显示的，一些研究使用了一组传统的图像（包括“Lena”、“Peppers”等经典图像）来评估其解决方案的有效性。虽然这有助于比较不同水印方案的性能，但并不能全面反映算法在现实世界应用中的表现。•主要关注面部修改。这个问题与基于神经网络的嵌入方案有关。这些方案大多假设伪造的对象主要是人物图像，因此模型是在相应的数据集上训练的。然而，实际上任何图像的伪造都可能带来负面影响。因此，基于神经网络的方案专注于面部伪造是一个重要的局限性。

综述的结果还为我们指出了半脆弱图像水印领域的一些有前景的研究方向：•研究嵌入对各种攻击的敏感性。作为该科学领域的一个问题，我们注意到缺乏对VQ（视觉质量）攻击和拼贴攻击的关注。未来的研究应将这些攻击与常见的对象移除或复制粘贴攻击一起考虑。研究已知方案在不同攻击参数下的适用性 limit 也具有科学意义。•研究对各种攻击的鲁棒性。尽管著名的水印方案提供了关于嵌入对典型图像处理操作和几何变形的鲁棒性的信息，但很少考虑对各种社交媒体过滤器和其他复杂修改的鲁棒性问题。一个有前景的方向是提高嵌入对“实验室”攻击以及合法用户通常会进行的非恶意修改的抵抗力。•攻击模拟和嵌入优化。攻击模拟在基于神经网络的方法中具有很高的效率。传统的水印方案可以从中获得灵感，并通过使用典型攻击来进行优化，以改善关键嵌入质量指标之间的平衡。•在新数据集上进行训练。尽管基于神经网络的水印方案效率很高，但它们仍面临训练数据选择这一经典问题。通过在新数据上训练模型来扩展基于神经网络的方法在水印应用中的适用范围是可行的。•在新数据集上进行测试。不仅基于神经网络的方法，传统方法在评估有效性时也面临数据集的问题。在实验中使用多样化的数据集可以更准确和全面地评估水印方案在实际不同场景下的有效性。•结合图像生成和水印。无封面隐写术是一种保护人工生成图像的有前途的技术。在半脆弱嵌入方面开发“无封面水印”是一个有前景的方向。可以预期，这类方案未来会吸引更多研究人员的关注。

总结上述内容，关于半脆弱图像水印领域的未来研究，可以提出以下主要类别的挑战和机会：1) 挑战1：在选择性鲁棒性的背景下实现水印的半脆弱性。机会：通过使用攻击模拟以及生成模型来实现优化和神经网络方法的扩展，以及无封面水印。2) 挑战2：研究在广泛攻击下的鲁棒性和脆弱性。机会：评估水印在现实世界场景中对复杂良性及恶意修改的鲁棒性和敏感性。3) 挑战3：增加半脆弱图像水印在实际应用中的用例覆盖范围。机会：扩展用于训练和测试半脆弱水印方案的数据集范围。

5. 结论

水印技术是数字图像认证的有效解决方案。根据使用场景的不同，对水印的鲁棒性和脆弱性有不同的要求。半脆弱水印提供软认证，其中水印检测器会忽略JPEG压缩和亮度调整等良性修改，但能够检测到对象插入等内容完整性变化作为伪造行为。在这项研究中，我们提出了半脆弱图像水印方案的分类，并回顾了该领域的最新科学出版物。我们分析了18种传统的和12种基于神经网络的方法，这些方法用于将水印嵌入到二维数字图像中。所考虑的水印方案根据水印类型、篡改检测方法、篡改定位能力和篡改恢复能力进行了分类。回顾使我们可以对半脆弱图像水印方案的设计做出以下观察：一半的研究使用了外部水印，另一半使用了基于图像的水印，或两者结合。大多数方案提供了盲水印提取和篡改检测功能。绝大多数方案还能够定位特定的篡改位置。相比之下，只有少数方案提供了恢复图像中被篡改区域的能力。此外，我们还提供了嵌入不可感知性和脆弱性指标的值，并根据它们将篡改分类为良性的攻击数量，将水印方案分为三个鲁棒性级别（低、中、高）。基于综述结果，我们识别出了该科学领域当前存在的问题，并提出了几个有前景的研究方向。目前，半脆弱图像水印领域的主要挑战包括对“半脆弱水印”这一术语和半脆弱嵌入有效性标准的共识不足、实现半脆弱嵌入属性的难度，以及已知攻击和可能用例的覆盖范围有限。我们认为未来在半脆弱图像水印领域的研究方向包括提高训练和测试数据集的多样性、扩展水印方案抵抗的攻击范围、加强优化和神经网络方法在攻击模拟中的作用，以及使用生成模型进行无封面水印。

因此，我们总结了关于半脆弱图像水印的主题信息，以说明该研究领域的现状、挑战和趋势。这份综述可能对数字图像水印领域的研究人员开发新的有效解决方案有所帮助。

资金来源

本工作得到了俄罗斯科学基金会的支持，项目编号为25-11-00215。

CRediT作者贡献声明

Anna Melman：方法论、撰写——原始稿件、审稿与编辑。Oleg Evsutin：概念化、方法论、撰写——原始稿件、审稿与编辑、资金获取。