通过对抗性轮廓增强和跨领域语义融合技术，实现更强大的深度伪造检测

《Image and Vision Computing》：Towards robust deepfake detection with adversarial contour reinforcement and cross-domain semantic fusion

　　

秦莉|冯春辉|张正旭|陈浩

中国福建农林大学计算机与信息科学学院

摘要

深度伪造检测已成为一个日益重要的研究领域。虽然结合空间域和频率域特征显示出潜力，但现有方法在有效整合这些互补域的特征方面存在困难。由于有损压缩导致的质量下降，检测任务变得更加复杂。为了解决这些问题，我们首先提出了一种新颖的对抗性轮廓增强策略。通过对真实视频和经过不同压缩级别的伪造视频进行对抗性训练，该策略能够增强伪造痕迹，同时抑制由有损压缩引入的虚假伪影。此外，我们设计了一个空间-频率语义对齐模块。该模块利用双域交叉注意力，交互并对齐异构特征，整合相互增强的线索，从而生成用于检测的鲁棒嵌入。在代表性基准测试中的广泛实验证明了所提出方法的有效性和鲁棒性。值得注意的是，我们的方法显著提高了高度压缩深度伪造的检测性能，在FF++低质量设置下的AUC达到了98.35%，与高质量设置下的99.54%相比仅有轻微下降。此外，在跨数据集评估中，我们的方法在具有挑战性的Celeb-DF数据集上获得了93.2%的AUC，显示出强大的泛化能力。

引言

随着深度生成模型的快速发展，深度伪造技术现在可以合成具有逼真质量的面部图像和视频。深度伪造在创意艺术、医疗康复和隐私保护等多个领域具有潜在的应用价值。然而，它们的恶意使用带来了严重的安全和伦理威胁，包括未经同意的色情内容、生物特征欺诈以及大规模的虚假信息传播。最近的一些高调事件凸显了这些风险的严重性：在金融领域，2024年一家香港跨国公司通过伪造的视频会议被骗取了2500万美元[1]；在地缘政治领域，一段伪造的乌克兰总统泽连斯基在俄乌冲突中投降的视频突显了深度伪造破坏国家安全和公众信任的潜力[2]。

应对措施分为两类：主动和被动。主动方法如数字水印在内容生成过程中嵌入验证信号，提供强大的来源追踪能力[3]，[4]，但其效用受到在所有捕获设备和生成模型中实施水印标准的实际困难的限制。相比之下，被动多媒体取证提供了一种更灵活的方法，可以直接从媒体数据中检测出篡改痕迹，从而分析来自任何来源的内容。

在被动取证领域，早期研究主要集中在空间域，因为许多深度伪造生成技术会产生明显的空间伪影，如边界不连续性和结构扭曲[5]，[6]，[7]，[8]，[9]。后续研究[10]，[11]表明，被篡改的图像通常表现出异常的频率分布，这些分布可以作为伪造检测的判别线索。因此，取证方法已经从仅依赖空间伪影转向结合频率域分析[12]，[13]，[14]，[15]，[16]。频率信息提供了一个补充视角，用于捕捉在空间域中难以察觉的微妙伪造痕迹。

然而，有效整合这两种模式仍然是一个挑战。大多数先前的工作[9]，[16]，[17]，[18]通过简单的连接或求和来结合空间和频率特征。这些方法未能解决空间域和频率域之间的语义差异，限制了模型学习互补线索的能力。为了解决这个问题，我们提出了一个空间-频率语义交互与融合（SFSIF）模块，该模块利用双向跨域注意力机制明确地对齐空间特征与其频率对应特征。通过动态交换查询和关键投影，它放大了语义一致的判别线索，同时抑制了域间噪声，从而增强了检测的鲁棒性。

然而，在以严重有损压缩为特征的现实世界场景中，深度伪造检测的有效性往往会下降。这种下降会损害通常包含篡改痕迹的高频细节（例如面部轮廓和纹理）。此外，它还会引入扭曲的边界或噪声，这些可能与伪造伪影混淆（如图1所示）。这种双重影响不可避免地会损害对篡改视频和真实视频的识别。为了克服这一鲁棒性瓶颈，我们进一步引入了一个局部轮廓增强模块（LCEM）。该模块利用感知一致性对抗预训练策略来恢复丢失的细节并抑制压缩噪声，从而确保即使在低质量视频上也具有鲁棒的性能（见图2）。

我们的主要贡献可以总结如下：

• •
  我们提出了一种针对取证导向的细节恢复和噪声抑制的对抗性预训练策略。我们使用对抗性方案结合感知一致性损失来训练所提出的局部轮廓增强模块（LCEM）。这种有针对性的训练方案恢复了原始的面部轮廓和纹理，并抑制了可能被误认为是篡改痕迹的压缩伪影，为下游检测生成了高质量的判别特征。
• •
  我们设计了一个结合双向跨域注意力机制的空间-频率语义对齐模块。该模块在空间和频率特征之间交换查询/关键投影，以适应性地突出语义一致的区域，同时抑制不对齐的特征成分，从而生成高度协同的特征，用于鲁棒的伪造分类。
• •
  所提出的方法显著提高了低质量深度伪造的检测性能。在FaceForensics++低质量子集上，我们的方法达到了98.35%的AUC，与高质量子集相比仅下降了1.19%。消融研究显示，语义对齐-融合机制在低质量设置下贡献了4.07%的AUC提升。可视化结果证实，所提出的LCEM模块有效地恢复了面部轮廓和纹理，避免了虚假伪影和过度平滑。

本文的其余部分组织如下。第2节回顾相关工作。第3节详细介绍了所提出的方法。第4节展示了实验结果和分析。最后，第5节总结了本文。

章节片段

相关工作

在本节中，我们回顾了与我们提出的方法最相关的深度伪造检测的先前工作，包括基于空间-频率的方法和基于特征增强的方法。

方法

所提出的面部伪造检测方法的总体框架如图3所示，该方法整合了局部轮廓增强和空间-频率语义交互。该方法包括三个主要模块。

首先，局部轮廓增强模块（LCEM）通过对抗性预训练来指导模型增强关键面部轮廓的表示，同时抑制压缩伪影。此外，还设计了一个感知一致性分支来约束

实验

本节详细介绍了数据集和实验设置，随后涵盖了内部和跨数据集测试、鲁棒性、计算效率、消融研究和可视化。

结论

在本文中，我们提出了一种深度伪造检测框架，该框架结合了局部轮廓增强和空间-频率语义对齐。通过对抗性预训练和感知一致性约束，LCEM恢复了通常包含篡改痕迹的面部轮廓和纹理，同时减少了干扰的压缩伪影，为下游检测提供了判别性表示。此外，双域交互注意力机制对齐了空间

CRediT作者贡献声明

秦莉：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，项目管理，方法论，数据管理，概念化。冯春辉：撰写 – 审稿与编辑，监督，资金获取。张正旭：调查，数据管理。陈浩：调查，数据管理。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：冯春辉报告称获得了中国国家自然科学基金（项目编号61802064）的财务支持。如果有其他作者，他们声明没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金（项目编号61802064）和福建农林大学科技创新专项资金（项目编号KFB23157A）的支持。