基于多模态和视觉图网络的深度伪造检测

《Neurocomputing》：Multi-modality with vision graph network for deepfake detection

　　

# 摘要

生成技术的快速进步显著提高了深伪人脸图像的真实性，使得可靠的伪造检测变得日益困难。现有方法主要依赖基于RGB的视觉伪影或基于Transformer的全局建模，这在复杂的生成和压缩条件下可能不足以捕获细微的操作痕迹。为此，我们提出了M2VG，一种用于深伪检测的多模态视觉图网络。具体而言，我们设计了一个频域自适应增强模块，通过多尺度离散余弦变换（DCT）、可学习频率增益和块注意力机制从频域中提取判别性伪造线索。然后，频域表示通过跨模态融合模块与RGB特征进行整合，实现空间信息与频谱信息之间的互补交互。此外，我们引入了视觉图模块，将人脸区域建模为图结构化表示，使网络能够捕获人脸组件之间灵活且具有语义意义的关系。除了分类目标外，还采用了对比学习约束，以增强潜在特征空间中真实样本和操纵样本之间的可分离性。在FF++、Celeb-DF和DFDC上的大量实验表明，M2VG相对于最先进方法达到了具有竞争力的检测性能。此外，M2VG保持了有利的计算效率，仅需0.39 GFLOPs即可实现49.14 FPS，表明其在实际深伪检测场景中具有潜力。我们的代码将在https://github.com/NEUboy/M2VG上提供。

# 引言

近年来，深伪技术取得了快速发展[1]，[2]。一方面，它可以创建许多有趣的图像；另一方面，它对人们可靠地区分图像信息的能力构成了巨大挑战[3]。特别是通过扩散模型[4]、GANs[5]等方法生成的深伪图像，肉眼几乎无法分辨。这些技术可以被用来恶意伪造图像，从而可能导致严重的信息安全问题。因此，研究人员关注深伪检测，随着深度学习技术的发展，在深伪检测方面取得了显著改进[6]，[7]，[8]。

通常，深伪检测算法以从图像或视频中裁剪的人脸区域作为输入，使用深度学习方法进行处理，并输出该图像是真实的还是伪造的预测[6]，[7]。对于深伪检测任务，有两个非常重要的因素：一个是提取和分析的操作特征，另一个是神经网络的结构。深伪与图像操纵之间存在很强的相似性；一些经典的用于检测图像篡改的特征也被用于深伪检测，例如不平滑的边缘、物理特征[9]。Liao等人[10]提出了FAMM，他们关注面部肌肉运动特征。Soudy等人[11]强调了眼睛、鼻子区域等面部特征。尽管这些特征差异很大，但它们都在RGB像素域中，而基于频域特征的方法正吸引着研究人员的兴趣。一方面，许多研究人员[10]，[12]发现RGB域特征容易被扰动干扰，例如JPEG压缩，而频域特征可以抵抗这种干扰。另一方面，Xu等人[13]表明，像素域中的微小篡改会在频域中引起显著变化；因此，采用频域可以提高深伪检测性能。例如，Qian等人[12]提出了一种使用频率统计差异的方法，Song等人直接从FFT处理后的频域图像中提取特征。此外，Wang等人[8]提出了M2TR，它通过交叉注意力模块结合频域和RGB域特征，扩展了特征的模态，有利于检测性能。

至于神经网络架构，它与我们认为的数据处理方式密切相关，我们在图1中展示了计算机视觉中图像处理的三种可用数据结构。对于深伪图像和视频帧，我们自然地将它们视为网格格式的数据；因此，大多数工作采用CNN架构[14]。这类网络的特点是使用固定大小的卷积核滑动窗口处理图像；因此，这使得它在提取浅层纹理特征方面具有优势，但不善于建立更大尺度上的语义连接。另一种常用的神经网络架构是Transformer[15]，它最初是为自然语言处理开发的。然后ViT[16]将此架构应用于计算机视觉任务，通过将图像视为图像像素块的序列，并取得了巨大成功。这类架构通过自注意力机制在整个图像的不同块之间建立连接，因此它可以表示复杂的语义关系，但计算复杂度很高。此外，另一种架构是图神经网络（GNN），它是为图格式数据设计的。Han等人[17]提出了视觉图（ViG），通过将图像中的块视为图结构中的节点，成功将其应用于图像分类和识别任务。目前，大多数深伪检测方法采用CNN和Transformer架构，但我们认为GNN具有以下原因具有更多潜力。首先，与自然图像不同，人脸图像具有高度结构化的特征，包括眼睛、鼻子等，使其适合建模为图结构。此外，GNN更加灵活，只关注与人脸区域相关的图节点特征，从而避免了过度背景特征带来的冗余。

为了有效地利用RGB和频域的特征，同时利用GNN的表示能力，我们提出了一种称为M2VG（多模态视觉图网络）的多模态框架，用于深伪人脸检测。首先，我们设计了一个专门的频域特征提取模块。先前的研究如[8]、[18]通常直接将快速傅里叶变换（FFT）应用于整个图像，并专注于将全局频率特征与RGB表示进行整合，这可能导致粗糙或不聚焦的频率表示。与现有的频率-RGB融合方法不同，M2VG引入了专门的频率自适应增强模块（FAEM），通过多尺度分块DCT分析、可学习频率增益和块级注意力机制选择性地增强与伪造相关的频率成分。FAEM通过对空间分割获得的图像块执行离散余弦变换（DCT）。分块变换实现了对不同人脸区域频率特征的更灵活和细粒度建模。为了进一步增强频率特征的判别能力，FAEM引入了可学习增益矩阵，自适应地放大潜在的伪造相关信号。此外，FAEM结合了源自[19]中经典通道注意力策略的块注意力机制，以更好地从局部块区域中提取信息丰富的频域表示。在获得RGB和频域的特征后，我们采用交叉注意力融合块来建模两种模态之间的交互并整合互补的伪造特征。先前的基于图的视觉方法[17]、[20]、[21]通常用图神经网络替换CNN或Transformer主干网络，而其他方法将它们用作融合不同模态的方法[22]。与这些工作不同，M2VG在多模态融合之后采用视觉图（ViG）模块，专门设计用于建模人脸区域之间的结构关系。ViG模块从基于图的角度捕获图像区域之间的结构关系并产生最终预测。对于训练，除了用于区分真实和伪造图像的标准二分类目标外，我们还融入了对比学习目标以进一步正则化特征空间。该目标鼓励真实图像特征形成紧凑的聚类，同时提高模型对伪造样本的判别能力。我们在由多个公共数据集组合而成的大规模数据集上训练所提出的M2VG框架。大量实验表明，M2VG在各种基准测试中取得了强劲的性能，并与多种最先进（SOTA）方法保持竞争力。主要贡献总结如下。

1) 与之前简单地将整个图像变换到频域并将全局频率特征与RGB表示进行整合的工作不同，我们设计了FAEM。该模块包含更灵活的多尺度DCT变换、可学习增益矩阵和块注意力机制，可以自适应地增强判别性频域伪造线索。此外，我们采用跨模态融合模块来组合来自两种不同模态的特征。

2) 与将图神经网络作为主干网络不同，M2VG在多模态RGB-频率融合之后采用ViG来显式地建模人脸区域之间的结构关系。它使图推理能够作用于互补的多模态表示，而不是仅依赖基于图的特征提取。我们发现ViG可以用稀疏网络和高效率实现良好的面部结构建模。

3) M2VG在我们构建的数据集上取得了优异的性能。进一步的相关实验证明了我们的频域伪造特征提取模块的有效性以及ViG在检测深伪人脸图像方面的潜力。

本文的其余内容如下：第2节从模态特征和神经网络架构两个方面回顾了相关工作。第3节详细描述了所提出的模块、整体网络架构和训练目标。第4节描述了数据集和实现细节。第5节展示了实验结果并讨论了性能。最后，第6节总结了整个工作。

## 2. 相关工作

为了对抗深伪，许多先前的工作提出了深伪检测方法，特别是使用深度学习的方法，在该任务中取得了更好的性能。通常，人脸深伪检测面临三个挑战：RGB域特征的脆弱性、频域篡改特征的建模以及人脸区域内结构关系的建模。我们在本节中回顾这些挑战和相关工作。

## 3. 提出的方法

我们采用DCT变换器来扩展深伪图像的多模态特征，并使用图网络实现更有效和灵活的视觉特征感知。在本节中，我们提出了一个深伪检测框架，包括DCT变换器、视觉图网络和跨模态融合。M2VG的整体结构如图2所示。

我们表示输入图像为，其中和分别是图像的高度和宽度。首先，我们采用一个预训练的主干网络来……

## 4. 数据集

FaceForensics++（FF++）[32]、Celeb-DF [33]和DFDC [34]数据集是一些广泛用于深伪检测的数据集。这些数据集具有多样化的数据来源，包含真实和深伪视频，采用各种伪造方法，而且相当可观。首先使用dlib[35]正面人脸检测器检测人脸区域。然后将检测到的人脸边界框进行放大以保留边界伪影，并调整为256×256，此外，不进行额外的人脸关键点对齐。

## 5. 帧级评估结果

为了评估M2VG的性能，我们引入了一些SOTA研究[6]，[8]，[18]，[22]，[32]，[41]，[42]，[43]，[44]，[45]，[46]进行比较。为确保最公平的比较，所有开源基线模型都使用相同的预处理和帧提取设置进行重新训练。结果列在表2中，我们采用粗体表示最优结果，下划线表示次优结果。M2VG在FF++、Celeb-DF和DFDC上的AUC性能分别为95.23%、86.74%和66.18%。

## 6. 结论

本工作提出了一种深伪检测框架，该框架集成了新颖的FAEM和多模态特征融合进行人脸区域表示学习，同时利用GNN来建模区域间关系。首先，FAEM旨在自适应调整频域系数，从而强调与伪造相关的特征。采用可变尺寸DCT和块注意力机制，它可以更准确地突出被操纵区域的位置。此外，一个图……

## CRediT作者贡献声明

Wenzhong Tang：撰写——原稿撰写，形式化分析。Shijun Gao：撰写——原稿撰写，资源，概念化。Shuai Wang：软件，形式化分析。Wenrui Lv：可视化，方法学。Xu Xu：撰写——审阅与编辑，监督，方法学。

## 利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

## 致谢

本工作由中国科协博士研究生青年人才支持计划资助。

Wenzhong Tang是北京航空航天大学计算机科学与工程学院（SCSE）教授，北京，中国。他还担任国家科技资源共享服务工程技术研究中心主任，中国航空工程科技发展战略研究院秘书长，以及中关村智慧城市产业技术创新战略联盟执行主任。他的……

Wenzhong Tang | Shijun Gao | Shuai Wang | Wenrui Lv | Xu Xu