整合重建学习与空频特征融合的深度伪造人脸检测方法

《Neurocomputing》：Integrating Reconstruction Learning with Spatial-Frequency Feature Fusion for Deepfake Face Detection

　　

摘要

随着生成式人工智能的进步，深度伪造人脸图像的质量显著提高。然而，该技术的潜在滥用对公众和个人信息安全构成了巨大风险。近年来，各种深度伪造检测技术相继涌现，但许多方法在泛化能力和鲁棒性方面存在不足。为应对这些挑战，本文提出了一种结合重建学习与空频特征融合（SFFF）的新型深度伪造人脸检测方法。核心网络采用高效的编码器-解码器重建学习框架，旨在准确重建真实人脸而无法重建伪造人脸。这使得可以利用真实与伪造人脸重建之间的差异图来辅助识别。为增强模型的鲁棒性，引入了频域分支和SFFF模块，以有效融合不同尺度下的多模态特征。此外，为放大重建差异图对分类的影响并提高泛化能力，引入了重建差异注意力增强（RDAE）模块。实验结果表明，与现有先进方法相比，所提方法在应对多种常见攻击时表现出强大的泛化能力和鲁棒性。

引言

随着数字技术的快速发展，特别是计算机视觉和深度学习领域的突破，深度生成技术达到了前所未有的真实水平，使生成的人眼几乎无法与真实影像区分。虽然这一技术显著推动了电影特效和虚拟现实等领域的发展，但也引发了一系列安全问题。恶意行为者可以利用这些技术误导公众、诽谤他人和伪造证据，从而带来严重的社会、政治和安全挑战。为减轻深度伪造人脸图像的恶意滥用，开发有效的深度伪造检测系统至关重要。

在深度伪造图像检测的早期阶段，研究人员主要利用最初为图像分类开发的基础卷积神经网络（CNN）模型，如MesoNet [1]、Xception [2]和EfficientNet [3]。然而，这些基础模型并非专门为深度伪造检测而设计，难以捕捉图像伪造的独特特征，导致分类性能欠佳。因此，许多学者开始从频域角度探索伪造检测 [4]、[5]、[6]、[7]、[8]、[9]。该方法基于伪造人脸区域通常在频率统计特征上表现出异常的观察结果。在压缩视觉媒体中，伪影可能在空间域中难以检测，但在频域中可以识别。大量研究表明，单一频域检测方法的效果也不尽如人意。因此，开发有效的特征融合方法，将频域信息与其他数据整合，对于提高伪造检测的准确性至关重要。此外，许多研究人员通过数据增强技术 [10]、[11]、[12]、[13] 提高了检测模型的泛化能力。这些方法通过模拟伪造人脸的生成过程来扩展训练数据集，从而提高模型的准确性和泛化能力。然而，由于需要生成新数据，该方法需要大量的训练资源。

一些方法创新地将异常检测概念引入深度伪造图像检测 [14]、[15]，从而增强了模型的泛化能力。其基本原理类似于异常检测中使用的图像重建方法。具体来说，使用正常样本来训练编码器-解码器网络，使其能准确重建正常样本而无法识别异常样本。然后利用重建样本与原始样本之间的差异进行判别。然而，仅依靠重建图像与原始图像之间的差异图进行分类过于简单。文献[16]中提出的重建-分类模型有效解决了这一局限，通过利用编码器提取的特征进行分类，并引入重建差异图来引导分类过程。尽管如此，该模型主要关注空间特征进行分类，未能充分利用频域特征。

总之，为应对现有深度伪造检测方法中泛化能力不足和鲁棒性有限的挑战，本文提出了一种将重建学习与空频特征融合（SFFF）相结合的新型方法。首先，我们设计了一个鲁棒的重建网络及相应的损失函数，不仅能够提高真实人脸图像的重建质量，还能放大真假人脸之间的特征差异。这一改进提高了模型检测由先前未见过的伪造技术生成的图像的能力。其次，通过引入频域分支，我们开发了一个SFFF模块，全面利用空间和频域特征，进一步提高检测精度。此外，为加强重建差异图在对空频融合特征分类中的引导作用，我们设计了一个重建差异注意力增强（RDAE）模块，更有效地突出图像中的深度伪造特征。在包括FaceForensics++ (FF++) [17]、Celeb-DF [18]和WildDeepfake [19]在内的多个数据集上的实验结果充分验证了所提方法的有效性。

本文的主要贡献总结如下：(1) 我们提出了一种将重建学习与SFFF模块相结合的新型深度伪造人脸检测方法。这通过设计一个具有编码器-解码器架构的重建网络来实现，确保准确重建真实人脸图像，同时有效阻止伪造人脸图像的重建。(2) 通过引入频域分支，我们开发了SFFF模块，显著提高了模型的检测精度和鲁棒性。(3) 我们引入了RDAE模块，该模块利用重建图像与原始图像之间的差异图，引导检测网络关注深度伪造伪影，从而提高泛化能力。

本文其余部分组织如下。第2节介绍相关工作和技术。第3节详述所提方法。第4节提供实验结果和讨论。最后，第5节得出结论。

节选内容

深度伪造检测

自深度伪造图像出现以来，众多学者对深度伪造检测进行了研究，提出了各种检测方法。在综合分析这些方法的基础上，可以将其分为三种主要类型：基于伪造特征的、基于数据增强的和基于重建学习的深度伪造检测。

• A.
  基于伪造特征的检测
  基于伪造特征的深度伪造图像检测主要涉及三种特征：空间

方法论

所提方法的总体框架由四个主要组件组成：具有编码器-解码器架构的重建网络模块、频域处理模块、SFFF模块和RDAE模块，如图3所示。首先，图像同时输入空间和频域分支。在频域分支中，图像由频域处理模块处理以提取高频信息，然后传递到一个

实验设置

数据预处理。大多数深度伪造人脸数据集以视频格式存储，其中人脸通常占据较小的区域。这会给特征学习带来困难，需要进行预处理。预处理过程涉及使用RetinaFace算法 [32] 检测每帧中人脸的边界框，并根据边界框的最大边裁剪图像。在本研究中，从每个视频中按等间隔采样30帧。

数据集。本实验主要

结论

随着深度学习的进步，深度生成技术的滥用对信息安全构成了重大风险。现有的深度伪造检测方法往往存在鲁棒性有限和泛化能力差的问题。本文提出了一种将重建学习与空频特征融合（SFFF）相结合的新型深度伪造人脸检测方法。该方法采用编码器-解码器重建学习网络架构，利用重建差异图

作者贡献声明

马贝贝：写作 – 初稿、软件、方法学、调查、概念化。陈晓倩：可视化、验证、软件、数据管理。康小兵：写作 – 审阅与编辑、软件、方法学、调查、资金获取、形式分析、概念化。陈亚君：资源、资金获取。缪亚林：资源、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

致谢

本工作由陕西省自然科学基金项目（项目编号：2024JC-YBMS-480）、国家自然科学基金（项目编号：62076200和62273273）以及陕西省自然科学基金（项目编号：2023-YBGY-149）资助。

马贝贝目前正在攻读信号与信息处理专业硕士学位。她是西安理工大学印刷包装与数字媒体工程学院的研究生。她的研究兴趣包括计算机视觉和深度伪造检测。

马贝贝|康小兵|陈晓倩|缪亚林|陈亚君