Multi-To-Binary：一种基于多分类指导的可泛化深度伪造检测方法

《Engineering Applications of Artificial Intelligence》：Multi-To-Binary: A generalizable deepfake detection approach with multi-classification guidance

伪造检测框架M2B通过多分类指导二分类，融合机制与冻结机制提升泛化能力，实验证明在未知伪造模式上优于现有方法，代码开源。

　　

费旺|王波|景博涛|王伟|魏飞|陈俊鑫

大连理工大学信息与通信工程学院，中国大连116024

摘要

近年来，视觉内容伪造技术（如Deepfake）取得了快速进展。由于这些技术可能被用于恶意目的，因此对其检测方法的研究日益受到关注。大多数现有方法专注于特定的伪造模式，这使得检测未知或不断变化的伪造内容变得困难。在本文中，我们提出了一种新的伪造检测框架，该框架利用多个分类模型提取综合特征。具体而言，我们的框架结合了二元分类和多分类模型，并通过创新的融合和冻结机制来提高准确性和效率。我们进行了广泛的实验来评估该方法的性能。结果表明，该方法在泛化新伪造模式和抵抗各种类型伪造内容方面优于现有技术。这对于处理多样且复杂的真实世界伪造案例具有很好的效果。我们的代码可在以下链接获取：https://github.com/Phoebe-cap/M2B-main。

引言

图像内容生成的质量正在迅速提高，这一点从该领域的最新进展中可以看出（Jiang等人，2020年；Li等人，2020a年；Thies等人，2020年；Zhou等人，2019年；Vougioukas等人，2020年）。随着这一趋势的发展，许多具有图像生成功能的娱乐应用进入市场，补充了传统的编辑功能并吸引了大量用户。然而，人们越来越担心这些应用可能被用于恶意目的，例如图像伪造。因此，对有效的伪造图像检测方法的需求日益增加，特别是针对面部图像的伪造检测。

大多数现有的面部图像伪造检测方法使用先进的二元分类模型，并主要基于特定的伪造模式。这些方法侧重于识别和分类特定的伪造模式，如噪声模式（Gu等人，2022a年；Zhou等人，2017年）、局部纹理（Li等人，2018年；Gu等人，2022b年；Chen等人，2021年；Haliassos等人，2021年；Zhao等人，2021b年；Ba等人，2024年）、频率信息（Qian等人，2020年；Li等人，2020b年）以及隐含身份信息（Dong等人，2023年；Huang等人，2023年）。尽管这些方法取得了有希望的结果，但它们的性能在很大程度上依赖于对特定伪造模式的先验知识。当面对未知或新型的伪造模式时，这种依赖性带来了重大挑战，限制了它们在伪造技术不断发展的现实世界场景中的有效性。为了克服这些挑战，开发不依赖于特定伪造模式的更通用的伪造检测方法至关重要。这样的方法将更能应对各种伪造类型，从而在多样化和动态的环境中提高其鲁棒性和适用性。

大多数现有方法使用二元分类器，但二元分类模型的一个主要缺点是它们无法捕捉多个类别之间的差异，在我们的案例中就是不同的伪造模式。为了解决这一限制并扩展不同伪造模式之间的分类边界，我们提出了一种名为Multi-To-Binary (M2B)的新颖伪造检测方法。该方法通过融合机制将二元分类器和多分类器结合在一起。具体来说，我们采用了两步法：首先使用多分类器区分不同的伪造类型，然后利用这些多分类器的分类结果来指导二元分类器的训练。这种指导通过包含多个卷积层的复杂融合机制实现，有效捕捉了多分类的特征。此外，我们提出了一种冻结机制，可以以可调的方式冻结多分类模型（即网络），从而利用多分类阶段学到的特征来提高二元分类模型的性能。为了更好地同步多分类器和二元模型，我们引入了一种专门为我们的网络结构设计的损失函数。这种损失函数使多分类模型能够更好地指导二元模型。

我们的方法有效地在不同伪造类型之间建立了清晰的分类边界，从而提高了泛化能力和区分真实图像与伪造图像的能力，如图1所示。关于我们提出方法的更多细节将在第3节中讨论。综合实验表明，当目标样本使用未知方法（未见过的模式）进行伪造时，我们的方法优于现有技术。

总结来说，本工作的主要贡献如下：

• 我们提出了一种创新的Deepfake检测方法，该方法使用多分类来指导二元分类，解决了检测由未知方法（即具有未知模式的伪造图像）的问题。
• 我们提出了一种新颖的冻结机制，在训练过程中选择性地冻结多分类网络，以强调二元分类作为主要任务，并通过融合模块增强用于分类的特征的区分性和泛化能力。

本文的后续部分安排如下：第2节回顾相关工作；第3节介绍我们的方法；第4节详细说明实验设置并解释评估结果与分析；第5节给出结论。

相关研究

相关工作

在本节中，我们对基于Deepfake的视觉内容操纵（伪造）及其相应的检测方法进行了简要调查。具体来说，我们调查了以下类别的伪造检测：传统检测方法、特定伪影或架构以及辅助任务或合成数据。

概述

为了解决以往方法在遇到未见过的伪造模式时性能下降的问题，我们提出了一种名为Multi-To-Binary (M2B)的新颖Deepfake检测方法。该方法利用多分类指导来增强二元分类。如图2所示，M2B是一个双流网络，集成了二元分类和多分类功能。在训练阶段，图像在输入二元分类器之前会经过数据增强

实验

在本节中，我们展示了一系列实验结果，证明了所提出方法的优越性能，并验证了我们的关键设计。为了更好地说明结果，我们首先详细介绍了实验设置。随后，我们在三个跨数据集场景中比较了我们的方法与现有Deepfake检测方法的性能。此外，我们对各个组成部分进行了消融研究，以展示其有效性

结论

总之，我们提出了一种名为Multi-To-Binary (M2B)的新颖Deepfake检测方法，该方法引入了多分类特征指导的概念，以增强细粒度特征的学习。我们的方法解决了面部伪造检测中的两个关键问题：实现对未见过的伪造类型的出色泛化能力，并提高了对各种常见干扰的鲁棒性。这些目标对于打击伪造图像的传播至关重要

CRediT作者贡献声明

费旺：撰写——初稿，方法论。王波：撰写——审阅与编辑，数据整理。景博涛：撰写——初稿，可视化。王伟：撰写——审阅与编辑，验证。魏飞：撰写——审阅与编辑。陈俊鑫：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文所述的工作。

致谢

本工作得到了国家自然科学基金（编号：62076052、62106037）和辽宁省应用基础研究项目（编号：2022JH2/101300262）的支持。