通过分层专家融合与细粒度视觉-文本对齐技术提升人脸伪造检测能力

《Pattern Recognition》：Improving face forgery detection via hierarchical mixture of experts and fine-grained visual-text alignment

　　方超伟 | 傅博林 | 杨涛 | 程德成
西安交通大学软件工程学院，中国陕西省西安市

**摘要**
面部伪造技术的迅速发展导致了高度逼真的假人脸图像的产生，这带来了严重的滥用风险。现有的方法，尤其是那些使用CLIP的方法，依赖于容量有限的浅层适配器和简单的文本提示，在进行细粒度特征提取时存在困难，从而阻碍了它们捕捉伪造图像的全面特征的能力。为了解决这些挑战，我们提出了一种新的框架，通过两项关键创新增强了CLIP在面部伪造检测方面的能力：一种分层专家混合（HiMoE）适配器和一种自适应文本提示聚合（ATPA）模块。HiMoE适配器将专家组织成层级结构，以实现面部特征的逐步精细化处理，而路由机制则动态平衡了计算效率和表示能力。ATPA模块通过将伪造操作的细粒度描述聚合成“假”嵌入，并通过语义反转得到“真”嵌入，有效解决了真实标签文本约束的语义歧义问题。广泛的实验表明，在框架级别的AUC评估中，我们的方法在FaceForensics++数据集上使用c23压缩级别进行训练，并在四个广泛使用的跨数据集基准测试（即DeepFake Detection Challenge Preview、DeepFake Detection Challenge、DeepFakeDetection和CelebDF-v2）上进行了评估，平均AUC达到了84.29%，超越了现有方法，确立了面部伪造检测的新标杆。我们的代码可在https://github.com/dummerchen/HiMoE获取。

**引言**
图像合成和编辑算法的快速发展使得通过深度神经网络创建高度逼真的假人脸图像成为可能，人类越来越难以识别这些图像。这一技术进步引发了关于此类图像滥用的严重担忧，包括身份盗用、隐私侵犯和虚假信息的传播。因此，开发强大且可泛化的假人脸检测模型变得至关重要。然而，由于面部伪造技术的多样性（如表情 manipulation、身份交换和全脸合成），这一任务具有挑战性。这些方法生成的假图像具有复杂且多样的数据分布，使得提取一致且具有区分性的视觉特征变得困难。

当前的面部伪造方法大致可以分为基于低级视觉特征的方法[1]、基于频率感知的域学习方法[2]以及基于空间学习的特征提取方法[3][4]。最近，利用CLIP的视觉-文本特征匹配能力[5]显示出了有希望的结果[6]。这些方法引入了轻量级适配器，通过单个级别的专家对CLIP进行微调以进行深度伪造检测。然而，深度伪造检测需要细粒度的视觉特征建模，这要求能够捕捉假图像中存在的各种伪造模式。因此，现有方法难以捕捉区分真实图像和假图像所需的所有特征。此外，使用简单的文本提示（如“真实”和“假”）忽视了那些可以增强视觉-文本对齐的面部伪造方式的详细描述。

为了解决这些限制，我们提出了一种新的框架，通过两项关键创新提升了CLIP在深度伪造检测方面的能力。首先，我们引入了分层专家混合（HiMoE）适配器，旨在动态调整CLIP的视觉特征，以更有效地适应假人脸图像中存在的多样化伪造特征。与现有MoE适配器使用扁平结构不同，HiMoE将专家组织成树状层次结构。低级专家从中间特征图中提取特定属性，而高级专家将这些属性组合成更复杂的特征。这种分层方法允许更有效的特征适应，不同非线性级别的专家被动态分配给输入特征，优化了计算资源。其次，描述假图像的文本提示可以通过添加更具体的假图像生成技术文本来丰富，这些文本为引导识别假图像的区分性视觉特征的学习提供了有价值的线索。因此，我们提出了自适应文本提示聚合（ATPA）模块，通过组合描述不同深度伪造生成技术的多个文本提示来增强“假”类嵌入，并通过反转“假”类文本提示的嵌入来创建相应的“真”类嵌入。这种方法确保了精确的视觉-文本对齐，有效解决了真实标签文本约束的语义歧义问题，并为追踪伪造痕迹提供了更详细的线索。

我们在四个广泛使用的深度伪造数据集（CelebDF-v2[7]、DeepFakeDetection[1]、DeepFake Detection Challenge[8]和DeepFake Detection Challenge Preview[9]）上评估了我们的方法。实验结果表明，所提出的框架显著优于现有方法。

**主要贡献总结如下：**
- 我们引入了分层专家混合（HiMoE）适配器，通过将专家组织成层级结构来增强特征适应能力，实现特征的逐步精细化处理。
- 我们提出了自适应文本提示聚合（ATPA）模块，通过组合多个文本提示并反转它们来创建“真”类嵌入，从而改进“假”类嵌入，提高了视觉-文本对齐，增强了面部伪造检测的效果。
- 我们在四个公共数据集上进行了广泛的实验，在检测由各种伪造技术生成的假人脸图像方面取得了最先进的性能。

**部分摘录**
**面部伪造检测**
早期的面部伪造检测研究主要依赖于手工制作的特征来识别被操纵图像中的低级特征。例如，杨等人[10]利用了噪声模式和光照异常的不一致性。这些方法具有可解释性和低计算复杂性的优势，使其在检测简单的伪造时非常有效。然而，它们对特定领域特征工程的依赖限制了其对更复杂伪造的泛化能力。

**方法论**
本文旨在学习一个能够识别输入面部图像是真实还是伪造的二分类模型。假设有一个训练数据集{(Xi, yi)}i=1M，其中Xi表示面部图像，yi∈{0,1}表示Xi的标签，M表示训练图像的数量。yi=1表示Xi是真实图像，而yi=0表示Xi是假图像。

**实验设置**
数据集和评估指标。遵循之前的研究[25]，我们使用了他们提供的预处理数据集，并使用曲线下面积（AUC）来评估性能。训练源数据来自FaceForensics++（FF++）[26]，其中包含来自1000个原始视频的超过180万张假图像，包括四种类型的操作：深度伪造、Face2Face[27]、FaceSwap[3]等。

**结论**
在本文中，我们提出了一种新的检测框架，利用CLIP强大的泛化能力来对齐视觉和文本特征，实现稳健的跨模态表示学习。我们的框架通过引入分层专家混合（HiMoE）和自适应文本提示聚合（ATPA）模块，解决了现有方法的局限性。HiMoE实现了更有效的特征适应，不同非线性级别的专家被动态分配给输入特征。

**作者贡献声明**
方超伟：撰写——审阅与编辑、项目管理、方法论、调查。
傅博林：撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、项目管理、方法论、调查。
杨涛：撰写——审阅与编辑。
程德成：项目管理、方法论、调查。

**生成式AI声明**
在准备本手稿期间，作者使用了生成式人工智能工具（例如大型语言模型）来辅助语言改进和表达清晰度的提升。作者仔细审查并编辑了所有由AI辅助的内容，并对最终版本的手稿负全责。没有使用AI工具进行数据分析、实验设计或科学结果的生成。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所报告的工作。