通过跨域解耦和熵自适应增强技术实现人脸伪造检测

《Pattern Recognition》：Fair face forgery detection via cross-domain decoupling and entropy-adaptive enhancement

面部伪造检测的公平性与泛化性平衡研究，提出跨域解耦与熵加权自适应增强框架，通过空间域与频率域联合解耦分离伪造特征与人群属性，设计特征感知和对比学习辅助任务优化高频特征，结合动态增强策略实现公平与泛化的协同提升。

　　

Fan Cheng|Linkai Tian|Fanjun Meng|Xianliang Wang|Mingsha Peng|Liangliang Su|Zhize Wu

安徽大学光电信息获取与保护技术国家重点实验室，合肥，230601，中国

摘要

近期在生成式人脸伪造检测方面的进展提高了检测性能，但越来越多的证据表明，这些模型在不同人群（如种族和性别）之间存在不公平的差异。这种差异可能导致某些群体被错误分类或无法得到保护，从而削弱了对检测技术的信任和采用。这凸显了迫切需要开发出既能保证公平性又能具备泛化能力的方法。目前基于空间域解耦的方法可以提高公平性，但往往缺乏泛化能力；而基于频域解耦的方法虽然能提高泛化能力，却会牺牲公平性。为了解决这一挑战，我们提出了一个新颖的公平泛化学习框架。我们的方法通过跨域解耦分离出域不变特征和高频伪造特征，并通过精心设计的跨域注意力融合机制实现公平性感知的泛化。我们引入了两个频域辅助任务——特征感知任务和特征对比学习任务——来指导判别性频域表示的学习。此外，我们还采用了一种基于熵加权的自适应增强策略，动态提升公平性和泛化能力。在多个基准深度伪造数据集上的实验表明，我们的方法在平衡公平性和泛化能力方面始终优于现有最佳方法。

引言

深度生成模型的快速发展，如生成对抗网络（GANs）[1]和扩散模型[2]，极大地改变了面部媒体合成技术。这些强大的技术现在能够生成逼真的面部图像，即使是专家也难以区分其与真实人脸的差异[3]。这种能力引发了关于社会安全的重大担忧，包括隐私泄露[4]、金融欺诈[5]和其他恶意应用[6]。这些新兴威胁凸显了开展人脸伪造检测研究的紧迫性。主流的人脸伪造检测方法利用各种伪造线索（包括生物信号[6]、混合伪影[7]和频域信号[8]）来进行检测。尽管这些方法取得了良好的泛化性能，但最近的研究和报告[9]揭示了当前伪造检测模型中的公平性问题。例如，一些最先进的检测器在评估浅肤色个体的深度伪造图像时比深肤色个体的检测准确率更高[9]，并且在男性样本上的准确率也高于女性样本[10]。在跨数据集场景中，一些公平性优化方法在未见过的领域会出现整体性能下降，同时不同人群之间的错误分类率差异也会增加。这一关键缺陷使得攻击者能够生成针对特定人群的恶意深度伪造图像以逃避检测。因此，如何在公平性和泛化能力之间找到平衡仍是一个根本性挑战。现有方法仍无法有效解决这一问题。

在人脸伪造检测中，现有研究要么侧重于公平性，要么侧重于泛化能力，但两者都因特征学习和域解耦策略中的固有缺陷而受到限制。侧重于公平性的方法[11]主要依赖于空间域解耦，通过将人口统计特征与伪造相关特征分离来减少偏见。然而，这些方法在训练过程中过度强调人口统计信息的建模，导致细粒度伪造线索的丢失和泛化能力严重下降——尤其是在面对未见过的伪造算法时。这一限制源于一个关键问题：空间域特征本质上将域不变特征、人口统计属性和内容特征混在了一起，简单地将人口统计特征分离出来会损害伪造相关表示的完整性，如图1(a)所示。另一方面，侧重于泛化能力的方法[12]采用频域解耦，将高频伪造伪影（跨方法检测的强有力线索）与空间域特征融合以提高泛化能力。然而，这些方法完全忽略了公平性问题：空间域特征仍然包含未消除的人口统计属性，而频域特征缺乏专门的监督机制来防止偏见与伪造线索的混淆，如图1(b)所示。此外，这两类方法都采用随机数据增强策略，这会导致过拟合、训练不稳定，并进一步加剧公平性与泛化之间的权衡。具体来说，随机增强未能优先学习难以分类的样本（例如深色皮肤女性的深度伪造图像），从而加剧了不同人群之间的性能差距。

为了解决在人脸伪造检测中同时实现公平性和泛化能力的难题，我们提出了一个基于跨域解耦和熵自适应增强的公平泛化学习框架，如图1所示（我们的方法）。与仅进行单域（空间或频域）解耦或简单特征融合的现有方法不同，我们的方法同时采用专门的公平性和泛化监督机制，分别对空间域和频域中的伪造特征进行解耦和净化。它还动态调整训练过程，以同时减轻人口统计偏见并应对跨域泛化挑战。具体而言，我们首先设计了一个高频特征解耦模块（HFFDM）来提取受人口统计属性影响较小的高频伪造特征。为了监督这些特征的学习，我们设计了两个辅助任务：频域特征感知任务和频域特征对比学习任务，为学习具有判别性和公平性的频域特征提供明确指导。其次，利用空间域解耦网络分离出域不变特征，从而消除人口统计属性的干扰。然后，我们设计了一个跨域注意力融合模块（CAFM），将解耦出的域不变空间特征与净化后的高频特征融合，在融合损失函数的监督下实现公平泛化学习。为了进一步提高模型的公平性和泛化能力并克服随机增强策略的局限性，我们引入了一种基于熵加权自适应的公平性增强策略（EAFES）。总结来说，本文的主要贡献如下：

• 我们提出了一种通过跨域解耦空间域和频域特征来实现公平泛化的框架，并引入了两个辅助任务来指导频域特征的学习：频域感知和对比学习。
• 我们引入了一种基于分类难度自适应应用数据增强策略的熵自适应增强机制，并结合了跨域注意力融合模块以实现有效的特征融合。
• 在多个基准深度伪造数据集上的广泛实验表明，我们的方法在实现公平性和泛化能力方面始终优于现有最佳方法。

部分摘录

人脸伪造检测中的泛化能力

大多数现有的人脸伪造检测方法属于数据驱动类别，包括[13]。 [14]指出，统一的人脸攻击检测将是人脸取证领域的一个有前景的研究方向。[15]提出了一个一致的表示学习框架，旨在通过明确约束不同表示之间的一致性来提高人脸伪造检测的性能。[16]提出了一个端到端的重建-分类学习

总体框架

我们提出了一个基于跨域解耦和熵自适应增强的公平泛化学习框架。采用Xception [32]作为特征提取的骨干网络。具体来说，空间域解耦网络将这些特征分为域不变伪造特征、域特定伪造特征、人口统计特征和内容特征，并仅将域不变伪造特征输入到后续的融合模块中。

实验设置

数据集：为了验证我们提出方法的公平性和泛化能力，我们在最常用的基准数据集FaceForensics++(FF++) [3]上训练模型，并在FF++、DeepfakeDetection (DFD) [34]、Deepfake Detection Challenge (DFDC) [35]和Celeb-DF [36]上进行测试。我们在FF++中使用的伪造图像是由五种面部操纵算法生成的，包括Face2Face (F2F) [37]、FaceSwap (FS) [38]、DeepFakes(DF) [38]、NerualTexture (NT) [39]和FaceShifter(FST) [40]。

结论

在本文中，我们提出了一个公平泛化学习框架，以同时解决人脸伪造检测中的公平性和泛化能力问题。我们的方法引入了一种跨域解耦机制，将空间域中的域不变特征与频域中的高频伪造特征分离。为了有效学习高频特征，我们设计了两个辅助任务：频域特征感知和

CRediT作者贡献声明

Fan Cheng：方法论、概念化。Linkai Tian：撰写——初稿。Fanjun Meng：资金获取、形式化分析。Xianliang Wang：资金获取、形式化分析。Mingsha Peng：资源获取、资金获取、形式化分析。Liangliang Su：可视化、验证。Zhize Wu：撰写——审阅与编辑、验证。

未引用参考文献

[49]

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

我们感谢国家自然科学基金项目（62406095、62403001、62106002、12205003）、安徽省自然科学基金项目（2308085MF213）、光电信息获取与保护技术国家重点实验室开放基金（OEIAPT202503）以及国家重点研发计划（2024YFC3808100）的支持。