通过频域增强和自预测学习实现人脸伪造检测的结构一致性

《IEEE Transactions on Biometrics, Behavior, and Identity Science》：Structural Consistency for Face Forgery Detection via Frequency Domain Enhancement and Self-Predictive Learning

现有面部伪造检测方法泛化能力不足，本文提出融合频率域增强与自预测学习的结构一致性检测方法。通过离散余弦变换提取频率特征，设计增强模块捕捉细微伪造痕迹，并利用自预测学习重构面部遮挡区域以强化结构一致性。同时引入差异引导模块计算像素级差异生成注意力图，实验表明该方法在多样化数据集上检测性能显著提升。

　　

摘要：

现有的面部伪造检测方法往往会对已知的伪造模式产生过拟合，导致其对未见过的伪造行为的泛化能力有限。为了解决这个问题，我们提出了一种基于频域增强和自预测学习的面部伪造检测方法，该方法将频域特征嵌入到空间表示中，并利用真实面部场景中的结构一致性来提供更具区分性的伪造识别线索。具体来说，我们设计了一个数据增强模块，通过离散余弦变换（DCT）提取频率信息，并使用频域增强模块（FEM）对其进行增强，以捕捉细微的伪造痕迹。此外，我们还设计了一个自预测学习模块（SPLM），该模块通过利用真实面部特征的结构一致性来重建被遮挡的面部中央区域。为了进一步指导学习过程，我们定义了一种自预测重建损失函数，该函数可以最小化被遮挡区域的预测误差，并有助于强化结构一致性。另外，我们还提出了一个重建差异引导（RDG）模块，该模块通过计算重建图像与原始输入之间的像素级差异来明确指出潜在的伪造区域。这一过程生成了一个注意力图，引导分类器关注语义上不一致或异常的区域。实验结果表明，我们的方法在多种数据集上均表现出更强的泛化能力和鲁棒性。