一种基于时空缺陷检测的深度伪造视频检测与伪造算法溯源模型

《Scientific Reports》：A spatiotemporal defect-integrated deepfake video detection and forgery algorithm attribution model

　　

摘要

作为人工智能生成内容的一种重要形式，深度伪造（Deepfake）引发了重大的安全问题，因为它显著增强了欺诈活动的隐蔽性，并提高了这些活动在现实世界中的成功率。目前大多数关于深度伪造的研究主要集中在检测任务上，未能充分捕捉到不同伪造算法在合成过程中留下的细微操控痕迹。此外，确定被篡改视频的具体生成算法也非常关键，这有助于识别伪造类型并减少虚假信息的广泛传播所带来的负面影响。为填补这一空白，本文提出了一种时空特征感知框架，旨在同时完成两项核心任务：深度伪造视频检测和伪造算法识别。具体而言，通过结合卷积神经网络（CNN）强大的局部特征学习能力和Transformer的长距离依赖性捕捉能力，从输入动态图像序列的局部和全局信息中挖掘伪造过程留下的痕迹，从而全面建模被篡改视频的时空特征。为了提升模型捕捉伪造特征的能力，创新地将频域滤波器集成到卷积特征中，放大了合成算法所携带的细微痕迹。同时，考虑到伪造痕迹的多尺度特性，我们利用主干网络的中层和深层输出分别在不同特征层次上揭示时间缺陷。最终通过对这两个组件的预测结果进行融合，得到输入人脸序列的预测结果。该框架在交叉熵损失、三元组损失和困难样本挖掘损失的联合监督下进行训练。这种多损失优化策略有效调整了模型内部的紧凑性和类别间的区分度，使模型能够学习出更具区分性的特征，从而提升检测和识别的能力。在FaceForensics++数据集上的全面实验表明，所提出的方法实现了97.86±0.18%的检测准确率和99.81±0.11%的AUC值，以及98.42±0.15%的伪造算法识别准确率，性能优于该数据集上的大多数现有方法。