传感器驱动的多模态深度伪造检测：一种结合自适应模态门控的跨注意力融合方法

《Sensors》：Sensors-Driven Multimodal Deepfake Detection: A Cross-Attention Fusion Approach with Adaptive Modality Gating

　　

摘要

深度伪造技术威胁着基于传感器的认证系统，包括生物特征传感器、监控摄像头和物联网边缘设备。单一模态的检测器仍然容易受到特定模态攻击的影响。我们提出了一个针对资源受限的边缘设备优化的多模态深度伪造检测框架，该框架采用了一种新颖的跨模态注意力融合机制，并具有自适应门控功能。该架构结合了用于音频的增强型Res2Net、用于视频的时域3D CNN和SE注意力机制，以及基于质量的双向跨模态注意力机制。在我们的基准测试中（5472个音频样本 + 1842个视频样本），该融合模型的准确率为96.7%，F1分数为96.6%，AUC-ROC值为0.988，错误率为3.3%。对抗性测试显示，在Fast Gradient Sign Method (FGSM)攻击下，模型的准确率为92.3%。该模型的占用空间为30.3 MB，并能在边缘硬件上以20 FPS的帧率运行。模态贡献分析表明：在TTS伪造攻击中音频的贡献率为72%，在口型同步攻击中视频的贡献率为78%。在FakeAVCeleb数据集上的跨数据集评估中，模型的整体准确率为92.3%，证明了其泛化能力。