图像、视频和音频领域的深度伪造检测：一项涵盖泛化能力与鲁棒性实证评估的全面综述

《ARTIFICIAL INTELLIGENCE REVIEW》：Deepfake detection across image, video, and audio: a comprehensive survey with empirical evaluation of generalization and robustness

　　

摘要

近年来，深度伪造技术已成为一种重大威胁。它们被用于各种恶意目的，如身份冒充、传播虚假信息以及模仿艺术风格，从而引发了严重的伦理和安全问题。本综述对被动式深度伪造检测进行了全面的跨模态分析，同时研究了图像、视频和音频三种数据类型。与融合多种数据流的多模态检测方法不同，我们的跨模态分析着眼于各独立数据类型之间的相互关联、共同的方法论原则以及存在的共同漏洞。我们根据不同的检测方法所依据的原理，将其系统地分类：针对视觉数据类型，有基于法医分析、数据驱动、指纹识别以及混合技术的方法；而对于音频数据，则分为手工设计的特征与可学习特征两类。此外，我们的分析不仅关注检测精度，还涵盖了实际应用中至关重要的性能指标，如泛化能力和鲁棒性。该综述还提出了统一的评估方案，利用10个常用数据集来评估每种数据类型在检测精度、泛化能力及鲁棒性方面的表现。具体而言，我们从三个关键维度进行了大量实证测试：(1) 对13种单模态检测器的领域内精度进行验证；(2) 对33种旨在提升泛化能力的检测方法进行跨领域泛化能力评估；(3) 对6种检测方法在面对对抗性攻击时的鲁棒性进行测试。实验结果显示，这些检测方法在面对非分布场景时仍存在明显的泛化缺陷，性能会下降\(10-15\%\)，而且对于白盒式对抗性攻击的防御成功率超过\(80\%。我们还分析了现有数据集、评估基准及指标在被动式深度伪造检测中的优缺点。最后，我们提出了未来研究的方向，以解决这一领域中尚未得到充分研究的新兴问题。本综述为研究人员和实践人员提供了宝贵的资源，帮助他们了解这一快速发展领域的现状、方法论以及具有前景的未来发展方向。