理解音视频深度伪造检测：技术、挑战、人为因素以及感知洞察

《IEEE Computational Intelligence Magazine》：Understanding Audiovisual Deepfake Detection: Techniques, Challenges, Human Factors, and Perceptual Insights

深度学习在多模态深伪检测中的应用研究综述。本文系统梳理了视听融合检测技术现状，分析单模态与多模态方法的优劣，探讨现有数据集及其局限性，为媒体真实性研究提供新范式。

　　

摘要：

深度学习已在各个领域得到成功应用，其在深度伪造检测方面的影响也不例外。深度伪造是一种虚假但逼真的合成内容，可以被用于政治伪装、网络钓鱼、诽谤或传播错误信息等恶意目的。尽管针对单模态深度伪造检测的研究已经相当深入，但通过结合音频和视频流来识别复杂深度伪造的内容仍然是一个相对未被充分探索的领域。为了填补这一空白，本综述首先概述了音视频深度伪造的生成技术、应用及其后果，然后全面回顾了结合音频和视频模态以提高检测精度的技术方法，总结了这些方法的优点和局限性，并对其进行了批判性分析。此外，我们还讨论了现有的开源数据集，以便更深入地了解这一领域，为研究社区提供支持，并为希望分析基于深度学习的音视频视频取证方法的初学者提供必要的信息。通过架起单模态与多模态方法之间的桥梁，本文旨在提高深度伪造检测策略的有效性，并为未来的网络安全和媒体完整性研究提供指导。

引言

智能手机、笔记本电脑、平板电脑等智能数字设备的普及，加上社交媒体平台的易用性，推动了互联网上多媒体内容（图片、视频和音频）的指数级增长。这一增长还得益于各种深度生成网络[2]、[3]、[4]等技术进步的推动。然而，这种易用性也增加了需要谨慎对待的风险，因为这可能导致虚假信息的泛滥。尽管存在这一问题，许多人仍然秉持“眼见为实”的旧观念，在不考虑内容真实性或验证其数字完整性的情况下就分享多媒体内容。深度伪造技术利用复杂的人工智能（AI）模型，使深度学习（DL）工具能够操纵媒体（图片、视频和音频）来生成高度逼真的伪造内容，从而欺骗观众。深度伪造是一种通过将源人脸叠加到目标人脸上、修改音频片段中的语音，或同时进行这两种操作而生成的AI伪造媒体。网络上大量的图片、视频和音频数据使得检测此类伪造内容变得越来越具有挑战性。深度伪造的影响至关重要，因为我们仍然依赖照片和音频记录作为证据，而逼真且制作精良的伪造工具使得伪造内容难以与真实内容区分开来[5]。有害且不受控制的虚假内容的快速传播对新闻业和新闻提供商的信任度造成了严重且迫在眉睫的冲击[6]、[7]。深度伪造媒体内容可能被用来加剧国家间的政治或宗教紧张关系[8]、在政党之间传播误导性信息或谣言[6]、欺骗公众[6]、制作报复性色情内容[9]、诽谤名人[9]、推动欺诈和身份盗窃[10]，以及在竞选活动中制造政治混乱或博取关注[11]。