从精选数据集到社交媒体现实：野外、多模态且可泛化的深度伪造检测

《Computer Science Review》：From curated datasets to social-media reality: In-the-wild, multimodal, and generalizable deepfake detection

　　

# 深度伪造检测：野外鲁棒性、多模态推理与跨领域泛化综述

## 摘要

随着生成对抗网络、扩散模型、神经渲染和多模态合成技术的快速进步，深度伪造检测也取得了显著进展。然而，在精心构建的基准数据集上表现优异，并不必然意味着在真实世界环境中可靠。在实际场景中，被操纵的媒体会受到平台压缩、转发、后期处理、多模态不一致、时间漂移以及不断演化的生成流程的影响。本综述从野外鲁棒性、多模态推理和跨领域泛化的角度审视深度伪造检测。首先阐明野外和可泛化深度伪造检测的概念基础，然后回顾数据生态系统，包括基准数据集、真实世界媒体条件、多模态数据缺口、标注质量和基准老化问题。进一步分析了检测器在现实部署条件下失败的主要原因，包括生成器偏移、平台引发的退化、模态不匹配、语言和说话人差异以及更广泛的情境多样性。随后对比了主要的技术方法族，包括基于伪影的方法、基于深度表示的方法、基于迁移的学习、领域自适应、领域泛化以及多模态检测策略，并着重讨论它们与真实世界鲁棒性的相关性。最后，讨论了评估实践、外部验证、现实基准测试以及未来方向，如持续更新的基准、缺失模态鲁棒系统、不确定性感知检测、溯源整合和基于基础模型的方法。总体而言，本综述认为，可靠的深度伪造检测需要从以基准为中心的优化转向鲁棒的、多模态的、面向部署的评估与设计。

## 引言

近年来，深度伪造技术取得了快速进展，得益于生成对抗网络、扩散模型、神经渲染以及大规模视听合成方面的重要突破。这些进展使得创建高度逼真的虚假面孔、视频、语音和说话头像内容成为可能，且越来越难以被人类与真实媒体区分开来[1]。尽管合成媒体的一些应用是良性或创造性的，但深度伪造的滥用已在新闻业、政治、公共安全、执法、数字取证和在线信任等方面引发了严重关切[2]。被操纵的内容可用于虚假信息、金融欺诈、非自愿利用、冒充、社会工程和声誉损害，使深度伪造检测成为一个关键的研究问题[3]。随着合成媒体在视觉真实感、时间连贯性和语音自然度方面持续提升，可靠检测不仅对于技术验证至关重要，对于维护数字通信生态系统中的信任同样不可或缺[4]。

除技术进步之外，深度伪造已成为一个重大的现实世界关切，因为它们日益具备大规模操纵身份、言论和视觉证据的能力[5]。其滥用已将合成媒体从技术新事物转变为显著的社会和制度风险[6]。虽然合成媒体可以支持创意制作、无障碍访问、娱乐和虚拟通信，但其滥用已在真实场景中创造了严重风险[7]。深度伪造可能被武器化用于虚假信息、身份欺诈、非自愿利用、诽谤、政治欺骗和社会工程，从而威胁个人隐私、机构公信力和公众信任[8]。

深度伪造的现实世界影响远远超出了图像操纵方面的技术关切。它们在社交媒体平台、消息应用程序和在线内容分享环境中的传播使其尤为难以监控和遏制[9,10]。一旦被篡改的媒体被转发、重新编码或跨平台再分发，其来源和取证痕迹都可能被掩盖[11]。这使得可靠检测不仅对数字取证日益重要，对新闻业、内容审核系统、平台治理以及针对合成媒体滥用的法律或政策应对同样至关重要[12]。

机器学习和深度学习已成为深度伪造检测的主导方法，因为仅凭手工设计的取证规则已不足以应对现代被操纵媒体。早期研究通常关注可见伪影，如混合边界、光照不一致、异常眨眼或生理不规则[13]。然而，随着生成方法的改进并开始产生更具视觉和时间一致性的结果，这些线索变得不那么可靠。为此，该领域转向了能够提取更复杂和更细微操纵痕迹的数据驱动学习框架[14]。

这一转变催生了一系列基于卷积神经网络、Transformer、时空建模、频域分析、音频取证和跨模态推理的方法[15]。这些方法在图像、视频和语音方面均报告了强劲的结果，尤其是在训练和测试遵循相似分布的精心构建基准数据集上。因此，深度伪造检测已成为一个规模庞大且技术成熟的研究领域[16]。然而，基准设置下报告的强表现并不能自动表明相同的模型在现实的、快速变化的在线条件下也是可靠的[17]。

深度伪造检测的核心挑战在于精心构建的基准数据集与真实世界在线环境中遇到的多样化、退化和快速变化的媒体之间的差距[9]。许多学术数据集在相对受控的条件下收集，具有已知的生成流程、更干净的视频源、有限的后期处理变异性以及相对一致的标注方案[18]。这些数据集对于方法开发和对比评估具有很高的价值，但它们不能完全代表被操纵媒体在通过社交媒体平台和其他不受控渠道分发后的表现形态[10]。

在社交媒体现实中，深度伪造通常会经历平台压缩、调整大小、重新编码、裁剪、转发、字幕插入、水印叠加以及其他后期处理操作，这些操作会削弱或掩盖检测器使用的线索[19]。此外，真实世界内容中使用的深度伪造生成器可能与训练数据集中代表的那些存在显著差异，导致模型过度拟合过时的或源自特定来源的伪影[20]。这种不匹配解释了为什么检测器可以在域内达到高准确率，但在真实部署条件下却会失败。因此，基准与现实之间的差距将鲁棒性和泛化置于当代深度伪造检测研究的核心[21]。

当从多模态角度考虑时，检测问题变得更加复杂。深度伪造已不再局限于被操纵的面孔图像或换脸视频；它们日益包括合成语音、唇形同步的说话头像视频、重演系统、跨语言配音以及音频和视觉流相互作用的多模态内容[22]。一个在静态图像上表现良好的检测器，可能在时间不一致、语音特征或跨模态同步成为操纵关键证据时失效。同样，在同步视听内容上训练的模型，当某一模态存在噪声、缺失或严重压缩时可能会性能下降[23]。这使得深度伪造检测不仅是一个二分类问题，也是一个受多模态不一致、缺失模态和真实世界媒体变换塑造的鲁棒性问题[6]。

另一个主要问题是，深度伪造格局随时间持续变化。新的生成模型快速涌现，旧检测器变得过时，广泛使用的基准随着操纵质量的提高而老化[24]。因此，性能受到生成器偏移、平台偏移、模态偏移、压缩偏移、时间漂移和标注限制等交互因素的影响[25]。在此背景下，本综述特别关注野外检测、多模态检测和可泛化的深度伪造检测，而非广义上的深度伪造检测方法。它从现实世界可靠性的角度审视这一问题，强调仅凭基准成功不足以评估实际有效性[26]。

近期综述主要按生成机制、检测器架构、模态或可靠性类别来组织深度伪造检测[13,[27], [28], [29], [30]]。本综述从以下四个方面推进以部署为中心的综合分析。第一，将数据集构建、平台变换、生成器偏移和基准老化统一纳入一个基准到现实的框架中。第二，将视觉、音频和视听操纵联合处理，包括非对称和缺失模态的情况。第三，将方法族映射到跨数据集、跨生成器、跨平台、时间、校准和可重复性需求，而非仅依赖域内准确率。第四，将证据转化为社交媒体部署的操作标准，包括对重复处理的鲁棒性、不确定性感知决策、资源有意识的推理以及与溯源和人工审核的整合。所形成的贡献是对可靠真实世界检测所需的证据和评估条件的结构化说明，而非又一组模型架构目录。

本综述的其余部分组织如下。第2节介绍野外和可泛化深度伪造检测的概念基础，包括标准检测流程、野外和跨领域泛化的定义、相关概念如迁移性和领域自适应，以及深度伪造检测中领域漂移的分类体系。第3节考察数据生态系统，重点关注常用的深度伪造数据集、精心构建的基准与真实世界社交媒体之间的差异、多模态数据可用性，以及标注质量、元数据和基准老化的作用。第4节分析深度伪造检测器在野外失败的主要原因，包括生成器偏移、平台压缩、后期处理、模态不匹配、时间漂移以及其他降低可靠性的技术和情境因素。第5节回顾为改进超出精心构建基准设置的深度伪造检测而提出的主要机器学习方法，包括基于伪影的、基于深度表示的、基于迁移的、领域自适应的和多模态方法。第6节讨论真实世界深度伪造检测的评估实践，重点关注域内与野外评估、超越准确率的指标，以及外部验证、现实基准测试和可重复性的重要性。第7节综合文献，解释为什么基准成功往往在社交媒体现实中失败，而第8节概述了未来方向，如持续更新的基准、缺失模态鲁棒检测、不确定性感知系统、溯源整合和基于基础模型的检测。最后，第9节总结本综述，概括主要见解并重申在现实条件下验证鲁棒的、多模态的和可泛化的深度伪造检测系统的必要性。

## 野外与可泛化深度伪造检测的概念基础

本节通过框架性定位深度伪造检测——不仅作为媒体分类问题，也作为鲁棒性、迁移性和真实世界可靠性问题——建立本综述的概念基础。虽然许多深度伪造检测器在标准数据集上取得了优异结果，但其实际价值取决于它们在遇到跨未见生成器、社交媒体平台、压缩级别、语言和模态的被操纵内容时是否依然有效。

## 数据生态系统：从精心构建的基准到野外媒体

数据生态系统是深度伪造检测进展与局限性的最强决定因素之一，因为它塑造了检测器所学到的内容、继承的偏见以及其报告性能的可信度[70]。公开数据集促成了方法论的快速开发，但同时也助长了以基准为中心的优化，这种优化可能并不对应真实世界被操纵媒体的复杂性[69]。一个专注于野外、多模态和可泛化的……

## 失败来源：深度伪造检测器为何在野外失效

本节考察当深度伪造检测器从精心构建的数据集转移到真实世界在线环境时失败的主要技术和情境原因。并非将"分布偏移"作为模糊的解释，而是识别降低可靠性的具体不匹配形式，包括生成器新颖性、平台退化、多模态不一致和时间演化。这些失败来源通常不会孤立出现；在实际部署中，多种因素可能同时……

## 用于野外、多模态和可泛化深度伪造检测的机器学习方法

本节回顾了为提高深度伪造检测以超越精心构建基准设置而提出的主要方法族。焦点不仅在于罗列架构，而在于比较不同方法如何应对生成器偏移、平台退化、模态复杂性和未见目标域。一些方法依赖显式的取证痕迹，其他依赖学习的表示，还有一些基于迁移或多模态推理。它们的优缺点……

## 真实世界深度伪造检测的评估实践

评估是深度伪造检测文献中最为关键也最常被低估的部分之一。关于泛化能力、多模态鲁棒性和实际就绪度的论断不仅取决于检测器学到了什么，也取决于该检测器如何被测试[122]。一个在数据集内评估中看似强大的模型，在面对未见生成器、平台失真或真实社交媒体内容时可能证明是不可靠的[123]。因此，评估必须被视为……

## 文献综合：为何基准成功往往在社交媒体现实中失败

文献显示深度伪造检测取得了显著的技术进展，但也揭示了一个持续存在的差距——基准成功与真实世界在线环境中可靠表现之间的差距[129]。这种不匹配的出现是因为该领域往往针对精心构建的数据集、有限的操纵类型和狭窄的评估协议进行优化，而非针对社交媒体部署中不可预测的条件[84]。结果是一组展示了强……

## 未来方向

深度伪造检测的未来研究日益走向动态数据、多模态鲁棒性、不确定性感知操作以及与互补信任机制的整合[140]。下一阶段的进展不仅取决于更强的检测器，还取决于不断演化的威胁条件与基准、模型和评估协议设计方式之间的更好对齐[141]。本节概述了可以将该领域从基准驱动的进展推向……

## 结论

本综述表明，深度伪造检测的核心挑战已不再是仅仅在精心构建的学术基准上将真实内容与虚假内容区分开来，而是开发在真实世界媒体传播的演化、退化、多模态和平台依赖条件下依然可靠的检测器。

野外检测、多模态鲁棒性以及超越精选数据集的泛化能力，为理解这一挑战提供了一个有用的框架，因为它们将技术与……

CRediT 作者贡献声明
Muhammad Tahir Naseem：概念设计、数据管理、形式化分析、方法学、软件、验证、可视化、原稿撰写、审阅与编辑。两位作者均已阅读并同意本稿件的最终版本。Wajid Zaman：概念设计、数据管理、形式化分析、调查研究、方法学、项目管理、软件、监督指导、验证、可视化、原稿撰写、审阅与编辑。

关于手稿准备过程中生成式AI及AI辅助技术的声明
在本研究的准备过程中，作者使用了ChatGPT、FigureLab和Grammarly进行主题构建、文献整理、语言编辑以及示意图草稿的编制。使用这些工具后，作者对内容进行了审阅、编辑和核实，并对最终手稿承担全部责任。

资助
本研究未获得公共、商业或非营利部门资助机构的任何专项资助。

Muhammad Tahir Naseem | Wajid Zaman