《Algorithms》：Deepfake Generation and Detection Algorithms: A Comprehensive Survey of Multimodal Learning, Robustness, Explainability, and Trustworthy Synthetic Media Forensics
深度伪造生成现已融合自编码器（AE）、生成对抗网络（GAN）、扩散模型（Diffusion Model）、Transformer、神经渲染（Neural Rendering）以及音频条件合成（Audio-conditioned Synthesis）。本综述对图像、视频、音频及多模态的生成与检测进行了结构化的叙述性综合（Narrative Synthesis），并围绕合成机制与取证证据之间的关系进行组织。文献筛选遵循明确的来源、检索词、纳入标准、去重及证据评价准则。生成方法依据条件需求（Conditioning Requirements）、身份保持（Identity Preservation）、时序一致性（Temporal Coherence）及计算成本进行比较。检测方法通过空间（Spatial）、频域（Frequency）、时序（Temporal）、生理（Physiological）、设备（Device）、音视频（Audio–Visual）及溯源（Provenance）证据进行分析，并关注使各类线索具有信息价值的假设前提。评估定义区分了重建质量（Reconstruction Quality）、分布真实性（Distributional Realism）、身份与语音保真度（Identity and Speech Fidelity）、分类性能（Classification Performance）、校准（Calibration）、鲁棒性（Robustness）、定位（Localisation）及效率（Efficiency）。研究结果在其各自的数据集与协议范围内予以解读，而非汇总为跨架构的统一排名。比较分析将已证实的基准表现与开放集检测（Open-set Detection）及多模态合成中提出的方向相区分。实践建议优先考虑留出生成器（Held-out Generators）与数据集、真实处理流程、明确的操作阈值（Operating Thresholds）、校准置信度（Calibrated Confidence）、忠实的解释（Faithful Explanations）及溯源验证（Provenance Validation）。上述要求共同将算法性能与可信合成媒体评估所需的证据相连接。
**1. 引言**
可生成逼真合成图像、视频与语音的能力已改变了数字媒体所依据的证据假设。深度伪造包括身份替换、面部重演、语音驱动的唇形同步、语音克隆及全合成场景；这些任务在是否替换身份、修改运动、重建语音或联合改变视觉与声学内容方面存在差异。真实性评估因此需要的不仅是识别视觉上不自然的面部：相关证据可能来源于空间纹理、时序轨迹、生理信号、声学模式、采集硬件或可验证的溯源信息。核心问题不仅在于检测器是否赋予较高的合成媒体概率，更在于所观察到的证据是否支持在该内容被生成与处理的条件下的推断。深度伪造生成已从基于自编码器的身份迁移与生成对抗网络（GAN）发展到扩散模型、基于Transformer的架构、神经渲染及多模态条件化。这些方法族在优化目标、可控输入及可能的残留痕迹上各不相同。面部合成可能引入边界不一致，对抗合成可能表现出学习到的纹理或频谱规律性，基于扩散的编辑可能在保留真实语义结构的同时改变细尺度统计特性。视频生成还要求跨运动、姿态、身份及光照的一致性；语音条件生成必须协调声学与可见发音。重要的是，此类痕迹是条件性的而非普遍性的：成功的合成模型可能抑制某一线索，而压缩、缩放或重编码可能在真实录音中产生类似伪影。因此，生成机制分类法只有与明确的检测器假设及受控评估相结合时，才具有取证信息价值。现有检测研究采用空间与频域分析、运动与生物一致性、相机与设备指纹、音视频对齐、学习表征及溯源验证。然而，在熟悉的操纵类型下测得的准确率并不能与对未见生成器或数据集的泛化性互换。受试者身份、源质量、压缩、类别平衡及阈值选择的差异可能改变测量性能，而不代表某一架构的内在优势。同样，输出真实性、身份保持、重建相似度及时序一致性是不同的生成目标，而分类器判别力、定位、概率校准、抗攻击性及运行时成本是不同的检测标准。综合性评估必须在数学上区分这些量，并将每项报告结果与其所依据的数据、协议及操作假设相连接。本综述通过对图像、视频、音频及多模态深度伪造研究的结构化综合来建立这一联系。文献筛选程序确定了180项符合条件的原始研究，并辅以单独识别的背景与基础来源，按生成机制、取证线索、评估指标及部署约束组织证据。四项贡献构成分析框架：（i）将合成操作与可检验取证假设相关联的生成到证据分类法；（ii）模型族、条件需求、优势及失效机制的比较性论述；（iii）生成、检测、鲁棒性及效率指标的明确数学定义与协议感知解读；（iv）留出生成器测试、校准决策、解释忠实性及溯源验证的实践准则。表1将本综述的综合覆盖范围与代表性综述进行对照，图1为身份操纵、时序合成及多模态生成融合的历史背景提供脉络。由此形成的组织方式避免将不兼容基准设置之间的差异解读为普遍模型排名。图1将身份替换向受控多模态合成的转变置于背景中。图2描述主题的分析序列；其方框代表主题阶段而非编号章节。图3区分生成、证据、评估及缓解，明确合成机制与部署措施回答的是不同问题。图1被解读为技术能力的进展，而非真实性或可检测性单调提升的证据。早期操纵与面部替换阶段突出图像重建与混合，这促使对面部边界与局部纹理的考察。对抗与高保真生成拓宽了合成面部外观的空间及相关的频域线索。后续的条件化、时序及多模态阶段将姿态、运动、语音及跨模态对齐添加为明确的合成目标；检测相应地必须考察序列一致性及模态间关系。这些发展相互重叠，混合系统可能同时保留多种机制。因此，该时间线解释了为何后续分类法依据因果与处理假设来评估取证线索，而非将每个生成器族视为具有固定签名。本文其余部分组织如下：第2节描述文献选择与综合方法，包括检索策略、纳入标准及研究选择过程；第3节提出生成与检测分类法及其比较分析；第4节定义指标、基准协议及代表性结果；第5节提出研究与部署优先事项；第6节以可操作建议作结。表1从八个互补维度比较主题覆盖范围。生成与检测分类法两列分别指示某工作是否系统地对合成机制与取证方法进行分类。音频/多模态及扩散/Transformer/神经渲染两列识别对较新媒体类型与生成方法族的覆盖。其余各列涉及基准数据集与指标定义、鲁棒性与泛化性、可解释人工智能（XAI）与定位、以及溯源与部署。对勾表示对所指组合主题的实质性处理；叉号表示此类处理并非相应综述的主要焦点。因此该表为定性范围比较，而非方法质量或实证优越性的评分体系。特别是，生成机制、多模态证据、评估协议及操作信任标准的综合处理，构成了后续各节所展开的整合分析的动因。
**2. 文献选择与综合**
本综述遵循结构化叙述性综合方法。其范围涵盖2013年至2026年10月10日期间关于深度伪造生成、检测、评估及溯源的技术研究，并在需要时保留更早的基础指标参考文献。文献识别结合了基于参考文献的审计与对IEEE Xplore、Scopus、Web of Science、ACM数字图书馆、CVF开放获取、NeurIPS论文集、PMLR、arXiv及补充来源的索引记录进行针对性标题与关键词检索。这些来源涵盖引文索引、数字图书馆、论文集平台及预印本存储库；补充识别采用引文追溯及对原始研究的针对性检索。检索更新于2026年10月10日进行。PRISMA 2020框架为研究选择流程提供术语。C2PA规范作为标准来源直接查阅。识别阶段检索到2209条记录，其中509条在筛选前被移除。在筛选的1700条记录中，1300条被排除；在评估的400份全文报告中，220份被排除，最终得到180项符合条件的原始研究（图4）。检索词按任务与技术机制分组。任务组包括deepfake、face forgery、face swapping、face reenactment、talking head、voice cloning及audio–visual detection。机制与评估组包括autoencoder、GAN、diffusion、transformer、neural rendering、cross-dataset、robustness、calibration、explainability及provenance。任务词与机制或评估词组合，命名模型单独检索以定位原始描述。引文追溯将综述与原始算法、数据集及指标出版物相连接。180项纳入研究包括深度伪造生成或检测的原始研究及原始数据集或基准出版物，每项均报告实验结果与基于基准的评估。纳入计数仅限于这些符合条件的原始研究。独立的综述、评论文章及社论提供历史或比较背景，但不计入该计数。同样，C2PA标准、基础指标描述及非同行评审的存储库预印本为技术定义、溯源分析或新兴方向提供信息，但不增加纳入研究总数。新闻条目、宣传性描述及不相关的图像生成研究被排除在方法比较之外。重复记录按DOI与规范化标题匹配。同一工作的已发表版本与预印本版本合并为一条引文，当参考书目中出现已发表版本时优先采用。证据评价考虑所述数据集、划分、预处理、操纵覆盖范围、适应策略及指标定义。仅凭高分或大型骨干网络并不能确立证据质量。比较按模态、生成方法族、取证线索、学习目标、操作假设及评估协议组织。数值排名仅限于兼容设置；架构趋势与提出的扩展与测量结果分开讨论。
**3. 分类法**
本节将深度伪造文献组织为两个互补的分类法：生成与检测。生成分类法解释合成或操纵媒体如何被产生，而检测分类法解释此类媒体如何通过视觉、时序、频谱、生理、设备级、元数据级及基于学习的证据被识别。这种联合视角很重要，因为每个生成方法族往往引入影响检测器设计的特征性伪影与失效模式。例如，自编码器与合成流水线通常促使边界感知检测；基于GAN的合成促使空间与频域分析；扩散模型促使语义与溯源感知验证；音频驱动生成促使多模态同步与语音活体分析。
**3.1 深度伪造生成技术**
深度伪造生成方法已从早期换脸工具发展到能够合成图像、视频、语音、身体运动及说话头内容的多模态系统。现代方法可归为基于自编码器的方法、基于GAN的方法、基于扩散的方法、基于Transformer的生成模型、神经渲染与3D感知方法、控制驱动生成器及混合流水线。这些类别并非互斥，实际系统常结合多个类别以获得更好的身份保持、时序稳定性、可控性及视觉真实性。图5给出总体生成分类法。
**3.1.1 基于自编码器的方法**
早期深度伪造流水线使用共享编码器与身份特定解码器进行换脸。编码器将输入面部映射到潜在表征，所选解码器重建目标身份。对齐与合成将生成面部整合到目标帧中。变分与解缠扩展对潜在表征进行正则化或因子化以支持插值与属性控制。重建模糊、颜色失配、可见边界及对分辨率、极端姿态或光照的敏感性仍是相关评估维度。对于编码器E与身份特定解码器，式（1）给出示例性交换与重建目标；变分自编码器（VAE）则最大化证据下界（式2）。重建与潜在正则化本身并不能保证身份–姿态解缠。图6展示共享编码器与身份特定解码器，解释了为何对齐与合成影响最终取证边界。示例方面，DeepFaceLab与Faceswap普及了编码器–解码器身份迁移，而FaceShifter、SimSwap、FaceInpainter及HifiFace改进了主体无关的身份保持。条件VAE、VAE–GAN混合及解缠自编码器支持属性编辑、潜在插值及姿态–身份分离。
**3.1.2 基于GAN的方法**
基于GAN的方法通过训练生成器合成假样本、判别器区分合成媒体与真实媒体，提升了深度伪造真实性。无条件GAN主要用于不存在身份合成，而条件GAN、图像到图像翻译模型及风格GAN对身份、姿态、表情及属性提供更强控制。视频与时空GAN通过时序判别器、光流约束或运动感知损失扩展到帧序列。尽管真实性强，GAN可能产生模式崩溃、身份泄漏、频谱伪影、人口统计偏差及时序闪烁。式（3）给出原始对抗目标；条件变体向G与D提供条件c；重建、身份及时序惩罚为附加设计选择。StyleGAN的风格调制提供尺度特定控制，但生成目标并不能确立检测器对该方法族的迁移性。图7说明FSGAN将重演、补全与混合分离；混合阶段创造了不同于对抗训练本身的证据机会。示例方面，StyleGAN2、StyleGAN3、ProGAN及GigaGAN为代表性高分辨率面部合成模型；Pix2pixHD、CycleGAN、StarGAN、FaceShifter、SimSwap及HiFiFace支持身份与属性迁移，而FSGAN、STGAN、MoCoGAN及vid2vid将对抗生成扩展到视频重演与运动迁移。
**3.1.3 基于扩散的方法**
基于扩散的生成迭代地对图像或视频表征去噪。文本条件模型合成身份或场景，而图像条件与掩码变体支持身份编辑、面部替换、表情迁移及边界细化。姿态、深度、分割、边缘或关键点可引导合成过程。这些条件机制对请求属性提供控制，但在推理成本、提示敏感性、身份漂移、人口统计偏差及时序一致性方面存在权衡。式（4）给出去噪扩散概率模型（DDPM）训练的标准噪声预测形式；式（5）给出无分类器引导（CFG）的采样预测修正。更好的语义对齐与成对保真度回答的是与真实性和跨生成器检测不同的问题。图8展示DiffusionAct如何将目标关键点迁移到重演编码同时保留源外观；该条件机制促使对身份、姿态及时序一致性进行单独测试。示例方面，Stable Diffusion、DALL-E风格模型、DreamBooth及基于LoRA的个性化支持提示驱动与身份特定生成；InstructPix2Pix、LaMa、LDFaceNet及人物感知修复方法支持局部编辑与面部替换；AnimateDiff、VideoCrafter、ModelScope、VideoControlNet及Stable Video Portraits将扩散扩展到视频与姿态控制重演。
**3.1.4 基于Transformer的生成模型**
基于Transformer的生成器将图像、视频、音频或多模态信号建模为词元序列。自回归Transformer顺序预测词元，适用于长程时序建模、视频延续及说话头合成。掩码词元生成器预测缺失词元，对修复与局部编辑高效。多模态Transformer联合处理文本、图像、音频及视频词元，而基于编解码器的音频Transformer支持语音克隆与音频同步深度伪造。其主要挑战包括词元化伪影、自回归解码缓慢、模态错位、大数据需求及长序列身份漂移。式（6）给出自回归与掩码词元负对数似然损失的代表性形式；残差向量量化（RVQ）定义音频表征及其量化器，并非可直接加入标量损失的项。时序上下文与共享词元可支持连贯输出，但其取证价值必须与词元预测准确率分开评估。示例方面，AvatarSync、ARCON、DiCoDe、VideoPoet、CogVideo及EMU说明自回归与多模态视频生成；MAGVIT、MaskINT及Phenaki展示掩码词元视频合成与编辑；SpeechTokenizer、EnCodec、LauraGPT、VioLA及AudioDec展示基于编解码器的Transformer在语音克隆与音频深度伪造中的作用。
**3.1.5 神经渲染/3D感知生成**
神经渲染与3D感知生成将显式或隐式几何引入深度伪造合成。三维（3D）可变形模型对形状、表情及姿态提供参数化控制，而神经纹理与延迟神经渲染改进视角与光照感知重演。神经辐射场（NeRF）与3D高斯泼溅（3D Gaussian Splatting）支持新视角说话头合成与3D一致化身。这些方法改进姿态鲁棒性与几何一致性，但依赖准确几何、足够视角覆盖及稳定优化。式（7）给出代表性图像重建目标；几何、身份及感知约束可补充该目标。3D表征约束视角一致性，而图像保真度与对新主体的迁移仍是独立评估维度。图9展示几何到神经纹理到渲染的链条；几何一致性因此不能被视为视频真实的证据。示例方面，StyleMorpheus、Stable Video Portraits及EMOCA展示基于3DMM的面部建模与动画；延迟神经渲染支持可重光照重演，而SyncAnimation、MimicTalk及InsTaG展示基于NeRF与3DGS的个性化说话头合成。
**3.1.6 关键点/姿态/音频驱动的生成器（控制优先）**
控制优先生成方法以面部关键点、头部姿态、密集身体姿态、语音特征或情感标签等显式信号为条件进行合成。关键点到帧合成支持表情迁移与面部重演。姿态引导生成扩展到全身运动迁移。音频驱动说话头方法将语音特征映射到唇部运动、面部表情或3D面部运动。这些方法提供强可控性，但对噪声关键点、遮挡、姿态估计误差、口音、差音频质量及长序列漂移敏感。式（8）给出示例性控制目标形式；条件可表示关键点、姿态、身份或对齐音频特征。图10将输入控制与生成模态分离。准确的唇形同步是合成目标，因此单独不能证明配对语音与面部源自真实录音。示例方面，MetaPortrait及关键点条件扩散方法支持少样本面部重演；FakeMotion与MimicMotion执行姿态引导全身合成；Wav2Lip、VideoReTalking及CodeTalker为代表性音频驱动唇形同步与说话头生成系统。
**3.1.7 混合流水线**
混合流水线结合多种生成范式以利用其互补优势。AE–GAN方法利用对抗细化改进身份迁移。3D先验加扩散流水线结合几何控制与逼真去噪。GAN加扩散系统使用快速对抗合成后接扩散细化。多阶段编辑流水线结合检测、跟踪、对齐、交换、混合、修复、色彩校正、超分辨率及时序平滑。这些系统在实践中强大，但引入误差传播、高工程复杂性及困难取证归因。式（9）给出兼容标量目标的混合训练形式；各表数学形式说明所述目标或条件机制，并非所有引用实现的通用损失定义。通过对齐、合成、细化及混合的误差传播也使检测器响应对单一生成方法族的归因复杂化。示例方面，Faceswap-GAN与DeepFaceLab说明AE–GAN风格换脸流水线；扩散条件3DMM与多视角扩散方法改进姿态鲁棒重演；StyleGAN加扩散细化及MoDiTalker类系统结合对抗、扩散及音视频模块以实现更高质量说话头合成。
**3.1.8 新兴生成趋势**
新兴方法将扩散与姿态、关键点、深度、分割及3D表征等结构条件相结合。多模态方案整合语音、视频、文本及身份条件；时序注意力与运动先验针对序列一致性。这些方向应通过身份保持、条件准确率、运动及计算成本的单独测量来评估。其对检测的影响取决于合成与处理后保留的痕迹，促使采用生成器留出而非假定跨架构的检测优势。
**3.2 深度伪造检测方法**
深度伪造检测方法试图识别媒体样本是真实还是被操纵。现有方法利用广泛证据，包括空间伪影、频域痕迹、时序不一致、生物信号、设备指纹、元数据与溯源信息、深度学习特征、开放集不确定性、对抗鲁棒性、可解释性及部署效率。由于现代深度伪造日益结合视觉、音频及时序操纵，鲁棒检测通常需要多个互补线索而非单一伪影类型。图11总结这些检测方法族。
**3.2.1 基于空间伪影的检测**
基于空间伪影的检测器分析单幅图像或帧中由合成、对齐、混合或合成引入的视觉不一致。典型线索包括面部边界接缝、颜色失配、局部纹理不规则、扭曲伪影、异常光照及眼、口、下颌线及头发周围的不一致。当伪影保持可见时这些方法有用，但在压缩、缩放、重编码、低分辨率或最小化接缝的高质量生成器下性能下降。代表性示例方面，Face X-ray风格检测器、边界感知CNN、胶囊网络、基于注意力的区域检测器及关键点几何模型已被用于检测混合边界、局部伪影及面部结构不一致。当操纵伪影保持局部化且视觉可检测时，这些方法最强。
**3.2.2 基于频域的检测**
频域方法利用上采样、卷积生成、去噪、压缩或重采样引入的频谱痕迹。GAN、扩散模型及视频生成器可能产生异常高频分布、棋盘格模式、离散余弦变换（DCT）系数不规则或生成器特定频谱指纹。频域特征常补充空间检测器，但可能对特定生成器过拟合，并在缩放、滤波或社交媒体压缩下减弱。代表性示例方面，快速傅里叶变换（FFT）分析为另一种频谱表征；F3-Net、空间相位浅层学习、FreqNet、BiHPF及FreGAN说明频域感知检测策略，使用DCT、FFT、相位、幅度、高通滤波或扰动图来暴露生成器痕迹并改进跨生成器迁移性。
**3.2.3 基于时序与运动一致性的检测**
时序检测器分析视频级不一致，如闪烁、抖动、不稳定面部纹理、不自然头部运动、不规则表情过渡及光流不连续。音视频时序检测器还比较唇部运动、语音时序、音素–视素对齐及面部动态。这些方法对视频与说话头深度伪造有价值，但需要足够帧数，且可能受压缩、帧率变化、相机运动、遮挡及伪造音频影响。代表性示例方面，动态不一致感知检测器、卷积神经网络–长短期记忆（CNN–LSTM）模型、基于运动的头部姿态分析、时空Transformer及音视频失谐检测器捕捉操纵媒体中的视频闪烁、运动异常及唇形同步失配。
**3.2.4 基于生理与生物信号的检测**
生理与生物特征检测器利用难以一致合成的生物信号，如远程光电容积脉搏波（rPPG）、心率模式、眨眼行为、注视运动、呼吸、微表情、语音活体及说话人嵌入稳定性。即使视觉真实性高，这些线索仍可能有用，但需要足够媒体质量、稳定面部区域、充足光照及稳健音频条件。代表性示例方面，基于rPPG的检测器分析心跳诱发的面部颜色变化，眨眼率与眼动方法使用关键点轨迹，呼吸分析跟踪躯干运动，语音活体系统使用说话人嵌入或频谱线索检测合成语音与克隆语音。
**3.2.5 基于相机、设备与物理痕迹的检测**
设备与环境方法考察采集流水线的痕迹，包括传感器噪声、光响应非均匀性（PRNU）、去马赛克伪影、镜头畸变、卷帘快门模式、光照一致性、声学混响及编解码历史。真实媒体通常包含连贯采集痕迹，而操纵媒体可能缺乏这些痕迹或组合来自多来源的不一致痕迹。当采集信息可用时这些方法提供强取证证据，但受压缩、去噪、重新上传及未知设备历史削弱。代表性示例方面，基于PRNU的模型、去马赛克痕迹检测器、卷帘快门一致性分析、光照建模及声学环境匹配已被用于验证视觉与音频痕迹是否与声称的采集条件一致。
**3.2.6 基于元数据、水印与溯源的检测**
元数据、水印与溯源补充基于内容的检测。元数据描述采集或编辑属性；水印测试嵌入信号；密码学溯源验证签名断言及其与资产的绑定。C2PA规定清单、签名、内容绑定及验证规则。成功验证在相关信任策略下确立完整性与所断言溯源，而非所描绘事件的事实真实性。溯源验证与检测器的假内容概率应作为不同证据渠道报告。代表性示例方面，EXIF与容器元数据解析可检测编解码与重编码不一致；HiDDeN等不可见水印系统支持轻度后处理下的归因，而密码学溯源框架与内容凭证在媒体生态系统支持签名采集与编辑历史时提供可追溯性。
**3.2.7 基于深度特征学习的检测**
深度特征学习方法训练神经网络从空间、时序、频域、音频或多模态证据分类媒体为真或假。常见架构包括卷积神经网络（CNN）、Xception类网络、EfficientNet风格模型、循环网络、3D CNN、图神经网络、视觉Transformer及多模态融合网络。这些模型常取得强基准性能，但可能对数据集特定伪影过拟合并跨数据集或未见生成器评估时表现不佳。式（10）给出以假内容为正类的二元交叉熵损失；式（11）给出概率集成形式。决策阈值在分数融合后应用。Xception的深度可分离卷积为架构基础；基于Xception的取证系统性能还取决于训练数据与协议。代表性示例方面，XceptionNet、EfficientNet、胶囊网络、CNN–LSTM模型、时空Transformer、基于图的關鍵点检测器及音视频融合网络代表主要学习型检测方法族。
**3.2.8 面向异常、开放集与泛化的检测**
开放集与泛化导向方法针对深度伪造检测的核心弱点之一：对未见数据集、生成器、压缩设置及操纵类型的差迁移。这些方法包括域泛化、自监督学习、异常检测、单类分类、元学习、测试时适应及不确定性估计。它们对实际部署重要，但校准困难，且良性分布外媒体可能被错误标记为假。代表性示例方面，跨数据集检测器、自监督取证模型、基于重建的异常分数、单类分类器及不确定性感知系统已被提出以减少对已知基准伪影的依赖并改进对未见操纵方法的鲁棒性。
**3.2.9 对抗鲁棒检测**
对抗鲁棒检测针对有意降级或绕过检测器的攻击，包括不可感知扰动、压缩攻击、滤波、重编码、自适应生成器细化及输入变换。鲁棒方法使用对抗训练、攻击感知增强、随机预处理、集成、频域感知特征及认证防御。这些方法改进安全性，但常增加计算并可能降低干净数据准确率。式（12）在声明扰动集内最小化最坏情况分类损失；扰动预算、攻击者访问、攻击迭代次数及目标决策决定鲁棒性结果的范围。对一种评估攻击的鲁棒性不同于对所有自适应攻击的抵抗力。代表性示例方面，快速梯度符号法（FGSM）与投影梯度下降（PGD）对抗增强、集成检测器、基于Transformer的鲁棒模型、扰动感知训练及随机预处理已被探索以改进检测器对自适应深度伪造攻击的韧性。
**3.2.10 基于可解释人工智能（XAI）的检测**
基于XAI的检测旨在使检测器决策可解释。XAI方法不限于报告真/假分数，而是产生显著性图、梯度加权类激活映射（Grad-CAM）热图、注意力图、基于概念的解释、操纵区域定位或帧级时序证据。可解释性对新闻、法律证据、生物特征认证及取证调查尤为重要，因为这些场景中决策必须可审计。然而，解释可能不稳定、不完整或对实际模型推理不忠实。代表性示例方面，Grad-CAM、显著性图、注意力可视化、概念激活方法、分割辅助定位及时序归因已被用于识别哪些面部区域、帧或操纵线索影响检测器输出。这些方法改进人类可解释性，但应评估解释忠实性而非仅视觉合理性。
**3.2.11 面向实时与部署的检测**
面向部署的检测在预期工作流内平衡延迟、可扩展性、隐私、鲁棒性及内存使用。剪枝、量化、高效骨干网络、帧选择、早退出及压缩域特征提供降低推理成本的不同途径。假阳性控制、校准升级到人工评估、模型更新及决策透明度也影响系统选择。代表性示例方面，Tiny-LaDeDa、SFMFNet、DefakeHop++、LightFakeDetect、Deepware Scanner及人–AI评估系统说明具有不同准确率、效率及可解释性目标的部署方法。图15与图16组织评估工作流及相应指标族。表19应在表22与表23之前阅读，因为同一检测器或生成器结果在数据集、压缩水平或跨域协议变化时可能显著改变。
**3.3 比较证据与泛化**
生成与检测分类法描述重叠机制而非严格排名。自编码器与合成流水线暴露重建与边界痕迹；GAN可留下学习纹理与频谱模式；几何感知渲染约束视角一致性；音频条件合成优化模态间关系。检测器的证据仅在其底层假设适用时具有信息价值。Face X-Ray通过混合证据展示泛化性；该结果涉及合成伪造，并不确立对全合成图像的通用检测。音视频失谐同样处理配对通道间关系，而联合合成通道可减少其利用的失配。空间与频域模型提供紧凑帧级证据，但第4.4节跨数据集分数区分熟悉生成器判别与迁移。时序与生理模型增加序列信息，代价是更长观察及对运动与采集质量的敏感性。图13说明面部区域间脉搏一致性；弱信号可能源自采集条件以及合成。图14则学习段级关系并支持时序定位。图12展示特征融合，其贡献应通过匹配的单分支与融合评估来评估。已发表基准测量确立指定分布下的行为。对未见生成器、长格式多模态合成及新采集条件的扩展为研究方向，其评估需要同样明确的协议。因此，跨数据集测试、生成器留出、压缩分层及模态消融提供互补证据而非可互换 measures。图11使这一分离可见：模态提供观察，而学习范式决定这些观察如何转换为分数。
**4. 性能评估指标分类法**
生成质量与检测可靠性回答不同问题。真实输出未必保持预期身份，准确分类器在分布偏移后未必保持校准。图16分离这些维度，图15分离训练、阈值选择及测试评估。在检测定义中，假内容为正类：表示假，为其预测概率，为阈值决策。N表示评估样本数，T表示帧数。比率假定非零分母，掩码重叠表达式假定非空并集。
**4.1 深度伪造生成指标**
**4.1.1 视觉质量指标**
对于参考与生成图像x与，含n个标量像素值，式（13）给出像素失真与峰值信噪比（PSNR）；式（14）给出结构相似性指数（SSIM）；式（15）给出学习感知图像块相似性（LPIPS）。较高的PSNR或SSIM及较低的LPIPS在其各自定义下表示更强的参考保真度；均不直接测量生成内容的真实性。
**4.1.2 分布与真实性指标**
式（16）给出弗雷歇 inception 距离（FID），比较真实与生成特征的均值与协方差矩阵。较低FID表示更接近的特征分布。特征提取器、预处理、样本数及参考分布应在数值比较中保持固定。生成精度与召回率区分保真度与覆盖；最近邻与留出分析考察记忆化。分布一致性并不确立成对身份或运动保持。
**4.1.3 时序质量指标**
运动补偿扭曲误差在光流对齐后将生成帧与其后继帧比较。时序SSIM评估结构连续性，而视频特征距离评估序列分布。这些度量应伴随帧级保真度及运动或关键点轨迹。重复静态帧可具有低闪烁但未满足请求运动，因此仅平滑性不能确立成功重演。
**4.1.4 身份与属性保持指标**
对于非零源与生成身份嵌入，式（17）给出余弦相似度（CSIM）。较高相似度表示在所选身份编码器下更强一致性。关键点距离、姿态误差及属性分类评估几何或语义控制；不应将其重新标记为身份嵌入相似度。特别地，平均关键点距离（AKD）测量关键点差异，而CSIM测量嵌入关系。
**4.1.5 音频质量与说话人相似度指标**
语音评估区分感知质量、可懂度、韵律及说话人身份。平均意见得分（MOS）平均人类评分，语音质量感知评估（PESQ）评估感知语音质量，短时客观可懂度（STOI）评估可懂度。音高与基频（F0）误差测量韵律差异。说话人嵌入余弦相似度使用式（17），但与预期说话人的相似度为合成结果而非真实语音记录证明。仅音频指标与音视频对齐应分开报告。
**4.1.6 多模态一致性指标**
同步比较对齐段上语音与唇部运动表征。Wav2Lip评估使用SyncNet导出的唇形同步误差距离（LSE-D）与唇形同步误差置信度（LSE-C）：较低距离与较高置信度有利于更强对齐。SyncNet置信度并非由通用余弦相似度公式定义。式（18）给出代表性对齐嵌入差异。模型特定对齐分数保留自身定义。同步的合成语音与面部可满足该标准，因此同步补充真实性证据而非替代。
**4.1.7 可控性与编辑准确率指标**
提示遵循比较文本与图像嵌入；姿态、表情及关键点差异评估结构控制。式（17）提供通用嵌入相似度，而实现特定的对比语言–图像预训练（CLIP）分数保留其归一化与缩放。编辑局部性使用式（26）重叠度量比较预测与预期编辑掩码。控制鲁棒性在扰动输入控制下评估同一任务，保持输出指标与协议固定。
**4.1.8 人类感知评估指标**
对于声明量表上的评分，式（19）给出MOS。差异分数应说明方向；在参考减生成约定下，。成对偏好测量与绝对评分不同的结果。盲法、随机呈现、评分者数量、不确定区间及真实性与身份保持的区分决定人类评估的解释。
**4.1.9 效率与可扩展性指标**
对于输出帧、处理时间及生成音频时长，式（20）给出帧率（FPS）与实时因子（RTF）。RTF低于1表示在测量配置下处理快于音频时长。参数数量、操作数量、峰值内存及能量补充速度。分辨率、序列长度、批处理、硬件及预处理在比较效率时必须匹配。
**4.2 深度伪造检测指标**
**4.2.1 检测准确率指标**
以假内容为正类，TP与FN计数正确与错误分类的假，TN与FP计数正确与错误分类的真样本。式（21）给出准确率、调和平均及平衡准确率。决策阈值与类别流行度为评估设置的一部分。平衡准确率平均敏感度与特异度；精度还取决于流行度。
**4.2.2 阈值无关指标**
设u为假阳性率，为相应真阳性率。式（22）给出ROC–AUC。精度–召回AUC总结不同曲线并取决于类别流行度。非插值平均精度与梯形PR–AUC使用不同积分约定，不应视为相同。
**4.2.3 错误率与安全指标**
在假正类约定下，将假接受为真为假阴性；将真内容拒绝为假为假阳性。式（23）给出假接受率（FAR）与假拒绝率（FRR）；式（24）给出等错误率（EER）；式（25）给出应用特定成本的二元检测成本。该二元成本不同于串联说话人验证成本。
**4.2.4 定位与取证指标**
对于预测与参考操纵掩码，式（26）给出交并比（IoU）与Dice系数。边界IoU与Hausdorff距离考察边界对齐而非内部重叠。像素准确率可能被未修改背景主导，因此掩码重叠与边界度量应伴随其报告。定位识别与操纵标注的一致性；法律可采性与数值重叠为不同问题。
**4.2.5 时序稳定性指标**
对于中的帧概率，式（27）给出均值、总体方差及有界稳定性描述符。TSS描述分数连续性并位于。帧一致性及自相关提供附加时序描述符。这些量测量稳定性而非正确性：持续错误的检测器可具有低方差与高TSS。包含实际操纵过渡的片段需要段级正确性以及平滑性。
**4.2.6 泛化与鲁棒性指标**
式（28）给出保留变化方向的带符号迁移差距。正差距表示退化；当分数为百分比时，差距以百分点表示。最差域性能补充宏平均。相对质量响应假定正基线且不必以1为上界。仅源训练、目标适应及目标依赖阈值调优定义不同迁移设置，应保持分离。
**4.2.7 对抗鲁棒性指标**
式（29）评估所有受攻击样本的鲁棒准确率。对于假内容规避，式（30）给出条件攻击成功率。该条件分数仅对定义；索引i、预测、受攻击输入及指示函数保留前述含义。该ASR一般不等于，因为样本集不同。扰动范数、攻击预算、查询访问及自适应评估定义威胁模型。相对防御改进仅对定义。
**4.2.8 校准与可靠性指标**
对于最高标签校准，设与。式（31）给出期望校准误差（ECE）。最大校准误差取最大非空箱差距。箱数与边界为估计器的一部分。式（32）给出二元Brier分数与负对数似然（NLL）直接评估概率质量。校准参数在验证数据上拟合；可靠性在域内与留出域测试上分别评估。
**4.2.9 效率与部署指标**
式（33）给出平均样本延迟与吞吐量。延迟分布、峰值内存、模型大小、操作及能量应伴随吞吐量报告。端到端评估包括解码、面部检测或跟踪、特征提取、模型推理及聚合。批吞吐与单流延迟描述不同部署需求。
**4.2.10 可解释性与可解释性指标**
解释评估区分定位一致性、忠实性及稳定性。归因掩码与操纵标注之间的重叠使用式（26），但仅重叠并不能确立高亮特征导致预测。插入与删除评估特征扰动下分数变化；基于再训练的特征移除及参数或标签随机化考察对学习信息的依赖。显著性合理性检查说明为何仅视觉合理性不足。解释稳定性还应在保持目标标签不变的处理与分布变化下评估。
**4.3 基准数据集与评估协议**
深度伪造结果应结合每项研究所用数据集、模态、操纵类型、压缩设置及评估划分来解读。表19总结代表性基准数据集，表20将每个数据集族与最适合回答的评估问题关联。表21提供紧凑报告清单以使未来结果表更可比与可复现。
**4.4 代表性结果与比较解读**
表22至表27整合检测、生成及运行时比较。每个数值块保留其来源协议。图17为评估问题的定性图；其类别标签不应转换为架构排名。生成保真度、关键点一致性、说话人质量及检测器AUC测量不同结果并分开解读。Xception迁移差异为百分点，F3-Net差异为显示精度下百分点。这些同源比较展示所述FF++到Celeb-DF设置下的退化。DefakeHop的两个数据集结果使用单独数据集特定训练协议；其差异因此不量化仅源迁移。Face X-Ray则提供基于机制的泛化示例：其混合假设支持在未见合成方法上测试。这些区分将测量结果与第3.3节线索假设相连接。在KoDF块中，FOMM在所列方法中具有最低显示FID与AKD及最高SSIM。这些值描述KoDF评估，不支持与不同参考分布的FID值比较。AKD测量几何一致性，因此与身份嵌入相似度保持分离。Free-HeadGAN较HyperReenact更低的LPIPS伴随更高FID，说明参考保真度与分布真实性可对方法给出不同排名。HiDe-NeRF显示的感知、结构及身份度量针对与运行时不同目标。这些观察促使采用任务特定指标集而非聚合最佳方法声明。AVFR-GAN在此块中具有最低同身份FID与最高SSIM，而PC-AVS具有最强显示Sync分数。两个Sync值代表不同身份条件而非两个可互换同步指标。该比较展示共享VoxCeleb协议下的质量–对齐权衡。在说话头块内，SadTalker较EAMM具有更低FID与更高SSIM，而Wav2Lip具有最高显示Sync分数。语音PESQ、音频RTF及视频分布距离评估不同量，不与图像保真度或同步分数合并。表21报告清单整合先前在指标覆盖、结果总结及部署讨论中重复的比较要求。合适比较固定数据集与划分，分离仅源迁移与适应，说明分数单位与操作阈值，并测量完整处理流水线。该协议将表20数据集适用性矩阵与上述测量结果块相连接。
**5. 开放研究挑战与未来方向**
方法比较与协议特定结果识别六个关联优先事项：泛化性、处理鲁棒性、对抗抵抗力、多模态评估、可解释性及操作效率。以下小节将这些优先事项转化为评估与设计选择。图18将它们与公平性及溯源相连接；图19展示验证证据、校准分析、人工评估及监测进入部署工作流的位置。
**5.1 超越基准的泛化**
表22迁移结果促使评估留出数据集、生成器及身份，而非将域内AUC视为部署保证。仅源迁移与目标域适应应分开报告。自监督、对比及基于异常的表征为减少对生成器特定痕迹依赖的候选方法；其价值应通过匹配基线、平均迁移性能及最差评估域来确立。
**5.2 对真实处理流水线的鲁棒性**
缩放、重压缩、裁剪、屏幕录制及帧率转换改变操纵痕迹与真实采集特征。评估应按编解码、质量、分辨率及变换顺序分层，跨条件使用相同底层样本。训练时增强应与测试时增强区分。互补空间、频域及时序分支应单独与联合评估，以确定融合是否在处理后保持性能而非仅增加干净数据准确率。
**5.3 对抗攻击与防御**
对抗鲁棒性取决于攻击者知识、扰动预算、攻击迭代及目标决策。白盒、迁移及自适应评估因此测试不同威胁模型。式（12）形式化有界最坏情况训练目标；式（30）将最初检测到的假上的攻击成功与所有受攻击样本上的准确率分离。防御应在共同威胁模型下比较，并包括干净性能、攻击成功及计算成本。置信度或解释变化为候选诊断信号，其贡献需要受控评估。
**5.4 跨模态与多模态深度伪造**
音视频失谐检测不一致通道，而音频条件生成显式学习对齐它们。多模态协议因此应区分单通道改变与联合合成，并比较仅音频、仅视觉及融合系统。身份一致性、同步及语义一致性应保留单独指标。语言、口音、噪声及通道可用性提供附加测试分层。隐私保护与设备上实现应针对相同任务目标评估，而非假定融合必然改进真实性评估。
**5.5 数据集局限、偏差与持续基准测试**
采集条件、操纵方法族及人口统计构成影响测量错误率。基准应使用身份不相交划分并报告子组假接受率与假拒绝率及不确定区间。生成器更新应创建版本化测试分层同时保留固定参考集，使新威胁可与早期条件比较。混合面部、语音及细化流水线应按改变模态与变换序列标注，以便子组效应与操纵及质量效应分离。
**5.6 可解释性与取证可解释性**
视觉上合理的热图并不确立高亮区域决定检测器决策。定位重叠、基于扰动的忠实性、参数随机化检查及良性处理下稳定性针对解释质量的不同方面。解释应识别证据渠道、空间或时序支持及校准分数。人工评估研究应在预期任务下测量决策准确率与错误纠正，补充自动解释指标。
**5.7 伦理、法律与社会影响**
非自愿合成、假冒及误导性传播需要技术评估与隐私、同意及问责措施并行。溯源验证可支持可追溯性，而校准分数与清晰描述的证据可支持人工评估。部署工作流应对不确定分类提供比例处理、记录决策标准及重新评估途径。这些责任对应图19中的治理与沟通层；仅分类器准确率不能确定适当机构响应。
**5.8 实时检测与部署约束**
操作效率结合模型架构与完整处理流水线。视频解码、面部跟踪、帧选择、推理、聚合及升级均贡献延迟与内存使用。轻量网络、量化、剪枝、蒸馏及早退出因此应在共同输入配置与处理预算下评估。流式检测器还需因果评估，因为离线模型使用的未来帧对实时决策不可用。表27计算示例促使联合报告检测错误、延迟、吞吐量、峰值内存及能量，而非仅从模型大小选择系统。
**5.9 标准化与基准测试**
共享报告协议应将评估目标与适当数据集及指标块连接。表20指定域内、跨数据集、处理、音频及多模态测试；表21整合划分、阈值、计算、不确定性及可复现性要求。阈值与校准应在留出测试前使用验证数据固定。仅源迁移、目标适应及持续更新需要单独结果。生成器留出与处理分层应伴随子组分析而非折叠为单一聚合分数。图18将每个研究优先事项与单独验证要求连接。图19随后将这些要求定位在操作工作流内：溯源提供完整性断言，自动分析提供分数与定位证据，人工评估处理后果性决策，监测跟踪部署后变化。隐私敏感处理与子组审计应整合到该工作流中，而非从检测器聚合准确率推断。
**6. 结论**
可靠的深度伪造评估取决于将检测器证据与所评估的生成及采集机制相匹配。基于混合与音视频的方法展示明确取证假设的价值，而跨数据集结果说明为何熟悉基准准确率不足以选择部署检测器。因此评估应使用身份不相交划分、留出生成器与数据集、真实处理分层及单独单模态与融合基线。应用阈值应在验证数据上选择并报告错误率与校准。解释评估应结合定位与对学习参数依赖及对影响证据敏感性的测试。运行时比较应在声明硬件与输入配置下包括解码与预处理。最后，签名溯源应与内容分析并行验证，完整性断言与分类器预测区分。这些建议提供从基准评估到可解释与可问责合成媒体评估的具体路径。
