面向音视频异步场景的多模态深度伪造检测：基于度量空间理论与跨模态对齐的鲁棒性方法

本文针对音视频异步场景下的深度伪造检测难题，提出了一种融合度量空间理论、跨模态子空间表示与自监督特征重建的创新框架。通过分析音频-视觉（Audio-Visual, AV）异步对联合特征分布的影响，设计基于匈牙利算法（Hungarian Algorithm）的特征对齐策略和掩码重建机制，显著提升了检测模型在异步干扰下的鲁棒性。实验表明该方法在同步与异步场景下均优于现有基线，并为多模态伪造检测提供了新思路。

　　

Highlight

本文系统分析了音视频异步对多模态深度伪造检测性能的影响，并提出了一种在异步条件下保持高鲁棒性的方法。该方法将音视频模态对齐问题形式化为整数线性规划任务，并结合自监督掩码特征重建与跨模态融合机制，以检测音视频异步场景中的深度伪造内容。与传统方法相比，所提方法在同步和异步场景下均表现出优越性能，并对未知干扰具有强适应性。

Theoretical Analysis

为从理论上阐明音视频异步对多模态深度伪造检测的影响，我们基于度量空间中的开球理论（Open Ball Theory）分析了同步与异步场景下联合特征分布的变化。分析表明，音视频异步导致模态间关联性丢失，引发联合特征分布的显著偏移。这种偏移会 destabilize 分类决策边界，降低模型泛化能力，并加剧多模态表征中的异质性问题。

Proposed Method

为解决上述问题，我们提出一种多模态深度伪造检测框架，其核心包括：

1. 1.

   多模态子空间表示模块，通过分层跨模态语义相似性缓解数据分布不一致与表征异质性；

2. 2.

   基于匈牙利算法的音视频特征对齐模块，将关联重建问题建模为整数线性规划任务；

3. 3.

   自监督掩码重建机制，用于恢复缺失特征并构建联合相关性矩阵以增强跨模态依赖建模。

Experiment

我们从多角度评估所提方法的有效性，包括不同时间偏移场景下的检测性能、各模块贡献度分析、参数敏感性及对未知扰动的鲁棒性。具体关注以下问题：

• •

  在音视频异步场景下，本方法相较于主流方法表现如何？

• •

  如何评估各模块对整体性能的贡献？

Conclusion

本文系统分析了音视频异步对多模态深度伪造检测的影响，提出了一种在异步条件下保持高鲁棒性的方法。该方法将音视频模态对齐问题形式化为整数线性规划任务，并融合自监督掩码特征重建与跨模态融合机制，在异步场景中实现了高效的深度伪造检测。与传统方法相比，本方法在同步与异步场景下均表现出显著优势，且对未知干扰具有强鲁棒性。