近年来，人工智能和物联网（IoT）被广泛应用于提升公共安全和社会治理，从自主远程安全系统[1]到公共空间中的人工智能辅助社交距离监测[2][3]。然而，深度伪造技术的迅速普及带来了重大的社会挑战，威胁到了数字媒体的完整性。
随着深度伪造技术的快速发展，通过DALL-E[4]和Midjourney[5]等手段生成的高度逼真的面部图像已经几乎无法用肉眼区分。这一进步引发了诸多社会问题，包括利用女性肖像通过换脸技术制作色情内容，以及通过深度伪造视频进行欺诈。此外，长期以来被视为重要司法证据的图像和视频的可信度和权威性，现在因伪造技术的出现而面临前所未有的挑战。
目前针对特定数据集或伪造技术设计的深度伪造检测方法已经取得了较高的检测准确率[6][7][8]。然而，这些方法在面对新的数据集或不同的伪造方法时往往无法保持准确性[9][10][11]。在现实世界中，几乎无法确定互联网上传播的深度伪造图像所使用的具体伪造方法。因此，提高检测方法的泛化能力已成为深度伪造检测领域的一个关键研究方向。虽然伪造图像在纹理一致性上存在异常，但这些异常为提高深度伪造检测的泛化能力提供了潜在的机会。
目前基于全局特征的深度伪造检测方法[12][13][14]能够充分利用图像信息，学习尽可能多的有助于检测的伪造痕迹，从而提高准确率。然而，这些方法的问题在于模型倾向于从图像数据集中学习语义信息，导致模型依赖于数据集和伪造方法，从而降低了其泛化能力。基于局部图像信息提取特征的方法[15][16][17]可以避免全局语义信息的干扰，迫使模型在伪造图像的局部细节中发现纹理异常，从而提高模型的泛化能力。然而，选择局部信息可能会导致原始图像数据的部分丢失，这可能会影响检测准确性。因此，在提高模型利用图像信息的能力和防止模型过度学习完整图像信息之间找到平衡至关重要。为此，需要从有限的局部特征块中提取尽可能多丰富且有效的伪造痕迹。这种关注特定局部区域的动机与GenSumNet[18]等视频分析框架的最新趋势一致，这些框架强调上下文感知的特征选择。与使用完整图像或单个局部补丁的方法不同，我们在模型中设计了多局部特征选择和聚合模块来实现这种平衡。
真实图像和伪造图像之间的频率分布差异为区分深度伪造图像提供了可能性。如图1所示，真实图像的频率图显示出随机且均匀的分布，没有明显的模式，而伪造图像则显示出规则的亮点，反映了生成模型的特点。例如，BigGAN[19]、ADM[20]、VQDM[21]和Glide[22]显示出密集且强烈的高频成分，表明纹理和噪声更为复杂。相比之下，SDv1.4[23]、SDv1.5[23]、Midjourney[5]和Wukong[24]显示出稀疏且较弱的高频细节，强调平滑性和一致性。FFT能量直方图和谱熵进一步突出了这些差异。BigGAN[19]、ADM[20]、VQDM[21]和Glide[22]具有更多的高能量成分和锯齿状波动，而SDv1.4[23]、SDv1.5[23]、Midjourney[5]和Wukong[24]在高能量区域显示出急剧下降和更平滑的分布。真实图像的变化较大，既有波动也有平滑性，谱熵波动显著，而某些伪造图像则表现出集中的值。
基于上述真实图像和伪造图像之间频率分布（尤其是高频部分）的差异，我们进一步考虑将高频信息纳入模型。类似于[25]中的注意力引导方法，我们使用注意力机制来增强空间和通道维度上的特征，强化块内更细致和规则的高频伪造特征，从而提高模型的检测准确性。
本文的贡献可以总结如下：
(1) 提出了一种MLHFA模型，通过采用多局部特征选择和聚合策略，在有限的局部特征块中揭示有效的伪造痕迹，从而避免模型对数据集和伪造方法的依赖。
(2) 设计了一种由高频信息引导的交叉注意力机制。通过利用真实图像和伪造图像之间高频分布的规律性差异，增强了局部块的细粒度伪造特征提取，进一步提高了检测准确性。
(3) 在包含8种伪造方法的GenImage数据集上进行了实验，MLHFA的平均准确率比现有最佳模型高出4.7%，在BigGAN和Adm数据集上的准确率分别提高了18.2%和12%，同时具有较高的计算效率。
(4) 进行了广泛的实验以进一步验证MLHFA的鲁棒性和泛化能力。结果表明，MLHFA对模糊和压缩具有很强的鲁棒性，并在跨数据集实验中表现出优异的泛化性能。
本文的其余部分结构如下：第2节总结和分析相关工作。第3节详细介绍所提出的方法。第4节展示实验结果和分析。第5节总结本研究并提出未来工作。
