MFF-Net：用于AI生成图像检测的多视角特征融合网络

《Expert Systems with Applications》：MFF-Net: Multi-view Feature Fusion Network for AI-generated Image Detection

　　• 将语义特征与多级频率特征相结合用于虚假图像检测。 • 整合原始图像与多级残差中的频率信息。 • 通过门控Transformer自适应融合多视角特征以实现稳健检测。 • 在多个主流AI生成图像检测基准上达到前沿性能。 ### 引言 近年来，生成模型取得了显著进展。各类生成模型在图像合成领域蓬勃发展，包括GAN（Goodfellow et al., 2020）、扩散模型（Sohl-Dickstein, Weiss, Maheswaranathan, & Ganguli, 2015）及其多种变体（Ho, Jain, Abbeel, 2020；Karras, Aila, Laine, & Lehtinen；Rombach, Blattmann, Lorenz, Esser, Ommer, 2022）。由此，高质量的图像合成与编辑技术引发了广泛关注。这些技术覆盖多个具体领域，从采用自适应探索-融合机制实现无缝换脸（Lan et al., 2024b），到开发感知校正算法以优化生成输出中多样性与质量之间的权衡（Lan, Xiao, Yang, & Wen, 2024a）。尤其值得注意的是，近期基于文本生成图像的技术，例如Stable Diffusion（Rombach et al., 2022），能够仅依据文本描述生成任意高质量合成图像。此外，Midjourney（Midjourney, 2022）和DALL·E 2（Ramesh, Dhariwal, Nichol, Chu, & Chen, 2022）等商业API使用户无需专业知识即可轻松生成高保真合成图像。这些合成图像正变得越来越逼真且视觉连贯，其保真度已达到人眼难以分辨其与真实图像差异的程度。尽管这些技术在娱乐、营销等领域被广泛应用，但其潜在滥用对数字安全和公众信任构成前所未有的威胁。高保真AI生成图像的恶意传播引发了严重社会关切，包括虚假信息扩散、身份盗用、版权侵权以及恶意政治宣传，最终导致数字媒体的可信度危机。更关键的是，随着生成模型不断演进，合成图像中的伪造痕迹变得越来越隐蔽和复杂。这些痕迹不仅表现为难以察觉的高频伪影，还表现为高层语义不一致性。因此，传统检测算法固有的设计——通常依赖单一领域先验并针对特定伪造模式——在面对新型威胁时泛化能力持续下降。因此，开发具备良好泛化能力的鲁棒AI生成图像检测器已成为计算机视觉领域的关键需求。 为应对从真实图像中识别AI生成图像的任务，研究者提出了大量检测方法。许多方法基于通用CNN检测器并融合多种先验知识或策略增强，例如利用生成图像特有的异常特征（McCloskey, & Albright, 2019；Nataraj, Mohammed, Chandrasekaran, Flenner, Bappy, Roy-Chowdhury, & Manjunath）、采用数据增强技术（Wang, Wang, Zhang, Owens, & Efros, 2020）、识别频域差异（Frank, Eisenhofer, Sch?nherr, Fischer, Kolossa, Holz, 2020；Jeong, Kim, Ro, Choi, 2022；Tan, Zhao, Wei, Gu, Liu, Wei, 2024a）以及提取通用伪造痕迹（Ojha, Li, Lee, 2023；Tan, Zhao, Wei, Gu, Liu, Wei, 2024b）等。其他方法主要利用重建误差（Ricker, Lukovnikov, Fischer, 2024；Wang, Bao, Zhou, Wang, Hu, Chen, Li, 2023）、采用混合架构（Yan et al., 2025a）或学习相机物理成像过程中产生的内在特征分布（Zhong et al., 2026）来检测合成图像。然而，现有方法往往仅依赖单一视角先验信息，如频域信息、语义信息或重建误差。这些方法受限于其有限的判别视角，在面对未知生成器时泛化能力较差且检测性能欠佳。如图1中的失败案例所示，基于语义的方法UnivFD无法检测缺乏明显语义错误但包含频域伪影的图像；而基于频率的方法FreDect则无法检测具有明显语义缺陷但无频率异常的图像。这凸显了同时考虑频域与语义信息的重要性。 本文提出多视角特征融合网络（MFF-Net），通过结合高层语义视角和高低频率视角的图像特征，识别来自各种未知源的合成图像，包括由GAN和扩散模型生成的图像。在特征提取阶段，我们的框架引入多级方案以捕获高频、低频和语义特征。这些多样化特征随后通过基于Transformer的融合模块进行整合，使模型能够获取更全面的表示以训练分类头。MFF-Net由高低频特征提取专家、语义特征提取专家和特征融合专家组成。高低频特征提取专家从高到低频率视角提取图像特征，而语义特征提取专家从高层语义视角提取图像特征。频率视角图像特征和语义视角图像特征将由特征融合专家融合为全局图像特征用于AI生成图像检测。在高低频特征提取专家中，为有效捕获频域异常，我们从三个来源提取高频特征和低频特征：1）原始图像；2）原始图像与其基于现成VQ-VAE模型（Razavi, Van den Oord, & Vinyals, 2019）的重建版本之间的残差误差；3）原始图像与其重建版本之间的基于VGG16的多级感知特征残差图。这些特征使模型能够全面捕获频域异常。为捕获全局语义信息，我们采用预训练DINOv3（Siméoni et al., 2025）从原始图像中提取丰富的语义特征。高频特征、低频特征和语义特征通过基于门控注意力Transformer的特征融合专家融合为全局图像特征。为增强MFF-Net的图像检测能力，高频特征、低频特征、语义特征及融合特征通过伪多任务学习独立区分图像是否为AI生成，其中所有任务相同但在模型训练时使用不同特征。在测试阶段，我们采用自适应推理策略而非依赖融合特征，以获取关于图像是否为AI生成的最终决策。具体而言，我们利用基于置信度的门控机制，从分别基于高频特征、低频特征、语义特征及融合特征的四个预测中动态选择最可靠的预测。为评估MFF-Net的有效性，我们在两个流行基准数据集AIGCDetectBenchmark（Zhong, Xu, Li, Qian, & Zhang, 2023）和GenImage（Zhu et al., 2023）、具有挑战性的数据集Chameleon（Yan et al., 2025a）以及大规模AI生成图像伪造检测基准DFBench（Wang et al., 2025b）上进行了广泛实验。实验结果表明，MFF-Net在3个数据集上优于当前SOTA基线，并在AIGCDetectBenchmark、GenImage、Chameleon和DFBench上分别提升了1.00%、1.23%、5.64%和1.64%的准确率。 综上所述，我们的贡献如下： • 我们提出了一种名为MFF-Net的多视角特征融合网络，这是一种简单的混合专家模型，通过结合高层语义视角和高低频率视角的图像特征用于AI生成图像检测。 • 为有效捕获频域异常，我们引入了一种多维度高低频特征提取专家，全面整合并分析来自原始图像和多级残差图的高频与低频信息。 • 广泛实验证明，我们的MFF-Net在AIGCDetectBenchmark（Zhong et al., 2023）、GenImage（Zhu et al., 2023）、Chameleon（Yan et al., 2025a）和DFBench（Wang et al., 2025b）基准上达到了最优性能。 ### 章节摘要 #### 生成模型 在基于扩散的图像生成技术成熟之前，生成对抗网络（GANs）（He, Zuo, Kan, Shan, Chen, 2019；McCloskey, Albright, 2019）是最常用的模型，催生了一系列极具影响力的框架。StarGAN（Choi et al., 2018）创新性地实现了在单一模型内进行多领域风格化图像编辑，无需单独建模不同任务。与此同时，StyleGAN（Karras, Laine, & Aila, 2019）展示了…… #### MFF-Net 本节介绍我们的MFF-Net，包括用于从图像中提取高低频特征的专家、高层语义嵌入专家、特征融合专家以及采用置信度感知专家门控策略的分类器，以将图像分类为生成图像或拍摄图像。MFF-Net的框架如图2所示。原始图像被输入到高低频特征提取（HLE）专家和语义特征提取（SFE）中…… #### 实验设置 **数据集。** 我们部署三个训练集来训练检测器。这三个数据集均独立使用。第一个训练集是广泛采用的ForenSynths（Wang et al., 2020）数据集。其训练集包含20个类别，每个类别由18K张由ProGAN（Karras et al., 2017）生成的合成图像和来自LSUN数据集（Yu et al., 2015）中相应类别的等量真实图像组成。总训练样本为720K。我们将其标记为在该训练集上训练的MFF-Net…… #### 结论 在本文中，我们提出了一种新颖的MFF-Net用于AI生成图像检测，通过构建一个弥合低级信号伪影与高级语义差异之间鸿沟的统一嵌入空间。为捕获高层语义，我们利用预训练DINOv3使模型能够基于语义和上下文信息识别AI生成图像。为捕获鲁棒的低级伪影，我们通过提取高频特征和低…… ### 利益冲突声明 作者声明不存在任何可能影响本文所报告工作的已知的竞争性经济利益或个人关系。 Hongji Zhang | Hao Tan | Jinghui Qin | Zhijing Yang