用于可泛化 AI 生成图像检测的梯度引导上采样伪影感知适配器微调

《Expert Systems with Applications》：Gradient-guided Up-sampling Artifacts-aware Adapter Tuning for Generalizable AI-generated Image Detection

　　

• 提出了GUATuning模型，用于可泛化的AI生成图像检测。
• 设计了上采样伪影感知适配器，以自适应地捕捉结构性伪造痕迹。
• 引入了梯度敏感性探测方法，实现参数高效且任务感知的适配器调优。
• 在深度伪造和合成图像检测基准上实现了强大的跨域泛化能力。

## 引言

人工智能生成图像（AIGI）指由计算模型生成而非从现实世界捕获的视觉内容。根据生成目标和范围，AIGI可大致分为两类：深度伪造，主要利用训练好的深度学习网络操控特定个体的面部外观或身份（Lan等，2024）；以及合成图像，由生成模型创建多样化的场景、对象和视觉风格，日益延伸至完整图像生成。在AIGI发展的早期阶段，深度伪造技术因其潜在的电影制作和公共服务应用而备受关注。例如，它可用于合成电影中人物的外观，或帮助公众人物制作多语言的公共服务内容。然而，深度伪造技术日益增长的可及性也助长了其恶意使用，如诽谤和欺诈，对个人权利和社会信任构成重大风险（Abbas & Taeihagh，2024）。与此同时，生成模型的进步，特别是多模态基础模型的日益普及，使得不具备专业技术背景的用户也能生成高质量图像（Mahara & Rishe，2026）。与以面部为核心的深度伪造不同，这些合成图像可以生成或操纵整个场景，在实现越来越逼真的照片级结果的同时，大幅拓展了图像生成的范围。这种快速演进使得伪造视觉内容越来越难以与真实图像区分，对可靠图像真实性评估构成重大挑战，并削弱了对数字媒体的信任。

为缓解AIGI带来的安全风险，研究者开发了多种伪造图像检测方法。早期工作主要依赖传统机器学习模型（Zhang, Zheng, & Thing，2017）和深度神经网络（R?ssler等，2019；Tan & Le，2019），大多数努力集中在深度伪造检测上。随着操纵技术的日益复杂，泛化能力成为关键挑战。检测模型必须在不同数据分布和未见过的操纵方法下保持有效。为提升泛化能力，研究者探索了多个方向，包括数据驱动策略（Li等，2024；Shiohara, Yamasaki等，2022；Wu, Zhou, Tian, Liu, & Qiao，2022）、架构设计（Li等，2026；Liu等，2021；Luo, Zhang, Yan, & Liu，2021；Qian, Yin, Sheng, Chen, & Shao，2020；Trinh, Tsang, Rambhatla, & Liu，2021；Yan, Zhang, Fan, & Wu，2023a）以及学习范式（Ba等，2024；Dinesh Srivasthav & Subudhi，2024；Khalid & Woo，2020；Zhou, Han, Shan, & Chen，2024）。尽管这些方法在深度伪造检测中取得了合理的结果，但当扩展到更广泛的合成图像时，其性能会下降。为弥补这一差距，后续研究探讨了如何在更广泛的合成图像检测任务中提升性能。最早的尝试集中在从RGB特征中提取生成模型的内在指纹（Corvi等，2023；Yu, Davis, & Fritz，2019）以及频域伪影（Yang, Zhou, Feng, & Wang，2023；Zhang, Karaman, & Chang，2019），取得了令人鼓舞的结果。随着生成模型与检测方法之间的竞争加剧，提出了更多领域泛化技术，包括数据增强（Wang, Wang, Zhang, Owens, & Efros，2020）、梯度域表示（Tan, Zhao, Wei, Gu, & Wei，2023）、建模局部像素相关性（Tan等，2024a）以及基于扩散的重建策略（Wang等，2023）。虽然这些方法在检测通用合成图像方面有效，但在深度伪造检测中往往表现不佳。这一局限性源于许多方法专为捕捉特定伪造模式而设计，导致对特定操纵的过拟合，限制了其在不同伪造和数据分布下的泛化能力。

为改善不同类型AIGI的泛化能力，近期研究越来越多地利用大型预训练模型，以获取其编码的广泛知识。代表性方法包括免训练特征映射（He, Chen, & Ho，2024；Ojha, Li, & Lee，2023）、分类器微调（Yan等，2024b）、基于适配器的调优（Liu等，2024）以及图文联合微调（Chen等，2025；Wu等，2022）。虽然这些方法优于基于常规主干网络构建的模型，但大多数并未显式建模不同AIGI形式之间的差异和共性。因此，它们难以在以面部为核心的深度伪造和通用合成图像之间实现一致的泛化。为应对这一局限性，FreDect（Frank等，2020）、NPR（Tan等，2024a）、SPSL（Liu等，2021）、SAFE（Li等，2025）及相关工作研究了不同类别伪造之间的共享特征。其发现表明，上采样及其功能等效的特征重建过程构成了当前主流AIGI模型中广泛采用的基本组件。如图1(a–c)所示，在生成对抗网络（GANs）中，上采样和卷积操作常被用于在图像生成过程中逐步恢复空间分辨率。扩散模型（DMs），包括潜在扩散模型和U-Net扩散模型，同样依赖这些操作在迭代去噪过程中提高特征分辨率。尽管扩散Transformer（DiTs）并未在其核心架构中显式使用上采样，但它们在潜在空间生成图像，然后通过变分自编码器（VAE）进行解码，该VAE执行上采样和卷积操作，这也可能引入重建伪影。因此，许多AIGI方法共享一种共同机制：图像通过邻近像素的操作，从低分辨率特征或低维潜在表示重建。如图1(d)所示，合成过程中的此类操作往往引入可观察的上采样伪影，表现为棋盘格图案（黑白块之间突变）、因邻近像素突然变化而产生的异常局部相关性，以及由锯齿状边缘和物体边界处间隙引起的不连续性。这些观察得到了先前研究的支持。例如，FreDect（Frank等，2020）可视化了使用不同上采样方法（包括最近邻、双线性插值和二项式插值）生成图像的频域响应，揭示了傅里叶频谱中的独特高频峰值和规则网格状图案。类似地，SPSL（Liu等，2021）分析了离散傅里叶变换域中的残差谱，证明了真实图像与AI生成图像之间存在统计学显著差异。即使是基于图形的面部操纵技术，即使未显式使用上采样，也涉及重采样、几何变换、纹理投影和混合等操作，产生类似的纹理不规则性（Li等，2020a；R?ssler等，2019）。这些不一致的纹理与真实图像中的高频噪声、自然边缘、压缩伪影和相机诱导图案截然不同——后者不具有规则或重复的结构，因此缺乏强局部周期性依赖。因此，这些痕迹可根据局部结构模式与上采样伪影及其变体明确区分。这一观察表明，多样的AI生成图像在合成过程中往往会引入一致的结构性伪影，为开发具有强泛化能力的检测方法提供了原则性基础。

基于上述分析，我们旨在将大型预训练模型的强大表征能力与对生成图像常见结构性伪影的显式建模相结合。为此，我们提出了GUATuning，一个旨在增强不同类型AIGI泛化能力的模型。该模型引入了上采样伪影感知适配器（UAA），针对AI生成图像中观察到的三种典型伪影形式。配合可学习门控机制，该适配器实现了参数高效微调，同时鼓励模型关注不同合成方法共享的结构性伪影特征。此外，大多数现有微调方法在所有注意力层中统一插入适配器，而未考虑各层在特征学习中的作用。然而，某些注意力层对结构性伪影的敏感性较低，甚至可能因其独特的注意力模式而降低性能。为应对这一问题，我们提出了梯度敏感性探测（GSP）策略。通过分析小样本集上的梯度，该方法识别出与生成图像检测最相关的注意力层，并仅对这些层进行选择性微调。这种针对性策略在参数效率和性能之间取得了更好的平衡。在多个AIGI基准数据集上的大量实验表明，所提出方法在深度伪造检测和合成图像检测任务中均具有良好的泛化能力，证明了其在多种AI生成场景中的有效性。

总之，本文的主要贡献如下：

• 为克服不同类型AIGI统一检测的挑战，本文从合成过程和模型微调的角度重新审视了生成模型的共性特征。我们提出了GUATuning方法，实现了对不同类型伪造的统一建模和泛化。

• 我们提出了UAA模型，充分利用了大型预训练模型中嵌入的知识。通过建模三种不同类型的伪影响应并引入可学习门控网络，该方法捕捉了AI生成图像中常见的上采样伪影结构模式。因此，模型既能有效检测传统深度伪造，又对广泛的合成图像保持强泛化能力。

• 为定位伪造检测关键注意力层，我们提出了GSP策略，在训练前对小样本集进行梯度分析。通过仅对这些选定层进行微调，该方法在参数效率和检测性能之间取得了平衡。大量实验表明，所提出的GUATuning模型在深度伪造基准和合成图像数据集上均表现优异，确认了其跨多种AI生成图像场景的泛化能力。

本文其余部分组织如下：第2节回顾相关工作，第3节定义问题并详细描述所提出的GUATuning模型。第4节通过大量实验验证模型性能及各组件有效性，并深入分析结果。最后，第5节给出结论并讨论未来研究方向。

## 相关工作

本节回顾深度伪造和合成图像泛化检测方法的最新进展，重点关注其跨不同数据集和生成技术的泛化能力。

## 方法论

本节首先正式定义泛化AIGI检测任务。随后提出所设计的GUATuning模型整体架构，描述其关键组件和实现细节。最后概述训练策略和推理流程。为便于理解，表1总结了本文使用的主要符号。

## 实验

为评估所提出GUATuning模型在多种AIGI上的泛化能力，我们在两个代表性任务——深度伪造图像检测和合成图像检测——中与多种最先进的（SOTA）方法进行了对比实验。随后进行消融研究，量化各模块对整体性能的贡献。最后，我们进行了鲁棒性评估和可视化分析，以更深入地了解模型行为，并进一步……

## 结论

为应对深度伪造和通用合成图像检测的挑战，本研究考察了不同生成方法中上采样操作引入的共同局部结构性伪影。基于这一观察，我们提出了UAA，捕捉三种纹理响应类型，并利用门控学习机制增强模型对此类伪影的敏感性。通过利用大型预训练模型的表征能力，模型能够识别……

## CRediT作者贡献声明

**Zheng Zou**：构思、方法论、形式化分析和调查、初稿撰写、审阅与编辑。

**Dunlu Peng**：构思、方法论、监督指导、审阅与编辑。

**Lin Cheng**：方法论、形式化分析、审阅与编辑。

**Yuru Hou**：数据整理、审阅与编辑。

**Ping Kong**：验证、审阅与编辑。

**Yingzi Chen**：数据整理、资金支持获取。

## 数据可用性与伦理声明

代码可在 https://github.com/opencode11/GUATuning 获取。本研究使用的所有数据集均为公开基准数据集，并根据其各自许可证和使用条款使用。数据集包含面部图像，仅用于研究目的，遵循数据集创建者提供的使用政策。我们认可隐私保护和负责任数据使用的重要性。此外，我们认识到取证检测……

## 利益冲突声明

作者无与本文章内容相关的利益冲突需要声明。

Zheng Zou | Dunlu Peng | Lin Cheng | Yuru Hou | Ping Kong | Yingzi Chen