面向可泛化AI生成图像检测的几何语义双重适配

《Neurocomputing》：Geometric-semantic dual-adaptation for generalizable AI-generated image detection

　　李嘉烨|张敏清|黄思远|李欣|冯佩|刘朗中国人民武装警察部队工程大学密码工程学院，中国西安

摘要
人工智能生成的图像在内容创作及相关应用中越来越被广泛使用，但其滥用对视觉真实性检测带来了日益严峻的挑战。现有方法主要分为两类：一类是训练优化策略，如去偏见学习与数据源净化；另一类是通过调整预训练的基础模型来进行基于迁移的检测。然而，这些方法仍面临着内容关联性与优化效率之间的根本权衡。在强监督下，基础模型的调整往往能快速收敛，但这也可能引入语义内容与真实性标签之间的虚假关联，从而导致特征学习的偏差。相比之下，那些旨在减少内容偏见的训练优化方法虽然更能保持特征的纯粹性，但由于缺乏有针对性的优化指导，往往收敛速度较慢。为了解决这一权衡问题，我们提出了一种用于通用人工智能生成图像检测的几何-语义双重适配框架——GSDA。GSDA并非简单地将几何约束与语义引导相结合，而是将二者整合为一个统一的协作框架：隐式几何解耦通过抑制内容干扰来保持特征纯粹性，而显式语义锚定则提供以真实性为导向的引导，以提升优化效果。这样一来，这两个组件便能互补地发挥作用，实现强大的泛化能力与高效的适配性能。GSDA基于预训练的CLIP-ViT架构，运用正交SVD约束来保持语义上的结构稳定性，同时为与真实性相关的特征保留一定的适配空间，并引入基于真实性的文本引导，为优化提供更明确的方向。在UniversalFakeDetect、GenImage和AIGIBench上的实验表明，GSDA具有出色的整体性能、良好的收敛特性以及较高的参数效率。这些结果说明，在统一框架内协调几何解耦与语义锚定，对于在图像级人工智能生成图像检测中平衡特征纯粹性与适配效率具有重要意义。相关代码已公开发布在https://github.com/qqqqwddw/GSDA。

引言
现有的用于人工智能生成图像检测的微调方法面临着快速适配与特征纯粹性之间的核心权衡。在实际应用中，这种权衡体现为内容关联性与优化盲目性之间的矛盾，如图1所示。

强监督下的内容关联性。为提高适配效率，许多现有微调方法依赖强烈的监督信号来学习具有区分能力的特征。然而，这种优化方式往往会导致捷径学习，即模型依赖语义内容与真实性标签之间的虚假关联，而非学习稳定的与真实性相关的特征。这样一来，学到的特征就会与训练过程中所见的语义模式相互关联。一旦在未见过的语义领域或新的生成架构上测试该模型，这些虚假关联就不再成立，从而导致泛化能力较差。实际上，这类检测器往往会将合成标签与训练过程中观察到的生成模式联系起来，这限制了它们区分真实图像与未知人工智能生成图像的能力。

几何约束下的优化盲目性。相反，那些旨在保持特征纯粹性的方法通常会引入几何约束，如参数的正交性，以此降低语义内容的影响。如图2所示，这些方法可以通过将参数更新限制在特定的子空间内，有效减少内容泄露现象。然而，它们也存在优化盲目性问题：由于缺乏明确的语义引导，参数更新缺乏清晰的方向，模型不得不在受限的解空间内进行低效搜索。因此，这类方法通常收敛速度较慢，且更依赖于大规模训练数据，这限制了它们在资源有限的场景中的应用。

为了解决这一权衡问题，我们提出了一个实际问题：如何在不牺牲特征纯粹性的前提下提高适配效率？直接在特征层面强制实现解耦可能会带来不稳定，因为过度去除内容信息可能会破坏图像表示的结构连贯性。为此，我们设计了一个统一的协作框架，用于在参数适配过程中协调几何约束与语义引导。其核心思路并非将两种独立的技术简单叠加，而是让它们在优化过程中发挥不同且互补的作用：几何解耦能够抑制内容干扰，保持特征纯粹性；而语义锚定则能提供有方向的引导，促进模型更快收敛。如此，这两个组件便能共同应对现有方法往往难以兼顾的两个目标——强大的泛化能力与高效的适配性能。基于这一理念，我们开发出了几何-语义双重适配框架GSDA，如图3所示。在Transformer的自注意力模块中，GSDA根据不同投影的功能角色，为其分配不同的适配策略。对于与结构区分直接相关的查询、键值和输出投影，应用正交SVD约束，以实现隐式几何解耦；而对于更适合进行语义注入的值投影，则引入文本引导的LoRA，以实现显式语义锚定，为优化过程提供更清晰的以真实性为导向的引导。这样的设计使得GSDA能够在单一的协同框架内，提升图像级人工智能生成图像检测的泛化能力与收敛速度。

我们认为，对于通用型人工智能生成图像检测而言，一个重要的洞察在于：虚假图像并非完全独立于真实图像，而是基于真实图像的语义生成的，这意味着两者之间存在层次关系。例如，在区分虚假狗与真实狗时，模型着眼于同一语义类别内的真实性差异，而非在整个语义空间中对样本进行区分，这种层次化的先验使得识别过程更加精准。这种专注的识别策略能够缩小模型的有效决策空间，从而有助于提升泛化能力。这一观点也与通常的直觉相符，即更为受限的假设空间往往能带来更好的泛化效果。相反，那些将真实样本与虚假样本视为两个独立类别的检测器，可能无法利用这种层次关系，进而削弱其泛化能力。从这一视角来看，GSDA通过几何约束保持了从预训练模型继承的语义一致性，同时利用语义锚定引导与真实性相关的特征学习。这使得识别过程能够在更具语义一致性的空间中进行，从而有助于提升跨领域的泛化能力。

本研究的主要贡献如下：
1. 我们指出了在微调视觉基础模型以实现通用型人工智能生成图像检测时的核心权衡：以语义为驱动的适配方式可能会引入内容关联性，而基于几何约束的适配方式虽有助于保持特征纯粹性，但可能面临优化盲目性及收敛速度慢的问题。
2. 我们提出了GSDA，这是一种用于通用型人工智能生成图像检测的统一协作框架。GSDA并非简单地将两种现有理念相结合，而是为几何解耦与语义锚定分配了互补的角色，从而能够同时提升特征纯粹性与适配效率。在Transformer的自注意力模块中，这种协作通过针对不同投影的特定适配来实现：对某些投影应用正交SVD约束，而对另一些投影则引入文本引导的LoRA。
3. 大量实验表明，GSDA在整体性能、泛化能力、收敛特性以及各组成要素的分析方面均表现优异，充分证明了其在平衡特征纯粹性与适配效率方面的有效性。如图4所示，通过对19种生成方法的雷达图对比可以看出，GSDA的检测性能始终更为出色且更为均衡，相比现有方法，它不仅具有接近最优的检测效果，还具有更高的学习效率。

部分实验内容
低级伪迹检测与泛化限制
早期的取证方法主要依赖于与特定生成架构相关的低级视觉伪迹。早期的代表性研究包括基于Xception检测器的面部伪造检测基准测试[7]、[8]，随后出现了用于检测GAN相关痕迹的频域分析方法[9]、[10]、[11]。后续的研究还探索了利用面部区域特征和生理特征来进行伪造检测，比如眨眼模式[12]和唇部动作分析[13]。为了提升模型的泛化能力……

框架概述
为了解决通用型人工智能生成图像检测中普遍存在的两个问题——内容关联性（即模型依赖语义与真实性标签之间的虚假关联）以及优化盲目性（即高度受限的参数更新会削弱优化指导），我们提出了几何-语义双重适配框架GSDA。该框架将几何约束与语义锚定相结合。GSDA基于预训练的CLIP-ViT架构[36]，利用几何约束来……

实验设置
我们在三个基准测试平台上对GSDA进行了评估：UniversalFakeDetect[31]、GenImage[79]和AIGIBench。UniversalFakeDetect是用于标准跨模型泛化能力评估的主要基准，GenImage提供了补充的跨领域测试环境，而AIGIBench则用于评估同源数据下的效率以及进行额外的跨模型稳定性分析。我们遵循UniversalFakeDetect的标准流程[31]，在ProGAN的真实/虚假数据集上进行训练，然后在由不同方法生成的19个未见过的子数据集上进行测试……

结论
在本文中，我们提出了用于通用型人工智能生成图像检测的几何-语义双重适配框架GSDA。其核心思想是在统一框架内协调几何约束与语义引导，从而使模型能够在减少内容干扰的同时保持有效的优化性能。具体而言，GSDA对某些投影应用正交SVD约束，以保持结构稳定性，同时对另一些投影则运用文本引导的LoRA来提供……

未引用参考文献
[1]、[2]、[3]、[4]、[63]、[64]、[65]、[66]、[67]

CRediT作者贡献说明
李嘉烨：撰写——初稿撰写、概念构思、方法设计、软件实现、结果可视化。张敏清：撰写——审稿与编辑。黄思远：结果可视化、撰写——审稿与编辑。李欣：形式化分析、问题调查、验证工作。冯佩：资源协调、验证工作。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。李嘉烨自2025年起在中国中国人民武装警察部队工程大学密码工程学院攻读硕士学位，他的研究兴趣主要集中在图像取证与数字媒体真实性分析领域。