《Pattern Recognition Letters》：Spatial Flatness-Curvature Mask Driven Generalized Detection of Synthetic Images
编辑推荐：
生成模型普遍存在的空间纹理特征可被提取为平坦度-曲率掩码，有效提升跨模型检测泛化性，实验验证其与MobileViT组合在38种未见过生成器上达到87.2%平均精度，较基线提升23.7%。
Tanusree Ghosh | Ruchira Naskar
印度希布普尔印度工程科学与技术学院信息技术系
摘要
来自生成模型（如GANs和Diffusion Models）的高度逼真图像的泛滥对数字信任构成了重大挑战，需要能够泛化到未见伪造来源的强大检测器。许多现有方法未能通过这种泛化测试，通常是因为它们过度拟合了特定于来源的伪影，而这些伪影在不同生成器架构中并不一致。
在这项工作中，我们关注与几乎所有生成模型固有的纹理相关的通用空间伪影。我们提出，通过分析图像区域的“平坦度”和“曲率”可以有效地捕捉这些伪影。我们引入了一种基于阈值的简单方法，该方法首先将输入图像转换为六通道的“平坦度-曲率掩码”，这种表示明确突出了低梯度（平坦）和高曲率区域。这种富含伪影的特征表示可以与任何现成的分类器一起使用。
在涵盖38种不同GAN和Diffusion模型的基准数据集上的广泛实验表明，我们的方法结合MobileViT分类器，在仅使用四类ProGAN图像进行训练时，平均准确率达到87.2%。这比基线提高了23.7%，证明了我们的特征表示显著提高了标准分类器的泛化能力。
引言
生成模型从生成对抗网络（GANs）到扩散模型（DMs）的迅速发展，导致了超真实合成图像的普及。虽然这些技术激发了创造力，但它们在虚假信息和欺诈方面也带来了重大的社会威胁。减轻这一威胁的主要挑战是开发出可泛化的检测器。在特定生成器（例如ProGAN）上训练的检测器在测试未见过的架构时通常会遭受灾难性的性能下降[1]、[2]、[3]。这种失败主要是由于过度拟合了特定于来源的伪影，特别是那些仅存在于生成器架构中的微妙频率模式[4]。
先前的研究试图通过三种主要途径来解决这种泛化差距：基于图像的方法、基于频率的方法和空间伪影检测。基于图像的方法从标准的全帧分类器（如Xception [5]）发展而来——这些方法往往无法泛化到更复杂的策略。这些方法包括利用补丁级纹理[6]、全局-局部融合[7]或语义不一致性[8]。最近的先进方法使用大型预训练的视觉-语言模型（VLMs）如CLIP来学习领域通用线索[9]，或利用基于重建的目标（例如LaRE2 [10]）来识别异常。
然而，这些方法通常计算量较大或依赖于复杂的框架。基于频率的方法利用上采样引入的频谱异常[3]、[11]，使用DCT、高通滤波器[12]或高斯拉普拉斯[13]等工具。虽然对GANs有效，但这些特征在现代扩散模型中往往不够明显[4]，因此新的方法开始关注中频带重建错误[14]或分布外频谱学习[15]。
因此，最近的关注点转向了第三种途径：空间伪影表示。这些方法关注上采样流程留下的基本像素级痕迹，如相邻像素关系[16]、边界不一致性[17]或固定滤波器组揭示的混叠[18]。我们认同这一方向，认为生成模型中的常见上采样和其他处理阶段引入了纹理伪影，这些伪影可以表示为局部像素之间的可辨识关系。基于这一洞察，我们提出了一种轻量级的、确定性的伪影表示方法，称为平坦度-曲率（FC）掩码。
与复杂且资源密集的深度学习方法不同，我们的方法通过明确标记低梯度（“平坦”）区域和高频率（“曲率”区域（如图1所示）将标准RGB图像转换为六通道张量（6 × H × W）。这种预处理完全基于固定阈值，是即插即用的特征集，迫使分类器关注与生成器无关的结构线索，而不是特定于来源的语义。通过在38个GAN和Diffusion数据集上的广泛实验，使用从大型Transformer到轻量级CNN的各种分类器，我们证明了用FC特征替换RGB输入可以显著提高跨数据集的泛化能力。
我们的主要贡献包括：
- 我们提出了一种
平坦度-曲率掩蔽
方案，可以捕获与纹理相关的、与生成器无关的空间伪影，将RGB图像转换为紧凑的六通道表示。
- 我们使用四种标准分类器（MobileViT、ResNet-50、ConvNeXt、ViT-L）和一个自定义的轻量级TinyCNN验证了FC特征集的泛化能力。
- 我们展示了仅
在四类ProGAN图像上训练的标准检测器
使用我们的表示时，能够实现显著的领域外性能。例如，基线MobileViT在未见过的来源上表现不佳，但使用我们的
FC表示后，其平均跨领域准确率提高了
23.7%，达到87.2%
- 我们甚至证明，我们的紧凑型TinyCNN（0.19M参数），仅训练一个周期，就能在未见过的数据集上获得84.7%的平均准确率，证明了该表示的效率和鲁棒性。
方法论
我们的方法论提出了一个两阶段框架，用于通用且高效地检测合成图像。第一阶段是我们方法的核心，是一个新颖的预处理步骤，它将RGB图像转换为明确突出两个互补的局部属性的结构描述：平坦度，即一阶变化非常小的区域，以及曲率，即相对于局部梯度具有强二阶变化的区域。我们将这种表示称为
实验
为了与最先进的方法进行公平比较，我们采用了标准的实验协议[16]。
训练数据：所有模型仅在ForenSynths基准测试的ProGAN-4class部分进行训练。该数据集包含144,000张图像（224 × 224像素），涵盖四个类别（汽车、猫、椅子、马），其中真实图像和ProGAN生成的合成图像数量相等。
测试数据：我们在五个测试套件上评估泛化性能，这些测试套件总共包含
结果
泛化性能：用提出的FC掩码替换RGB图像显著提高了跨领域合成图像的检测能力。在所有38个未见过的测试子数据集中，FC增强后的分类器一致优于它们的RGB对应分类器。例如，FC+MobileViT在未见过的GANs上的平均准确率达到94.1%，比基线提高了21.3%[表2]，并且在从GANs泛化到扩散模型时获得了39.2%的更大提升[表3]。总体而言，MobileViT的平均准确率从63.5%提高到了87.2%
消融研究
阈值消融：我们进行了网格搜索，以找到FC掩码的最佳阈值，测试了36种梯度阈值（τg ∈ {1.0, 1.5, 2.0, 2.5, 3.0, 3.5}）和曲率比率（τr ∈ {0.1, 0.2, 0.3, 0.4, 0.5, 0.6}）的组合。图5中的结果热图显示，虽然多种组合表现良好，但在极端参数值下性能会下降。在实际应用中，需要对这类组合进行彻底分析。训练时间：
结论
我们提出了一种简单的六通道
平坦度-曲率（FC）表示方法，用于合成图像检测。作为即插即用的输入，FC一致地提高了跨不同生成器的泛化能力。特别是
FC+MobileViT，仅在四个ProGAN类别上训练一个周期后，在38个未见过的GAN和扩散来源上的平均准确率达到
87.2%，比RGB基线提高了
23.7%。
结果表明，FC捕获了超越生成器特定性的可转移结构线索
表4。
CRediT作者贡献声明
Tanusree Ghosh：撰写——原始草稿、方法论、调查、概念化。
Ruchira Naskar：撰写——审阅与编辑、监督、资源管理、项目行政、方法论、概念化。
