综述:检测AI生成图像的方法与趋势:一项综合性综述

《Computer Science Review》:Methods and trends in detecting AI-generated images: A comprehensive review

【字体: 大 中 小 】 时间:2026年01月24日 来源:Computer Science Review 17.5

编辑推荐:

  先进生成模型(如生成对抗网络(GANs)、扩散模型(Diffusion Models)和变分自编码器(VAEs))的激增使得高质量多媒体数据的合成成为可能。然而,这些进展也引发了关于对抗攻击、不道德使用和社会危害的重大担忧。认识到这些挑战,研究人员日益关注开发

  
先进生成模型(如生成对抗网络(GANs)、扩散模型(Diffusion Models)和变分自编码器(VAEs))的激增使得高质量多媒体数据的合成成为可能。然而,这些进展也引发了关于对抗攻击、不道德使用和社会危害的重大担忧。认识到这些挑战,研究人员日益关注开发有效检测合成数据的方法,旨在减轻潜在风险。先前的综述主要关注深度伪造检测,且常忽视合成图像取证的最新进展,特别是那些融合了多模态框架、基于推理的检测以及训练无关方法(training-free methodologies)的方法。为弥补这一空白,本综述对用于检测由先进生成式AI模型生成和分类合成图像的最新技术进行了全面且最新的回顾。该综述系统地审视了核心检测范式,将其分类为空间域、频域、指纹、基于块、训练无关以及多模态推理框架,并简要描述了其基本原理。研究人员进一步在公开可用数据集上对这些方法进行了详细的比较分析,以评估其泛化性、鲁棒性和可解释性。最后,该综述强调了开放的挑战和未来方向,强调结合训练无关方法的效率与多模态模型的语义推理的混合框架的潜力,以推进可信且可解释的合成图像取证。
  1. 1.
    引言
    先进生成模型的出现使得高度逼真合成图像的创建成为可能。这些图像通过多种方法合成,包括条件方法(如图像到图像翻译和文本到图像翻译)以及无条件生成。基于生成对抗网络(GANs)、扩散模型、变分自编码器(VAEs)和自回归模型(Autoregressive Models)的生成模型主导了当前图像生成的文献。尽管这些生成模型家族占据了图像生成领域的主导地位,其他方法如标准化流(Normalizing Flows)也做出了重要贡献。随着这些进展,多个最先进的生成模型已公开可用,同时还有商业可访问工具,如Adobe Firefly、MidJourney、DALL.E 3和Imagen 3。虽然生成模型促进了图像合成的发展,但其可访问性引入了与错误信息、隐私和安全相关的关键问题。生成高度逼真AI合成图像的能力带来了伦理和安全风险,包括欺骗性媒体、身份欺诈和地缘政治操纵。因此,取证检测已成为一个重要的研究领域,旨在可靠地区分AI生成的图像与真实世界照片。尽管取得了显著进展,现有的检测技术仍面临泛化性、鲁棒性、可扩展性和跨不断演进的生成架构推理的挑战。由条件和无条件生成方法生成的图像检测已成为一个快速增长的领域。然而,仍缺乏一个全面综述来系统分类现有检测方法。先前的综述主要关注通过传统计算机技术、图像编辑工具和深度伪造方法检测图像操纵,而本综述则填补了这一空白,重点关注融合了多模态技术、基于大语言模型的推理以及训练无关检测器以增强取证准确性的最新进展。为建立统一框架,本综述引入了一个核心分类法,将人工智能生成图像(AIGI)检测方法分为七类:空间域分析、频域分析、指纹分析、基于块的分析、训练无关方法、多模态和基于推理的模型以及商业检测框架。
  2. 2.
    综述
    在本综述中,研究人员将AI生成图像检测方法分为七个不同的组,最后一组包括商业方法。对于每个组,研究人员按发表日期升序讨论每种方法的核心方案。在每个部分末尾,提供表格总结实验评估是否满足三个关键标准:跨模型家族生成器、跨类别和跨场景。跨模型家族生成器标准评估在一种生成模型(如GAN)上训练的检测方法是否能在另一种生成模型(如扩散模型)上有效检测。跨类别标准检查训练在某一类别(如人脸)并在不同类别(如动物)上测试的方法。跨场景标准评估在具有不同数据分布的数据集上测试的性能。这些标准基于原始论文中描述的实验设置,旨在帮助未来工作展示泛化性并提供真实世界证据。
2.1. 空间域分析/空间特征分析方法
空间域分析方法通过像素级空间表示内的内在特征检测生成图像。这些方法利用纹理不规则性、不自然边缘形成和颜色不一致等空间模式,这些是在图像合成过程中常见的伪影。通过检查强度梯度、局部像素依赖性和边缘锐度等空间特征,这些方法能有效揭示细微失真。通常采用的技术包括用于自动特征提取的卷积神经网络(CNNs)、像素强度分布的统计分析和基于手工特征的分类器。空间域方法擅长捕捉局部异常和突变的视觉过渡,为图像伪造检测提供鲁棒且可解释的框架。
2.1.1. CNN生成的图片出奇地容易识别:wang等人(2020)
Wang等人进行了一项关键研究,证明在单一生成模型(特别是GAN)上训练的检测方法可以泛化到检测来自各种未见过的基于CNN的生成模型的合成图像。这一发现挑战了先前认为取证分类器跨模型泛化固有困难的观点。作者使用ProGAN在LSUN数据集上训练,产生720K张图像用于训练和4K张用于验证,真实与生成图像各半。他们采用在ImageNet上预训练的ResNet-50作为二分类器。通过多种数据增强策略(无增强、高斯模糊、JPEG压缩及其组合)促进鲁棒特征学习。训练后的分类器成功检测了由StyleGAN、BigGAN、CycleGAN、StarGAN和GauGAN等模型合成的图像。这项工作突出了CNN生成图像中常见伪影的存在,表明分类器可利用这些共享模式实现跨不同架构和任务的泛化检测。
2.1.2. GAN图像的归因与检测:goebel等人(2020)
Goebel等人引入了一个综合框架,通过共现矩阵分析和深度学习来检测、归因和定位GAN生成的图像。该方法基于隐写分析的思想,利用像素级共现特征识别合成过程中引入的伪影。从输入图像的RGB通道计算四个方向(水平、垂直、对角和反对角)的共现矩阵,每个矩阵捕获256×256像素值对的直方图,归一化并堆叠成256×256×12的张量。然后使用修改的XceptionNet进行三个关键任务:二分类检测(真实或GAN生成)、多类别归因(识别GAN架构)和定位(通过基于块的分析生成热图以识别操纵区域)。在超过276万张图像上的广泛实验证明了该方法在各种GAN模型上的有效性,t-SNE可视化显示真实与GAN生成图像之间的清晰分离,增强了模型的鲁棒性和可解释性。
2.1.3. 通过表示学习估计伪影相似性:Li等人(2022),GASE-Net
Li等人介绍了GASE-Net,这是一个通过估计伪影相似性来检测GAN生成图像的框架。该方法采用两阶段方法:表示学习和表示比较。在表示学习阶段,修改ResNet-50骨干网络,在浅层应用实例归一化(IN)以增强特征提取。参考图像的特征图按元素聚合形成域原型,作为GAN或原始图像域的鲁棒表示。在表示比较阶段,将待检测图像的特征图与域原型沿通道维度连接,由浅层CNN处理输出相似性分数。网络使用类别和域感知(CDA)损失进行优化,该损失通过利用域和类别信息最大化类间分离并最小化类内变化。在推理过程中,平均GAN生成域和原始域的相似性分数,若平均伪造分数超过原始分数则将图像分类为GAN生成。大量实验表明GASE-Net在跨域场景中优于现有方法,并对JPEG压缩、高斯模糊和调整大小等后处理具有鲁棒性。
2.1.4. 局部本征维度分析:Lorenz等人(2023),AdaptedMultiLID
Lorenz等人提出了一个利用多局部本征维度(multiLID)方法检测扩散生成图像的框架。该方法基于早期工作,在区分扩散和GAN生成图像方面表现出色。首先使用未训练的ResNet18模型提取低维特征图,然后计算multiLID以捕获潜在空间内特征密度的局部增长率。每个样本x的multiLID特征向量定义为:multiLIDd(x)[i] = ?log(di(x)/dk(x)),其中di(x)和dk(x)分别表示到第i个和第k个最近邻的欧几里得距离。随后训练随机森林分类器对标记multiLID分数进行图像分类。实验验证了该方法对扩散和GAN生成图像的高检测准确率,且对JPEG压缩和高斯模糊等后处理操作具有鲁棒性。
2.1.5. AI生成图像检测:Baraheem等人(2023)
Baraheem等人提出了一个使用预训练分类器迁移学习检测GAN生成图像的框架。作者编译了一个名为真实与合成图像(RSI)的多样化数据集,包含由12种GAN架构在图像到图像、草图到图像和文本到图像等任务中合成的48,000张图像。经过微调后,EfficientNetB4实现了最佳检测性能。模型架构通过替换分类头进行修改,添加了全局平均池化、批归一化、ReLU激活、丢弃法和Sigmoid输出。训练采用Adam优化器,批量大小为64,初始学习率为0.001,并采用水平翻转等数据增强。为促进模型可解释性,作者结合了四种类激活映射(CAM)方法:GradCAM、AblationCAM、LayerCAM和Faster ScoreCAM,以可视化影响分类决策的判别区域。
2.1.6. 扩散重建误差(DIRE):Wang等人(2023)
Wang等人提出了扩散重建误差(DIRE),这是一种通过利用预训练扩散模型的重建误差来检测扩散生成图像的新方法。其核心思想是扩散生成的图像可以被预训练DDIM模型比真实图像更准确地重建。DIRE定义为输入图像x0与其重建对应物x0′之间的L1范数差异:DIRE(x0) = ‖x0 ? x0′‖1。该过程包括对输入图像应用前向噪声,然后执行反向去噪过程以生成重建。使用ResNet-50分类器在这些DIRE表示上训练二元交叉熵损失以区分真实和生成图像。作者在提出的DiffusionForensics数据集上验证了DIRE的最先进性能,该数据集包含来自多个域(如LSUN-Bedroom、ImageNet和CelebA-HQ)的各种扩散模型生成的图像。实验表明DIRE不仅擅长检测扩散生成图像,还能很好地泛化到未见模型,并在高斯模糊和JPEG压缩等扰动下保持鲁棒性。
2.1.7. 分类与可解释识别:Bird和Lotfi(2024)
Bird和Lotfi引入了一个使用大规模数据集CIFAKE检测AI生成图像的框架。其分类方法采用卷积神经网络(CNN),通过堆叠卷积和池化层处理图像,后接全连接层和最终Sigmoid激活用于二分类。该研究强调可解释性,通过实现梯度类激活映射(Grad-CAM)生成热图,突出影响模型决策的区域。Grad-CAM计算重要性权重αk用于每个特征图Ak,产生视觉解释:LcGrad-CAM = ReLU(∑k αk Ak),其中αk = (1/Z) ∑i,j (?yc / ?Aki,j),Z是特征图的空间大小。热图显示模型专注于细微的不完美,通常在图像背景中,以区分真实和合成图像。这种方法通过结合高分类性能和视觉可解释性,提高了对AI生成图像检测的信任。
2.1.8. 在ImagiNet上的自对比学习:Boychev等人(2024)
Boychev等人引入了一个包含200,000张真实和合成图像的大规模数据集ImagiNet。检测框架包括两个阶段:自对比学习(SelfCon)预训练和校准步骤。在预训练阶段,ResNet-50骨干网络初始化为ImageNet权重,与将中间特征图投影到共享潜在空间的子网络配对,产生每个输入图像的两个输出嵌入,促进对比学习。SelfCon损失定义为:LSelfCon = ?∑i∈A, ω∈Ω (1 / (|P(i)| |Ω|)) ∑p∈P(i), ω′∈Ω log( exp(ω(xi)·ω′(xp)/τ) / ∑l∈Q(i) exp(ω(xi)·ω′(xl)/τ) ),其中A表示批次中的锚图像集,P(i)表示锚xi的正样本,Q(i)包含负样本,ω(x)是归一化嵌入,τ是温度参数。在校准步骤中,移除子网络和投影头,使用交叉熵损失在等量的真实和合成图像上训练多层感知器(MLP)分类器。实验结果表明该框架实现了高达0.99的AUC和95%的平衡准确率,在各种合成图像基准上展示了鲁棒的零样本性能。
空间域分析方法的比较分析
空间域取证方法有着通过像素级和局部伪影分析识别AI生成图像的统一目标,但在架构原理和泛化范围上有所不同。早期基于CNN的检测器(如Wang等人)揭示了不同CNN生成器之间共享的判别性空间伪影,展示了使用标准ResNet-50骨干网络仅在ProGAN数据上训练即可实现跨模型泛化。然而,这些早期检测器在可解释性和依赖数据集特定特征方面存在局限。Goebel等人通过引入基于共现矩阵的表示解决了这些问题,捕获了多个方向的像素依赖,实现了统一框架内的检测和归因。为了克服此类手工表示跨域可迁移性差的问题,Li等人提出了GASE-Net,强调表示学习和域原型与待检测图像之间的伪影相似性估计,提高了对后处理和域偏移的鲁棒性。Lorenz等人通过引入AdaptedMultiLID进一步将泛化扩展到GAN之外,该方法建模内在特征空间维度而非显式像素统计,解决了先前模型特异性的局限。Baraheem等人贡献了RSI基准,并证明在大规模多样化GAN数据集上使用EfficientNet和CAM可视化的迁移学习增强了可解释性和模型泛化。为了解决检测扩散生成内容的空白,Wang等人引入了DIRE,将空间域分析与基于扩散的重建相结合,在未见扩散架构上实现了更高性能。最近,Bird和Lotfi以及Boychev等人分别通过结合Grad-CAM可解释性和自对比学习(SelfCon)解决了可解释性和训练效率的剩余局限,提供了改进的透明度和零样本泛化。总的来说,这些研究展示了清晰的方法演进——从手工共现特征和基于CNN的空间检测,到表示和重建学习,最后到对比和可解释框架。这一轨迹强调了该领域从模型特定和数据集依赖的检测转向用于AI生成图像取证统一、可解释和泛化的空间域分析。
2.2. 多模态视觉语言方法(和/或多模态大语言模型)
本节包含两种密切相关但不同的取证检测子类别:多模态视觉语言模型(VLMs)和多模态大语言模型(MLLMs)。第一类利用在大规模图像-文本数据集上训练的视觉语言模型(VLMs)通过对齐视觉和文本特征来检测生成图像。这些方法主要依赖视觉编码器,通常缺乏显式推理能力。它们通过跨模态嵌入检测合成图像中的不一致性,实现跨广泛生成模型的鲁棒检测。代表性例子包括CLIP,属于对比学习范式,以及其众多区分真实与生成图像的迁移学习适应。第二类是最近开发的,主要采用多模态大语言模型(MLLMs),联合利用视觉和文本输入,不仅提供检测还提供解释模型决策的推理。这些方法通常采用最近的VLM或MLLM骨干网络,如Qwen、LLaMA、LLaVA和GPT,实现了增强的可解释性和与人类可理解推理的对齐。
2.2.1. Ojha(2023)的通用伪造图像检测器
Ojha等人指出,现有的伪造图像检测器在泛化方面存在困难,经常将来自未见生成模型的图像误分类为真实。这一局限源于分类器被不对称地调整为检测训练数据特定的伪影。为了解决这个问题,作者提出使用CLIP:ViT构建一个有意义的特征空间,该模型在4亿个图像-文本对上训练。他们采用两种方法:(a)将训练图像映射到CLIP的最后一层以创建特征表示,然后在推理时根据与真实和伪造特征空间中最近邻的余弦距离对图像进行分类;(b)用线性层增强CLIP以进行二分类。两种方法都展示了泛化能力,能有效检测来自最先进生成模型的合成图像。
2.2.2. Wu(2023)的语言引导合成图像检测
Wu等人提出了一种语言引导的方法,通过集成图像-文本对比学习在VLM中检测合成图像。他们将检测任务重新表述为识别问题,确定查询图像是否与一组文本标记图像的锚集对齐。该方法通过精心设计的文本标签(如“真实照片”、“真实绘画”、“合成照片”和“合成绘画”)来增强泛化性。提出的LASTED框架使用ResNet-50x64视觉编码器和基于Transformer的文本编码器对图像和文本标签进行编码。对比损失对齐这些特征,确保匹配对具有比不匹配对更高的相似性分数:LI = ?(1/N) ∑i=1N log( exp(ev,i·et,i/τ) / ∑j=1N exp(ev,i·et,j/τ) ),其中τ是温度参数。在测试期间,丢弃文本编码器,计算已知图像锚集的平均表示向量,输入图像的表示使用余弦相似度与该锚向量比较以确定其类别。虽然LASTED在选定数据集上取得了更好的性能,但文本标签是影响因素,仅选择四个标签(照片和绘画)可能会限制对医学图像和卫星图像等非常不同领域的泛化性。
2.2.3. GenDet:Zhu(2023)的良好泛化
Zhu等人解决了检测来自未见生成器的合成图像的挑战,提出了GenDet,由教师-学生差异感知学习和广义特征增强两个关键组件组成。这些组件通过对抗框架训练以提高对可见和不可见生成器的泛化性。模型采用基于CLIP:ViT的特征提取器E。教师-学生差异感知学习旨在:(a)减少教师网络Nt和学生网络Ns对真实图像的输出差异;(b)放大对伪造图像的这种差异以增强检测。差异损失定义为:Lmin = (1/b) ∑i=1b ‖Nt(fi) ? Ns(fi)‖22,Lmax = ?Lmin,其中fi代表来自真实或伪造图像的特征,b是批量大小。广义特征增强器通过对抗生成增强特征,促进减少教师和学生网络对增强伪造特征的差异,鼓励模型在推理时通过保持大差异来检测未见过的合成图像。最后,在教师和学生输出变化上训练二分类器Nc以将图像分类为真实或伪造。实验表明GenDet在UniversalFakeDetect和GenImage数据集上实现了最先进的性能。
2.2.4. 低秩专家混合:Liu 2024
Liu等人提出了一种可迁移的AI生成图像检测模型,利用CLIP-ViT作为骨干网络,并进行参数高效微调。该方法通过混合低秩专家(MoLE)修改最后三个ViT-B/32块的MLP层,集成了共享和独立的低秩适配器(LoRAs)。共享LoRAs捕获跨数据集的通用特征表示,而独立LoRAs专用于不同的生成模式。可训练的门控机制动态地将输入令牌分配给适当的专家,负载均衡损失确保均匀的专家利用。模型冻结大多数CLIP参数,仅适应LoRA模块和具有Sigmoid激活的新MLP分类头。每个MLP块中的前向操作表示为:ΔWx = (α/r)BAx + ∑i=1N Gi(x) (αi/ri) BiAix,其中Gi(x)是门控函数,A、B、Ai和Bi是低秩矩阵。该方法在未见扩散和自回归模型上实现了最先进的泛化,对后处理扰动具有卓越鲁棒性。在UnivFD和GenImage等基准上的实验表明,所提方法在分类准确率上比现有检测器高出最多+12.72%。
2.2.5. 合并混合超LoRAs:Cao 2024的HyperDet
Cao等人提出了一个可泛化的合成图像检测框架HyperDet,利用大规模预训练多模态模型CLIP: ViT-L/14作为骨干网络。与Liu等人不同,作者引入了将空间富模型(SRM)滤波器分组为五个不同组以生成输入图像的多个滤波视图,捕获不同级别的像素伪影和特征。此外,HyperDet采用超LoRAs,这是一种基于超网络的方法,生成用于微调CLIP模型的低秩适应(LoRA)权重。这些LoRA权重使用三种类型的嵌入计算:任务嵌入、层嵌入和位置嵌入。这些LoRA专家的输出被合并形成统一的分类表示,有效整合共享和特定知识以进行泛化特征提取。在训练期间,HyperDet微调CLIP: ViT-L/14的最后八个全连接层以及新引入的超LoRAs模块。为解决不平衡优化,框架采用复合二元交叉熵损失函数,结合原始和滤波视图的图像。该设计在跨不同生成模型和数据集检测合成方面实现了鲁棒性能。
2.2.6. 伪造感知自适应变换器(FatFormer):Liu 2024
Liu等人引入了FatFormer,一个利用预训练CLIP模型的可泛化合成图像检测框架。作者解决了冻结CLIP层会阻碍伪造检测泛化的局限。FatFormer集成了两个模块:伪造感知适配器(FAA)和语言引导对齐(LGA),以有效适应CLIP的特征。FAA模块从图像和频域提取伪造伪影。图像伪造提取器应用轻量级卷积层捕获低级伪影,而频率伪造提取器采用离散小波变换(DWT)和分组注意力机制动态聚合多频带频率线索。每个ViT阶段的最终适应特征表示为:g(j) = gimg(j) + λ·gfreq(j),其中λ平衡图像和频率贡献。LGA模块使用基于块增强器(PBE)增强文本提示,并通过文本引导交互器(TGI)将图像块令牌与文本嵌入对齐。对比损失应用于图像和文本嵌入之间的余弦相似度:S(i) = cos(fimg(0), ftext(i)),S′(i) = (1/N) ∑t=1N cos(fimg(t), ftext(i)),其中N是块的数量。
2.2.7. 用CLIP提高标准:Cozzolino 2024
Cozzolino等人实现了CLIP: ViT-L/14预训练VLM,用于检测合成图像,并进行了简单而有效的调整。作者提出通过将真实图像标题输入文本到图像模型来生成合成图像,然后使用CLIP的图像编码器提取真实和合成图像的特征向量。具体来说,从ViT模块的倒数第二层获得特征向量:ri = CLIP(Ri),fi = CLIP(Fi),其中ri和fi分别代表真实图像Ri和合成图像Fi的特征向量。对于分类,作者采用简单的线性支持向量机(SVM)。分析表明,基于CLIP的特征在检测合成图像方面非常有效,为未来研究设定了新的基准。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号