DIFC-Net:用于人工智能生成图像检测的扩散-内在特征捕捉方法 陆少锋(Lu Shaofeng), 田进(Tian Jin), 张宇金(Zhang Yujin), 吴飞(Wu Fei), 龚莉(Gong Li), 潘瀚(Pan Han)

《Sensors》:DIFC-Net: Diffusion-Intrinsic Feature Capture for AI-Generated Image Detection Shaofeng Lu, Jin Tian, Yujin Zhang, Fei Wu, Li Gong and Han Pan

【字体: 大 中 小 】 时间:2026年04月14日 来源:Sensors 3.5

编辑推荐:

  摘要 扩散模型(例如,Stable Diffusion、DALL·E 3)现在已经能够生成与真实图像几乎无法区分的图像,这使得合成图像检测变得越来越具有挑战性。我们提出了DIFC-Net,这是一种基于扩散特性的检测框架,它通过分析图像在扩散逆向过程中的重建

  摘要 扩散模型(例如,Stable Diffusion、DALL·E 3)现在已经能够生成与真实图像几乎无法区分的图像,这使得合成图像检测变得越来越具有挑战性。我们提出了DIFC-Net,这是一种基于扩散特性的检测框架,它通过分析图像在扩散逆向过程中的重建行为来识别AI生成的图像,而不是依赖于视觉伪影。DIFC-Net同时捕捉空间差异信号和潜在的扩散轨迹演化,并将这些信息自适应地融合到一个统一的取证表示中。广泛的跨模型评估显示,DIFC-Net在多个未见过的扩散生成器上实现了90.29%的平均AUC评分,超越了现有的最先进检测器,同时在不依赖于特定生成模型训练知识的情况下保持了强大的泛化能力。 1. 引言基于扩散的生成模型,如SDXL、Stable Diffusion和DALL·E 3,在合成具有高感知真实感和语义一致性的图像方面取得了显著进步[1]。虽然这些模型支持创造性应用和大规模数据增强,但它们也给多媒体取证带来了重大挑战,因为难以检测合成内容。这些图像虽然在视觉上与真实图像无法区分,但有潜力污染数据集、误导下游视觉系统,并削弱公众对自动化决策的信任。传统的图像检测器最初是为基于GAN的模型开发的,在面对当今高保真度的扩散输出时表现出困难,特别是在分布偏移的情况下[2,3]。大多数现有方法要么依赖于手工制作的特征,如频率或噪声统计[4],这些特征容易受到常见后处理技术的影响;要么依赖于监督分类器(CNN或Transformer)[5,6],这些分类器往往过度拟合外观模式并且缺乏对未见生成器的泛化能力[7]。这些方法的一个根本限制是将图像检测视为一个静态问题,只关注视觉伪影或像素级差异。相比之下,基于扩散的合成是通过潜在空间中的迭代去噪过程实现的[8,9]。这个过程允许真实图像以稳定、流形一致的动力学进行重建,而合成图像则倾向于表现出不规则的转换和不一致的残差结构[10]。这些观察表明,更有效的检测方法应该涉及探究图像在扩散逆向过程中的重建行为,而不仅仅是依赖于最终的像素外观。为了应对这些限制,我们提出了DIFC-Net,这是一种利用扩散过程内在特性的新检测框架。DIFC-Net捕捉了来自重建残差的空间差异信号和沿潜在扩散轨迹的时间演化模式。我们的架构由三个主要模块组成:视觉比较路径(VCP),它利用通道-空间注意力和跨模态注意力来提取有信息的残差特征;轨迹特征模型(TFM),它通过多头自注意力来建模扩散的潜在动力学;以及主动捕获融合(ACF)模块,它通过一个可学习的门控机制自适应地整合视觉和时间线索,形成一个强大的取证表示。总之,本工作的主要贡献是:我们提出了DIFC-Net,这是一种基于扩散特性的新检测框架,它通过分析图像在扩散逆向过程中的重建行为来识别AI生成的图像,而不是依赖于静态的像素级伪影。我们引入了一个统一的多路径学习架构,将空间残差差异和潜在扩散轨迹演化结合起来,实现了对不同模型生成不一致性的强大检测。我们展示了强大的跨模型泛化和可解释性,在未见过的扩散模型上取得了最先进的性能,并通过残差可视化和注意力热图提供了透明的取证推理。 2. 相关工作近年来,区分真实图像和由生成模型(GAN/扩散模型)生成的合成图像已成为计算机视觉和多媒体取证中的一个重要研究方向。关于这一问题的研究[11]大致可以分为五个主要方向:(i)低级伪影和频域信号;(ii)基于深度特征的端到端检测;(iii)扩散模型特异性的检测和重建一致性;(iv)指纹识别、归因和可追溯性;(v)鲁棒性、泛化能力和校准。2.1. 低级伪影和频域信号早期方法从图像形成过程中的“可解释的物理或数值线索”开始,专注于上采样、反卷积、插值核、颜色统计等方面的系统伪影。例如,上采样引起的频谱能量分布差异被用作GAN产品的稳定证据[5];高频响应和能量衰减模式[4]也可以区分真实图像和合成图像。在人脸场景中,FaceForensics++[12]构建了一个标准基准,并表明JPEG压缩和重采样可以显著影响频域线索。这些方法是可解释且计算效率高的,但当跨生成器、强后处理或领域外分布时,其准确性往往会下降[6]。在频域的具体建模中,通常提取二维DFT/DCT[3,5,13]频谱复制和谐波伪影,并输入到浅层分类器或轻型CNN中以实现快速检测。2.2. 基于深度特征的端到端检测为了克服手工制作线索的脆弱性,端到端CNN/Transformer逐渐成为主流。系统研究[6]表明,当前阶段的CNN生成图像通常是可检测的,并评估了它们在JPEG压缩和模糊等现实世界扰动下的鲁棒性。从可解释的角度来看,卷积痕迹和纹理统计可以作为可解释的深度证据的桥梁[13];从取证的角度来看,检测和操纵识别/一致性验证是集成过程[14]。近年来,一个重要的分支是使用预训练的视觉/多模态模型作为骨干,如CLIP/ViT、MAE和BLIP2,它们通过LoRA等参数进行高效微调以提高泛化能力[15,16,17,18]。同时,增量学习、蒸馏、迁移和集成在提高跨领域稳定性方面也展示了积极的效果[2,19,20,21,22,23]。2.3. 扩散模型特异性的检测和重建一致性在DDPM、Stable Diffusion和SDXL等扩散模型兴起之后,AI生成图像检测的重点逐渐从传统的GAN伪影转向了扩散过程的一致性和可逆性。特别是DDIM及相关方法在保持可逆性的同时大幅减少了重建步骤[7],并且扩散模型也在生成质量和稳定性方面得到了系统的分析[24]。最近的研究强调了扩散潜在空间中逆向-重建对齐的重要性,其中可以通过残差不一致性、重建错误或潜在不匹配来揭示真实图像和合成图像之间的系统差异。代表性的例子包括DNF[10]、DIRE/DistilDIRE/LaRE2[8,19]、SeDID[25]和FIRE[26],它们主要利用重建错误或噪声残差;FakeInversion和DRCT[9,27],将原始图像、解码后的噪声和重建结果融合成多视图输入;TOFE[28],引入了文本引导的逆向优化;以及DIP[29,30],它从重建一致性中构建源指纹。最近的研究还强调了AI生成图像检测的更广泛评估维度,包括泛化能力、鲁棒性和可解释性[31],同时扩散对齐的检测进一步探索了从迭代去噪过程中提取的时间步识别证据[23]。尽管有了这些进步,大多数现有的基于扩散的方法仍然主要依赖于单一的支配性线索,如重建错误、残差不一致性、多视图逆向输入或重建一致性指纹。相比之下,DIFC-Net旨在同时捕捉两种互补的基于扩散特性的证据:在重建三元组上的细粒度差异推理以及在扩散逆向过程中的时间步潜在轨迹演化。为了更好地将DIFC-Net与现有检测器和本研究中使用的实验基线进行对比,表1总结了代表性AI生成图像检测方法和DIFC-Net之间的方法学差异。表1. 代表性AI生成图像检测方法和DIFC-Net的方法学比较。2.4. 指纹识别、归因和可追溯性与“真假分类”相比,归因/可追溯性强调识别特定的生成器或训练来源。一些研究表明,具有不同训练/架构的生成器会在其输出中留下可识别的指纹[42,43];诸如Noiseprint[44]等其他“源指纹”也为生成器归因提供了启示。在行业层面,内容证书/水印(C2PA、Stable Signature、Tree-Ring等)提供了主动的可追溯方法;当水印缺失或被篡改时,被动取证仍然是安全底线[45,46]。2.5. 数据集、鲁棒性和校准就基准测试而言,FaceForensics++、GenImage和SyntheBusters[1,12,47]涵盖了多种生成器和场景,这有助于量化跨领域泛化。就鲁棒性而言,当前研究表明,压缩/重采样、几何编辑和对抗性扰动对检测器有显著影响,这些影响可以通过结构增强和频域鲁棒正则化有效缓解[9,48]。此外,概率校准对于实际部署至关重要:现代深度模型经常表现出“过度自信”,需要结合ECE/Brier等指标以及温度缩放、标签平滑等方法来提高可靠性[49,50]。3. 方法所提出的DIFC-Net通过利用重建不一致性和潜在轨迹线索来检测由扩散生成的图像。给定一个输入图像,重建模块执行扩散逆向,生成多个互补的视图——原始图像、重建图像和噪声扰动图像——这些视图捕捉了视觉和潜在的差异。视觉比较路径(VCP)专注于这些视图之间的细微空间差异,使用注意力机制来突出合成过程中引入的微妙不一致性。同时,轨迹特征模型(TFM)通过多头自注意力来建模潜在的扩散轨迹并捕捉其时间演化。然后,主动捕获融合(ACF)模块将VCP和TFM的输出融合在一起,将空间和时间信息自适应地整合到一个统一的特征表示中。最后,一个轻量级分类器执行真实/伪造预测。这种多分支设计使DIFC-Net能够同时考虑空间差异和潜在的扩散动态,如图1所示。图1. DIFC-Net的总体框架。重建模块执行扩散逆向,生成一个三元组{??,????,????}。视觉比较路径(VCP)通过特征投影、残差差异和注意力机制提取空间线索。轨迹特征模型(TFM)使用分词后的潜在轨迹和多头自注意力来建模时间演化。主动捕获融合(ACF)模块通过门控机制将VCP和TFM的特征融合,形成最终的分类。3.1. 重建重建模块通过正向和反向扩散阶段处理输入图像。如图2所示,首先由预训练的VAE编码器生成潜在表示,然后在进行正向扩散过程中逐步扰动。在反向扩散过程中,U-Net模型预测噪声分量并在每个步骤中细化潜在表示。解码后的潜在表示产生重建图像和噪声图,共同形成重建三元组。这个过程为视觉差异学习提供了明确的线索。图2. 使用扩散逆向的重建模块。输入图像被编码成潜在表示??0。在正向扩散过程中,潜在状态{????}????=1被扰动,在反向去噪过程中,模型使用带有交叉注意力层的U-Net预测噪声以恢复潜在表示。解码后的潜在表示产生重建图像????和预测的噪声图????,形成重建三元组{??,????,????},为视觉差异学习提供明确线索。3.1.1. 正向扩散为了模拟视觉信息的逐渐退化,在正向扩散过程中逐步向潜在表示中注入高斯噪声。给定一个输入图像??,首先将其编码成紧凑的潜在表示??0 =???(??),其中??0 ∈?4×??8×??8。然后对这个潜在状态进行一系列扰动: ???(????∣?????1)=√1??????????1+√????????,????~???(??,????), (1) 其中????表示控制步骤t退化率的噪声方差。正向扩散过程持续到时间步T,得到最大噪声化的潜在状态????。然后应用解码器???( ·)生成噪声图:???? =???(????),这可视化了图像中的随机、无结构的残差,为DIFC-Net提供了学习真实图像和合成内容之间视觉差异的明确线索。3.1.2. 反向去噪过程为了恢复原始内容,DIFC-Net使用去噪U-Net ?????(????,??)进行反向扩散。这个U-Net包含对称的下采样和上采样块,通过残差跳跃链接和交叉注意力层(QKV投影)连接。去噪过程通过在每个时间步预测噪声分量并更新潜在状态来迭代细化潜在表示: ?????(????,??)=1√?????(?????????√1?ˉ??????????(????,??)),?????1=?????(????,??)+???????, (2) 其中???? =1 ?????控制每步信号保留,????是噪声方差,????决定了采样的随机性。这个迭代过程从?? =??开始,一直持续到?? =1,最终潜在状态????0由VAE解码器解码,得到重建图像???? =???(???0),其中????是原始图像的重建版本,现在从噪声潜在空间中恢复而来。3.1.3. 三元组和潜在轨迹重建过程产生一个三元组,包括原始图像??、重建图像????和噪声图????:{??,????,????} ={??,???(????),???(???0)},分别代表原始图像、噪声扰动图像和去噪后的重建图像。此外,潜在的扩散轨迹 ?? ={????}????=0 记录了图像从受污染的噪声到语义连贯内容的演变路径。这一轨迹捕捉了扩散过程的时间动态,为后续模块(第3.2节和第3.3节)提供了额外的线索,以进一步增强模型区分真实图像和合成图像的能力。

4.1. 实验设置
4.1.1. 数据集
为了评估DIFC-Net的泛化能力,我们构建了一个包含60k张图像的平衡训练集,其中30k张来自LAION [51]的真实样本,30k张由Stable Diffusion v1.4生成的合成图像。这种设置提供了一个有代表性的分布内生成器,同时允许模型学习超出生成器特定伪影的重建和轨迹线索。为了公平比较,所有方法(包括DIFC-Net和基线方法)都在相同的Stable Diffusion v1.4训练集上进行训练,并在相同的跨模型协议下进行评估。
在评估中,我们采用了未见生成器的测试协议,所有测试生成器都排除了训练过程。如表2所总结的,评估套件包括六个扩散模型(DALL·E 3、SDXL、SD-v1.5、ADM、GLIDE和WuKong),三个来自MNW [52]的子集(Adobe、Image3和Baidu),以及一个GAN模型(BigGAN)。这些生成器涵盖了不同的架构、生成机制和数据来源,从而提供了广泛的跨模型鲁棒性评估。需要注意的是,MNW中也包含与我们主要基准中已包含的生成器(如DALL·E 3和SDXL)重叠的类别。因此,我们选择了不重叠的MNW子集,以避免重复,并保留了进一步多样化评估集的补充生成器。

4.1.2. 基线方法
为了与之前的代表性工作进行全面的比较,我们评估了DIFC-Net与十二个AIGI检测器进行了对比,这些检测器涵盖了空间、频率、基于重建的、基于基础模型的以及视觉-语言范式。评估的基线方法包括CNNSpot [6]、F3Net [32]、GramNet [33]、UnivFD [34]、DIRE [8]、SPAI [35]、DMID [36]、DE-Fake [37]、RINE [38]、Fusing [39]和C2PClip [41]。如表1所总结的,这些先前的方法涵盖了不同的检测原理。CNNSpot、F3Net、GramNet、SPAI、DMID、DE-Fake、RINE、Fusing和NPR主要依赖于图像空间伪影、频域异常、特征统计或判别性取证表示。UnivFD代表了一种基于大规模预训练视觉特征的最新检测器设计,而C2PClip则进一步扩展了这一系列,利用了基于CLIP的视觉-语言表示。在这些基线方法中,DIRE是与扩散最相关的检测器,因为它明确利用了扩散模型下的反转和重建不一致性。
这种多样性使得基准测试特别具有挑战性,同时也使得DIFC-Net能够与来自不同方法论家族的先前工作进行广泛的比较。与主要依赖于静态外观线索、频谱线索、通用预训练表示或单一重建衍生信号的先前检测器不同,DIFC-Net联合建模了重建三元组差异和潜在扩散轨迹,并进行了自适应融合。因此,第4.2节中的实证比较不仅评估了DIFC-Net是否在检测性能上能与先前的工作相媲美,还评估了扩散内在建模是否为跨模型AI生成图像检测提供了更稳健的基础。

4.2. 结果与分析
4.2.1. 检测比较
为了确保公平性,所有比较方法都在相同的实验协议下实现和评估。具体来说,所有检测器都在相同的Stable Diffusion v1.4训练集上训练,在相同的验证分割上进行验证,并在相同的未见生成器特定评估集上进行测试。重复实验分析和基于阈值的指标也是根据相同的协议对所有方法进行的,除非另有规定。表3报告了DIFC-Net与十二种代表性先前方法在五个独立实验中对十个未见生成器的跨模型检测性能,结果以AUC(百分比,平均值±标准差)的形式呈现。与这些先前的方法相比,DIFC-Net不仅在平均检测精度方面进行了评估,还在重复实验中的稳定性和对异构未见生成器的鲁棒性方面进行了评估。因此,以下分析进一步使用多实验统计数据、ROC曲线和基于阈值的指标将DIFC-Net与先前的检测器进行了比较,以便更全面地了解其跨模型泛化能力。表3显示了在五个独立实验中DIFC-Net在未见生成器上的跨模型性能。结果以AUC(百分比,平均值±标准差)的形式呈现。最佳结果以粗体显示。从实验结果来看,DIFC-Net在十个生成器上实现了最强的平均性能,平均AUC达到了90.29%。特别是在DALL·E 3(98.83 ± 0.51)、Image3(95.41 ± 1.57)和Baidu(87.28 ± 1.30)上表现最佳,同时在SDXL(98.82 ± 0.92)、SDv1.5(99.02 ± 0.61)、ADM(85.99 ± 1.20)、GLIDE(89.24 ± 1.24)和Wukong(95.41 ± 1.19)上也保持了高度竞争力。尽管某些基线在某些特定生成器上取得了最高分数,例如C2PClip在SDXL和SDv1.5上、GramNet在ADM上、RINE在GLIDE上以及SPAI在Wukong和Adobe上,DIFC-Net在异构生成器上表现出了最平衡的性能,表明其有效性不依赖于特定的模型家族或伪影类型。除了高平均性能外,DIFC-Net还表现出较强的统计稳定性。在十个生成器中的八个上,其标准差保持在1.30以下,并且在任何生成器上都不超过1.57,这比许多竞争方法都要低。这一结果表明,所提出的框架不仅准确,而且对实验间的变化具有鲁棒性。这种稳定性对于跨模型检测非常重要,因为一个平均性能强但方差大的检测器在部署到未见生成器时可能仍然不可靠。图3进一步展示了所有评估方法在十个生成器上的ROC曲线。该图提供了超越单一标量指标的跨模型行为的更细致视图。在DALL·E 3、SDXL、SDv1.5、Wukong、Image3和Baidu上,DIFC-Net的ROC曲线接近左上角,要么优于,要么紧密跟踪最强的竞争方法,证实了在高保真度和结构多样化的生成器上的强区分能力。在更具挑战性的源如ADM、GLIDE、Adobe和BigGAN上,不同方法之间的差异变得更大,这突显了在多样化的生成机制下保持鲁棒泛化的难度。尽管如此,DIFC-Net仍然保持了有竞争力的区分能力,而没有严重的性能下降,进一步支持了所提出的扩散内在建模策略的鲁棒性。综合多实验AUC统计数据和生成器特定的ROC曲线,一致地支持了DIFC-Net提供鲁棒跨模型泛化的观点。因此,其优势不仅体现在强劲的平均性能上,还体现在重复实验中的稳定行为和对广泛未见生成器的有力区分能力上。为了补充基于阈值的AUC评估,表4进一步报告了DIFC-Net的基于阈值的分类指标,包括精确度、召回率、F1分数和假阳性率(FPR)。这些指标提供了对检测器操作点行为的更直接视图,特别是正确检测伪造图像与避免在真实图像上产生误报之间的权衡。表4显示了DIFC-Net在每个生成器上的精确度、召回率、F1分数和假阳性率(FPR)。指标以百分比表示。DIFC-Net在大多数生成器上保持了强劲的基于阈值的性能,特别是在DALL·E 3、SDXL和SDv1.5上表现尤为出色,F1分数和FPR均表明了高度可靠的区分能力。相比之下,更具挑战性的生成器如ADM、GLIDE、Baidu、BigGAN,尤其是Adobe在精确度/召回率/F1分数上出现了明显下降,并且FPR增加,表明在固定决策阈值下这些源更难以处理。然而,总体趋势仍然表明DIFC-Net在检测敏感性和误报控制之间保持了合理的平衡。图4进一步展示了DIFC-Net在所有评估数据集上的标准化混淆矩阵。与表4中的指标一致,表现更好的生成器在对角线上表现出明显的优势,而更具挑战性的生成器则显示出更明显的非对角线错误。特别是DALL·E 3、SDXL和SDv1.5在对角线上高度集中,而Adobe在伪造样本和真实样本之间显示出最明显的混淆。这些结果提供了对详细错误分布的更直观视图,并进一步证明了DIFC-Net在大多数未见生成器上保持了稳健的操作点行为。4.2.2. 残差图和注意力图分析为了更好地理解DIFC-Net如何区分真实图像和扩散生成的图像,我们可视化了重建过程中产生的残差模式(图5)。残差图捕捉了输入图像与其基于扩散的重建之间的像素级偏差,反映了视觉内容与学习到的自然图像流形的符合程度。图5显示了真实图像和扩散生成图像的残差可视化。(a) 真实样本沿自然边界显示出弱且局部化的残差,表明与真实图像流形的重建一致。(b) 伪造样本在语义区域表现出更强且不规则的残差激活,揭示了DIFC-Net有效捕获的重建不一致性。在真实图像中,残差响应较弱且空间连贯。激活主要集中在自然高梯度区域——面部轮廓、头发边缘和光照过渡处——表明扩散重建能够准确恢复它们的语义结构。低而稳定的残差能量反映了输入和扩散先验之间的强一致性。相比之下,扩散生成的图像显示出广泛的且不规则的残差激活,延伸到皮肤、头发纹理和植被等语义区域之外。这些高幅度的响应揭示了材料连续性和光照统计上的不一致性——这是真实图像中不存在的伪影。这表明,尽管合成图像在像素空间中可能看起来自然,但在重建过程中难以保持连贯性,产生DIFC-Net能够利用的明显残差线索。为了进一步检查这些残差差异如何影响DIFC-Net的决策过程,我们可视化了跨模态注意力(CMA)响应和融合的Grad-CAM激活(图6)。虽然残差图指出了重建失败的地方,但这些注意力响应揭示了网络如何内在地将这些不一致性归因于真实性预测。图6显示了真实图像和扩散生成图像的跨模态和融合注意力可视化。(a) 真实样本显示出集中在对象语义上的空间连贯的CMA激活,噪声响应最小,产生了紧凑的Grad-CAM决策。(b) 扩散生成的样本显示了分散的、以纹理为导向的注意力,带有强烈的噪声激活,表明DIFC-Net有效捕获了跨模态对齐的破坏。对于真实样本,CMA激活在图像和重建分支中集中且连贯,而噪声分支的激活可以忽略不计。融合的Grad-CAM在语义区域上紧凑且局部化,表明空间特征和轨迹特征之间高度一致。对于扩散生成的样本,激活变得分散且以纹理为驱动。在合成细节(如头发丝和花卉图案)中出现了强烈的响应,噪声分支高度激活,表明跨模态不一致。4.2.3. 讨论DIFC-Net通过利用一个关键观察来检测合成图像:真实图像和扩散生成的图像在扩散反转过程中的行为不同。真实图像接近扩散模型学习到的流形,使得重建稳定且残差低且局部化。相比之下,生成的图像仅在像素空间中近似该流形;当被迫反转时,它们无法保持潜在的一致性,产生不稳定且空间分散的残差激活。这种不稳定性反映了合成内容与真实图像的统计分布之间的不匹配。同样的效应也出现在注意力响应中。真实图像产生集中在语义结构上的连贯CMA和Grad-CAM激活,而生成的图像产生扩散的、以纹理为驱动的激活,表明跨模态(图像-重建-噪声)之间的不一致。因此,DIFC-Net不依赖于可见的伪影或频率特征。相反,它基于图像在扩散反转过程中是否保持一致来判断真实性。残差的不稳定性和跨模态注意力的不一致性作为检测合成内容的基本且与模型无关的证据。4.2.4. 计算复杂性和运行时间分析与直接对单个输入图像进行分类的图像空间检测器相比,DIFC-Net引入了额外的计算成本,主要来自扩散反转过程和轨迹感知表示的提取。设T表示反转步骤的数量。反转阶段的运行时间大约与T线性增长,而随后的VCP–TFM–ACF特征学习则在提取的重建三元组和固定网络维度的潜在轨迹上进行操作。因此,DIFC-Net的整体成本主要由反转过程决定,可以视为???(??),鉴于固定的骨干和特征维度设置。在我们的实现中,我们采用?? =50作为默认设置,根据消融研究,这在检测性能和效率之间提供了最佳的平衡。4.3. 消融研究为了进一步验证DIFC-Net的架构鲁棒性,我们从三个方面进行了扩展的消融研究:模块贡献、融合策略和扩散反转步长。所有结果以五个独立实验在十个未见生成器上的平均AUC(百分比,平均值±标准差)的形式报告。表5检查了每个架构组件的贡献。从原始重建三元组开始,引入VCP或TFM都能显著提升性能,表明空间差异推理和潜在轨迹建模提供了有用的检测线索。当两个分支联合使用时,性能进一步大幅提升,这证实了它们的互补性。用提出的ACF替换标准分支组合后,平均AUC进一步增加了4.78个百分点,而方差减少了一半以上。这表明完整框架不仅受益于双分支建模,还受益于更有效和稳定的集成机制。表5展示了DIFC-Net的模块级消融研究结果。结果以五个独立实验在十个未见生成器上的平均AUC(百分比)的形式报告。最佳结果以粗体显示。表6报告了不同融合策略的比较。简单的线性操作,如逐元素求和和加权和,显然效果较差,说明直接组合不足以充分利用VCP和TFM的异构输出。更具表现力的融合策略改善了结果,但连接+MLP和跨注意力融合仍低于ACF。ACF在所有替代策略中的持续优势表明,其好处来自于适应性特征整合,而不仅仅是增加融合复杂性。表6显示了DIFC-Net中不同融合策略的比较。结果以五个独立实验在十个未见生成器上的平均AUC(百分比)的形式报告。最佳结果以粗体显示。表7总结了DIFC-Net对扩散反转步长的敏感性。非常短的反转轨迹导致性能显著下降,表明不足的扩散动态限制了检测器的有效性。随着反转步骤数量的增加,性能稳步提高,并在?? =50时达到最优。超出这一点后,收益变得饱和并在更长的步长下略有下降。总体趋势表明,DIFC-Net在合理的反转长度范围内保持鲁棒性,而采用的设置实现了效率与稳定性之间的最佳平衡。表7显示了扩散反转步长对DIFC-Net的影响。结果以五个独立实验在十个未见生成器上的平均AUC(百分比)的形式报告。最佳结果以粗体显示。5. 结论在这项工作中,我们提出了DIFC-Net,这是一个基于扩散内在的AI生成图像检测框架,超越了静态像素伪影和分类器驱动的线索。通过明确分析扩散反转下的重建行为,DIFC-Net从两个互补的角度捕捉到了真实图像和合成图像之间的内在差异,即空间残差不一致性和潜在的扩散动态。所提出的架构将残差比较、轨迹建模和自适应融合整合在一个统一的扩散先验中,实现了稳健且可解释的取证表示学习。在包括DALL·E 3、SDXL、SD v1.5、ADM、GLIDE和WuKong在内的多种生成器上进行的大量实验表明,DIFC-Net在架构和分布发生显著变化的情况下仍能保持出色的检测性能和良好的跨模型泛化能力。这些结果表明,扩散内在特征为检测现代生成图像提供了更加稳定和可迁移的基础;同时,联合建模重建差异和潜在轨迹对于实现鲁棒的检测机制至关重要。尽管取得了这些有希望的成果,但仍存在一些局限性。首先,DIFC-Net的性能依赖于扩散反演的质量,当反演过程变得不可靠或不稳定时,其效果可能会受到影响。其次,与轻量级的图像空间检测器相比,基于反演的框架因涉及重建和轨迹提取而引入了额外的计算开销。第三,尽管当前实验显示该模型在多种未见过的生成器上具有较强的泛化能力,但评估范围仍局限于本研究中考虑的生成器类型和扰动设置。因此,还需要在更多新兴的生成模型和更具挑战性的真实世界场景中进行更广泛的验证。

总体而言,DIFC-Net通过在准确性、泛化能力和透明度之间取得平衡,为基于扩散的图像取证技术奠定了一个可靠且易于理解的基础。未来的工作将探索对视频和多模态扩散模型的扩展,以及开发更高效的、适用于可扩展和实时场景的取证应用方案。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号