引言
智能手机和数码相机的普及导致数字图像和视频的大量涌现。用户友好、易于使用且功能先进的数字图像编辑工具(如Adobe Photoshop和GIMP)的流行和普及极大地简化了个人对数字图像的操纵或伪造。尽管这些工具在人们的日常生活中有许多方面带来了便利,但当被恶意操纵或伪造的图像被用于传播假新闻、虚假宣传或伪造犯罪证据时,它们也对人们的安全和社会稳定带来了负面影响 [1], [2], [3], [4], [5], [6], [7], [8], [9]。因此,开发旨在识别或检测数字图像中篡改痕迹的图像取证技术变得越来越重要。从取证角度来看,图像伪造指的是对图像的操纵,包括拼接、复制-移动伪造、增强和去除。复制-移动伪造(CMF)作为图像伪造四大主流研究方向之一,定义为在同一图像内将一个或多个图像区域(即源区域)复制并插入到其他区域(即目标区域)。CMF检测(CMFD)作为CMF的一种被动取证技术,其任务是确定查询图像中是否存在重复区域。本文专注于探索一种高性能的CMFD方法。
CMFD是一项极具挑战性的任务,因为源区域/目标区域的照明和对比度高度一致,且重复区域可能较小或平滑,通常还会经历复杂的后处理,如旋转、模糊或亮度和对比度的微调。在过去的几十年中,人们投入了大量精力,涌现出大量的CMFD方法。这些方法主要分为三类:基于块的方法 [10], [11], [12], [13], [14], [15], [16], [17] 以及基于关键点的方法 [18], [19], [20], [21], [22], [23],这些方法依赖于手工设计特征;以及基于深度学习的方法 [24], [25], [26], [27], [28], [29], [30], [31], [32], [33]。与基于块的方法相比,基于关键点的方法对几何变换具有更高的鲁棒性,但在定位平滑的源区域/目标区域方面表现不佳。上述方法存在共性,如泛化能力差、特征提取和分类独立优化,以及特征选择在很大程度上依赖人类先验知识。
人们已尝试将深度学习应用于CMFD,通过联合优化特征提取和分类、良好的泛化能力以及从图像中自动提取复杂的统计依赖关系来提高检测性能。首次利用端到端深度学习网络进行CMFD的尝试可追溯到2018年,Wu等人提出了BusterNet [24],这是一个双分支端到端深度神经网络,融合操作分支和相似性分支以定位和分类源区域/目标区域。在随后的几年中,许多经典方法 [25], [26], [27], [28], [29], [30], [31], [32], [33], [34] 被提出并在提高检测性能方面取得了很大进展。大多数现有的基于深度学习的CMFD方法可以被视为一种基于分割的网络,旨在分割被篡改的区域。如文献 [24], [25] 所述,基于分割的CMFD网络分为三个模块:一个特征提取器,用于从输入图像中提取特征;一个自相关性计算(SCC)模块,用于计算特征相似度;一个掩码解码器,用于将关联图上采样到输入图像大小,并利用二分类器生成复制-移动掩码。本文提出了一种新型的基于分割的CMFD网络,名为PCM-Net,其设计目标是在提高检测精度的同时减少参数量(NP)和CMF的理论计算复杂度。PCM-Net由三个主要组件组成:四阶段特征提取器、基于聚类的SCC(CSCC)模块和掩码解码器。四阶段特征提取器的关键组件是我们提出的基于分块的空间-通道自适应卷积(PSAConv),它具有沿空间和通道维度自适应生成每个卷积窗口权重的特点,从而增强了对复制-移动区域中代表性特征的捕捉。CSCC的目的是通过对每个聚类类别内的特征执行SCC来实现低计算成本。掩码解码器是一个双路径架构,后接一个综合双路径细化(IDPR)模块和一个配备FasterNet块(FRSU)[36]的残差U块(RSU)[35]。IDPR利用PSAConv和低成本动态多尺度特征聚合(LC-DMFA)从两条路径——偏移图和关联图——动态强调信息性特征,从而增强PCM-Net的检测性能。
主要贡献如下:
- •
• 本质上,常用的标准卷积在不同卷积窗口上应用相同的核权重。相比之下,PSAConv利用轻量级多尺度卷积模块(LMCM)沿空间和通道维度自适应地学习每个卷积窗口的权重。与标准卷积相比,PSAConv能更好地捕捉篡改区域中的代表性特征。并非简单地将多个PSAConv堆叠来构建PSA模块,而是将通道分组和通道混洗集成到多个PSAConv中,以生成PSA模块。生成的PSA模块提高了不同通道组之间的信息流动,并允许PSAConv以更低的理论计算成本提取丰富的组间和组内特征。
- •
• SCC在寻找外观相似区域方面发挥着不可或缺的作用,但伴随着巨大的计算负担。人们设计了许多改进方案来降低计算负担。例如,BusterNet [24]、CMSDNet [25]和AR-Net [27]通常将SCC应用于低分辨率图像以节省计算资源。Shi等人 [33]提出的低成本SCC(LC-SCC)模块计算具有特定间隔的特征之间的相似度。与上述方法不同,我们提出了CSCC,首先利用快速密度峰聚类(DPC)[37]将输入特征图分类为几个不重叠的类别,然后对每个类别中的特征执行SCC。由于CSCC有效地避免了在整个输入特征图上执行SCC,它在保持检测性能的同时显著降低了计算负载。
- •
• 掩码解码器旨在通过CSCC的两个输出——偏移图和关联图——来挖掘外观相似区域。两个输出互为补充,在去除虚警区域并修复漏检区域的同时增强寻找结构相似区域的能力。IDPR对每个输出应用LC-DMFA,动态调整多尺度特征的权重以突出信息性特征,这有助于增强检测不同尺度篡改区域的性能。随后,利用PSAConv→LC-DMFA→PSAConv结构重复集成和细化特征,这有利于提高模型定位复制-移动区域的性能。
本文的其余部分组织如下。第2节回顾了CMFD领域的相关工作。第3节详细介绍了PCM-Net的三个关键组件。第4节展示并讨论了实验结果,第5节得出结论。