PCM-Net:面向复制-移动伪造检测的基于块的自适应权重分配方法

《Journal of Information Security and Applications》:PCM-Net: Patch-based adaptive weight allocation for copy-move forgery detection

【字体: 大 中 小 】 时间:2026年09月27日 来源:Journal of Information Security and Applications 4.4

编辑推荐:

   摘要本文提出了PCM-Net,从三个角度来精确定位结构相似的复制-移动区域。首先,提出了基于分块的空间-通道自适应卷积(PSAConv),利用多尺度卷积模块沿空间和通道维度自适应地生成每个卷积窗口的权重,以捕捉复制-移动区域的代表性特征。将通道分组和通道混洗引入多个PSACo

  

摘要

本文提出了PCM-Net,从三个角度来精确定位结构相似的复制-移动区域。首先,提出了基于分块的空间-通道自适应卷积(PSAConv),利用多尺度卷积模块沿空间和通道维度自适应地生成每个卷积窗口的权重,以捕捉复制-移动区域的代表性特征。将通道分组和通道混洗引入多个PSAConv中,形成PSA模块,在低计算复杂度的前提下促进通道组之间的信息流动,丰富组间和组内特征。其次,提出了基于聚类的自相关性计算(CSCC,the clustering-based self-correlation calculation (SCC)),将输入特征聚类为多个类别并对每个类别执行SCC,在不损失性能的情况下降低理论计算成本。最后,掩码解码器利用CSCC生成的偏移图和关联图来帮助后续的综合双路径细化(IDPR)尽可能去除虚警区域并修复不完整区域。IDPR应用低成本动态多尺度特征聚合(LC-DMFA)动态调整多尺度特征的权重,突出信息性特征。随后,IDPR利用PSAConv→LC-DMFA→PSAConv重复融合和细化特征,以定位不同尺度的源区域/目标区域。基于以上三个角度,PCM-Net在四个数据集上的检测性能优于多个相关网络。

引言

智能手机和数码相机的普及导致数字图像和视频的大量涌现。用户友好、易于使用且功能先进的数字图像编辑工具(如Adobe Photoshop和GIMP)的流行和普及极大地简化了个人对数字图像的操纵或伪造。尽管这些工具在人们的日常生活中有许多方面带来了便利,但当被恶意操纵或伪造的图像被用于传播假新闻、虚假宣传或伪造犯罪证据时,它们也对人们的安全和社会稳定带来了负面影响 [1], [2], [3], [4], [5], [6], [7], [8], [9]。因此,开发旨在识别或检测数字图像中篡改痕迹的图像取证技术变得越来越重要。从取证角度来看,图像伪造指的是对图像的操纵,包括拼接、复制-移动伪造、增强和去除。复制-移动伪造(CMF)作为图像伪造四大主流研究方向之一,定义为在同一图像内将一个或多个图像区域(即源区域)复制并插入到其他区域(即目标区域)。CMF检测(CMFD)作为CMF的一种被动取证技术,其任务是确定查询图像中是否存在重复区域。本文专注于探索一种高性能的CMFD方法。
CMFD是一项极具挑战性的任务,因为源区域/目标区域的照明和对比度高度一致,且重复区域可能较小或平滑,通常还会经历复杂的后处理,如旋转、模糊或亮度和对比度的微调。在过去的几十年中,人们投入了大量精力,涌现出大量的CMFD方法。这些方法主要分为三类:基于块的方法 [10], [11], [12], [13], [14], [15], [16], [17] 以及基于关键点的方法 [18], [19], [20], [21], [22], [23],这些方法依赖于手工设计特征;以及基于深度学习的方法 [24], [25], [26], [27], [28], [29], [30], [31], [32], [33]。与基于块的方法相比,基于关键点的方法对几何变换具有更高的鲁棒性,但在定位平滑的源区域/目标区域方面表现不佳。上述方法存在共性,如泛化能力差、特征提取和分类独立优化,以及特征选择在很大程度上依赖人类先验知识。
人们已尝试将深度学习应用于CMFD,通过联合优化特征提取和分类、良好的泛化能力以及从图像中自动提取复杂的统计依赖关系来提高检测性能。首次利用端到端深度学习网络进行CMFD的尝试可追溯到2018年,Wu等人提出了BusterNet [24],这是一个双分支端到端深度神经网络,融合操作分支和相似性分支以定位和分类源区域/目标区域。在随后的几年中,许多经典方法 [25], [26], [27], [28], [29], [30], [31], [32], [33], [34] 被提出并在提高检测性能方面取得了很大进展。大多数现有的基于深度学习的CMFD方法可以被视为一种基于分割的网络,旨在分割被篡改的区域。如文献 [24], [25] 所述,基于分割的CMFD网络分为三个模块:一个特征提取器,用于从输入图像中提取特征;一个自相关性计算(SCC)模块,用于计算特征相似度;一个掩码解码器,用于将关联图上采样到输入图像大小,并利用二分类器生成复制-移动掩码。本文提出了一种新型的基于分割的CMFD网络,名为PCM-Net,其设计目标是在提高检测精度的同时减少参数量(NP)和CMF的理论计算复杂度。PCM-Net由三个主要组件组成:四阶段特征提取器、基于聚类的SCC(CSCC)模块和掩码解码器。四阶段特征提取器的关键组件是我们提出的基于分块的空间-通道自适应卷积(PSAConv),它具有沿空间和通道维度自适应生成每个卷积窗口权重的特点,从而增强了对复制-移动区域中代表性特征的捕捉。CSCC的目的是通过对每个聚类类别内的特征执行SCC来实现低计算成本。掩码解码器是一个双路径架构,后接一个综合双路径细化(IDPR)模块和一个配备FasterNet块(FRSU)[36]的残差U块(RSU)[35]。IDPR利用PSAConv和低成本动态多尺度特征聚合(LC-DMFA)从两条路径——偏移图和关联图——动态强调信息性特征,从而增强PCM-Net的检测性能。
主要贡献如下:
  • •
    • 本质上,常用的标准卷积在不同卷积窗口上应用相同的核权重。相比之下,PSAConv利用轻量级多尺度卷积模块(LMCM)沿空间和通道维度自适应地学习每个卷积窗口的权重。与标准卷积相比,PSAConv能更好地捕捉篡改区域中的代表性特征。并非简单地将多个PSAConv堆叠来构建PSA模块,而是将通道分组和通道混洗集成到多个PSAConv中,以生成PSA模块。生成的PSA模块提高了不同通道组之间的信息流动,并允许PSAConv以更低的理论计算成本提取丰富的组间和组内特征。
  • •
    • SCC在寻找外观相似区域方面发挥着不可或缺的作用,但伴随着巨大的计算负担。人们设计了许多改进方案来降低计算负担。例如,BusterNet [24]、CMSDNet [25]和AR-Net [27]通常将SCC应用于低分辨率图像以节省计算资源。Shi等人 [33]提出的低成本SCC(LC-SCC)模块计算具有特定间隔的特征之间的相似度。与上述方法不同,我们提出了CSCC,首先利用快速密度峰聚类(DPC)[37]将输入特征图分类为几个不重叠的类别,然后对每个类别中的特征执行SCC。由于CSCC有效地避免了在整个输入特征图上执行SCC,它在保持检测性能的同时显著降低了计算负载。
  • •
    • 掩码解码器旨在通过CSCC的两个输出——偏移图和关联图——来挖掘外观相似区域。两个输出互为补充,在去除虚警区域并修复漏检区域的同时增强寻找结构相似区域的能力。IDPR对每个输出应用LC-DMFA,动态调整多尺度特征的权重以突出信息性特征,这有助于增强检测不同尺度篡改区域的性能。随后,利用PSAConv→LC-DMFA→PSAConv结构重复集成和细化特征,这有利于提高模型定位复制-移动区域的性能。
本文的其余部分组织如下。第2节回顾了CMFD领域的相关工作。第3节详细介绍了PCM-Net的三个关键组件。第4节展示并讨论了实验结果,第5节得出结论。

章节摘要

相关工作

通常,经典的CMFD方法主要包括三个步骤:(1)特征提取,旨在将输入图像转换为一组感兴趣的特征;(2)特征匹配,目标是计算每两个特征之间的相似度;(3)后处理:利用一组启发式方法减少虚警并提高真正阳性。
现有的CMFD方法遵循以下三类之一:基于块的方法、基于关键点的方法以及基于深度学习的方法。在

方法论

如图1所示,所提出的PCM-Net由三个模块组成:特征提取器、CSCC和掩码解码器。本文将通过以下三个子节详细介绍PCM-Net的三个模块。

数据集

为验证PCM-Net的有效性,使用了四个广泛使用的公开可用数据集,包括USC-ISI [24]、CoMoFoD [45]、COVERAGE [46]和CASIA [44],在实验中评估模型的性能。
由Wu等人合成的USC-ISI数据集总共包含100,000张复制-移动篡改图像,按8:1:1的比例分为训练集、验证集和测试集。训练集用于训练PCM-Net。
COVERAGE数据集由100张复制-移动篡改

结论

本文提出了一种创新的网络架构——PCM-Net,通过结合四阶段特征提取器、CSCC和掩码解码器来检测CMF图像。四阶段特征提取器的关键组件是我们提出的PSAConv,它利用LMCM从每个卷积窗口周围的局部分块中自适应学习权重,并沿空间和通道维度对卷积窗口进行加权,从而增强了篡改区域的特征表达。通道

CRediT作者贡献声明

翁少伟:撰写——审稿与编辑,撰写——初稿,方法论,概念构思。 施宇轩:撰写——初稿,验证,方法论,概念构思。 余立芳:撰写——审稿与编辑,概念构思。 李理:撰写——审稿与编辑,概念构思。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。
翁少伟|施宇轩|余立芳|李理
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号