
-
生物通官微
陪你抓住生命科技
跳动的脉搏
多尺度层级残差迁移网络(MSHRT-Net):基于边缘纹理与跨尺度特征融合的图像篡改检测定位新方法
【字体: 大 中 小 】 时间:2025年06月16日 来源:Neurocomputing 5.5
编辑推荐:
【编辑推荐】针对复杂篡改图像检测定位难题,研究者提出多尺度层级残差迁移网络(MSHRT-Net)。通过自适应Gabor纹理提取器(AGTE)捕获边缘特征,结合多尺度层级残差模块(MSHRM)和双维度注意力机制(DAM),显著提升篡改区域定位精度。在DSO数据集上达到像素级AUC 0.993的突破性性能,为数字图像真实性认证提供新范式。
在数字信息爆炸式增长的时代,图像已成为新闻传播、司法取证等领域的关键载体。然而随着Photoshop等编辑工具的普及,拼接(Splicing)、复制移动(Copy-Move)等篡改技术日益隐蔽,甚至专业鉴定师也难以肉眼识别。更棘手的是,篡改者常通过高斯模糊、JPEG压缩等后处理掩盖痕迹,使得传统基于CFA(色彩滤波阵列)或噪声分析的方法频频失效。这种"数字化妆术"的泛滥不仅引发社会信任危机,更可能被用于伪造证据、传播虚假新闻等恶性场景。
河南大学的研究团队在《Neurocomputing》发表的研究中,构建了名为MSHRT-Net的多尺度层级残差迁移网络。该研究创新性地融合Gabor纹理特征与深度学习框架,通过四个核心模块的协同作用:自适应Gabor纹理提取器(AGTE)模拟人类视觉对边缘的敏感性;多尺度层级残差模块(MSHRM)采用三分支并行结构捕获跨尺度特征;细节保留跳跃模块(DPSM)通过跨层连接防止细节丢失;双维度注意力模块(DAM)则从空间和通道两个维度筛选关键特征。实验表明,该模型在DSO真实场景数据集上实现像素级AUC 0.993的检测精度,较现有方法提升显著。
关键技术方法包括:1) 基于多方向Gabor滤波器的纹理特征提取;2) 融合空间注意力(Spatial Attention)和通道注意力(Channel Attention)的双维度特征筛选机制;3) 采用层级残差连接的多尺度特征融合策略;4) 针对篡改类型不平衡设计的复合损失函数。实验数据来自主流的CASIA、COVERAGE等6个公开数据集。
【主要研究结果】
网络架构设计:MSHRT-Net采用编码器-解码器结构,AGTE模块通过8方向Gabor滤波器组提取边缘响应最大值,与原始图像特征并联输入主干网络。相比传统Sobel算子,该方法在COVERAGE数据集上使边缘召回率提升21.3%。
多尺度特征融合:MSHRM模块包含1×1、3×3、5×5三个并行卷积分支,通过层级残差连接实现跨尺度特征传递。消融实验显示该设计在Columbia数据集上使IoU指标提高9.8%。
注意力机制优化:DAM模块通过空间注意力图与通道权重矩阵的乘积运算,有效抑制背景干扰。在NIST16数据集上的对比实验表明,该模块使细小篡改区域的检测率提升34.5%。
损失函数改进:针对拼接、复制移动、物体移除三类篡改样本不平衡问题,采用加权交叉熵与Dice损失的组合策略,使少数类样本的F1-score平均提升17.2%。
【结论与意义】
该研究构建的MSHRT-Net通过多尺度特征融合与注意力机制的结合,首次在统一框架内实现了对复杂后处理篡改图像的精准定位。特别值得注意的是,模型在保持高精度的同时参数量仅15.7M,较同类模型减少约40%。在医疗影像认证、司法电子证据鉴定等场景中,该方法可有效识别经过模糊-重压缩等组合操作的篡改痕迹。研究者开源的AGTE模块更可作为独立单元嵌入其他检测网络,推动整个IMDL(图像篡改检测与定位)领域的技术进步。未来工作将探索该框架在视频篡改检测中的迁移应用,以及针对生成式AI伪造图像的检测适应性。
生物通微信公众号
知名企业招聘