DR-net:一种基于深度辅助的图像处理与定位细化网络

《Neurocomputing》:DR-net: Depth-assisted refinement network for image manipulation localization

【字体: 大 中 小 】 时间:2026年04月27日 来源:Neurocomputing 6.5

编辑推荐:

  图像篡改定位中深度感知结构先验不足,提出DR-Net通过深度引导融合模块(DGF)和线索引导细化模块(CGR)联合优化,有效检测几何不一致性,实验表明优于现有方法在COVER提升38.6% F1,CASIA v1提升26.4% IoU。

  
牛一倩|朱晓东|史泽楠|刘英达
吉林大学计算机科学与技术学院,长春,130012,中国

摘要

图像操纵定位旨在识别和分割数字图像中的篡改区域。大多数现有方法依赖于纹理和语义线索,常常忽略了深度感知的结构先验。真实区域表现出连贯的空间结构和物理上合理的深度,而被操纵的区域则引入了几何不一致性或不自然的深度不连续性。这些差异是准确定位的关键线索,但尚未得到充分利用。为此,我们提出了一种深度辅助的精细化网络(DR-Net),该网络利用基于深度的结构先验与RGB特征相结合,以利用几何差异进行鲁棒的操纵定位。具体来说,DR-Net包含两个核心组件:(1)一个深度引导的融合模块,该模块整合了RGB和深度特征,其中深度路径进一步通过边界图进行监督,以提高结构保真度;(2)一个线索引导的精细化器,该模块使用取证和深度线索来增强初始预测。在十个公共基准测试上的广泛实验表明,DR-Net的性能显著优于现有方法。通过在合成数据上进行预训练并在真实基准测试上进行微调,它在COVER任务上实现了高达38.6%的F1分数提升,在CASIA v1任务上实现了26.4%的IoU提升。当仅在真实世界数据上进行训练时,它在所有数据集上的平均F1分数也领先了3.3%。这突显了结构先验和多模态精细化在精确图像操纵定位中的有效性。

引言

随着现代图像编辑工具(如Photoshop [1] 和FakeApp [2])的快速发展,高保真图像操纵变得越来越容易实现,这对视觉内容的可信度构成了重大威胁。与传统的目标检测 [3]、[4] 和分割任务 [5]、[6] 相比,图像操纵定位(IML)要困难得多,因为被操纵的区域通常与其真实环境具有很强的视觉一致性,而后期处理和压缩操作进一步模糊了纹理和边界线索。尽管基于深度学习的方法 [7]、[8] 取得了进展,但伪造图像的固有视觉一致性仍然限制了基于RGB的方法的区分能力。
为了克服仅依赖RGB外观线索的局限性,先前的研究引入了各种取证特征,如隐写分析丰富模型(SRM)残差 [9]、[10]、受限卷积滤波器 [11]、[12] 和噪声印记表示 [13]、[14]。这些特征能够揭示像素级或统计上的不一致性,但它们缺乏对三维几何结构的建模能力。因此,在处理违反物理约束的操纵(如不一致的视角、照明不匹配或不合理的物体支撑)时,这些特征仍然不足。缺乏几何一致性建模已成为进一步提高IML性能的关键瓶颈。
在这方面,深度信息提供了宝贵的补充。与上述特征 [9]、[11]、[13] 不同,深度编码了场景的底层三维结构,使得通过2D编辑难以隐藏的几何不一致性得以暴露。深度的一个重要优势是它对结构不规则性的高敏感性。它可以有效捕捉由操纵引入的深度不连续性和非平面伪影,通常较少依赖于纹理或照明变化。深度线索在显著物体检测 [16]、[17] 和伪装物体检测 [18]、[19] 中的有效性进一步证明了它们与RGB信息的互补性。
然而,深度的几何优势是否能在实际被操纵的图像中转化为可观察且统计上可靠的线索,这一点尚未得到充分探索。为了解决这一差距,我们对深度线索的区分潜力进行了初步的定性和定量分析。具体来说,基于真实场景深度具有局部平面性的几何观察 [20],我们使用最小二乘回归对估计的深度图的每个空间块进行局部平面拟合。然后将拟合的局部平面与原始深度像素值之间的偏差测量为局部平面拟合残差。这些残差揭示了由操纵引入的几何不连续性。从定性上看,如图1(a)所示,被操纵的区域在深度域中表现出明显的结构异常,揭示了在RGB空间中不明显的伪造线索。从定量上看,CASIA v1数据集的结果(图1(b))表明,被篡改区域的平均平面拟合残差显著高于原始区域。这种差异在统计上非常显著(配对-检验,),证实了深度在检测几何不一致性方面的稳定性和可靠性。在CASIA v2数据集上也观察到类似的趋势,表明这种基于深度的差异是一种普遍现象,而不是特定数据集的特有现象。这些发现为将几何先验纳入IML框架提供了有力证据。
然而,要有效利用这些几何优势进行IML,仍存在实际挑战。由于缺乏真实深度,单目深度估计(例如MiDaS)常常引入噪声和边界模糊,如果处理不当,可能会削弱几何先验的有效性。这促使我们开发了一种建模策略,以抑制估计噪声并提取稳定的几何线索。受这些观察的启发,我们提出了深度辅助的精细化网络(DR-Net),该网络整合了几何和外观信息以增强操纵定位。我们设计了一个深度引导的融合(DGF)模块来整合RGB和深度特征,其中深度路径由边界图进行监督,从而抑制单目深度估计中的噪声并有效提取与操纵相关的几何异常。此外,为了补偿对微妙伪造和弱边界反应不足的初始预测,我们设计了一个线索引导的精细化器(CGR)模块。它利用掩码反转策略关注潜在的模糊区域,并通过整合多种取证线索来细化初始预测。本工作的主要贡献总结如下:•
我们引入了深度线索来解决IML方法中结构不一致性建模不足的问题。DGF模块通过阶段式注意力融合RGB和深度特征,边界监督增强了深度特征的几何辨别能力,以检测操纵伪影。
  • •
    我们设计了CGR模块来缓解微妙伪造和弱边界情况下的反应不足问题。通过使用掩码反转和多种取证线索,CGR增强了异常检测并提高了边界区分能力。
  • •
    在十个公共基准测试上的广泛实验表明,定位准确性、边界质量和跨数据集泛化能力都得到了持续提升,验证了我们的几何先验建模和线索精细化策略在IML中的有效性。
  • 部分片段

    基于单一域的IML

    早期的基于RGB的IML方法主要通过增强外观域内的特征表示来提高操纵定位能力。PSCC-Net [7] 明确地对空间和通道相关性进行建模,以捕捉微小的像素级异常,展示了结构化特征交互的有效性。后续工作旨在提高鲁棒性和泛化能力。NCL-IML [21] 引入了无需预训练的对比学习,以减轻对数据集特定伪影的过拟合

    整体架构

    所提出的DR-Net通过在统一的多尺度框架内整合RGB外观和基于深度的结构信息,实现了精确的篡改定位。如图2所示,输入的RGB图像及其深度图由两个并行的、不共享权重的尺度感知调制变压器(SMT)[35] 背骨处理,分别提取层次化特征(RGB)和深度特征。这些特征通过多阶段深度引导的融合(DGF)模块进行整合,以获得融合特征

    数据集

    我们在多个图像篡改数据集上进行实验,以全面评估DR-Net的性能。每个样本包括一个RGB图像和一个相应的深度图,它们共同作为网络的输入。深度图是使用MiDaS模型 [34] 获取的,该模型提供了在各种场景中的鲁棒单目深度估计。为了全面评估模型的不同方面,我们考虑了两种实验方案。

    结论

    我们提出了DR-Net,这是一个基于深度的图像操纵定位框架,它利用深度线索和跨层注意力来增强结构不一致性的检测。线索引导的精细化器(CGR)模块通过关注微妙且难以检测的区域,整合特定的取证线索和深度特征来进一步细化预测。在多个基准数据集上的广泛实验表明,DR-Net实现了卓越的性能

    CRediT作者贡献声明

    牛一倩:写作 – 审稿与编辑,撰写原始草稿,可视化,验证,软件,项目管理,方法论,调查,形式分析,数据管理,概念化。朱晓东:写作 – 审稿与编辑,验证,监督,方法论,形式分析。史泽楠:写作 – 审稿与编辑,验证,监督,方法论,调查,形式分析,数据管理,概念化。刘英达:验证,监督,方法论,

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

    致谢

    本工作得到了吉林省科技发展计划重点项目(20230201088GX)、国家自然科学基金(62276112)和吉林省健康与健康技术能力提升项目(2024A034)的支持。
    牛一倩于2023年获得中国长春吉林大学的学士学位。她目前在中国长春吉林大学计算机科学与技术学院攻读软件工程博士学位。她的研究兴趣包括计算机视觉和多媒体取证,特别是图像操纵检测和定位。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号