F2Mamba:用于图像操作定位的细粒度伪造检测Mamba模型

《Neural Networks》:F2Mamba: Fine-grained Forgery-aware Mamba for Image Manipulation Localization

【字体: 大 中 小 】 时间:2026年08月07日 来源:Neural Networks 7.2

编辑推荐:

  摘要图像操纵定位技术旨在在像素层面精确识别图像中的伪造区域,这对于防止可能威胁公共安全的错误信息传播至关重要。现有的基于Transformer的方法能够通过建模长距离依赖关系来捕捉整体伪造特征,但这类方法通常需要大量计算资源,且难以关注对法医分析至关重要的局部细节。为解决这些问题

  

摘要

图像操纵定位技术旨在在像素层面精确识别图像中的伪造区域,这对于防止可能威胁公共安全的错误信息传播至关重要。现有的基于Transformer的方法能够通过建模长距离依赖关系来捕捉整体伪造特征,但这类方法通常需要大量计算资源,且难以关注对法医分析至关重要的局部细节。为解决这些问题,我们提出了一种细粒度伪造感知Mamba模型(F2Mamba),该模型能够高效准确地定位潜在的图像操纵区域。具体而言,F2Mamba借助VMamba的线性复杂度全局建模能力,以较低的计算成本学习多尺度全局特征。此外,我们还引入了细粒度伪造感知适配器(FFA),在解码过程中将局部关键细节与全局特征自适应融合,从而恢复在早期特征学习阶段丢失的细粒度信息。在最终解码阶段,还设计了伪造引导优化解码器(FRD),通过迭代条件随机场优化来校正边界误差,有效消除棋盘格状伪影并提升定位精度。在多种数据集上的实验表明,F2Mamba的平均F1分数为69.92%,平均IoU分数为61.26%,其通用性显著优于现有的顶级图像操纵定位模型。代码地址如下:https://github.com/ii-zy/F2Mamba.

引言

在数字时代,多媒体内容的真实性已成为一个重要问题,因为数字媒体在网络上的传播和交互越来越频繁(Ma等人,2024年)。常见的编辑操作(Zhai等人,2023年),如拼接、复制移动、删除和修补,被广泛用于修改图像内容并传播虚假信息。然而,这些操作不可避免地会留下法医痕迹,比如边界伪影(Kwon等人,2022年)、纹理不一致现象(Deep Kaur和Kanwal,2019年)以及语义断裂(Dong等人,2022年)。如图1所示,这类伪影往往很微妙,肉眼很难察觉。此外,在现实世界的在线传输过程中,原始图像可能会受到各种干扰,这会扭曲操纵痕迹,进一步增加准确检测和定位的难度。因此,开发一种强大高效的图像操纵定位框架对于保护数字内容的真实性至关重要(Chen, Yin, Luo, Yang, Wang, 2025年;Lin, Wang, Deng, Fu, Bai, Chen, Qu, Tang, 2023年;Luo, Cai, Kong, Ju, Kang, Huang, Life, 2025年)。
早期的图像操纵定位模型主要依赖于手工设计的特征,比如边缘不连续性(Habibi和Hassanpourb,2021年)、颜色统计异常(Sabokrou等人,2015年)以及纹理不一致现象(Saddique等人,2019年)。随着深度学习的发展,基于CNN的模型(Dong, Chen, Hu, Cao, Li, 2022年;Guo, Liu, Ren, Grosz, Masi, Liu, 2023年;Kwon, Yu, Nam, Lee, 2021年;Liu, Liu, Chen, Liu, 2022年;Niloy, Bhaumik, Woo, 2023年;Wu, Abd-Almageed, Natarajan, 2018年;Wu, AbdAlmageed, Natarajan, 2019年)取得了不错的效果,因为它们能够从训练数据中自动学习具有区分能力的特征表示。最近,基于Transformer的模型也被引入这一领域(Chen, Li, Zeng, 2023年;Guillaro, Cozzolino, Sud, Dufour, Verdoliva, 2023b年;Kong, Luo, Wang, Li, Rocha, Kot, 2025年;Su, Ma, Zhu, Niu, Lei, Zhou, 2025年;Wang, Wu, Chen, Han, Shrivastava, Lim, Jiang, 2022b年;Zhu, Ma, Su, Jiang, Du, Wang, Lei, Feng, Pun, Zhou, 2025年),它们具备强大的全局上下文建模能力,而CNN由于感受野有限则不具备这种能力。尽管自注意力机制带来了显著进展,但其二次方的计算复杂度使得它在计算资源有限的边缘设备上难以实现实时响应。在实际的图像操纵定位场景中,这一限制尤为突出,因为系统往往需要在严格的延迟约束下处理高分辨率图像,比如在线内容审核、法医初步筛选以及媒体真实性验证。在这类对时间要求极高的应用中,仅仅具备高定位精度是不够的,模型还必须能够实现实时推理,这就需要在性能和效率之间进行权衡。另一方面,一些关键的操纵线索在全局学习过程中很容易丢失,从而导致解码阶段的定位不准确。虽然现有模型在明显且规则的篡改区域表现尚可,但对于那些细微、形状不规则或处于复杂环境下的篡改区域,它们的表现就很差。例如,如图2所示,LoMa(Lou等人,2025a年)的预测结果碎片化且噪声较多,ForMa(Guo等人,2025年)会出现棋盘格状伪影,而Mesorch(Zhu等人,2025年)和SparseViT(Su等人,2025年)的预测结果则比较模糊。总体而言,尽管现有的图像操纵定位模型已经取得了不错的性能,但它们往往要么侧重于全局语义建模,要么侧重于局部纹理表示。然而在实际情况中,准确的图像操纵定位需要在计算资源受限的情况下,既要保留微妙的法医线索,又要建模长距离依赖关系。尤其是小型或不规则的篡改区域、后期处理带来的干扰以及高分辨率推理,都进一步增加了任务的难度。因此,如何在全局建模、细粒度线索保留和解码稳定性之间取得平衡,仍是当前图像操纵定位研究中的一个重要挑战。正是在这样的背景下,我们提出了细粒度伪造感知Mamba模型(F2Mamba),该模型能够以线性复杂度学习全局特征,并在解码阶段恢复细粒度的局部细节。
具体来说,F2Mamba是基于最新的VMamba架构(Liu等人,2024年)构建的,该架构通过多个阶段生成层次化特征,从而为编码粗略的语义信息提供多尺度特征。为了提升模型识别局部细节的能力,F2Mamba引入了细粒度伪造感知适配器(FFA),该适配器能够从输入中提取多种局部信息,并将与之互补的伪造感知线索自适应地注入全局特征中。另一方面,解码阶段的上采样操作可能会产生棋盘格状伪影,这些伪影表现为边缘附近的网格状图案,会影响对篡改区域的准确定位(Guo, Cao, Lou, Huang, Liu, 2025年;Wang, Jiang, Jin, Li, Cui, 2022a年)。为有效减少最终预测结果中的棋盘格状伪影,我们进一步提出了伪造引导优化解码器(FRD),该解码器能够逐步强化操纵边界处的空间一致性。它利用条件随机场来建模像素之间的空间相似性,从而帮助纠正边界区域周围的预测误差。
本研究的主要贡献如下:
  • 1.
    我们提出了用于图像操纵定位的细粒度伪造感知Mamba模型(F2Mamba)。该模型能够学习与高级语义无关的细粒度特征,从而在各类被操纵内容上实现有效的泛化。
  • 2.
    我们设计了细粒度伪造感知适配器(FFA),用于提取和融合与操纵相关的特征,以便捕捉微妙的操纵痕迹;同时,我们采用了伪造引导优化解码器(FRD),生成具有精确边界和空间一致性的定位图,有效解决了上采样带来的棋盘格状伪影问题。
  • 3.
    我们在10个公共基准数据集以及从一个社交平台收集的额外数据集上对F2Mamba进行了全面评估,结果表明其在准确性和泛化能力方面均处于领先水平。
本文的其余结构如下:第2节回顾相关研究,第3节介绍所提出的F2Mamba框架,第4节展示大量的实验结果及分析,最后第5节总结结论并阐述未来的工作方向。

章节要点

图像操纵定位

早期的图像操纵定位方法将不同类型的操纵视为独立的任务(Hao, Ren, Niu, Wang, Wang, Zhang, 2024年;Li, Huang, 2019年;Wu, Abd-Almageed, Natarajan, 2018年),这限制了它们在面对不同类型的篡改时的泛化能力。后续的研究则转向构建统一框架,试图在单个模型中定位多种类型的操纵行为(Dong, Chen, Hu, Cao, Li, 2022年;Guillaro, Cozzolino, Sud, Dufour, Verdoliva, 2023b年;Guo, Liu, Ren, Grosz, Masi, Liu, 2023年;Liu, Liu, Chen, Liu,

方法论

在本节中,我们将介绍用于图像操纵定位的细粒度伪造感知Mamba模型(F2Mamba)。3.1节介绍相关基础知识,3.2节概述整个模型的结构。3.3节和3.4节分别详细介绍细粒度伪造感知适配器(FFA)和伪造引导优化解码器(FRD)的原理。最后,3.5节阐述损失函数的设计。

数据集

我们采用了两种不同的训练策略来训练所提出的F2Mamba模型。Protocol-MVSS方法(Dong等人,2022年)仅使用CASIAv2数据集(Dong等人,2013a年)对模型进行训练,然后在其他10个数据集上进行测试;而Protocol-CAT方法(Kwon等人,2021年)则利用来自6个数据集的超过80万张图片组成的大型混合数据集进行训练,再在剩余的数据集上进行测试。通过这些方法,我们可以全面评估该模型的有效性以及

结论

我们设计了一种全新且高效的图像操纵定位模型F2Mamba,该模型能够准确检测伪造图像中的被操纵区域。通过将多阶段VMamba编码器与FFA和FRD模块相结合,F2Mamba成功实现了对高级语义特征和细粒度操纵痕迹的捕获。在10个公共基准数据集上的实验表明,该模型的性能优于现有的顶级方法。此外,全面的效率分析也显示,F2Mamba在保持高性能的同时还具备良好的效率表现

CRediT作者贡献说明

赵子英:概念构思、方法设计、研究实施、数据整理、软件开发、初稿撰写。周楠润:论文审阅与编辑、项目监督、项目管理、资金筹集。罗雅媛:研究实施、数据整理、形式化分析、结果可视化。罗安伟:概念构思、项目监督、资金筹集、研究实施、项目管理、论文审阅与编辑。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

本项工作得到了中国国家自然科学基金(项目编号为62502187和62162041)以及江西省自然科学基金(项目编号为20252BAC2 40015)的支持。
Zi-Ying Zhao|Nan-Run Zhou|Ya-Yuan Luo|An-Wei Luo
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号