引言
在数字时代,多媒体内容的真实性已成为一个重要问题,因为数字媒体在网络上的传播和交互越来越频繁(Ma等人,2024年)。常见的编辑操作(Zhai等人,2023年),如拼接、复制移动、删除和修补,被广泛用于修改图像内容并传播虚假信息。然而,这些操作不可避免地会留下法医痕迹,比如边界伪影(Kwon等人,2022年)、纹理不一致现象(Deep Kaur和Kanwal,2019年)以及语义断裂(Dong等人,2022年)。如图1所示,这类伪影往往很微妙,肉眼很难察觉。此外,在现实世界的在线传输过程中,原始图像可能会受到各种干扰,这会扭曲操纵痕迹,进一步增加准确检测和定位的难度。因此,开发一种强大高效的图像操纵定位框架对于保护数字内容的真实性至关重要(Chen, Yin, Luo, Yang, Wang, 2025年;Lin, Wang, Deng, Fu, Bai, Chen, Qu, Tang, 2023年;Luo, Cai, Kong, Ju, Kang, Huang, Life, 2025年)。
早期的图像操纵定位模型主要依赖于手工设计的特征,比如边缘不连续性(Habibi和Hassanpourb,2021年)、颜色统计异常(Sabokrou等人,2015年)以及纹理不一致现象(Saddique等人,2019年)。随着深度学习的发展,基于CNN的模型(Dong, Chen, Hu, Cao, Li, 2022年;Guo, Liu, Ren, Grosz, Masi, Liu, 2023年;Kwon, Yu, Nam, Lee, 2021年;Liu, Liu, Chen, Liu, 2022年;Niloy, Bhaumik, Woo, 2023年;Wu, Abd-Almageed, Natarajan, 2018年;Wu, AbdAlmageed, Natarajan, 2019年)取得了不错的效果,因为它们能够从训练数据中自动学习具有区分能力的特征表示。最近,基于Transformer的模型也被引入这一领域(Chen, Li, Zeng, 2023年;Guillaro, Cozzolino, Sud, Dufour, Verdoliva, 2023b年;Kong, Luo, Wang, Li, Rocha, Kot, 2025年;Su, Ma, Zhu, Niu, Lei, Zhou, 2025年;Wang, Wu, Chen, Han, Shrivastava, Lim, Jiang, 2022b年;Zhu, Ma, Su, Jiang, Du, Wang, Lei, Feng, Pun, Zhou, 2025年),它们具备强大的全局上下文建模能力,而CNN由于感受野有限则不具备这种能力。尽管自注意力机制带来了显著进展,但其二次方的计算复杂度使得它在计算资源有限的边缘设备上难以实现实时响应。在实际的图像操纵定位场景中,这一限制尤为突出,因为系统往往需要在严格的延迟约束下处理高分辨率图像,比如在线内容审核、法医初步筛选以及媒体真实性验证。在这类对时间要求极高的应用中,仅仅具备高定位精度是不够的,模型还必须能够实现实时推理,这就需要在性能和效率之间进行权衡。另一方面,一些关键的操纵线索在全局学习过程中很容易丢失,从而导致解码阶段的定位不准确。虽然现有模型在明显且规则的篡改区域表现尚可,但对于那些细微、形状不规则或处于复杂环境下的篡改区域,它们的表现就很差。例如,如图2所示,LoMa(Lou等人,2025a年)的预测结果碎片化且噪声较多,ForMa(Guo等人,2025年)会出现棋盘格状伪影,而Mesorch(Zhu等人,2025年)和SparseViT(Su等人,2025年)的预测结果则比较模糊。总体而言,尽管现有的图像操纵定位模型已经取得了不错的性能,但它们往往要么侧重于全局语义建模,要么侧重于局部纹理表示。然而在实际情况中,准确的图像操纵定位需要在计算资源受限的情况下,既要保留微妙的法医线索,又要建模长距离依赖关系。尤其是小型或不规则的篡改区域、后期处理带来的干扰以及高分辨率推理,都进一步增加了任务的难度。因此,如何在全局建模、细粒度线索保留和解码稳定性之间取得平衡,仍是当前图像操纵定位研究中的一个重要挑战。正是在这样的背景下,我们提出了细粒度伪造感知Mamba模型(F2Mamba),该模型能够以线性复杂度学习全局特征,并在解码阶段恢复细粒度的局部细节。
具体来说,F2Mamba是基于最新的VMamba架构(Liu等人,2024年)构建的,该架构通过多个阶段生成层次化特征,从而为编码粗略的语义信息提供多尺度特征。为了提升模型识别局部细节的能力,F2Mamba引入了细粒度伪造感知适配器(FFA),该适配器能够从输入中提取多种局部信息,并将与之互补的伪造感知线索自适应地注入全局特征中。另一方面,解码阶段的上采样操作可能会产生棋盘格状伪影,这些伪影表现为边缘附近的网格状图案,会影响对篡改区域的准确定位(Guo, Cao, Lou, Huang, Liu, 2025年;Wang, Jiang, Jin, Li, Cui, 2022a年)。为有效减少最终预测结果中的棋盘格状伪影,我们进一步提出了伪造引导优化解码器(FRD),该解码器能够逐步强化操纵边界处的空间一致性。它利用条件随机场来建模像素之间的空间相似性,从而帮助纠正边界区域周围的预测误差。
本研究的主要贡献如下:
- 1.
我们提出了用于图像操纵定位的细粒度伪造感知Mamba模型(F2Mamba)。该模型能够学习与高级语义无关的细粒度特征,从而在各类被操纵内容上实现有效的泛化。
- 2.
我们设计了细粒度伪造感知适配器(FFA),用于提取和融合与操纵相关的特征,以便捕捉微妙的操纵痕迹;同时,我们采用了伪造引导优化解码器(FRD),生成具有精确边界和空间一致性的定位图,有效解决了上采样带来的棋盘格状伪影问题。
- 3.
我们在10个公共基准数据集以及从一个社交平台收集的额外数据集上对F2Mamba进行了全面评估,结果表明其在准确性和泛化能力方面均处于领先水平。
本文的其余结构如下:第2节回顾相关研究,第3节介绍所提出的F2Mamba框架,第4节展示大量的实验结果及分析,最后第5节总结结论并阐述未来的工作方向。