不要高估RGB的作用：通过多噪声视图融合来提升图像处理、检测和定位的准确性

《Neurocomputing》：Do not overestimate RGB: Improving image manipulation detection and localization via multi-noise-view fusion

图像篡改检测与定位任务中，RGB-centric方法存在过度依赖RGB信息、忽略噪声视图模态的问题，导致对细微篡改痕迹检测能力不足。本文提出多噪声视图融合框架MNVFusion，通过多分支编码器平衡RGB与噪声视图模态的贡献，并引入多分支通道混合模块MB-CMM实现多模态特征交互式融合。同时设计训练-free的Fixed GeM模块提升全局检测效率。实验表明，在六个基准数据集上，MNVFusion结合VMamba架构在检测与定位任务中均达到最优性能。

　　图像篡改检测与定位（Image Manipulation Detection and Localization，IMDL）是一项重要的技术任务，其目标是识别图像是否被人为篡改，并准确标出被修改的区域。随着深度生成模型的快速发展，图像篡改变得更加容易，这使得恶意使用篡改图像来误导公众或制造社会混乱的风险不断上升。因此，开发一种高效且稳健的IMDL框架变得尤为关键。

传统的图像篡改检测方法主要依赖于RGB颜色信息，但这些方法往往对RGB信息过度重视，而忽略了其他噪声视图模态所提供的互补信息。RGB信息虽然能够提供丰富的视觉内容，但在检测细微的篡改痕迹方面存在局限。例如，某些图像篡改操作，如复制粘贴、图像合成等，可能在RGB图像中难以察觉，但在噪声视图模态中则能清晰地表现出异常。因此，仅依靠RGB信息的检测方法容易遗漏关键的篡改证据，导致检测结果不够准确。

为了克服这一问题，本文提出了一种名为Multi-Noise-View Fusion（MNVFusion）的框架，该框架通过多分支编码结构，平衡了RGB与噪声视图模态之间的贡献。MNVFusion的核心在于引入了Multi-Branch Channel Mixing Module（MB-CMM），该模块能够通过简单的通道级特征混合，高效地融合不同模态的特征。与以往仅限于双模态融合的策略不同，MB-CMM支持多模态特征的交互式融合，从而提升了模型的整体性能。此外，MNVFusion还结合了一个训练无关的图像级检测模块——Fixed GeM，该模块通过固定操作在定位图上进行增强，进一步提高了检测效率。

在实验部分，我们使用了六种常见的基准数据集，包括Casia v2、FantasticReality、IMD2020等。这些数据集包含了真实图像和被篡改的图像，并提供了对应的地面真实掩码。通过与SegFormer等不同视觉网络结合，MNVFusion在这些数据集上均表现出优越的性能。特别是在定位和检测任务中，MNVFusion能够充分利用噪声视图模态的信息，从而在多个指标上取得了当前最先进的结果。

在框架设计上，MNVFusion与传统的RGB中心融合方法有着显著的不同。传统的RGB中心融合方法通常将RGB视为主要的输入模态，通过专门的分支进行处理，而其他模态（如噪声视图）则作为补充。这种设计虽然能够增强模型对RGB信息的处理能力，但在实际应用中却可能限制了模型对其他模态信息的充分挖掘。相比之下，MNVFusion采用了一种更加均衡的设计，将所有模态视为同等重要的输入，并通过多分支结构分别处理，以确保每个模态都能为最终的检测结果做出贡献。

此外，MNVFusion在特征融合方面也做了重要改进。传统的多模态融合方法往往局限于双模态，而MB-CMM模块则能够灵活地处理多于两个模态的特征融合。通过交互式地混合不同模态的特征，MB-CMM能够捕捉到更多关于图像篡改的潜在线索。例如，在噪声视图模态中，某些低级特征的不一致性可能直接反映出图像的篡改痕迹，而这些信息在RGB图像中可能并不明显。通过MB-CMM的融合机制，这些隐藏的信息可以被有效地提取和利用，从而提升检测的准确性。

在图像篡改检测任务中，噪声视图模态的引入为模型提供了额外的视角。例如，Steganalysis Rich Model（SRM）和Bayar Convolution等方法通过高通滤波或噪声敏感指纹，能够捕捉到图像中潜在的篡改痕迹。这些方法在不同的图像篡改场景中表现出色，但单独使用时可能无法全面覆盖所有类型的篡改行为。因此，将这些噪声视图模态与RGB图像结合，形成多模态输入，是提升检测性能的关键。

为了验证MNVFusion的有效性，我们在多个数据集上进行了广泛的实验。实验结果表明，MNVFusion在定位和检测任务中均取得了显著的性能提升。特别是在噪声-噪声融合（如S-B、S-N和B-N）方面，MNVFusion的性能明显优于RGB-X融合（如R-S、R-B和R-N）。这说明，噪声视图模态之间的协同作用在图像篡改检测中具有更大的潜力。此外，MNVFusion的框架设计也更加灵活，能够适应不同类型的噪声视图模态，从而提升了模型的泛化能力。

在图像级检测方面，Fixed GeM模块的引入为MNVFusion提供了额外的优势。Fixed GeM模块通过固定操作在定位图上进行增强，避免了对大量训练数据的依赖，从而降低了整体的训练成本。这种设计不仅提高了模型的效率，还确保了检测结果的稳定性。实验表明，Fixed GeM模块能够在不依赖训练的情况下，有效提升图像级检测的准确率，这为实际应用中资源受限的场景提供了可行的解决方案。

除了性能提升，MNVFusion在设计上也考虑了模型的可扩展性和灵活性。通过将多模态输入分别处理，并在特征融合阶段进行交互式混合，MNVFusion能够适应不同类型的噪声视图模态，如高通滤波、噪声敏感指纹等。这种设计使得模型在面对新的篡改方法或模态时，具有更强的适应能力。同时，MB-CMM模块的引入也为多模态融合提供了更高效的实现方式，避免了复杂的特征对齐和转换过程，从而提升了模型的整体运行效率。

在实际应用中，MNVFusion的框架设计能够为图像篡改检测提供更全面的视角。通过同时考虑RGB图像和噪声视图模态，MNVFusion能够捕捉到更多关于图像篡改的潜在信息。例如，在某些图像篡改场景中，篡改区域可能在RGB图像中表现得较为模糊，但在噪声视图模态中则能够清晰地显现出来。这种信息的互补性使得MNVFusion在检测过程中能够更加精准地定位篡改区域。

此外，MNVFusion的训练过程也具有一定的优势。由于Fixed GeM模块的引入，模型在训练时不需要额外的图像级标注，从而降低了训练成本。这种训练无关的设计使得MNVFusion能够在有限的资源下快速部署，并且适用于不同规模的数据集。同时，MB-CMM模块的简单操作也使得模型在推理阶段更加高效，这对于需要实时处理的图像篡改检测任务尤为重要。

尽管MNVFusion在多个方面表现出色，但该框架仍然存在一些局限性。例如，当前的研究主要集中在噪声视图模态的利用上，而未深入探索其他表示域（如频率域）可能提供的额外信息。频率域变换，如离散余弦变换（DCT）或小波变换等，可能能够提供更丰富的图像特征，从而进一步提升检测性能。此外，当前的模型评估主要针对常见的图像处理后效应，而在面对更复杂的篡改手段时，其鲁棒性可能受到一定挑战。

综上所述，MNVFusion作为一种新的多模态融合框架，在图像篡改检测与定位任务中展现出强大的潜力。通过平衡RGB与噪声视图模态的贡献，并利用MB-CMM模块进行高效的特征融合，MNVFusion能够有效捕捉图像篡改的证据，并提升检测的准确性。同时，Fixed GeM模块的引入也为模型提供了更高的效率和灵活性。尽管仍存在一些局限性，但MNVFusion为图像篡改检测领域提供了一种新的思路，并有望在未来的研究中进一步优化和扩展。