《Digital Signal Processing》：MSSFuse: Multimodal Image Fusion with Mixed Spatial and Sequential Modeling
编辑推荐：
摘要红外图像与可见光图像的融合是红外技术领域中重要的预处理技术，它能够整合多种互补的信息。然而，如何有效地将局部纹理细节与全局上下文语义相结合，从而生成清晰且结构一致的融合图像，依然是一个核心挑战。我们提出了MSSFuse这一新的融合网络，它包含两个核心组件：残差通道-空间自校准
摘要
红外图像与可见光图像的融合是红外技术领域中重要的预处理技术，它能够整合多种互补的信息。然而，如何有效地将局部纹理细节与全局上下文语义相结合，从而生成清晰且结构一致的融合图像，依然是一个核心挑战。我们提出了MSSFuse这一新的融合网络，它包含两个核心组件：残差通道-空间自校准模块和状态空间模型增强挤压激励块。RCSSC模块采用双分支结构，用于突出显著的空间区域并重新校准各通道的特征，从而实现自适应的空间-通道优化。SSMSE块则利用状态空间模型来捕捉不同通道之间的长距离依赖关系，进而提升全局特征调控能力。在MSRS、RoadScene和TNO数据集上的大量实验表明，我们的方法具有出色的性能：在RoadScene数据集上，其熵值为7.36，标准差为50.77，显著优于现有方法。通过对比实验和消融实验，进一步验证了这两个模块的协同作用，为高质量红外图像与可见光图像的融合提供了可靠的技术解决方案。
引言
红外图像与可见光图像融合作为多模态成像中最广泛应用的技术之一，得益于多模态传感技术的进步而得到了极大发展。这种融合技术能够有效整合两种模态的互补信息：红外图像能够清晰地显示物体的热分布情况，且不受光照条件的影响，但其在纹理细节和颜色精度方面存在明显缺陷；而可见光图像则擅长捕捉丰富的纹理信息，不过其成像质量高度依赖于照明环境。通过这种融合方式生成的图像结合了两种模态的优势，不仅大幅提升了视觉清晰度，还有效提升了后续视觉任务的性能，其效果优于单独使用任一模态所得到的结果。实际应用场景包括夜间监控[1]、恶劣天气条件下的自动驾驶[2]以及RGB-T视觉跟踪[3]，在这些应用中，可靠的多模态感知对于做出准确决策至关重要。
然而，红外图像与可见光图像融合仍然面临诸多挑战。首先，这两种模态在成像原理和信息特性上存在显著差异，导致信息一致性较差，难以有效整合它们之间关键的互补信息。其次，源图像通常包含多尺度、多层面的特征，这些特征需要在融合过程中得到全面且精确的处理。第三，在算法设计中，如何在计算效率与融合性能之间找到最佳平衡仍是一个重要问题。由于这些挑战，目前的红外图像与可见光图像融合方法仍存在诸多局限性，比如融合效率低、过度依赖手工设计的融合规则，以及从源图像中提取的特征不够完整。除了红外图像与可见光图像融合之外，其他相关的跨模态任务，如RGB-T跟踪[3]以及可见光-红外图像的人脸重识别[3]、[4]，也面临着类似的模态差异问题，如何有效弥合可见光与红外模态之间的信息差距，依然是核心的技术瓶颈。
根据融合策略的不同，红外图像与可见光图像融合可分为两大类：传统融合方法和基于深度学习的融合方法。其中，传统融合方法可进一步细分为五种类型：基于多尺度变换的方法[5]、[6]、基于显著性分析的方法[7]、基于子空间学习的方法[8]、基于稀疏表示的方法[9]以及混合模型[10]。这类方法的核心在于运用数学公式来表示并提取源图像中的特征，然后再通过特定的融合策略来整合这些特征。而基于深度学习的融合方法则可以分为基于卷积神经网络的方法[11]、[12]、[13]、基于自编码器的方法[14]、基于生成对抗网络的方法[15]以及基于Transformer的方法[16]、[17]、[18]。无论是基于卷积神经网络还是基于自编码器的方法，其处理流程都包括特征提取、特征融合和特征重建三个步骤。两者的主要区别在于侧重点不同：基于卷积神经网络的方法更注重损失函数的设计，以此引导特征的有效整合与优化；而基于自编码器的方法则更侧重于利用自编码器结构本身所具备的特征提取与重建能力，通常通过无监督或自我监督学习机制来实现。基于Transformer的方法则强调在整合多通道特征时的上下文建模能力。基于生成对抗网络的方法则是通过对抗学习来生成融合图像，在无监督学习框架下，使得融合图像能够近似呈现多模态信息的分布情况。
尽管基于深度学习的融合方法已经取得了显著进展，但在特征提取的全面性和效率方面仍有很大的提升空间。具体而言，基于卷积神经网络的方法虽然擅长捕捉局部细节，但其全局建模能力往往较为有限。而基于Transformer的方法虽然擅长捕捉长距离依赖关系，但却存在计算复杂度高的问题，且在感知细微的局部特征方面精度不足。此外，如何设计一种高效的结构，既能充分利用局部细节，又能把握全局上下文，仍是当前研究中的一个重要且尚未解决的难题。
为了解决这些问题，本文提出了一种新的红外图像与可见光图像融合网络，该网络将注意力机制与SSM相结合。本研究的主要贡献如下：
- •
我们提出了MSSFuse这一统一的融合框架，它将局部空间优化与全局序列建模相结合，其核心价值在于创新性的架构设计，而非简单的模块组合。
- •
我们设计了RCSSC模块，用于实现并行式的空间-通道校准，并结合残差增强功能，从而有效提升纹理细节的质量，同时抑制红外噪声，为跨模态融合提供支持。
- •
我们引入了SSM增强型SE块，它能够以线性复杂度捕捉通道间的长距离依赖关系，从而克服了Transformer方法的高计算成本问题，同时提升了全局语义的一致性。
- •
在三个测试数据集上的大量实验表明，MSSFuse在定量指标和视觉效果方面均优于现有的最先进方法，展现出更出色的融合性能。
本文的其余部分结构如下：第2节将回顾红外图像与可见光图像融合的相关研究，包括基于卷积神经网络/自编码器的方法、带有注意力增强的模型、基于Transformer的架构，以及新兴的轻量级序列建模趋势。第3节将详细介绍所提出的MSSFuse网络，包括RCSSC模块和SSM增强型SE块。第4节会介绍实验设置、实现细节以及全面的评估结果。第5节将探讨消融实验及出现故障的情况。最后，第6节将对本研究进行总结，并指出未来的研究方向。
章节节选
基于卷积神经网络和自编码器的融合方法
在深度学习时代，卷积神经网络和自编码器是图像融合领域最早出现且应用最为广泛的架构[19]、[20]、[21]、[22]。其中，基于自编码器的方法[23]、[24]、[25]、[26]通常将融合流程视为一个完整的“编码-融合-解码”过程：首先由编码器从源图像中提取深层特征，接着在特征空间中应用特定的融合规则，最后再通过解码器
方法
针对引言中提到的红外图像与可见光图像融合所面临的核心问题，即缺乏平衡的局部-全局特征建模机制以及跨模态校准效率低下，MSSFuse网络被专门设计出来，旨在解决局部细节保留、全局语义一致性以及计算效率之间的平衡问题——这三大问题正是我们选择特定架构的基础。本节首先将介绍MSSFuse的工作流程（如图1所示）。
数据集配置
为了验证所提出的融合模型的性能，我们使用了三个主流数据集来进行红外图像与可见光图像融合实验，这三个数据集分别是MSRS[37]、RoadScene[40]和TNO[41]。具体的数据划分方式如下：- 训练集：用于模型训练的MSRS训练集，共包含1,083对图像；- 验证集：从RoadScene数据集中选取的50对图像，用于训练验证；- 测试集：包括MSRS测试集的361对图像、从RoadScene数据集中选取的50对图像，以及TNO数据集的图像。
结论
我们提出了一种名为MSSFuse的新的红外图像与可见光图像融合方法。通过引入RCSSC模块和SSMEE模块，该方法能够有效地将跨尺度结构特征增强与语义感知优化相结合，成功解决了现有方法在平衡细节保留与视觉自然性方面的关键难题。在多个数据集上的实验结果表明，所提出的方法显著提升了图像的信息丰富度。
CRediT作者贡献说明
马涛阳：概念构思、方法设计、研究实施、形式化分析、初稿撰写、审稿与编辑、结果可视化、数据整理。陆通伟：审稿与编辑、结果验证、形式化分析。李迅：审稿与编辑、结果验证、项目指导。闵峰：审稿与编辑、结果验证、资源协调。田烨：项目指导、审稿与编辑、结果验证、资金获取、项目管理。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。所有作者都参与了以下工作：(a)研究的概念构思与设计，或者数据的分析与解读；(b)文章的初稿撰写，或是针对重要内容对文章进行修改；(c)最终版本的审定。本手稿尚未提交给其他任何期刊，也不存在正在接受其他期刊审稿的情况。
Taoyang Ma|Tongwei Lu|Xun Li|Feng Min|Ye Tian
中国湖北省武汉市武汉理工大学，计算机科学与工程学院，邮编430205
