MambaFN：一种基于改进版Mamba的自适应融合网络，用于融合多模态图像

《Displays》：MambaFN: An adaptive fusion network based on an improved Mamba to fuse multi-modal images

多模态图像融合网络MambaFN通过金字塔特征优化模块和跨模态自适应融合模块，有效整合红外与可见光图像信息，解决传统方法在长序列处理中的计算效率低和全局特征不足问题。实验表明，该网络在MSRS、FMB、LLVIP等数据集上显著提升CC、FMI、PSNR等指标，并增强目标检测精度，验证了其在复杂场景下的实用价值。

　　### 多模态图像融合的创新方法与应用价值

随着人工智能技术的快速发展，图像融合作为提升视觉感知能力的重要手段，得到了广泛关注。特别是在多模态图像融合领域，融合不同模态的图像信息，能够有效提升图像的综合信息表达，为诸如目标检测、场景理解、自动驾驶等高级视觉任务提供支持。传统图像融合方法通常依赖于特定的算法和手动设计的融合规则，难以适应复杂多变的场景。而基于深度学习的图像融合方法，尤其是Transformer结构，因其在特征提取和信息融合方面的强大能力，逐渐成为研究的热点。然而，Transformer在处理长序列数据时，由于其复杂的注意力机制，计算效率较低，且在实际应用中存在一定的局限性。

为了解决这些问题，本文提出了一种基于Mamba的自适应多模态图像融合网络，称为MambaFN。该网络通过引入Pyramid-Mamba特征细化模块和Cross-Mamba跨模态特征融合模块，实现了对多模态图像信息的有效提取和融合，同时显著降低了网络的时间复杂度。Mamba作为一种新型的序列建模架构，能够高效地处理长距离依赖关系，具备线性复杂度的优势。通过将Mamba与金字塔结构相结合，进一步提升了其在多模态图像融合任务中的表现。

### MambaFN的创新设计与实现原理

在图像融合过程中，传统的卷积操作虽然在局部特征提取方面表现良好，但往往忽略了全局信息的获取，导致融合后的图像缺乏丰富的上下文信息。为此，MambaFN在特征提取阶段引入了Pyramid-Mamba模块，该模块能够对粗略特征进行细化处理，同时捕捉全局和局部特征。通过金字塔结构，MambaFN可以逐层提取和增强特征，从而提升融合图像的视觉效果和信息完整性。此外，该模块利用膨胀卷积操作，有效增强了长距离依赖关系的建模能力，避免了传统方法在处理复杂场景时可能产生的模糊和失真问题。

在特征融合阶段，MambaFN引入了Cross-Mamba模块，该模块通过结合高斯强度先验和纹理描述符，消除了不同模态之间的差异，实现了自适应的跨模态特征融合。这种方法不仅能够保持原始图像的细节信息，还能增强融合图像的对比度和清晰度，使其更接近真实场景。通过这一模块，MambaFN能够更有效地融合红外图像和可见光图像，提升融合图像的质量和适用性。

在特征重建阶段，MambaFN采用多尺度密集上采样策略，通过一系列卷积操作和激活函数，逐步将细化后的特征映射回原始图像空间。这一过程不仅保证了图像信息的完整性，还提升了图像的清晰度和细节表现。此外，为了确保融合图像的高质量，MambaFN引入了混合损失函数，包括强度损失、梯度损失和总变差损失。通过优化这些损失函数，MambaFN能够在不同任务和数据集上实现更优的图像融合效果。

### 实验结果与分析

为了验证MambaFN在多模态图像融合任务中的有效性，本文在多个公开数据集上进行了广泛的实验，包括MSRS、FMB和LLVIP数据集。这些数据集分别涵盖了道路场景、复杂环境下的道路场景以及夜间交通场景。实验结果显示，MambaFN在所有数据集上均表现出优异的性能，其融合图像在视觉效果和客观指标上均优于现有方法。

在视觉效果方面，MambaFN能够有效增强热辐射目标的可见性，保留丰富的纹理细节。通过与现有方法的对比，可以明显观察到MambaFN在关键区域的细节表现更为突出，如车牌信息、车道线和行人识别。这些区域在传统方法中往往容易出现信息丢失或模糊的问题，而MambaFN通过其独特的结构设计，显著提升了这些区域的融合效果。

在客观指标方面，MambaFN在多个评价指标上取得了最优或次优的结果。包括相关系数（CC）、特征互信息（FMI）、互信息（MI）、峰值信噪比（PSNR）、标准差（SD）和多尺度结构相似性指数（MS-SSIM）。这些指标能够全面评估融合图像的质量，而MambaFN在大多数指标上均优于其他方法。特别是在PSNR和MS-SSIM指标上，MambaFN表现出显著的优势，说明其融合图像在亮度和结构上更加准确。

此外，为了验证MambaFN在不同模态图像融合任务中的鲁棒性，本文还将其应用于医学图像融合任务，如CT-MRI和PET-MRI。实验结果表明，MambaFN在医学图像融合中同样表现出色，能够有效保留医学图像中的关键信息，如纹理和结构，同时减少噪声干扰，提升融合图像的清晰度和信息完整性。

### 与现有方法的对比分析

为了进一步分析MambaFN的性能，本文在多个方面进行了对比实验。首先，通过调整损失函数中的超参数，验证了MambaFN在不同权重设置下的表现。实验结果表明，当权重设置为10时，MambaFN能够实现最佳的融合效果，其融合图像在视觉和客观指标上均优于其他设置。其次，通过替换不同的特征细化模块，验证了Pyramid-Mamba模块在特征提取中的优势。与Transformer和原始Mamba模块相比，Pyramid-Mamba模块在特征细化和融合过程中表现更优，能够更有效地捕捉全局和局部特征。

在跨模态特征融合模块的对比实验中，MambaFN在多个指标上均优于其他方法，包括CC、FMI、MI、PSNR、SD和MS-SSIM。通过热图分析，可以发现MambaFN在融合过程中能够更准确地保留热辐射信息，减少冗余特征的影响。此外，MambaFN在运行时间上也表现出色，相比其他方法，其计算效率更高，能够满足实际应用中的实时需求。

### 应用价值与未来展望

MambaFN不仅在图像融合任务中表现出色，还在目标检测等下游任务中具有显著的应用价值。通过将MambaFN的融合图像用于目标检测任务，可以有效提升检测精度，特别是在夜间或低光照环境下，MambaFN能够保留更多的细节信息，提升检测模型的性能。此外，MambaFN在处理多模态图像时，能够自适应地融合不同模态的信息，减少人工设计的干预，提升了模型的泛化能力和实际应用价值。

未来，MambaFN的研究可以进一步拓展到更多类型的多模态图像融合任务，如多曝光图像融合、多焦点图像融合等。同时，可以探索如何进一步优化其特征细化和融合模块，以提升模型的性能和效率。此外，还可以考虑将MambaFN与更多的下游任务结合，如语义分割、场景理解等，以提升其在实际应用中的价值。通过这些研究，MambaFN有望成为多模态图像融合领域的关键技术之一，为智能视觉系统提供更强大的支持。