W-EICMFusion：一种利用WOA超参数优化技术融合红外图像和可见光图像的网络

《Pattern Recognition》：W-EICMFusion: A fusion network for infrared and visible images utilising WOA hyperparameter optimisation

基于鲸优化算法的多模态图像融合网络，通过CMamba模块提取跨尺度共同特征，结合EE-INN模块增强边缘互补信息，并采用RDENet融合层提升多模态融合效果，在MSRS、LLVIP等数据集上表现最优。

　　本文提出了一种用于红外与可见光图像融合的新方法，称为鲸鱼优化算法-边缘可逆CMamba融合网络（W-EICMFusion）。该方法在图像融合网络的超参数自适应优化方面进行了创新，旨在解决传统方法在特征提取、融合规则设计以及超参数调整上的不足。随着人工智能和计算机视觉技术的不断发展，图像融合作为一项重要的研究课题，广泛应用于遥感、医学影像、自动驾驶等多个领域。本文通过系统地分析当前图像融合技术的发展现状，提出了一种结合深度学习与智能优化算法的新型融合网络，以提高融合效果和效率。

在实际应用中，单一传感器往往难以全面捕捉场景中的信息。例如，可见光图像虽然具有高分辨率和丰富的细节信息，但容易受到光照条件和天气因素的影响；而红外图像则可以不受外界干扰地捕捉物体的热辐射信息，但其分辨率相对较低。因此，将这两种模态的信息进行融合，可以弥补彼此的不足，使得最终的图像既具备清晰的纹理细节，又能够准确地反映物体的热特征。这种融合方式在行人识别、车辆检测、语义分割等任务中具有重要的应用价值。

传统的图像融合方法主要包括基于多尺度变换、稀疏表示、子空间、显著性以及混合模型等方法。尽管这些方法在某些情况下能够取得较好的效果，但它们通常依赖于人工设计的融合规则，难以适应复杂的场景变化。随着深度学习技术的兴起，研究者开始探索基于神经网络的图像融合方法，这些方法能够自动提取图像特征，并通过端到端的方式生成融合图像。目前，主流的深度学习图像融合方法包括卷积神经网络（CNN）、自编码器（AE）、生成对抗网络（GAN）以及Transformer等。这些方法在图像融合任务中各有优势，但也存在一些共同的局限性。

例如，基于CNN的图像融合方法在特征提取方面表现良好，但由于其感受野的限制，难以充分捕捉图像中的全局信息。AE方法在特征提取和重构方面具有一定的优势，但其在提取语义信息方面表现不足。GAN方法在图像生成方面具有较强的创造力，但其训练过程通常不稳定，且损失函数的收敛较为困难。而Transformer方法由于其能够有效处理长距离依赖关系，成为近年来图像融合研究的热点，但其参数数量庞大，导致训练过程复杂，需要较高的计算资源。此外，现有的图像融合网络在设计过程中，往往更加关注于特征提取，而忽略了边缘信息的重要性。

为了克服这些不足，本文提出了一种基于鲸鱼优化算法（WOA）的自适应超参数优化方法，结合了CMamba模块和边缘可逆神经网络（EE-INN）模块，构建了一个新的图像融合网络。该网络不仅能够有效地提取红外与可见光图像中的共同特征，还能够识别并保留互补信息，从而提高融合效果。此外，本文还设计了一种融合层网络，称为残差密集成效通道注意力网络（RDENet），该网络结合了ResNet和DenseNet的优点，并进一步增强了其通道注意力机制，以优化特征选择过程。

在方法设计方面，本文采用了自适应优化策略，利用WOA算法对融合网络的超参数进行优化，避免了传统方法中依赖人工调整的弊端。同时，本文引入了边缘检测算子，以提高对高频率信息的提取能力，并在融合过程中最大程度地保留互补信息。为了评估融合效果，本文选取了多个主流的图像融合方法进行对比实验，并在多个数据集上验证了W-EICMFusion方法的优越性。实验结果表明，W-EICMFusion方法在多个评价指标上表现最佳，包括熵（EN）和多尺度结构相似性指数（MS-SSIM），并且在后续的应用任务中，如目标检测和分类任务中，也取得了较高的准确率。

本文的研究方法不仅适用于红外与可见光图像融合，还可以推广到其他深度学习网络的优化过程中。通过引入自适应优化算法，可以提高网络训练的效率，减少人工调整的时间和资源消耗。此外，本文还通过系统的实验验证，展示了W-EICMFusion方法在不同数据集和任务中的稳定性和有效性。实验结果表明，该方法在多个数据集上的综合表现优于其他现有方法，特别是在融合后的图像质量评估和后续应用任务中，表现突出。

本文的主要贡献包括以下几个方面：首先，提出了一种基于鲸鱼优化算法的自适应超参数优化方法，结合了CMamba模块和边缘可逆神经网络，构建了一个新的图像融合网络，该网络能够有效地提取红外与可见光图像中的共同和互补特征，提高融合效果。其次，将群体智能优化算法与图像融合网络相结合，实现了对融合网络超参数的自适应搜索，避免了传统方法中依赖人工调整的弊端，提高了优化效率。第三，设计了一种CMamba模块，该模块结合了CNN和VMamba的优点，能够高效提取共同信息特征，提高网络的运算效率。第四，提出了一种新的融合层网络，称为RDENet，该网络结合了ResNet和DenseNet的优点，并进一步增强了其通道注意力机制，以优化特征选择过程。

本文的研究成果不仅在图像融合领域具有重要意义，还为其他深度学习任务提供了新的思路。通过引入自适应优化算法，可以提高深度学习模型的训练效率，减少人工调整的时间和资源消耗。此外，本文还展示了如何通过合理的网络设计和优化策略，提高融合后的图像质量，使得融合结果更加准确和稳定。这些方法和策略可以为未来的图像融合研究提供参考，推动相关技术的发展。

在实验部分，本文选取了多个主流的图像融合方法进行对比实验，并在多个数据集上验证了W-EICMFusion方法的优越性。实验结果表明，W-EICMFusion方法在多个评价指标上表现最佳，包括熵（EN）和多尺度结构相似性指数（MS-SSIM），并且在后续的应用任务中，如目标检测和分类任务中，也取得了较高的准确率。这些实验结果不仅证明了W-EICMFusion方法的有效性，还展示了其在不同任务中的适应性和鲁棒性。

此外，本文还通过消融实验，分析了不同模块对融合效果的影响。消融实验的结果表明，CMamba模块和EE-INN模块在提高融合效果方面起到了关键作用，而RDENet融合层则进一步优化了特征选择过程，提高了融合网络的整体性能。这些实验结果不仅验证了本文提出的方法的有效性，还为后续的研究提供了方向。

本文的研究方法还具有较强的通用性，可以应用于其他深度学习任务。例如，通过引入自适应优化算法，可以提高深度学习模型的训练效率，减少人工调整的时间和资源消耗。此外，本文还展示了如何通过合理的网络设计和优化策略，提高融合后的图像质量，使得融合结果更加准确和稳定。这些方法和策略可以为未来的图像融合研究提供参考，推动相关技术的发展。

综上所述，本文提出了一种基于鲸鱼优化算法的自适应超参数优化方法，结合了CMamba模块和边缘可逆神经网络，构建了一个新的图像融合网络。该网络不仅能够有效地提取红外与可见光图像中的共同和互补特征，还能够通过自适应优化策略提高融合效果和效率。实验结果表明，该方法在多个数据集和任务中表现优异，具有较强的适应性和鲁棒性。本文的研究成果不仅在图像融合领域具有重要意义，还为其他深度学习任务提供了新的思路，推动了相关技术的发展。