MCLEFusion：一种多层次校正的低光增强方法，用于夜间红外与可见光图像融合

《Optics and Lasers in Engineering》：MCLEFusion: A multi-level correction low-light enhancement method for nighttime infrared and visible image fusion

低光图像增强与红外可见融合的协同方法，提出多级Retinex增强模块与多特征残差块，通过梯度残差流平衡噪声抑制与细节保留，结合颜色一致性损失与模态差异损失优化，显著提升夜间多源图像融合质量。

　　在现代光学传感技术中，夜间可见光图像的细节和纹理信息常常因环境光照不足而变得模糊不清，这对图像采集与传输提出了严峻挑战。面对这一问题，研究人员提出了多种方法来改善图像质量，其中图像融合技术因其在信息整合方面的潜力而备受关注。本文提出的MCLEFusion方法，旨在通过结合无监督低光增强和红外-可见光图像融合，有效提升夜间可见图像的视觉质量与信息表达能力。该方法不仅解决了传统图像融合技术在细节保留和颜色一致性方面的不足，还通过引入创新的网络结构和损失函数，实现了对低光可见图像和红外图像的高质量融合。

夜间可见图像和红外图像各自具有独特的特性。可见图像虽然包含丰富的纹理和细节信息，但受限于光照条件，往往显得暗淡、模糊。相比之下，红外图像能够捕捉热辐射信息，从而在低光环境下提供一定的可视性，但其在细节表达方面存在明显不足。因此，如何在融合过程中既保留可见图像的纹理信息，又不失红外图像的热特性，成为研究的核心难题。传统图像融合方法通常依赖于手工设计的融合规则，这些规则在不同光照和场景条件下表现不稳定，难以满足实际应用的需求。此外，这些方法在处理复杂场景时，往往无法有效抑制噪声，导致融合图像质量下降，进而影响后续的高阶视觉任务，如目标检测、图像分割等。

近年来，随着深度学习技术的迅速发展，其在图像融合领域的应用逐渐增多。深度学习方法能够自动学习图像特征，支持多尺度融合策略，并通过端到端优化提高融合效果。常见的深度学习图像融合方法包括基于卷积神经网络（CNN）、自编码器（AE）、生成对抗网络（GAN）以及Transformer的模型。然而，尽管这些方法在大多数场景下表现出色，但在夜间可见与红外图像融合这一特定任务中，仍然存在一些关键问题。例如，直接融合技术可能会导致热特征丢失或纹理细节模糊，而低光增强算法在提升图像亮度的同时，也可能加剧颜色失真和过度平滑的问题。因此，如何在低光增强和图像融合之间取得平衡，成为提升融合质量的关键。

为了解决上述问题，本文提出了一种新的图像融合框架——MCLEFusion。该方法首先通过一个基于Retinex理论的多级低光增强模块（LEB）对可见图像进行处理，以提高其亮度和细节表现，同时减少颜色失真和过度平滑的现象。Retinex理论的核心思想是通过分离图像中的光照成分和反射成分，从而增强图像的对比度和细节。在MCLEFusion中，这一理论被应用于低光增强过程，通过逐级增强和校准操作，使得低光可见图像在保留自然色彩的同时，能够获得更清晰的细节信息。此外，为了确保颜色一致性，还引入了专门的颜色损失函数，以在低光环境下有效抑制颜色偏差。

在图像融合阶段，MCLEFusion采用了一个多特征残差块（MRB），该模块通过引入梯度残差流和多级特征提取技术，提升了特征提取的效率和梯度保留的能力。梯度残差流能够有效捕捉图像中的边缘和结构信息，从而在融合过程中保持图像的细节特征。多级特征提取则有助于在不同尺度上融合红外和增强后的可见图像，使得融合后的图像既保留了可见图像的纹理细节，又融合了红外图像的热信息。这种融合策略不仅能够提升图像的视觉效果，还能增强其在复杂场景下的适用性。

为了进一步优化融合效果，MCLEFusion还设计了专门的损失函数。这些损失函数用于解决融合过程中可能出现的特征不兼容问题，特别是在红外和可见图像模态差异较大的情况下。通过引入这些损失函数，MCLEFusion能够在融合过程中更精确地平衡不同模态之间的信息，从而提升融合图像的整体质量。此外，解码模块采用了多尺度特征融合和扩张卷积技术，以更好地保留图像的边缘信息和结构细节，确保最终的融合图像既清晰又具有丰富的信息内容。

实验部分对MCLEFusion方法进行了全面评估。通过在多个公开数据集上的测试，MCLEFusion在颜色一致性、细节保留和整体融合质量方面均表现出优于现有方法的性能。此外，还进行了对比实验，分析了单阶段融合与双阶段融合之间的差异。结果表明，MCLEFusion在保持细节和颜色信息方面具有显著优势，尤其是在处理夜间图像时，其融合效果更为稳定和可靠。为了验证各个模块的有效性，还进行了消融实验，结果显示，LEB和MRB模块对提升融合质量起到了关键作用。同时，该方法在目标检测等高级视觉任务中的应用也得到了验证，表明其在实际应用中的价值。

本文的研究成果不仅为夜间图像融合提供了新的解决方案，也为光学传感技术的发展带来了新的思路。MCLEFusion方法通过结合低光增强和图像融合，有效提升了夜间可见图像的视觉质量与信息表达能力。在实际应用中，该方法可以用于提升光学传感器在复杂环境下的性能，特别是在夜间监控、自动驾驶和安全防护等领域。此外，该方法的框架也为未来多源图像融合技术的探索提供了参考，展示了深度学习在图像处理领域的巨大潜力。

本文的主要贡献体现在以下几个方面：首先，提出了一种无监督的多级低光增强网络，该网络结合了Retinex理论和低光增强模块，有效提升了低光可见图像的视觉质量。其次，设计了一个多特征残差块，该模块通过引入梯度残差流和多级特征提取，增强了图像融合过程中的特征提取和噪声抑制能力。第三，引入了专门的损失函数，用于解决低光增强和图像融合过程中可能出现的颜色不一致和特征不兼容问题。最后，通过在多个公开数据集上的测试，验证了MCLEFusion方法在细节保留和整体融合质量方面的优越性，并展示了其在高级视觉任务中的应用潜力。

本文的研究方法和框架为图像融合技术提供了一个新的视角，特别是在夜间可见与红外图像融合这一特定任务中。MCLEFusion方法不仅在理论上有创新，而且在实际应用中表现出良好的效果。通过结合低光增强和图像融合，该方法有效提升了夜间图像的信息表达能力，为光学传感技术的发展提供了有力支持。此外，该方法在设计上具有较强的灵活性和适应性，能够应对不同光照条件和复杂场景下的图像融合需求。因此，MCLEFusion方法不仅具有重要的学术价值，也具备广泛的实际应用前景。