RLDT-Net：一种基于Retinex理论的潜在扩散（latent diffusion）和Transformer架构的图像增强方法，适用于低光照环境

《Journal of Visual Communication and Image Representation》：RLDT-Net: A Retinex-guided latent diffusion and transformer framework for low-light image enhancement

　　马赫什库马尔·H·科莱卡尔（Maheshkumar H. Kolekar）、阿希什·拉杰（Ashish Raj）和萨姆普里特·博斯（Samprit Bose）
印度理工学院帕特纳分校电气工程系，帕特纳，801106，印度

**摘要**
低光照条件下的图像通常会导致可见度降低、对比度不佳以及重要信息的丢失。此外，在复杂光照环境下还存在过曝和伪影的风险。为了解决这些问题，我们提出了一种基于Retinex算法的增强框架RLDT-Net，该框架将输入图像分为光照成分和反射成分。引入了光照引导的潜在扩散模型（Illumination Guided Latent Diffusion Model，IG-LDM）来处理光照成分，该模型在紧凑的潜在空间中进行去噪处理。为了增强反射成分，我们引入了混合反射CNN-Transformer模块（Hybrid Reflectance CNN-Transformer Block），该模块结合了卷积和基于Swin Transformer的注意力机制，以获取局部纹理和全局结构。最后，Retinex重建模块（Retinex Reconstruction Module）将处理后的成分合并，生成无伪影的高质量图像。我们还提供了一个包含560对低光照图像和高分辨率真实图像的LOID数据集。在LOL、SICE、LOID和LoLI-Street数据集上的测试表明，RLDT-Net在保持计算效率的同时表现出优异的性能，适用于实际应用。

**引言**
随着基于视频的应用在监控、娱乐、医学成像和自动驾驶导航领域的日益普及，对高质量视觉数据的需求急剧增加。然而，由于颜色失真、噪声和可见度差，图像质量受到了影响。因此，进行去雾[1]、去雨[2]、低光照[3]和背光[4]等图像增强处理变得至关重要。这些处理对于对象跟踪、检测和识别等下游应用至关重要，同时也影响着关键场景的准确分析。尽管如此，这些任务仍面临挑战，例如在保持细节的同时实现超分辨率、减少伪影和噪声[5]。此外，高效的交通监控和异常检测对于确保车辆管理和无缝巡逻[6][7]也至关重要。为了进行适当的分析和交通管理，相关机构需要捕捉道路的视频和图像。交通管理人员在低光照条件下识别车牌仍然存在困难，这常常导致严重问题。

Retinex理论被用于低光照图像增强（Low-Light Image Enhancement，LLIE），因为它能够有效处理光照和颜色的变化。图像I可以数学表示为反射成分R（保留场景的固有细节）与光照成分L（衡量光照条件）的乘积：I = R × L。LLIE的主要目标是在保持结构完整性的同时提高亮度和可见度，即估计R并优化L。许多增强技术都是基于Retinex理论构建的，并常与深度学习模型结合使用，以提高在不同光照条件下的适应性。传统的LLIE方法（如直方图均衡化和伽马校正）往往会增加噪声，因为它们无法适应变化的光照条件。有时，尽管这些技术可以恢复输入图像中的重要细节，但处理后的图像可能会出现过曝现象。基于深度学习的技术能够将低光照图像转换为高光照图像，克服了传统方法的局限性。深度模型能够适应变化的光照条件，同时保留相关信息并消除噪声。卷积神经网络（CNN）和变换器（Transformer）提取层次特征，从而在不导致过曝的情况下恢复纹理。时空模型提供了时间一致性，而对抗训练和去噪模块进一步提高了图像清晰度。

在本文中，我们提出了一种新的LLIE框架RLDT-Net，它利用基于Retinex的分解方法，分别通过光照引导的潜在扩散模型（IG-LDM）和混合反射CNN-Transformer模块（HRCTB）独立处理光照和反射成分。最后，通过Retinex重建模块（RRM）融合处理后的成分，生成无伪影且视觉效果良好的输出。我们还提供了一个包含560对低光照图像和高分辨率真实图像的高分辨率基准数据集，这些图像来自不同的室内和室外环境。RLDT-Net在多种指标（包括峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似性（LPIPS））上的表现均优于现有方法，在标准基准数据集、我们提出的数据集以及实际低光照视频数据中均表现出色。

**主要贡献**
1. 我们提出了一种LLIE框架，将输入图像分解为光照成分和反射成分，分别使用专用模块进行处理，然后通过RRM自适应地组合处理结果，生成视觉效果好且无伪影的图像。
2. 我们使用IG-LDM对光照成分进行去噪处理，该模型在压缩的潜在空间中高效去噪，从而实现高质量的光照重建。为了增强反射成分，我们引入了HRCTB，它结合了卷积层和基于Swin Transformer的自注意力机制，有效捕捉局部纹理和全局信息，使模型在增强对比度的同时保留结构细节。
3. 我们还提供了一个新的基准数据集，包含560对高分辨率的低光照图像和真实图像，这些图像来自各种室内和室外环境。该数据集涵盖了多种格式，确保了LLIE模型的有效端到端训练。

**本文结构**
第2节回顾了LLIE领域的相关工作，第3节讨论了我们设计的数据集，第4节介绍了所提出的方法，第5节展示了实验分析及结果，第6节总结了研究并指出了进一步研究的潜在方向。

**补充说明**
非学习型的低光照图像增强方法依赖于传统的图像处理技术，如基于Retinex的算法、伽马校正和直方图均衡化。直方图均衡化通过平坦化直方图来提高视觉对比度和动态范围；伽马校正算法通过非线性调整强度水平来增强暗区域的细节。Retinex理论旨在通过估计光照条件来提高可见度。

**数据集**
现有的低光照数据集存在诸多局限性，如空间分辨率低、场景多样性有限，或者仅关注室内或室外场景。这些限制影响了它们在实际情况中评估增强模型的能力。为了解决这些问题，我们提出了一个新的低光照室内室外数据集（LOID），旨在改进增强模型的评估效果。

**扩散模型**
扩散模型是一种生成模型，采用马尔可夫方法逐步去除高斯噪声以学习数据分布[40]。该模型在训练过程中逐步向图像中添加高斯噪声，然后使用深度神经网络逐步消除噪声以重建原始图像。尽管这种方法计算成本较高（尤其是对于高分辨率图像），但它能够捕捉丰富的数据。

**实验与评估**
我们在提出的LOID数据集以及两个公共低光照基准数据集（LOL和SICE）上训练并评估了RLDT-Net。LOL数据集作为真实的LLIE基准，包含500对低光照和正常光照图像，其中15对用于测试，485对用于训练，提供了基于像素对应的监督学习框架。相比之下，SICE数据集是一个高分辨率的多曝光数据集。

**结论与未来展望**
本文提出了一种LLIE框架RLDT-Net，它结合了基于Retinex的分解方法、潜在扩散模型和混合CNN-Transformer架构。该方法通过分别处理光照和反射成分并使用RRM进行组合，生成高质量、无伪影的输出。我们还提供了一个包含多种室内和室外场景的高分辨率数据集LOID。RLDT-Net在多个评估指标上均表现出色。

**作者贡献声明**
马赫什库马尔·H·科莱卡尔（Maheshkumar H. Kolekar）：撰写、审稿与编辑、监督、方法论设计、概念构思。
阿希什·拉杰（Ashish Raj）：方法论设计、数据收集与分析、概念构思。
萨姆普里特·博斯（Samprit Bose）：撰写、审稿与编辑、初稿撰写、方法论设计、数据收集与概念构思。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文的研究结果。