用于低光照图像增强的状态空间Retinex分解

《Computer Vision and Image Understanding》：State-space retinex decomposition for low-light image enhancement

　　

• •
  提出SRDLie：一种无监督状态空间Retinex框架。
• •
  将Retinex理论与视觉状态空间模型相结合，实现鲁棒的分解。
• •
  设计一种新颖的SCD模块，在状态空间中引入自注意力和交叉注意力机制。
• •
  MSSAE模块利用多尺度语义引导融合增强反射率。
• •
  在真实数据集上以低计算成本实现先进的性能。

引言

低光照条件通常导致图像对比度降低、噪声干扰严重以及细节模糊，严重影响物体检测、语义分割和场景理解等任务。Retinex理论（Jobson等人，1997）通过模拟人眼视觉系统对光照和颜色的感知，为图像增强提供了坚实的物理基础。基于Retinex的模型，如（Zheng等人，2023、Yang等人，2021、Zhang等人，2019），利用深度神经网络自动消除环境光照的不均匀影响并突出反射率特征，从而实现更有效的图像质量改善。然而，准确分离光照图和反射率图仍然是一个病态问题，分离过程中的误差将显著影响增强结果。此外，通常用于调整光照分量的均匀变换往往会忽略图像中的局部光照变化，这可能导致细节丢失和颜色失真。

由于图像空间分解的内在挑战，研究者越来越倾向于采用替代特征空间来规避这些局限性。早期方法试图在频域（Fan等人，2022、Dang等人，2023）或替代颜色空间（Yan等人，2025、Brateanu等人，2024）中执行分解，利用其高低频特征的可分离性。然而，这些方法在重建过程中往往会出现信息丢失和噪声引入的问题。随着VAE和生成架构等先进模型的出现，相关研究（Jiang等人，2024、Huang等人，2025、Zhou等人，2023）转向了隐空间操作。尽管这些方法在复杂光照和噪声方面展现出较强的适应性，但它们在估计初始光照和反射率特征时偏离了基本的Retinex假设，导致可解释性下降且需要大量计算资源。随着状态空间模型（SSMs）（Gu和Dao，2023）的引入和不断改进，SSMs通过在图像中以线性复杂度高效建模全局信息，在视觉任务中展现了强大的性能（Huang等人，2024、Ruan和Xiang，2024、Yang等人，2025）。与Transformer相比，SSMs在性能和效率之间实现了更好的平衡，且训练速度显著更快。因此，我们旨在在SSMs的框架内实现Retinex分解。然而，传统SSMs由于其单向建模特性，往往对噪声敏感，导致在低光照和噪声环境下的性能下降。为解决这一问题，我们进一步引入了视觉状态空间对偶模型（VSSDM）（Shi等人，2024a）。通过利用VSSD编码器，我们提出了一种新的Retinex分解方法，该方法在保留SSMs优势的同时集成了非因果特性。

语义信息包括场景内容、物体类别和空间布局，有助于图像上下文理解和增强优化。大型分割模型（如Segment Anything）（Kirillov等人，2023、Ravi等人，2024）的进步使得低光照图像增强（LLIE）方法（Huang，2023、Elmahdy等人，2024、Kavya等人，2024、Gonthina和Prasad，2024）能够在此基础上更进一步，使其更准确地识别关键图像区域并利用语义信息优化增强。与未利用语义感知的方法相比，这在亮暗区域光照平衡和边缘结构重建等方面具有显著优势，如图1所示。近期研究探索了不同空间尺度上的语义不一致性。SKF（Wu等人，2023）引入了语义引导框架，Li（H. Li等人，2024）在Retinex中应用了多分支嵌入融合。这些方法改善了细节和颜色感知，但缺乏深层的语义整合，忽略了场景上下文和物体类别等高级线索。

基于上述观察，我们提出了一种基于Retinex理论和视觉状态空间对偶模型（VSSDM）的无监督增强框架，称为SRDLie。该方法旨在充分利用SSD的全局感受野和线性复杂度优势，以提高特征提取效率和分解网络性能。同时，它融入了语义级特征以增强细节重建和改善边缘修复。具体而言，我们首先从未配对的低光照图像中分离光照和反射率，然后通过VSSD将其转换为状态空间中的多尺度特征。在此，我们使用自注意力和交叉注意力进一步剥离光照分量中的内容信息。在增强过程中，我们使用不同尺度语义和反射率特征之间的交叉注意力来实现具有良好结构和纹理细节的反射增强。我们的方法可以有效改善全局和局部对比度，防止曝光良好区域的过度校正，并避免伪影或噪声放大。大量实验表明，我们的方法在定量和视觉方面均优于现有竞争方法。我们的贡献可以总结如下。

• •
  我们提出了一种基于Retinex和SSM的新颖语义感知低光照图像增强（LLIE）方法，即SRDLie，该方法引入了三个子模块，分别对应分解、语义感知融合和增强，实现了更加鲁棒和精确的性能。
• •
  我们设计了一个由三部分组成的状态空间交叉引导分解（SCD）模块。VSSD编码器从低光照图像中提取特征，自注意力和交叉注意力机制促进分解后的光照和反射率分量之间的交互，新颖的解码器将状态空间特征重建回图像域，确保分解的高效性和准确性。
• •
  我们引入了一种称为多尺度空间注意力增强（MSSAE）的语义感知融合方法，该方法利用交叉注意力从多尺度语义图中学习结构和细节信息，防止全局增强过程中的模糊和边缘纹理细节丢失，实现图像更好的感知一致性。

章节摘要

基于Retinex的方法

在低光照图像分解过程中，噪声和颜色失真往往在反射率分量中被放大。（Zheng等人，2023）利用掩码自编码器（MAE）的特征表示能力，设计了基于MAE的噪声先验来约束输出噪声。Cycle-Retinex（Wu等人，2024）将CycleGAN与两个解耦的子任务相结合，并在退化过程中引入随机高斯噪声，从而增强了噪声抑制能力。

概述

所提出的SRDLie处理流程如图2所示，包括分割与预处理、状态空间交叉引导分解（SCD）模块和多尺度空间注意力增强（MSSAE）模块。该框架在保持细节和颜色还原准确性的同时，重点关注分解的完整性。

分割与预处理

Retinex理论将图像分解为反射率图和光照图。前者表示固有色内容

实验设置

在本节中，我们将我们提出的低光照图像增强网络与几种最先进的（SOTA）方法在多个标准真实世界图像数据集上进行比较，使用SSIM、PSNR和LPIPS等评估指标。对于未配对数据集，我们使用两个无参考感知指标NIQE和PI来评估视觉质量。比较中使用各自作者提供的代码。

所有实验均在PyTorch框架上使用单块NVIDIA RTX 4090 GPU进行。

结论

在本研究中，我们提出了一种基于Retinex理论和VSSDM的无监督语义感知低光照图像增强框架SRDLie。该框架利用了SSM的全局感受野和线性复杂度优势，以提高特征提取效率和分解网络性能。同时，它融入了语义级特征信息以增强视觉质量和泛化能力。通过在大量未配对真实世界数据进行训练

作者贡献声明

Yun Wei：写作——审阅与编辑，监督，方法论，形式化分析，概念化。Haowen Zhao：写作——初稿，可视化，软件，方法论，调查，数据整理，概念化。

利益冲突声明

作者声明他们没有任何已知的竞争性经济利益或个人关系可能会影响本文所报道的工作。

Yun Wei|Haowen Zhao