ICDMamba：用于低光照图像增强的光照-颜色解耦与频域-空域协同Mamba

《Neurocomputing》：ICDMamba: Illumination-color decoupling and frequency-spatial synergistic mamba for low-light image enhancement

　　

摘要
低光图像增强（LLIE）旨在恢复场景可见性，同时保持色彩保真度和结构完整性。现有方法通常在耦合的 RGB 空间内联合处理亮度和色度，忽略了其非对称退化特性；同时，频率域和空间域之间的互补性仍未得到充分利用，且主流的状态空间模型（SSM）依赖于固定的扫描顺序，不适合空间非均匀的退化情况。为了解决这些局限性，我们提出了 ICDMamba，一种由光照 - 色彩解耦和频率 - 空间协同建模驱动的新型 LLIE 网络。ICDMamba 首先将输入映射到 HSV 空间，以显式地将亮度先验从色度中分离出来，缓解提亮过程中的色彩偏移失真。随后，通过一个双分支架构，利用交叉引导振幅 - 相位注意力（CGAPA）机制在频率域建模振幅 - 相位互补性，同时利用多尺度池化 Mamba 块（MPMB）捕获多尺度空间上下文。关键在于，退化感知状态空间模块（DASSM）在光照先验的指导下动态重排令牌序列，使基于 Mamba 的 SSM 处理能够优先考虑严重退化的区域。在多个基准上的大量实验表明，ICDMamba 在感知质量和跨场景泛化能力方面均达到了最先进的性能，在综合评估中排名第一（RoR = 1）。

引言
在欠曝环境中拍摄的照片通常表现出亮度不足、色偏、细节衰减和噪声升高。这些损伤不仅降低了人类感知的清晰度，还损害了下游视觉任务的可靠性，包括物体检测和自主导航 [1], [2]。暗场景图像恢复的目标是在保持色彩自然性、空间连贯性和局部细节保真度的同时恢复视觉清晰度，使其成为计算视觉和图像修复领域内的一个突出研究主题 [47]。
早期处理该任务的技术主要依赖于手工制作的亮度调整规则或基于物理动机的先验，例如直方图重分布 [3], [4]、伽马变换 [5] 和 Retinex 分解 [6]。尽管这些方法易于部署并提供了足够的可解释性，但在复杂的现实场景中，它们经常无法同时完成亮度改善、干扰衰减和色彩保留。随着神经模型的进步，基于卷积架构、Retinex 分解和迭代展开的方法 [7], [8], [9], [10] 已大幅提升了暗场景恢复性能。随后，无监督和零参考方法 [11], [12], [13], [14] 以及配对低光实例建模 [15] 进一步减少了对严格配对训练数据的依赖。近年来，基于 Transformer 的架构及其变体 [16], [17], [18] 增强了全局表示能力和对复杂场景的适应性，而频率域建模方法 [19], [20], [21] 和视觉状态空间模型 [22], [23], [24], [25], [26] 则为 LLIE 开辟了新的技术途径。
尽管取得了显著进展，复杂光照条件下的低光图像增强仍面临几个关键挑战。首先，大多数现有方法仍直接在 RGB 表示空间中进行端到端增强，在统一的表示中将亮度恢复与色彩校正耦合在一起。然而，低光退化对亮度分量和色度分量的影响通常是非对称的：暗区的亮度往往被压缩得更严重，而色彩信息的退化模式更复杂。在这种耦合表示下，网络在增强暗区亮度时往往引入色彩偏移或过饱和伪影。其次，低光增强不仅需要提高图像亮度，还需要恢复受抑制的纹理细节并保持结构稳定性。频率域信息有利于纹理和边缘等高频分量建模，而空间域表示擅长保持全局亮度分布和语义结构；然而，现有方法对这两个域之间的互补性利用仍不充分，特别是关于振幅和相位信息的差异作用。第三，现实世界的低光退化通常表现出明显的空间非均匀性；不同区域对增强强度和恢复优先级的需求不同。尽管 Mamba 架构具有高效的长程依赖建模能力 [22], [23]，但应用于暗场景恢复的主流视觉 Mamba 架构 [24], [25], [26] 仍采用预定义的遍历序列，未能充分利用退化幅度的空间异质性。
如图 1 所示，在复杂的低光场景中，现有方法仍容易出现色彩偏移、暗区细节丢失和局部增强不均的问题。相比之下，所提出的方法在色彩自然度、纹理恢复和结构一致性方面均表现出卓越的性能。为了解决上述问题，我们提出了 ICDMamba，一种基于光照 - 色彩解耦和频率 - 空间协同建模的低光图像增强网络。该方法首先将输入图像从 RGB 色彩空间映射到 HSV 色彩空间，以显式地将亮度先验从色度信息中分离出来，并结合光照估计，获得更适合后续增强的输入表示。随后构建一个频率 - 空间协同增强双分支框架，在频率域对振幅和相位信息进行互补建模，并在空间域提取多尺度上下文结构信息。同时，引入了一种退化感知的序列重排策略，使严重退化的区域能够以更高的优先级参与状态空间建模过程，从而提高网络对非均匀照明场景的适应性。通过这些设计，所提出的方法更有效地协调了色彩保持、细节恢复和结构稳定性。
本文的主要贡献如下：
1. 我们提出了一种用于 LLIE 的光照 - 色彩解耦框架，通过 HSV 表示显式地分离亮度和色度信息，并通过光照估计为后续增强提供更合理的先验指导。
2. 我们提出了一种频率 - 空间协同增强机制，在频率域显式建模振幅和相位信息的互补作用，并结合多尺度空间上下文表示，共同解决纹理细节恢复和全局结构保持问题。
3. 我们提出了一种退化感知状态空间模块（DASSM），将退化感知的令牌重排策略集成到 Mamba SSM 流水线中。DASSM 通过光照先验指导的分箱稳定排序，优先处理严重退化的令牌，其理论依据是选择性 SSM 机制的输入自适应状态转换。
4. 多个基准数据集上的实验结果表明，所提出的方法达到了最先进的整体性能，在色彩保真度、细节恢复和对复杂光照条件的适应性方面具有明显优势。

章节片段
传统低光图像增强方法
传统的欠曝图像校正方法主要依赖于手工制作的亮度调整规则或基于物理动机的先验，旨在通过修改像素分布或推断场景光照来提高暗区的可感知性。根据其技术方法，这些方法可以大致分为直方图均衡化、伽马校正和 Retinex 理论 [3], [4], [5], [6]。
基于直方图重分布的技术提高了整体亮度，且
提出方法
本节介绍了所提出的低光图像增强网络 ICDMamba，其整体框架如图 2 所示。给定一个输入低光图像，完整的增强流水线包括两个阶段：阶段 1：基于 HSV 的光照估计阶段和阶段 2：跨域协同增强阶段。前者显式地将亮度先验从色度信息中解耦，并为后续增强生成光照引导信号；后者
实验
在本节中，我们对 ICDMamba 进行了全面的实验评估。第 4.1 节介绍了实验设置，包括数据集、评估指标、比较方法和实现细节；第 4.2 节展示了定量比较结果；第 4.3 节提供了定性视觉比较；第 4.4 节分析了模型复杂度；第 4.5 节展示了验证每个模块有效性的消融研究；第 4.6 节提供了下游任务验证。
算法 1 ICDMamba 的训练过程
结论
在本文中，我们提出了 ICDMamba，一种新型的低光图像增强框架，旨在通过光照 - 色彩解耦和频率 - 空间协同建模来解决复杂的非均匀光照退化问题。具体而言，所提出的方法首先通过显式解耦亮度恢复和色彩校正过程，克服了传统方法常见的色彩失真和局部过曝缺陷。频率 - 空间协同特征精炼
未引用参考文献
[28],[29],[30],[45]
CRediT 作者贡献声明
Jianfeng Li：资源。Longqing Tu：撰写 – 原稿。Yingqi Ni：数据管理。Siyu Cheng：数据管理。Yingjie Mei：数据管理。Guangjiao Zhou：数据管理。Chenxu Wang：数据管理。
利益冲突声明
作者声明他们不存在已知的可能影响本文报告工作的竞争性经济利益或个人关系。
Jianfeng Li 于 2008 年获得中国科学院自动化研究所（北京，中国）控制理论与控制工程博士学位。他目前是哈尔滨工业大学（威海）信息科学与工程学院副教授。他当前的研究兴趣包括信号处理、图像处理、多模态遥感、智能感知和测量。
Jianfeng Li|Longqing Tu|Yingqi Ni|Siyu Cheng|Yingjie Mei|Guangjiao Zhou|Chenxu Wang
哈尔滨工业大学（威海）信息科学与工程学院，中国山东威海文西二街 2 号，邮编 264209