ARetinex-Net：基于自适应Retinex模型与全局光照表示的低光图像增强技术

《Neural Networks》：ARetinex-Net: Low-light Image Enhancement with Adaptive Retinex Model and Global Illumination Representation

　　刘云龙|董伟生|朱玉凡|董乐|吴芳芳|李欣|石光明•自适应Retinex模型。我们设计了一种自适应Retinex模型，该模型无需手工设计的先验知识，就能在Retinex约束下学习对图像进行分解与重构，从而在复杂的低光场景中实现可靠的反射率与照明度分离。•全局照明表示模块。我们引入了一个全局照明表示模块，该模块仅在照明领域构建向量量化代码本，以紧凑的方式编码正常光照下的先验信息，同时不量化结构细节，从而大幅减少量化带来的信息损失。•单目标查询损失函数。我们提出了一种单目标查询损失函数，用于优化从VQ代码本中检索照明先验的过程，进而持续提升增强效果。

引言在日常场景中，由于环境光线不足、相机设备较差或拍摄技巧有限等因素，常常会产生低光图像。这类图像通常存在亮度低、可见性差以及噪声高的问题，这会严重影响后续任务如物体检测和识别等的效果（Redmon等人，2016年；Zhang等人，2023年）。传统的低光图像增强技术，如直方图均衡化（Lee等人，2013a年；Pizer，1990年）以及伽马校正（Huang等人，2012年；Rahman等人，2016年），主要是对输入图像的全局亮度分布进行调节。虽然这些方法能够在一定程度上提升亮度，但它们既没有利用正常光照图像中丰富的照明统计信息，也无法适应空间上变化的照明条件，这往往会导致照明不均、颜色偏移以及噪声加剧。随着深度学习的快速发展，出现了大量能够端到端将低光图像转换为正常光照图像的增强方法（Chen等人，2018年；Liu等人，2023年；Xu、Wang、Fu和Jia，无日期；Zamir等人，2020年；Zhou等人，2025年）。这类模型通常在高度交织的特征空间中运行，其中颜色、亮度和纹理是共同被增强的。由于没有明确建模正常光照图像的照明统计特性，这类方法很难在不同场景和极端退化情况下保持通用性，往往会导致照明不均或残留伪影。实际上，关于照明和图像退化的合适先验在规范增强过程以及稳定从低光输入到视觉上合理输出的映射过程中起着至关重要的作用。一种有前景的方法是将数据驱动的先验作为潜在空间中的离散代码本来学习。VQ-VAE（Oord等人，2017年）学习了一个向量量化代码本，其条目可作为高质量特征的代表，这一理念也启发了几种基于VQ的低光图像增强模型（Chen等人，2022年；Gu等人，2022年；Wang等人，2022b年）。大多数现有的基于VQ的低光图像增强方法都是直接对正常光照图像的潜在特征进行量化，并将对应的码字视为正常光照的先验。然而，对如此丰富的特征进行量化不可避免地会导致明显的信息损失，因此人们又引入了与低质量特征融合的步骤来恢复丢失的细节。但这种融合又会重新引入低质量图像中的退化现象（如噪声和色彩偏移），并增加计算开销，最终限制了增强效果。从根本上说，上述局限性源于自然图像包含丰富的高频纹理和结构细节，而这些内容很难用有限的代码本来准确表示。直接对正常光照的潜在特征进行量化，会在结构和纹理方面造成巨大的信息损失，迫使基于VQ的低光图像增强方法不得不重新引入低质量特征来恢复细节。为避免这种矛盾，我们提议仅使用代码本来建模图像的照明部分。一般来说，照明比纹理更平滑、频率更低（Land和McCann，1971年），因此照明特征的量化误差要小得多，几乎可以忽略不计。通过从正常光照图像中提取的照明特征来学习代码本，我们既可以获得紧凑的、数据驱动的照明先验，又无需融合退化的低光特征。为了获得可靠的照明特征，我们需要一种有效的方法将照明与结构内容分开。Land和McCann（1971年）提出的Retinex理论为这一需求提供了基础。该理论认为，图像可以被分解为反射层和照明层。反射层代表了场景的固有属性，包含所有的边缘、细节和颜色信息，而照明层则涵盖了整体的轮廓和亮度分布。尽管Retinex理论提出了这一概念框架，但它并没有定义具体的数学分解模型。因此，基于Retinex的低光图像增强方法，如URetinex-Net、Retinexformer和RFR，都采用了不同的方法来利用这一图像分解模型。URetinex-Net明确估计了反射率和照明度，但依赖于手工设计的正则化项来引导分解过程，这限制了其在真实场景中的鲁棒性和通用性。Retinexformer将Retinex先验嵌入网络架构中，但对照明没有明确的约束，在严重退化情况下可能会放大噪声。RFR则采用基于学习的策略，通过对比学习来强制实现反射率不变性作为数据驱动的正则化手段，但其照明分支仍然缺乏约束，无法明确学习正常光照的先验。为了解决上述问题，首先需要有一个能够有效将照明与结构内容分开的模型。根据Retinex理论，场景的反射率不受照明变化的影响。因此，一旦确定了反射率，就可以通过将该反射率与不同的照明层结合，来合成相同场景在不同照明条件下的图像。基于这些特性，我们设计了自适应Retinex模型（ARM）。ARM将反射率的不变性和重组特性纳入训练目标中，以此指导反射率和照明度的学习，而无需依赖额外的手工设计的先验或正则化项。与现有的基于Retinex的分解方法相比，ARM具有更强的适应性和鲁棒性，甚至支持在两幅图像之间交换照明信息，从而为后续学习照明先验奠定了坚实基础。在构建好这个照明空间的基础上，我们重点解决了学习和利用照明先验这一核心问题。为此，我们提出了全局照明表示模块（GIR）。GIR将照明图分解为多个全局照明特征，并利用向量量化代码本来编码正常光照图像中常见的照明模式。与以往基于VQ的图像恢复方法不同（Chen等人，2022年；Gu等人，2022年；Wang等人，2022b年），那些方法是对通用的潜在特征进行量化，可能会无意中扭曲纹理细节，而GIR则完全在照明领域构建代码本。这样的设计使得GIR能够将正常光照的先验转化为离散的、可解释的元素，为后续的增强处理提供空间上一致的照明指导，同时将结构细节留给反射层处理。为了有效利用存储在VQ代码本中的照明元素，我们进一步引入了照明先验查询模块（IPQ）。IPQ使用一组可学习的查询向量作为中间接口，以便为低光输入检索合适的照明码字，从而使索引过程更能适应低光照明特征与正常光照照明特征之间的差异。为了更好地发挥IPQ模块的作用，我们提出了一种单目标查询损失函数，该函数仅监督与匹配到的代码本特征相对应的查询向量，而非同时约束所有查询向量。这种选择性优化保持了查询空间的适应性，为后续增强处理提供了稳定的照明先验。我们将整个框架称为自适应Retinex网络（ARetinex-Net）。在合成数据和真实世界数据集上的大量实验表明，ARetinex-Net在定量指标和视觉质量方面均优于多种现有的最先进低光图像增强方法。本文的主要贡献总结如下：•我们提出了一种受Retinex理论启发的低光图像增强框架——自适应Retinex网络（ARetinex-Net），该框架将图像分解为反射层和照明层，并充分利用照明先验来实现图像增强。•我们设计了全局照明表示模块（GIR），该模块仅在照明领域学习向量量化代码本，从而将正常光照的先验编码为离散的全局照明特征。•我们引入了单目标查询损失函数，以提高从正常光照照明VQ代码本中检索照明先验的适应性和稳定性。•在真实数据和合成数据集上的大量实验表明，无论从定量指标还是视觉质量来看，ARetinex-Net都优于多种现有的最先进低光图像增强方法。

方法概述。为充分利用正常光照图像中的照明先验，我们提出了一种两阶段的低光图像增强框架，即自适应Retinex网络（ARetinex-Net）。ARetinex-Net由自适应Retinex模型（ARM）以及三个辅助模块构成：全局照明表示模块（GIR）、照明估计模块（IEM）和照明先验查询模块（IPQ）。ARM包含两个Retinex分解模块（RDMs）和一个图像重建模块（IRM）。RDMs负责图像的分解工作。

实现细节在ARetinex-Net中，所有的核心模块都采用相同的U-Net架构，该架构基于光谱注意力块构建（Cai、Lin、Hu、Wang、Yuan、Zhang、Timofte、Van Gool，2022a年；Cai、Lin、Lin、Wang、Zhang、Pfister、Timofte、Van Gool，2022b年）。U-Net包含三个层次，第一层、第二层和第三层分别包含[1, 2, 2]个光谱注意力块。第一层的特征维度（通道数）为40，第二层和第三层则为80。实验是在……上进行的。

结论与局限性本文提出了一种新的低光图像增强方法——ARetinex-Net。为充分利用正常光照图像中的照明先验，我们设计了自适应Retinex模型，该模型无需手工设计的先验或正则化项，即可将图像分解为照明层和反射层。接着，我们设计了全局照明表示模块，用于从正常光照图像中学习照明先验。此外，我们还开发了一种单目标查询损失函数。

未标注的图表：图1、图2和图5。

作者贡献声明刘云龙：写作——审阅与编辑，写作——初稿撰写，可视化，验证，监督，软件，资源，项目管理，方法论，研究，形式分析，数据整理，概念构思。董伟生：监督，资源获取，概念构思。朱玉凡：写作——审阅与编辑，监督。董乐：写作——审阅与编辑，写作——初稿撰写，监督，资源。吴芳芳：资源获取，资金筹集。

利益冲突声明作者声明自己不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢本研究部分得到了中国自然科学基金的支持，资助编号为62472336、62302369和U2570205。