LowLightReward：一个用于在空间、通道和美学领域实现低光增强效果的统一框架

《Neurocomputing》：LowLightReward: A unified framework for low-light enhancement across spatial, channel, and aesthetic domains

　　张淼|尹俊|韩浩月|钟静|李佩琳|王元涛|杨成和|郑旭新|刘汉宁|谭俊波|王学谦
厦门集美大学，福建，中国

**摘要**
低光照图像增强是一项具有挑战性的任务，因为噪声抑制、细节保留和自然美学之间存在固有的权衡。虽然现有方法侧重于提高亮度和对比度，但它们往往忽视了人类的审美偏好，导致输出过度曝光或视觉上不自然。为了解决这个问题，我们提出了LowLightReward，这是一个基于Mamba（一种先进的序列建模架构）的新型低光照图像增强框架。我们的方法利用来自人类反馈的强化学习（RLHF）来优化增强过程，确保输出符合人类的审美偏好。具体来说，我们结合了一个通过RLHF训练的人类审美奖励函数，以指导模型生成视觉上令人愉悦的结果。此外，Mamba的长距离依赖性建模能够自适应地增强暗部区域，同时保持全局一致性。我们还引入了一个基于学习的审美评估模块，根据人类对自然性和质量的感知来进一步细化结果。实验结果表明，LowLightReward在客观指标和用户评估方面都优于现有方法，在提高可见性和保持审美真实性之间取得了更好的平衡。我们的数据集可在以下链接获取：https://huggingface.co/datasets/RainS/MEG-Multi-Exposure-Gradient-dataset/tree/main。

**引言**
近年来，通过深度学习方法，计算机视觉领域取得了显著进展。然而，大多数计算机视觉算法在低光照环境下运行时经常遇到许多困难[1]、[2]，包括对比度降低、出现意外噪声、细节丢失以及颜色再现不准确。图像退化带来的挑战大大增加了高级计算机视觉任务（如物体检测和图像分割）的复杂性，从而阻碍了准确结果的实现。因此，提高低光照图像的质量在计算机视觉领域具有重要的实际价值。

为了解决上述问题，已经提出了许多算法来提升低光照图像的主观和客观质量。这些方法可以根据其设计概念大致分为三类：基于分布映射的方法、基于Reinex的方法和基于深度学习的方法。基于分布映射的方法主要利用曲线变换、直方图均衡化等技术来改变像素分布，以获得清晰且突出的图像[3]、[4]。然而，这些方法受到无法捕捉像素之间的内在分布和语义连接的限制，导致生成图像的颜色失真和细节异常[5]。基于Reinex的方法表明，图像可以分解为反射和照明两部分[6]、[7]。反射是场景的固有属性，而照明则受周围环境的影响。然而，由于设计和先验知识的限制，这些传统算法通常会导致图像曝光不足、颜色不饱和以及明显的伪影或噪声[8]、[9]。随着深度学习技术的迅速发展，基于学习的方法[10]、[11]、[12]现在主导了通过设计启发式网络结构在低光照输入和增强图像之间建立映射的领域。

最近在神经架构方面的进展通过不同的计算范式显著推进了基于Retinex的低光照增强技术。卷积神经网络（CNN）在[13]和[14]等工作中展示了在局部照明估计和反射率恢复方面的显著成功，它们通过分层特征提取能力实现了这一点。卷积操作的平移等变性使得有效建模局部纹理模式和噪声分布成为可能[15]、[16]，这对于处理低光照条件下的传感器特定噪声特性特别有益。然而，基于CNN的Retinex分解往往由于受限于其感受野而难以实现全局照明的一致性，可能会在增强图像中引入突然的过渡[17]。像Mamba[18]这样的新兴状态空间模型通过其线性时间序列建模能力和动态权重调整机制提供了互补的优势。RetinexMamba[19]中的选择性状态空间架构在建模长距离照明依赖性和保持全局颜色一致性方面表现出色，解决了卷积方法的关键局限性。虽然基于Mamba的方法通过其隐藏状态转换在捕捉图像范围内的亮度关系方面表现出色[20]，但它们可能忽略了极端低光照场景下对纹理保留至关重要的细粒度局部细节。CNN的局部归纳偏见与Mamba的全局上下文建模之间的这种根本对立为低光照增强研究带来了挑战和机遇。这种架构上的差异创造了互补的优势，激发了我们的混合方法：CNN提供了对噪声抑制、颜色校正和细节保留至关重要的局部特征提取[21]，而Mamba的状态空间模型则实现了连贯的全局照明调整[19]、[20]。最近的模型混合尝试[19]、[22]显示出了有希望的结果，但未能充分利用这些范式的协同潜力——无论是通过简单的特征连接[22]还是不充分的局部-全局交互机制[19]。

尽管基于学习的模型在低光照图像增强方面取得了令人鼓舞的结果，但它们通常以集成方式处理RGB图像，忽略了每个单独颜色通道包含不同细节信息的事实。这可能导致通道之间的干扰，从而导致细节信息的丢失。为了解决这个问题，我们开发了一个专门用于增强和去噪三个主要颜色通道（R、G和B）的新模型，该模型基于单通道一致性的原则。我们的工作通过系统优化的卷积和Mamba架构解决了这些限制，该架构在Retinex分解框架内共同优化了局部和跨域特征。此外，为了弥合计算增强和人类视觉偏好之间的审美差距，我们设计了LowLightReward——这是低光照增强领域中首批将强化学习与人类反馈（RLHF）[23]、[24]结合的框架之一——使模型能够学习与人类感知偏好直接相关的增强策略。与受预定义损失函数限制的传统方法[25]、[26]不同，我们的基于RLHF的框架通过迭代的人类反馈循环动态调整其增强策略，有效平衡了技术指标和主观视觉质量。

**我们的贡献可以总结如下：**
- 我们的架构结合了双路径特征提取方法，结合了Mamba的全局特征建模和CNN的局部细节增强优势。这种创新设计在保持细节的同时实现了全面的照明调整，确保了在空间和通道域内的有效低光照图像增强。
- 领域敏感的恢复方法采用了考虑上下文和通道的特征恢复模块，根据照明信息有效地指导增强过程，并结合了非线性颜色变换，从而产生视觉上令人愉悦的输出。
- 我们提出了LowLightReward，这是一个将来自人类反馈的强化学习（RLHF）明确集成到增强流程中的低光照图像增强框架，使模型能够使其输出与人类审美偏好保持一致。与之前将感知奖励或人类评分作为固定监督信号的低光照方法不同，我们的方法在奖励引导的优化循环中使用了可微分的审美评估器，允许更适应性和偏好意识的增强。
- 我们基于多个公共低光照基准和自然图像的代表性样本构建了一个新的低光照审美数据集。通过引入多样化的亮度调整和图像转换策略，该数据集涵盖了广泛的照明条件、颜色变化和感知风格，为以人类偏好为导向的训练和评估提供了有效支持。

图1展示了所提出的LowLightReward框架的概览，包括分解阶段、双路径增强模块和RLHF驱动的审美优化。本文的其余部分组织如下：第2节回顾相关工作；第3.2节阐述任务并介绍整体架构；3.3节介绍双路径特征提取，3.4节介绍上下文敏感的恢复和SPCM中的Cross Mamba，3.5节介绍颜色矩阵的参数化，3.6节详细介绍双路径特征提取、上下文敏感的恢复和RLHF驱动的策略优化模块；第4节描述了所提出的低光照审美数据集的构建；第5节介绍颜色优化模块；第6节报告实验结果；第7节讨论发现并总结本文。

**全球级低光照增强**
传统的低光照图像增强（LLIE）方法通常分为三类：直方图均衡化方法[3]、[4]、基于Retinex的分解[6]、[8]和基于学习的方法。最近的进展[27]、[28]利用深度架构克服了手工制作的先验的局限性。DMPH-Net框架[13]引入了一个注意力增强的多级金字塔框架，用于联合噪声减少和细节保留。受Retinex启发的方法已经发展起来。

**任务定义和方法论概述**
当代低光照增强方法在现实世界应用中仍面临两个关键挑战：
- 噪声减少、光照增强和颜色校正的实现允许在空间和通道域中进行灵活调整[17]、[40]。
- 客观指标与审美领域中的人类感知偏好之间的差距[39]、[41]。

**数据集构建**
我们通过从几个经典的低光照增强数据集（包括LOL、LOLv2、LOM、DCIM、LIME、NPE和MEF）以及一系列自然图像中选择代表性样本，构建了一个包含1000张图像的数据集。我们的目标是在不同的照明条件和颜色组合下建立数据集，以便评估最佳审美结果。为此，我们设计了一个系统的数据处理和审美评估工作流程。

**图像颜色优化框架**
图像颜色优化在提高视觉质量方面起着至关重要的作用，特别是对于低光照图像。为了提高清晰度，我们将提出的工作流程明确总结为一个三阶段优化过程，该过程整合了Qwen-VL、审美奖励评估器和结构化的调整工具集。

**奖励引导的训练策略**
我们框架中的可训练策略是所提出的Retinex风格的CNN–Mamba增强网络本身，而不是潜在的扩散模型。给定一个低光照输入图像，增强主干通过照明估计、反射率恢复和重建产生最终的增强图像。然后将人类偏好信号作为辅助的奖励引导监督项引入。

**讨论**
结果表明，低光照图像增强受益于同时考虑恢复质量和感知质量。在所提出的框架中，双分支设计有助于以互补的方式建模全局照明调整和局部细节保留，而通道感知的去噪和颜色优化模块进一步提高了视觉质量。这些观察结果与定量结果和定性比较一致，表明……

**结论**
在这项工作中，我们提出了LowLightReward，这是一个专门用于低光照图像增强的框架，它将最近提出的Mamba架构与来自人类反馈的强化学习（RLHF）无缝集成。该设计的主要目标是明确将增强输出与人类审美偏好对齐，超越了纯粹的数值优化，以解决主观视觉质量问题。与仅依赖于手工制作损失函数的传统增强流程不同……

**作者贡献声明**
张淼：撰写——原始草稿，监督，项目管理，方法论，数据管理，概念化。
尹俊：撰写——原始草稿，可视化，方法论，调查，形式分析，概念化。
韩浩月：撰写——审阅与编辑，撰写——原始草稿，可视化，方法论，调查。
钟静：可视化，验证，调查，形式分析，数据管理。
李佩琳：撰写——原始草稿，可视化，方法论。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
作者感谢深圳市基础研究计划（项目编号WDZC20231129163533001）和中国厦门自然科学基金（编号3502Z202673035）的部分支持。

张淼于2016年在中国天津大学获得硕士学位，2020年在瑞典隆德大学获得博士学位。他目前是福建厦门集美大学计算机工程学院的副教授。他的研究兴趣包括计算智能、自动驾驶和VLM代理。