《Displays》：RetinexSLF: A nonlinear Soft-Light Fusion framework with local–global synergistic modeling for low-light image enhancement
编辑推荐：
•级联架构：RetinexSLF 被提出作为一个串行级联框架，用于将粗略的物理先验与细粒度的深度恢复相结合。•软光融合：一种自适应的软光融合机制，取代了线性叠加，自然地整合了纹理和光照，以提高视觉效果。•协同建模：一个由坐标注意力引导的多分支密集块（CMDB）和 BiFormer
- •
级联架构：RetinexSLF 被提出作为一个串行级联框架，用于将粗略的物理先验与细粒度的深度恢复相结合。
- •
软光融合：一种自适应的软光融合机制，取代了线性叠加，自然地整合了纹理和光照，以提高视觉效果。
- •
协同建模：一个由坐标注意力引导的多分支密集块（CMDB）和 BiFormer 相结合，以捕捉局部细节和全局依赖性。
- •
卓越性能：在三个配对数据和三个非配对数据集上的广泛实验表明，RetinexSLF 实现了前沿的性能和强大的泛化能力。
引言
作为现代视觉智能的基石，高保真成像在医疗图像分析、自动驾驶、物体检测和图像分割等关键任务中发挥着不可或缺的作用 [1]、[2]、[3]。然而，现实世界的环境很少是理想的。在低光照条件下捕获的图像会受到严重的退化 [4]，其特征是光子匮乏、对比度低和复杂的信号依赖性噪声 [5]、[6]。这些扰动不仅影响人类的视觉感知，还显著降低了下游高级视觉任务的性能 [7]、[8]，成为稳健视觉分析的瓶颈 [9]。因此，从退化的低光照输入中有效地恢复高质量和清晰的图像具有重要的学术价值和广泛的应用前景 [10]。
出于这一迫切需求，人们做出了大量努力来在次优光照条件下恢复可见性。为了解决低光照增强的不适定性，早期研究主要集中在信号级操作和物理模型优化上。全局调整技术，如直方图均衡化（HE）[11] 和伽马校正 [12]，基于统计分布调节像素强度。虽然计算效率很高，但这些方法依赖于固定的映射函数，忽略了空间邻域依赖性，不可避免地导致局部过饱和和细粒度结构细节的丢失。为了结合空间先验，后续方法利用了 Retinex 理论，将增强问题构建为一个优化问题，将图像分解为反射率和光照成分。尽管这些基于优化的方法提供了更好的物理可解释性，但它们严重依赖于手工制作的先验（例如平滑度约束），这些先验常常不足以处理复杂的现实世界场景。此外，它们通常假设一个无噪声的退化模型；当应用于真实世界输入时，这种假设会导致内在噪声与信号一起被放大，从而产生严重的视觉伪影和颜色失真。
深度学习的出现引发了一场范式转变，将低光照图像增强（LLIE）从手工制作的先验转变为数据驱动的表示学习。卷积神经网络（CNN）和生成对抗网络（GAN）在将低光照输入映射到正常光照的真实值方面表现出显著的效能，显著优于传统方法 [13]。为了提高可解释性，最近的趋势转向了将 Retinex 物理约束集成到神经架构中的深度展开网络 [14]。然而，尽管有这些进步，在处理极端退化时仍然存在持续的瓶颈，这里将其总结为涉及模型可解释性、特征区分和融合逻辑的三重困境。首先，基于 Retinex 的深度网络常常简化了退化过程，忽略了泊松-高斯噪声的信号依赖性。这种纠缠导致高强度噪声被错误地分类为纹理，在分解过程中引发“噪声爆炸” [15]、[16]。其次，在低信噪比（SNR）范围内，标准骨干网络难以区分高频噪声和真实细节，常常传播错误的特征。最后，一个关键但经常被忽视的限制在于重建阶段：现有算法主要使用固定的线性操作（例如添加或连接）来合并特征。这些操作无法近似实现逼真恢复所需的复杂、非线性的亮度过渡，导致不自然的伪影和细节模糊。
为了克服这些限制，本文提出了 RetinexSLF，这是一个将 Retinex 理论与新型软光融合机制相结合的级联增强框架。与传统并行处理不同，设计了一种串行级联架构，将任务分为三个逐步阶段：“初步分解”、“深度恢复”和“光照融合”。通过将完整的退化项纳入 Retinex 模型，明确解决了噪声和细节的纠缠问题。此外，受到计算摄影中“软光”混合逻辑的启发，引入了一种软光融合策略，以减轻线性重组的局限性。该机制执行自适应的非线性调制光照和纹理，确保视觉上的自然过渡。
本研究的主要贡献总结如下：
- •
本文提出了 RetinexSLF，一种用于低光照图像增强的串行级联框架。它逐步解决了噪声抑制和细节保留之间的权衡，弥合了粗略物理先验和细粒度深度恢复之间的差距。
- •
本研究开发了一种用于低光照增强中局部细节提取的坐标注意力引导的多分支密集块（CMDB）。CMDB 结合了坐标感知编码、多分支特征建模和残差融合的 established 概念，并与 BiFormer 变换器协同工作，通过双层路由注意力捕获全局依赖性。
- •
本研究引入了软光融合机制作为核心方法论贡献。受计算摄影的启发，它用基于软光混合的自适应非线性调制取代了固定的线性操作。进一步引入了渐变稳定的公式进行端到端优化，并且该框架通过结合自定义的曝光损失函数进行优化，从而减轻了伪影，保留了细节，并产生了视觉上自然的对照度过渡。
- •
在基准数据集上的广泛实验表明，所提出的方法在保持恢复质量和计算效率之间取得了与最先进（SOTA）方法相当的性能。
部分摘录
传统的低光照增强方法
图像增强的发展始于像素级的统计操作。传统方法主要集中在通过直方图均衡化及其自适应变体 [17]、[18] 或伽马校正 [19]、[20] 进行动态范围调整。虽然计算效率高，但这些强度映射操作常常在暗区域引起局部过饱和、颜色偏移或噪声放大。为了解决空间不一致性问题，受 Retinex 理论启发的分解算法
问题构建和网络架构
传统的 Retinex 理论通常假设图像可以分解为反射率和光照成分，而低光照成像中常见的噪声和伪影通常没有得到明确考虑。受 Retinexformer [47] 的启发，本文采用了一种受 Retinex 启发的退化公式，用一个全面的残差项来表征低光照退化，该公式涵盖了噪声、伪影和光照偏差。这种公式提供了理论
实验设置
数据集。 本实验在三个配对数据集和三个非配对数据集上进行。对于配对基准，我们使用 LOLv1 [33]（485 个训练/15 个测试对）作为经典基准，以及 LOLv2-Real [55]（689/100 对），它捕捉了在不同曝光和 ISO 设置下的各种真实世界场景，以及 LOLv2-Synthetic [55]（900/100 对），具有受控的合成退化。为了进一步评估泛化能力，本文还使用了非配对的 VV [56]
结论
本文提出了 RetinexSLF，这是一个受 Retinex 启发的低光照图像增强框架，它将 Retinex 风格的退化建模与受摄影启发的融合机制相结合。通过引入一个考虑噪声的 Retinex 启发公式作为理论动机，开发了一种串行级联架构，有效地抑制噪声同时增强光照。为了确保稳健的特征表示，引入了坐标注意力引导的多分支密集块（CMDB）
CRediT 作者贡献声明
Mingyu Song：概念化、方法论、软件、验证、调查、形式分析、可视化、撰写——原始草稿。Jia Wu：概念化、调查、验证。Zichao Wei：调查、验证。Kun Li：概念化、监督、撰写——审阅与编辑。Xiaoxi Chen：概念化、资源、监督、撰写——审阅与编辑。Pinghe Wang：概念化、资源、监督、撰写——审阅与编辑、资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。
致谢
这项工作部分得到了 四川省区域创新合作计划 的支持，项目编号为 2023YFQ0013。
Mingyu Song|Jia Wu|Zichao Wei|Kun Li|Xiaoxi Chen|Pinghe Wang
