基于反射率的扩散模型，结合归一化流照明增强技术，用于低光照环境下的图像处理

《Journal of Visual Communication and Image Representation》：Reflectance oriented diffusion with normalizing flow illumination enhancement for the low-light images

低光图像增强双分支框架结合正常化流与扩散模型分别处理光照与反射率，引入饱和后调整模块优化色饱和度，有效抑制噪声并恢复细节，在LOL、LSRW等数据集上PSNR/SSIM指标及下游检测任务表现优异。

　　

杨航|肖兆琳|苏浩楠

西安理工大学计算机科学与工程学院，中国陕西省西安市710048

摘要

在低光照图像增强（LLIE）中，平衡光照增强和噪声抑制是一个基本挑战。现有方法在亮度调整过程中常常会出现伪影，包括细节丢失、空间变化的光照和颜色失真。本文提出了一种新颖的双分支框架，与传统基于单路径扩散的LLIE方法不同。该框架包括一个归一化流分支、一个扩散分支和一个饱和度后调整模块。这些组件分别用于增强光照、恢复细节和优化饱和度。在Retinex分解之后，通过归一化流的可逆映射来增强光照成分。这种方法提供了确定性的变换，并有效减少了伪影。同时，扩散分支恢复了反射率细节，同时有效抑制了暗区域中的严重噪声。然后，饱和度后调整模块补偿了由于光照和反射率的乘法重组而导致的饱和度下降。最重要的是，所提出的框架在光照增强和细节保留之间实现了最佳平衡。广泛的实验表明，该方法具有先进的性能，在LOL数据集上获得了26.62 dB的PSNR/0.94的SSIM，在LSRW数据集上获得了+1.26/+1.96 dB的PSNR提升，并在ExDark数据集上的下游检测性能提高了0.60 AP@0.5/0.31 AP@[0.5:0.95]。代码可在以下链接获取：https://github.com/yangpipi-01/LLIE

引言

从低信噪比图像中恢复亮度不可避免地会导致视觉退化，如噪声放大和对比度失真，这严重影响了下游视觉应用的性能。受Retinex理论[1]的启发，主流的低光照图像增强（LLIE）方法[2],[3]建议将图像分解为光照和反射率成分，然后分别对这两部分进行增强。然而，大多数现有方法过分强调光照调整；不加区分地增强光照会放大反射率中的噪声，使得反射率恢复成为一个重大挑战。

最近，基于扩散模型的LLIE[4]在噪声抑制方面取得了尖端性能。例如，Diff-Retinex[5]将扩散模型与Retinex理论相结合，采用双分支架构分别恢复光照和反射率成分。然而，扩散模型的迭代随机采样可能导致亮度不均匀和颜色伪影。相比之下，归一化流[6]为光照增强提供了更稳定的解决方案，利用确定性的可逆变换确保全局一致且合适的局部调整。此外，基于Retinex的方法（包括Diff-Retinex）在成分重组后经常会出现饱和度下降，因此饱和度补偿对于LLIE至关重要。

现有的基于扩散的LLIE方法隐含地假设光照和反射率可以在一个统一的随机生成过程中进行建模。然而，我们观察到这种假设并不理想：扩散模型在应用于光照建模时往往会陷入均值回归，导致对比度压缩和亮度不稳定。为了解决这种不匹配，我们明确地将这两个成分分开，为光照建模分配确定性的归一化流，为反射率恢复分配随机扩散，从而为每个成分提供更合适的分布建模。本文的主要贡献可以总结如下：

• 1.
  为了解决光照建模中的扩散不匹配问题（例如均值回归），本文提出了一种双分支框架，该框架结合了用于高质量反射率重建的扩散模型和用于稳定光照增强的归一化流（通过表1和图8验证）。
• 2.
  为了有效减轻Retinex基恢复中经常被忽视的饱和度下降问题，本文提出了一种饱和度后调整模块，该模块恢复了自然的颜色保真度（如表7和图13所示）。
• 3.
  广泛的实验表明，我们的方法在PSNR和SSIM方面优于现有方法，如图1所示。此外，我们的方法在下游对象检测任务中也取得了显著提升（参见表3）。

部分片段

LLIE的优化驱动策略

传统的LLIE方法[7],[8]，如直方图均衡[7]和伽马校正[8]，通常依赖于手工制作的启发式方法，这些方法的泛化能力有限。为了解决这些限制，优化驱动策略将增强任务视为一个系统的参数优化或能量最小化问题。在这个范式中，研究人员探索了几种技术途径。首先，元启发式优化在寻找全局最优解方面表现出色。

方法

如图2所示，低光照图像被分解为反射率$I_{lo}$和光照。与现有的LLIE方法不同，我们提出了一个双分支框架。它利用条件扩散模型恢复反射率细节，并使用稳定的归一化流增强光照。为了解决饱和度下降问题，在Retinex重组阶段引入了一个饱和度后调整模块（SPAM）。

实验设置

数据集和跨数据集验证。我们在成对和不成对的基准测试上评估了我们的方法，以全面验证其泛化能力。具体来说，成对的LOL[2]数据集仅用于监督训练。为了进行严格的跨数据集验证，我们的预训练模型直接在一个未见过的成对数据集（LSRW[21]）和四个不同的不成对数据集（LIME[13]、DICM[38]、MEF[39]和NPE[40]）上进行评估。

指标。我们评估了恢复效果

结论

本文提出了一种双分支LLIE框架，包括归一化流和扩散分支，随后是一个饱和度后调整模块。与Diff-Retinex[5]不同，我们建议使用归一化流来增强光照，这为和