EnlightenINN：用于高保真低光图像增强的可逆神经网络

《Knowledge-Based Systems》：EnlightenINN: An invertible neural network for high-fidelity low-light image enhancement

　　一项基于Retinex引导的可逆神经网络被提出用于低光照图像增强。双向可逆映射联合细化反射率和光照分量。边缘和颜色先验提供互补的结构和色度引导。大量实验展示了具有竞争力的增强质量。**引言**低光照图像增强（LLIE）对于改善在恶劣光照条件下拍摄图像的可见性并恢复细节至关重要，其应用范围从摄影到监控和医学成像。尽管基于深度学习的方法已成为主流[1]、[2]、[3]、[4]，但它们通常存在颜色偏差、结构失真和噪声输出等问题（图1）。基于Retinex的方法基于Retinex理论，通过将图像分解为光照分量和反射率分量来建模低光照增强，已显示出令人满意的结果。一般过程涉及估计和细化这些分量以重建光照良好的图像[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]。然而，基于Retinex的深度学习approach也面临几个挑战。首先，这些方法通常尝试独立地优化光照分量和反射率分量[9]、[16]、[17]，尽管这些分量本质上是相互依赖的。这种独立优化往往导致次优结果。其次，现有方法主要是单向的，仅关注从低光照到正常光照条件的提亮过程，而忽略了变暗的反向过程。这一反向过程可以作为额外的约束来正则化模型优化，特别是因为Retinex分解本质上是一个不适定问题。第三，在低光照条件下，颜色和结构信息由于黑暗遮挡而部分丢失，需要引入额外的先验信息来弥补这种损失。为了解决这些问题，我们提出了EnlightenINN，一种用于低光照图像增强的条件可逆神经网络，它在可逆学习框架内将图像提亮和变暗过程耦合在一起。可逆神经网络（INN）特别适合建模双向任务，并已成功应用于各个领域[18]、[19]、[20]、[21]。通常，INN将特征分为两部分并通过可逆过程相互优化，而条件INN进一步引入先验信息以在可逆优化过程中增强特征表示。遵循这一范式，EnlightenINN首先执行Retinex分解以获得光照分量和反射率分量，然后以可逆方式相互细化它们以合成正常光照图像。这种方法不仅探索了光照和反射率之间的相互依赖关系，还利用双向学习约束确保信息保留和稳健优化。此外，我们引入了光照不变的颜色和结构先验，并将其纳入框架以恢复低光照条件下丢失的细节，从而实现更自然且视觉上更吸引人的增强效果。具体来说，给定一对低光照和正常光照图像，我们首先应用独立训练的Retinex分解网络将它们分离为两组光照分量和反射率分量。然后通过双向优化过程细化这些分量，该过程涉及可逆块模块单元内的前向和反向操作，以确保可逆变换。在每个可逆块中，前向优化迭代对齐低光照图像的光照分量和反射率分量与正常光照图像对应分量。首先，通过仿射变换细化反射率图，使用从光照图派生的参数，通过集成Transformer层和卷积层的双分支网络提取关键特征。接下来，类似地调整光照图，参数取自更新后的反射率图。在反向优化中，正常光照图像的光照分量经过反转的仿射变换，使用从对应反射率图生成的参数，随后通过另一个由更新后的光照图引导的反转变换恢复为近似其低光照形式。这种光照与反射率之间的双向相互作用确保了它们的互补细化。同时，在前向和反向优化之间共享双分支网络减少了计算开销，同时保留了块的可逆性。这种双向优化受到低光照和正常光照图像的双重约束引导。正常光照图像作为参考，引导过程朝向准确和真实的光照与反射率输出，而低光照图像将细化锚定在原始输入上。这种双重约束方法增强了稳健性并提升了最终输出质量。此外，尽管双向优化是有效的，但由于低光照条件的固有复杂性，仍可能出现颜色偏差和结构失真等问题。为此，我们进一步将光照不变的颜色和边缘先验整合到框架中。这些先验为优化过程提供额外引导，确保更准确的颜色恢复和结构保留。现有研究表明，这些先验可以无缝整合到可逆块的参数生成网络中[19]、[20]、[22]。为此，我们用这些先验增强生成仿射变换参数的双分支网络，以进一步细化光照和反射率分量。这种整合不仅加强了优化过程，还交付了视觉吸引且结构合理的最终结果，如图1(f)所示。我们通过大量公开数据集上的实验验证了EnlightenINN，包括LOL、LSRW-Huawei和LOL-v2-real。结果表明，我们的方法在定量指标和定性视觉评估中均优于最先进的approach。消融研究进一步证实了关键组件的有效性，如内在先验的使用和双射INN架构。总之，EnlightenINN做出了以下贡献：我们提出了一种新颖的基于Retinex的LLIE框架，在INN内同步图像提亮和变暗，利用双向约束从给定的低光照图像生成高质量正常图像。我们引入了一种可逆块架构，通过仿射变换迭代优化光照和反射率分量，每个分量的参数通过专用双分支网络从另一个分量导出。我们整合光照不变的颜色和边缘先验来引导INN的优化，缓解低光照条件下的颜色偏差和结构失真，交付视觉优越且连贯的结果。在三个基准数据集上的大量实验展示了EnlightenINN相较于最先进方法的优越性能，而消融研究进一步验证了我们设计选择的有效性。**基于深度学习的LLIE**近年来提出了许多基于学习的LLIE方法[1]、[13]、[15]、[23]、[24]、[25]、[26]、[27]、[28]。值得注意的是，MSR-Net[29]率先将CNN与Retinex结合，创建了从暗图像到亮图像的端到端映射，而Retinex-Net[9]基于Retinex理论开发了一种结合分解和光照调整的深层网络。在此基础上，KIND[10]和KIND++[30]增强了反射恢复，KIND++添加了多尺度光照注意力模块。**方法**图2展示了EnlightenINN的框架。从低光照图像开始，一个分解模型将其分离为反射率和光照图。然后这些图在可逆结构内通过增强网络相互细化：前向传递将低光照分量映射到其正常光照对应物，而反向传递学习反向映射。最终正常光照图像通过组合细化后的反射率和光照图生成，遵循公式要求。**实验设置****实现细节。** 我们的EnlightenINN在PyTorch平台上实现，使用单个NVIDIA GeForce GTX 3090 Ti GPU。对于训练，我们使用Adam优化器[57]，批量大小为4。初始学习率设为4e?4，每50个epoch减半。公式(1)中的超参数λ、公式(14)中的η_b，以及公式(12)中的η_s和η_p分别设为0.1、0.1、50和0.01。这些值通过参数搜索确定，使用100张随机选择的验证图像。**结论**在本文中，我们介绍了一种基于Retinex理论的新型亮度增强网络。我们的方法从将输入图像分解为反射率和光照分量开始。然后我们提出了一种可逆神经网络，以双射方式联合增强低光照图像的这两个分量。意识到颜色和边缘信息在引导亮度增强中的重要性，我们进一步建立了模型来学习光照不变的边缘和颜色先验。这些**CRediT作者贡献声明****林博王：** 写作–初稿，方法论，调查，正式分析，概念化。**张国豪：** 可视化，软件，方法论，调查。**闫卓：** 可视化，软件，方法论，调查，正式分析。**刘正义：** 写作–审阅与编辑，监督，项目管理，方法论，正式分析。**方先勇：** 写作–审阅与编辑，监督，项目管理，调查。**万少华：** 写作–审阅与编辑，**利益冲突声明**作者声明他们没有已知的可能影响本论文所述工作的竞争性经济利益或个人关系。