《Pattern Recognition Letters》：MAGNet: Multi-domain Aware and Gated Network for Low-Light Image Enhancement
编辑推荐：
•一种用于低光照图像增强的多域门控网络。•基于傅里叶的模块建模全局光照。•信噪比引导的波let交叉注意力抑制空间噪声。•小波-空间重建增强细节恢复。•该方法在基准测试上达到了最先进性能。引言在低光照条件下，成像传感器通常捕获微弱的光响应并伴随大量噪声，这导致低光照图像的视觉质
- •
一种用于低光照图像增强的多域门控网络。
- •
基于傅里叶的模块建模全局光照。
- •
信噪比引导的波let交叉注意力抑制空间噪声。
- •
小波-空间重建增强细节恢复。
- •
该方法在基准测试上达到了最先进性能。
引言
在低光照条件下，成像传感器通常捕获微弱的光响应并伴随大量噪声，这导致低光照图像的视觉质量令人不满意。这类感知失真可以通过图像质量评估方法来衡量[1]、[2]。这种退化会影响人类感知以及下游视觉任务的可靠性[3]、[4]。因果推理也已被探索用于图像退化建模[5]。低光照图像增强通过提高图像亮度、抑制噪声和校正色差，从这些退化输入中恢复高质量图像。
传统低光照图像处理方法，包括伽马校正、基于Retinex的方法和直方图均衡化，在光照不均匀或极暗场景下往往表现不佳。与传统方法相比，基于深度学习的方法[6]、[7]、[8]近年来展现出了更强的适应性和更好的性能。
特别是，基于频域的增强技术在近几年重新成为研究焦点[9]、[10]。频域分解将光照信息和纹理信息分离开来，有利于结构保持和噪声抑制，这也启发了近期的生成式增强框架[11]。
尽管取得了这些进展，对全局光照、局部细节和变化噪声的建模仍然具有挑战性。虽然多域融合已经被探索（例如使用Transformer[12]），但标准表示或简单拼接往往会放大噪声。从信号处理的角度出发，我们利用三个先验：傅里叶域建模全局低频光照；小波域提供时频定位以将多尺度细节与空间非均匀噪声分离；空间域强制逐像素保真度以消除频率伪影。由于退化区域包含跨域的冲突信息，它们不能被简单地融合。因此，我们引入动态门控机制来自适应地过滤和选择性地调制这些表示。
为应对上述挑战，我们提出了一种用于低光照图像增强的多域感知门控网络。不同于传统的拼接方式，该网络引入自适应门控机制来动态耦合这些域。具体来说，傅里叶门控光照估计模块采用空间-频率门控来联合建模来自低频的全局光照和来自高频的局部细节。此外，信噪比门控小波交叉注意力模块使用信噪比引导的掩码来调节特征融合。与标准交叉注意力相比，这种门控动态地抑制空间非均匀噪声，同时保留可靠的纹理。最后，小波-空间重建模块将逆离散小波变换与空间残差学习相结合以减少伪影。
广泛的实验表明，该网络以适中的计算成本实现了更好的视觉保真度，在多个基准数据集上超越了现有的低光照图像增强方法。
本文的主要贡献总结如下：
- •
我们提出了一种用于低光照图像增强的多域感知门控网络。该网络整合了空间域、傅里叶域和小波域以提高图像质量。
- •
我们提出了一种基于解耦的亮度-色彩表示的傅里叶门控光照估计模块，该模块探索了空间-频率自适应门控机制，充分利用空间局部信息和频域全局信息。
- •
我们提出了一种信噪比门控小波交叉注意力模块，该模块探索了信噪比引导的置信度门控，以在双分支小波增强流水线中调制交叉注意力，从而抑制空间变化噪声并保留可靠的高频细节。
- •
我们提出了一种小波-空间重建模块，将基于逆离散小波变换的重建与空间残差学习相结合，以减少上采样伪影并恢复标准解码器中丢失的高频纹理。
章节摘要
低光照图像增强
传统方法。早期方法主要依赖直方图均衡化、伽马校正和基于Retinex的技术。这些方法可以通过全局统计调整或物理分解来提高可见度。然而，在复杂噪声和非均匀光照下，它们的手工设计先验往往导致伪影、过度增强或细节丢失。
基于深度学习的方法。随着深度学习的快速发展，大量基于学习的方法
我们的方法
在本节中，我们提出了一种具有双分支类U-Net编码器和解码器架构的多域感知门控网络。如图2所示，它包含三个模块：用于光照估计的FGIE模块、用于噪声抑制的SNR-WCA模块以及用于细节保留的W-SR模块。我们的核心思想是利用傅里叶域、小波域和空间域中的互补信息以获得更好的图像质量。
实验设置
数据集。我们在三个广泛使用的配对低光照图像增强基准上训练该网络：LOL-v1[29]、LOL-v2-Real[30]和LOL-v2-Synthetic[30]。LOL-v1提供485对图像用于训练和15对用于测试。LOL-v2-Real包含689对训练数据和100对测试数据，来自更广泛的真实场景集合，而LOL-v2-Synthetic提供900/100对使用受控退化合成的图像。除了配对基准外，我们还额外在五个非配对数据集（DICM[31]、VV[32]、LIME）上测试该网络。
结论
我们提出了一种用于低光照图像增强的多域感知门控网络。通过利用空间域、频域和小波域中的互补信息，该网络通过空间-频率自适应门控有效地恢复光照，并通过信噪比门控小波交叉注意力细化细节和色彩，从而在抑制空间非均匀噪声的同时提高了色彩保真度和纹理恢复能力。该网络在LOL-v1、LOL-v2-Real等流行数据集上达到了最先进结果。
CRediT作者贡献声明
郭海如：写作——审阅与编辑、方法论、调查研究、概念化。焦云杰：写作——初稿撰写、验证、软件、资源、方法论。霍占强：写作——审阅与编辑、资金获取、数据管理。罗芬：形式分析。乔颖旭：写作——审阅与编辑、可视化、监督、项目管理。
利益冲突声明
作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。
郭海如|焦云杰|霍占强|罗芬|乔颖旭
