基于均值的空间和通道注意力算法以及幅度-相位变换的低光照图像增强技术

《Displays》：Low-light image enhancement with Mean-based Spatial and Channel Attention and Magnitude-Phase Transform

　　

Zhilong Li|Yuxiang Wu|Haichen Wang

华南理工大学自动化科学与工程学院，广州，中国

摘要

当前的低照度图像增强方法主要侧重于恢复亮度，但在色彩恢复方面通常存在局限性。本文提出了一种多输入多输出的U-Net模型，结合了基于均值的时空注意力和幅度相位变换（SMMP-Net），在保持有效亮度和纹理细节恢复的同时，实现了更好的色彩恢复。基于均值的时空注意力（MSCA）模块采用串行设计，包括一个时空注意力块和一个通道注意力块。在时空注意力块中，全局分支和局部分支首先将输入特征图分解为空间均值图和残差图，然后通过可学习的权重融合这两张图，以动态平衡全局趋势和局部细节的重要性，从而在空间维度上实现精细的特征增强。对于通道注意力块，它根据空间均值计算每个通道的权重，并对各个通道进行自适应加权，从而增强具有高鉴别能力的通道，同时抑制贡献较小的通道。通过逐步的特征处理，MSCA模块可以增强输入特征图中的鉴别信息并抑制冗余信息。幅度相位变换（MPT）操作符将RGB图像的亮度信息和色彩信息分离出来，分别转换为相应的幅度图和相位图。这种变换增强了网络提取图像亮度特征和色彩特征的能力，从而提升了网络的色彩恢复性能。在训练SMMP-Net时采用了频率损失函数，引导网络在恢复图像高频细节的同时保留低频结构。在LOLv1、LOLv2-real和SMID数据集上的大量实验表明，SMMP-Net恢复了比其他最先进方法更自然的色彩，并且参数最少。SMMP-Net在三个数据集上的DeltaE值分别为8.07、11.24和4.54，仅使用了0.96M个参数，分别比第二好的方法高出0.52、0.82和0.39。源代码可在此链接获取：https://github.com/Okitasandesu/SMMP-Net-For-LLIE。

引言

在低照度环境下拍摄的图像常常会出现多种退化现象，包括可见度差、对比度低、色彩失真和强噪声。这些退化不仅影响人类的视觉感知，还妨碍了后续的计算机视觉任务，如目标检测和语义分割。为了解决这些问题，已经开发了多种低照度图像增强方法，将低照度图像转换为正常光照下的图像。

传统的低照度图像增强方法主要依赖于图像先验或物理模型，例如基于直方图均衡（HE）的方法[1]、[2]、[3]，基于伽马校正（GC）的方法[4]、[5]，以及基于Retinex的方法[6]、[7]、[8]。尽管传统方法相对简单，但它们通常无法恢复受损的色彩和详细的纹理。

近年来，提出了许多基于深度学习（DL）的方法。这些方法利用强大的神经网络和大规模数据集，在性能上取得了显著改进。一些方法以传统方法作为神经网络架构设计的指导，例如基于Retinex的模型[9]、[10]、[11]、[12]。这些方法利用先验知识设计了更复杂的网络，从而提升了性能。然而，优化具有此类独特结构的神经网络往往具有挑战性，使得它们难以在不同方面实现平衡的恢复效果。特别是，虽然它们在亮度恢复方面通常很有效，但在准确恢复色彩方面往往表现不佳。

另一类基于DL的方法采用Transformer作为基本架构[13]、[14]、[15]。这些方法利用Transformer中的自注意力机制来建模卷积网络难以捕捉的长距离依赖性，从而提高整体性能。随着扩散模型的发展，一些方法采用了扩散框架[16]、[17]、[18]。基于扩散的方法从纯噪声图像开始，迭代去噪，将低照度图像作为条件输入来指导去噪过程，从而生成与低照度图像对应的正常光照图像。尽管这些方法在色彩恢复方面表现更好，但代价是参数数量多和计算复杂度高。

为了在保持有效亮度恢复的同时实现更好的色彩恢复，并降低计算复杂度，本文提出了一种多输入多输出（MIMO）的U-Net模型SMMP-Net，结合了基于均值的时空注意力和幅度相位变换（SMMP-Net）用于低照度图像增强。基于均值的时空注意力（MSCA）模块采用串行设计，包括一个时空注意力块和一个通道注意力块，共同优化通道维度和空间维度的特征图。在时空注意力块中，全局分支和局部分支首先将输入特征图分解为空间均值图和残差图，然后通过可学习的权重融合这两张图，以动态平衡全局趋势和局部细节的重要性。在通道注意力块中，从空间均值计算注意力权重，从而强调信息量较高的通道，同时抑制信息量较小的通道。此外，幅度相位变换（MPT）操作符将RGB图像的亮度信息和色彩信息分离为相应的幅度图和相位图，增强了网络提取图像亮度特征和色彩特征的能力，从而提升了网络的色彩恢复性能。在训练SMMP-Net时采用了频率损失函数，引导网络在恢复图像高频细节的同时保留低频结构。

总之，本文的贡献总结如下：

• •
  基于均值的时空注意力（MSCA）模块旨在增强特征图中的鉴别信息并抑制冗余信息，采用了时空注意力和通道注意力的串行结构。在时空注意力块中，全局分支和局部分支首先将输入特征图分解为空间均值图和残差图，然后通过可学习的权重融合这两张图，以动态平衡全局趋势和局部细节的重要性。在通道注意力块中，根据空间均值计算通道权重，以自适应地突出具有鉴别能力的通道，同时抑制信息量较小的通道。
• •
  幅度相位变换（MPT）操作符用于将RGB图像的亮度信息和色彩信息分离为相应的幅度图和相位图，从而更有效地提取亮度特征和色彩特征，提升了网络的色彩恢复能力。
• •
  为训练SMMP-Net设计了频率损失函数，该函数通过傅里叶变换计算增强图像和参考图像的频谱之间的L1损失，引导网络在恢复图像高频细节的同时保留低频结构。

章节片段

传统的低照度图像增强方法

低照度图像最明显的问题是可见度差和对比度低，因此基于HE的方法[1]、[2]、[3]和基于GC的方法[4]、[5]得到了广泛研究。基于HE的方法将集中在低值的灰度分布拉伸为均匀分布，从而提高了低照度图像的对比度。基于GC的方法使用非线性函数来增强低灰度值并保留高灰度值，从而提高了低照度图像的亮度。

整体架构

提出的SMMP-Net的整体架构如图1所示。相应的层级细节、参数和超参数设置见表1。

在输入端，通过两次最近邻下采样操作从原始输入获得两个低分辨率图像。对于原始分辨率的输入，U-Net直接对其进行处理。对于每个低分辨率输入，SMMP-Net首先使用浅层卷积模块提取特征，然后进行融合。

实验设置

数据集。所有实验都在LOLv1 [9]、LOLv2-real [11]和SMID [31]数据集上进行。LOLv1数据集包含500对低照度/正常光照下的图像，其中485对用于训练，剩余的15对用于测试。LOLv2-real数据集包含789对低照度/正常光照下的图像，其中689对用于训练，剩余的100对用于测试。SMID数据集包含20809对短曝光/长曝光的RAW图像，我们将RAW数据转换为低照度/正常光照下的图像。

结论与讨论

本文提出了一种用于低照度图像增强的多输入多输出网络SMMP-Net，它不仅恢复了图像的亮度，还实现了出色的色彩恢复，同时保持了低计算复杂度。SMMP-Net有三个创新设计：基于均值的时空注意力（MSCA）模块、幅度相位变换（MPT）操作符和频率损失函数。MSCA模块采用串行设计，包括一个时空注意力块和一个通道

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。