通过结合多尺度注意力机制和傅里叶变换的低光照图像增强技术

《Expert Systems with Applications》：Low-light Image Enhancement via Multi-scale Attention combined with Fourier Transform

低光照图像增强方法MSFT结合傅里叶变换与多尺度注意力机制，通过频域振幅谱融合和跨尺度自注意力模块实现亮度和纹理协同优化，在多个数据集上显著优于现有方法。

　　

杜文斌|姜龙|曹 Zhu

教育部能源化工过程智能制造重点实验室，华东理工大学，上海，200237，中国

摘要

低光图像增强（LLIE）旨在改善在多样且要求苛刻的低光照环境中的图像质量和清晰度。然而，现有的基于深度学习的LLIE方法难以准确捕捉真实世界的照明情况并恢复纹理细节，主要是因为它们的算法优势尚未得到充分利用。为了解决这些问题，我们提出了一种基于监督的频域深度学习网络用于LLIE，称为结合傅里叶变换的多尺度注意力（MSFT），该网络采用U形单阶段架构，通过多尺度注意力将低光图像的指导信息融入网络。我们进一步将先验通道的幅度信息与低光图像的信息在MSFT的自创建模块中融合，并在整个网络中进行多尺度指导。随后，为了更好地增强微弱特征（如精细内容和纹理），并在解码阶段更好地融合全局上下文置信度，我们分别引入了多形状协同注意力和轻量级网络，有效地将高维空间中的信息整合到包含丰富纹理信息的最佳特征空间通道中。在LOL、SID、SMID和SDSD数据集上进行的广泛实验表明，MSFT的性能显著优于现有的最先进方法。例如，与Retinexformer相比，我们的方法在SDSD室外数据集上实现了高达41.76分贝的峰值信噪比，结构相似度指数提高了13.80%。

引言

低光图像增强（LLIE）致力于获得高质量的正常光照图像，以用于观察和下游任务，例如夜间图像语义分割（Dai, Gool, 2018, Memon, Hashmani, Junejo, Rizvi, Raza, 2022, Tan, Huang, Chen, Qu, Li, 2025）、暗物体检测（Sasagawa, Nagahara, 2020, Yin, Yu, Fei, Lv, & Gao）、暗脸检测（Wang, Jiang, Jiang, Liu, 2024, Wang, Yang, & Liu）以及夜间物体幻觉（Qadar, Nie, Tan, Zhang, Sun, Zhifeng, 2020, Zhang, Lee, 2024）。在现实世界中，低光图像的获取通常伴随着具有挑战性的环境条件，如室内夜间照明不足和室外场景亮度的剧烈变化（Rea, Mou, & Bullough, 2016），这导致亮度退化（Park, Park, & Chang, 2021）和图像严重模糊（Zhang et al., 2018）。低光图像的视觉增强不仅需要提高图像的亮度和对比度（Patel & Bhandari, 2019），还需要有效的纹理技术来增强低光背景区域的细节。然而，传统的LLIE技术，例如直方图均衡化方法（Lee, Lee, Kim, 2013a, Liu, Xu, Yang, Fan, Huang, 2021a）、基于Retinex的优化方法（Parthasarathy, Sankaran, 2012, Wu, Weng, Zhang, Wang, Yang, Jiang, 2022）以及各种手工制作的传统方法（Fu, Zeng, Huang, Zhang, Ding, 2016, Wang, Bovik, Sheikh, Simoncelli, 2004），这些方法严重依赖手动调整，既费力又耗时。这些方法通常忽略图像黑色区域中缺失信息的处理，无法满足人类视觉的需求，甚至可能损害模型的性能。

幸运的是，深度学习的快速发展促进了众多基于深度学习的LLIE模型的实现。这些模型主要使用深度神经网络（Schmidhuber, 2015）框架来学习从正常光照图中操纵亮度、颜色、色调和对比度信息，以改善图像质量。然而，主流的深度学习方法（Jiang, Zheng, 2019, Lore, Akintayo, Sarkar, 2015, Zhang, Guo, Huang, & Wen）在根据图像中存在的纹理信息自适应调整亮度分布方面存在局限性，因为它们没有考虑到纹理信息的区域分布。一些方法在各个图像区域之间整合了语义信息。例如，Wu等人（Wu et al., 2023）提出了一个基于语义的知识引导框架，以帮助LLIE模型从语义分割模型中学习语义先验。然而，这些方法通常需要大量的计算资源。存在各种动态增强方法，可以在不依赖语义先验的情况下提高图像像素的感知质量。其中，关注信噪比（SNR）的技术因其有效性而受到广泛关注（Xu, Wang, Fu, & Jia, 2022），它有效地增强了图像中的低SNR区域，并实现了空间可变的增强。尽管SNR感知优化在实现高信噪比方面表现出色，但它无法捕捉深层信息，也无法充分增强包含极光前景元素的背景区域。

为了解决这些问题，扩散模型在生成高度真实和细节复杂的图像方面表现出卓越的能力。大多数基于扩散的网络（Hou, Zhu, Hou, Liu, Zeng, Yuan, 2024, Jiang, Luo, Fan, Han, Liu, 2023）将低光图像视为图像生成或图像恢复任务，采用带有大规模配对数据的监督学习方法来恢复详细的图像纹理并优化对比度。因此，通常在扩散模型中嵌入预网络，以获得需要预先修复的图像（Feng, Hou, Lin, Zhu, Wu, Dong, Sun, Yan, Zhang, 2024, Zhang, Li, Zhang, Wang, 2025）。例如，Jiang等人（Jiang, Luo, Liu, Han, & Liu, 2025）提出了一个无监督生成框架LightenDiffusion，它将低光图像的反射率图和正常光照图像的照明图作为输入到扩散模型中进行无监督恢复。Zhou等人（Zhou et al., 2024）首先提出了一种流程，指导VLM评估低光图像的各种视觉属性，量化评估以生成全局和局部感知先验。然而，这些模型高度依赖于预训练网络获得的先验知识，而基于扩散模型的恢复过程通常依赖于假设的退化过程。这些限制了对基于扩散的方法在现实世界低光环境中的实际应用的挑战，因为在这些环境中退化的确切性质往往不明确，无法准确建模。这限制了它们在现实场景中的更广泛应用。

为了突出低光背景的纹理细节，同时确保精确的照明恢复，我们提出了一种结合傅里叶变换的多尺度注意力（MSFT）方法。这种方法利用了频域幅度编码主要亮度信息，而相位分量与噪声和结构细节相关的观察结果，如图1所示。图1(a)显示了通过FFT分解的正常光照图像的幅度谱，该幅度谱逐像素添加到低光图像的幅度谱中。图1(b)展示了使用与图1(a)相同的分解和添加方法得到的正常光照图像和低光图像的相位叠加。然后通过逆傅里叶变换重建两幅图像。可视化结果显示，前者成功实现了类似于正常光照条件下的亮度增强效果，这为我们提供了坚实的现实基础，表明我们可以同时防止过曝和增强暗淡的背景。为了使算法成为一个可移植的独立系统，其指导信息是通过将最大灰度值先验图与低光图像通道连接起来构建的，从而形成四通道特征亮度图。基于此，可以根据低光区域的最大灰度值自适应调整增强权重，从而防止过曝和欠曝现象的发生。具体来说，我们设计了一个由傅里叶频率引导变换（FFG-MSA）引导的多头自注意力模块，该模块将四通道特征亮度图的幅度添加到低光图像的空间域幅度中作为指导信息。此外，由于不同分辨率图像的幅度模式相似，指导信息可以在不同尺度上执行。详细来说，这种指导信息首先在多个通道尺度上进行定向，然后利用即插即用的多形状协同注意力（MSSA）（包括空间和通道协同注意力（SCSA）（Si et al., 2024）机制和多形状注意力（MSA）（Li et al., 2025））来提取最高通道尺度上的深层纹理信息，并最终整合提取的纹理级空间信息进行融合。MSSA结合高维空间中的指导信息提取和其余提取模块具有最大的有效性，因为它不仅可以完全整合多个通道中的稀疏信息并均匀化通道信息密度，还可以有效指导不同语义信息的重新校准，减轻多种语义信息之间的差异。同时，受到IA-LLIE框架（Pan et al., 2024）的启发，我们将不同尺度上的特征亮度图信息与相应尺度上的解码部分信息对齐，以保持增强内容的一致性。我们的贡献总结如下。

• •
  我们提出了一种名为MSFT的方法，这是一个两阶段集成网络，结合了傅里叶变换和CNN-Transformer交叉混合U-net框架。这种混合框架结合了CNN捕捉局部特征的效率和Transformer建模全局上下文的能力，实现了更强大和高效的特征表示。此外，对称的编码-解码结构有助于在准确理解图像的全局上下文和完美重建局部细节之间取得平衡，从而能够高效生成高保真度和细节丰富的结果。此外，为了完全整合高维空间中的离散和稀疏特征，我们在最高维度的单向引导空间中引入了MSSA模块。
• •
  我们设计了一种自注意力机制FTG-MSA，作为嵌入MSFT多个尺度中的核心增强模块。通过结合频域信息，交叉注意力机制可以在增强过程中动态且选择性地从源数据中提取最相关的特征，从而丰富图像内容。我们在五个代表性数据集LOL、SID、SMID和SDSD上进行了广泛实验，并进一步划分了LOL和SDSD数据集的子集。结果表明，我们的方法MSFT优于现有的最先进（SOTA）方法，并表现出强大的泛化能力。

部分摘录

低光图像增强

传统方法。 LLIE旨在改善因光照条件差而质量较差的低可见度图像。传统的低光增强方法主要依赖于伽马校正（Rahman, Rahman, Abdullah-Al-Wadud, Al-Quaderi, Shoyaib, 2016, Veluchamy, Subramani, 2019）、直方图均衡化（Abdullah-Al-Wadud, Kabir, Dewan, Chae, 2007, Cheng, Shi, 2004, Pizer, Amburn, Austin, Cromartie, Geselowitz, Greer, ter Haar Romeny, Zimmerman, Zuiderveld, 1987）和传统

方法

我们的整体架构如图2所示，是一个两阶段的U形框架。详细信息如下：图2(a)展示了MSFT，一个在每个尺度上插入了基于Transformer模块的U形两阶段网络。图2(b)展示了FTG-MSA，它由两个关键组件组成：i) 为低光图像定制的多头注意力机制，以及ii) 低光图像和四通道映射图像的频域幅度谱的融合—这种融合

数据集和实现细节

我们在LOL（v1 (Wei et al., 2018), v2 Real和v2 Synthetic (Yang, Wang, Huang, Wang, & Liu, 2021b)), SID (Chen, Chen, Do, & Koltun, 2019), SMID (Chen, Chen, Xu, & Koltun, 2018), 和SDSD（室内和室外）数据集（Wang et al., 2021a）上评估了我们模型的性能。每个数据集的关键特征总结在表2中

LOL。LOL数据集主要包含分辨率为400×600的室内场景图像。这些图像包含捕获时的固有噪声

未引用的引用

缺少引用图8

消融研究

如表6所示，我们在七个数据集上进行了消融实验，包括Retinex消融、MSSA消融和FTGT消融。

Retinex消融。我们进行了Retinex理论消融实验，研究四通道照明图对MSFT性能的影响。我们移除了初始输入中包含正常光照图亮度信息的第四通道。当应用Retinex理论时，Retinex消融的结果在PSNR方面取得了显著的总体提升

结论

我们提出了一种基于Transformer的方法，结合傅里叶变换用于低光图像增强，该方法在提取注意力权重特征后进行两阶段指导，并在双卷积通道内融合频域信息。我们的方法能够有效增强低光图像的背景细节，同时准确恢复原始照明。此外，我们的方法为构建

CRediT作者贡献声明

杜文斌：调查、形式分析、撰写——原始草稿 姜龙：可视化、资金获取、验证 曹 Zhu：概念化、监督、撰写——审阅和编辑

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。