SFSNet：一种用于低光照图像增强的空间-频率-语义三域融合网络

《Neural Networks》：SFSNet: A Spatial-Frequency-Semantic Tri-Domain Fusion Network for Low-light Image Enhancement

　　

• •
  据我们所知，这是第一个在统一的弱光增强流程中明确整合了空间、频率和语义领域的框架。
• •
  AIENet具备可学习的伽玛参数，用于自适应的全局光照建模。
• •
  DNRNet执行空间-频率去噪，以抑制噪声并保留细节。
• •
  SGNet使用预训练的CLIP模型进行语义引导的颜色调整。
• •
  与最先进的LLIE方法相比，具有竞争力的增强性能。

引言

弱光图像通常存在可见度差、颜色失真和噪声退化的问题（Li等人，2026年；Zhang等人，2025年），这不仅损害了人类的视觉感知，还遮挡了对高级任务（如物体检测He等人，2025年；Hou等人，2024年；Ma等人，2023年；Kim等人，2022年；Feng等人，2018年；Han等人，2024年）至关重要的细节。增强这些图像需要在亮度校正、噪声减少和颜色保真度之间进行仔细平衡，这在计算机视觉中是一个具有挑战性但又至关重要的问题。传统方法（如直方图均衡化Cheng和Shi，2004年；伽玛校正Guan等人，2009年）严重依赖于参数调整，往往无法捕捉像素级和跨通道的关系，从而导致伪影和模糊的纹理。在这些传统技术中，基于Retinex的方法（Fu等人，2015年；Land，1977年）通过将图像建模为反射率和照度的组合而脱颖而出，其中反射率在照明条件下保持不变，而照度代表光强度的变化。

传统方法通常假设输入图像没有噪声和颜色失真。这种过于简化的假设使它们容易出现明显的噪声或颜色偏移，特别是在现实世界的弱光场景中，这样的假设并不成立。最近的深度学习模型已将基于Retinex的分解集成到了端到端框架中（Cai等人，2023年；Chen等人，2018年；Fu等人，2015年；Shen等人，2017年；Zhang等人，2019年）。例如，Fu等人（2015年）提出了一个基于Retinex的概率模型，使用贝叶斯推理在线性域中联合估计照度和反射率。Shen等人（2017年）设计了一个受多尺度Retinex理论启发的端到端卷积神经网络。Wei等人（2018年）将弱光图像分解为反射率和照度，通过多尺度编码器-解码器网络增强照度，然后以数据驱动的方式重建增强后的图像。KinD方法（Zhang等人，2019年）将弱光图像增强定义为基于Retinex的分解任务，并提出了一个包括层分解、照度引导的反射率恢复和灵活的照度调整的三阶段框架。

尽管上述方法在弱光增强任务中取得了有希望的改进，但它们仍然面临两个主要挑战：1）细粒度细节丢失：重建过程受到高层次语义线索不足的影响，导致纹理和结构伪影的失真，特别是在结构复杂的区域。如图1的第一行所示，一些方法（如Retinexformer（Cai等人，2023年）和CIDNet（Yan等人，2025年）的恢复结果仍然存在明显的残余阴影和模糊的边缘。2）对比度低：一些模型依赖于不准确的照度估计模块，导致弱光图像的全局增强不平衡。如图1的第二行所示，其他方法仍然表现出曝光不足。相比之下，我们的方法保留了原始物体的清晰度，有效抑制了平区域的噪声，并实现了足够的照度恢复。

在这项研究中，我们提出了一个三域图像增强框架，即空间-频率-语义三域融合网络（SFSNet），它依次执行照度估计、双域去噪和语义引导的细化。具体来说，为了解决第一个问题，我们引入了一个自适应照度估计网络（AIENet）来捕获第一阶段的全局光照分布。考虑到弱光图像中空间不均匀的照明，AIENet使用可学习的结构来自适应地估计全局照明。它由一个多尺度特征提取器、一个可学习的照度参数和一个注意力模块组成。其中，核心的可学习参数主要用于调节全局亮度。然而，全局亮度分布的调整可能在一定程度上放大噪声。因此，在第二阶段，我们引入了一个双域去噪网络（DNRNet），使用卷积滤波器进行双域去噪以抑制空间伪影，并使用小波基分解来消除残余的高频噪声。此外，为了解决第二个问题，我们在第三阶段提出了一个基于预训练CLIP模型（Radford等人，2021年）的语义引导网络（SGNet）。SGNet在语义嵌入空间中调整增强后的图像与原始的弱光输入，从而确保语义一致性并提高颜色保真度。主要贡献可以总结如下：

1.

我们提出了一个三域弱光图像增强框架SFSNet，它依次在空间域进行照度估计，在空间域和频率域进行协作去噪，并进行语义引导的细化，使增强后的图像更接近真实世界的外观。

2.

我们设计了一个具有可学习伽玛参数的AIENet，能够在复杂照明条件下动态建模全局照明，学习适当的亮度调整，并增强局部对比度。

3.

我们开发了一个DNRNet，它依次执行空间域和频率域的去噪，有效抑制复杂弱光图像中的噪声，同时保留细节。

4.

我们引入了一个基于预训练CLIP视觉特征的SGNet，在语义嵌入空间中对增强后的图像和原始弱光输入进行语义调整，提高语义一致性并增强颜色保真度。

章节片段

传统的弱光图像增强

传统的弱光图像增强方法可以分为三类：基于直方图的方法（Ibrahim和Pik Kong，2007年；Kim，1997年；Pisano等人，1998年）；非线性变换技术（Huang等人，2013年）；基于Retinex的方法（Cai等人，2017年；Fu, Liao, Zeng, Huang, Zhang, Ding，2015年；Fu, Zeng, Huang, Zhang, Ding，2016年；Guo等人，2017年）。对于基于直方图的方法，Kim等人（1997年）提出了保持亮度的方法。

提出的方法

本节详细描述了所提出的三域融合网络SFSNet，该网络采用三阶段框架进行弱光图像增强。首先，我们在第3.1节中介绍了SFSNet的概述。其次，我们在第3.2节中介绍了用于空间域照度估计的自适应照度估计网络。然后，我们在第3.3节中设计了用于空间-频率去噪的双域去噪网络。

实验结果

本节提供了对所提出的SFSNet的全面实验评估。首先，在第4.1节中提供了实验细节，包括数据集、评估指标、实验设置和比较方法。然后，在第4.2节中对最先进的方法进行了定量和定性比较。为了进一步验证SFSNet的鲁棒性，我们在第4.3节中评估了其在真实世界数据集上的泛化能力。此外，还进行了消融研究。

结论

在这项研究中，我们提出了SFSNet，这是一个用于弱光图像增强的空间-频率-语义三域融合网络。与主要关注照度调整或空间域恢复的现有方法不同，SFSNet通过共同解决三个关键挑战来提升弱光图像增强：不准确的照度估计、放大的噪声伪影和不足的语义一致性。具体来说，提出的AIENet自适应地估计照度并

CRediT作者贡献声明

Mingtong Chen：撰写——原始草稿，软件，项目管理，方法论，调查，概念化。Zhida Ren：撰写——原始草稿，可视化，方法论，数据管理。Xiaowen Shi：撰写——原始草稿，软件，调查，形式分析。Huihong Huang：可视化，调查。Yongqiang Tang：撰写——审阅与编辑，验证，监督，资金获取。Wensheng Zhang：验证，资源。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

致谢

我们感谢审稿人对这篇文章的审阅工作。本工作得到了中国国家自然科学基金（62476274，62394330，U22B2048）、广州市基础研究计划下的市政府-大学（研究所）与企业联合资助项目（2024A03J0395）以及广州市科技项目（2024D03J0010）的支持。

Mingtong Chen|Zhida Ren|Xiaowen Shi|Huihong Huang|Yongqiang Tang|Wensheng Zhang