SG-MSLE:面向低光图像增强的语义引导多阶段优化框架

《Optics & Laser Technology》:SG-MSLE: Semantic-guided multi-stage optimization framework for low-light image enhancement

【字体: 大 中 小 】 时间:2026年10月23日 来源:Optics & Laser Technology 4.6

编辑推荐:

   摘要在复杂的低光照环境中,图像通常遭受严重的视觉退化,表现为显著的颜色偏移和关键语义细节模糊。现有的低光照图像增强(LLIE)方法通常将亮度恢复和颜色校正过程耦合在一起,难以同时保持颜色准确性和高级语义一致性。为解决这一问题,我们提出了一种名为SG-MSLE的新方法,专门用于

  

摘要

在复杂的低光照环境中,图像通常遭受严重的视觉退化,表现为显著的颜色偏移和关键语义细节模糊。现有的低光照图像增强(LLIE)方法通常将亮度恢复和颜色校正过程耦合在一起,难以同时保持颜色准确性和高级语义一致性。为解决这一问题,我们提出了一种名为SG-MSLE的新方法,专门用于解决低光照图像增强中的颜色失真和语义不一致问题。我们将低光照增强重构为一个语义引导的、颜色解耦的多阶段优化框架。具体而言,我们引入HVI颜色空间,实现亮度和颜色的精确独立建模,并结合冻结的FastSAM提供的语义先验,提升增强结果的语义一致性。我们的整个增强流程是一个统一的生成对抗网络,可以进行端到端优化。通过特征空间一致性约束和区域语义感知评估机制,该框架强制增强图像在语义特征和局部颜色分布上与真实图像对齐。大量实验表明,SG-MSLE极大地缓解了常见的颜色饱和度偏差和区域伪影,在颜色自然性和语义一致性方面取得了显著优势。最终,所提方法在多个基准数据集(包括LOLv1和LOLv2)上达到了最优或次优性能。

引言

在极低光照条件下,人类视觉系统拥有强大的全局和语义感知能力,能够实现稳定的场景识别。然而,受限于传感器的物理特性,普通设备拍摄的暗光图像通常伴随着严重的亮度不足、噪声放大和颜色偏移。这种底层退化不仅破坏了视觉质量,还导致严重的结构碎片化和语义失真,使得低光照图像增强(LLIE)成为一个极具挑战性的研究课题[3]、[11]、[22]、[26]、[36]。
为应对LLIE的挑战,现有方法通常遵循以像素级亮度恢复为中心的设计范式。早期的Retinex理论方法试图通过物理规则恢复图像光照[18]、[20];近年来,基于CNN或Transformer的深度学习模型将该任务简化为从低光照到正常光照的端到端映射,在公开数据集上取得了较高的客观评价指标(如PSNR)[6]、[10]、[17]、[30]、[32]、[33]、[50]、[51]、[52]、[53]、[64]、[65]、[69]。然而,这种亮度优先的策略在处理真实复杂场景时存在两大主要局限性[4]、[28]、[61]。第一是颜色失真,亮度拉伸会扰乱RGB通道比例,导致颜色偏移。第二是语义不一致,由于缺乏高级语义先验的引导,模型容易产生结构伪影或边缘模糊,导致增强结果偏离真实场景的语义特征分布。
颜色失真源于亮度和色度的深度耦合。在RGB空间中,调整亮度分量会改变颜色向量的比例,触发局部颜色偏移。为缓解这一问题,部分研究尝试引入HSV或LAB等颜色空间[12]、[24]。然而,这些空间大多依赖固定映射,难以动态应对非均匀光照退化[5]、[14]、[15]、[25]、[44],且容易引入新的颜色伪影。尽管近期提出的HVI空间通过物理建模实现了亮度-颜色分离[58]、[59],但现有工作大多局限于底层像素重建,缺乏对全局和局部颜色分布的深度约束。此外,语义不一致主要表现为结构逻辑的中断;在极低光照图像中,关键边缘往往淹没在严重噪声中[57]。由于缺乏显式语义引导和区域感知机制,传统模型难以区分真实纹理和退化噪声,产生错误的结构伪影或内容位移[16]、[27],从而无法保持原有的几何拓扑和局部语义一致性。
基于上述观察,我们提出了一种语义引导的多阶段低光照增强框架(SG-MSLE)。该框架被明确重构为一个协同优化过程[39]、[55]、[62],由颜色解耦增强、语义特征对齐和区域细化感知三个阶段组成,从根本上克服了传统方法中亮度、颜色和结构隐式耦合所带来的局限性。图1中的定量比较进一步证明了我们的优越性,我们的方法在配对数据集的全参考评价指标(PSNR、SSIM、LPIPS)和真实自然数据集的无参考感知指标(NIQE、BRISIQUE)方面均取得了显著优势。具体而言,SG-MSLE包含以下三个核心处理阶段:
首先,为解决颜色偏差和通道串扰问题,模型将输入图像转换为HVI空间[58],并引入尺度自适应可变形注意力(SADA)机制,根据局部光照动态计算采样偏移和权重,实现自适应亮度拉伸和颜色分量的稳定锁定。随后,为校正结构伪影并恢复几何一致性,网络将初步增强的图像和真实图像送入冻结的预训练FastSAM[70]模型,提取高级语义先验[7]、[41]、[47],在特征层面将其高维语义分布对齐,施加结构一致性约束。最后,基于全局语义对齐,架构利用FastSAM生成的语义特征图作为精细化空间引导,结合区域颜色直方图损失深度打磨图像,并构建全局和局部判别器[67]提供严格的对抗监督。这确保了最终输出图像在结构保真度和颜色自然性等多个维度上的高度统一。本工作的贡献总结如下:
  • •
    我们提出了SG-MSLE,一种语义引导的多阶段低光照图像增强框架,将HVI颜色解耦建模与高级语义先验有机融合,实现统一的端到端低光照增强。
  • •
    我们设计了一种双语义感知优化机制,从高级语义特征对齐和区域级细化感知两个层面对增强过程施加约束,有效缓解了结构失真和语义不一致问题。
  • •
    在多个公开基准数据集上的实验结果表明,SG-MSLE在视觉质量、语义一致性和整体真实感方面均取得了显著的性能提升。

章节摘要

传统低光照图像增强

传统的低光照图像增强方法主要依赖手工设计的图像先验或已建立的物理光照模型。早期方法经常使用直方图均衡化(HE)及其自适应变体(如CLAHE),通过像素分布重映射来提高对比度。尽管这些方法有效地提高了可见性,但在非均匀照明区域往往伴随着明显的噪声放大和不自然的亮度。为建模退化过程

方法

为了解决低光照图像增强中亮度和颜色高耦合导致的颜色失真问题,以及现有方法缺乏高级语义引导所引发的局部语义不一致问题,我们提出了一种语义引导的多阶段低光照增强框架(SG-MSLE)。该框架构建了从底层物理光照解耦到高层语义知识对齐的完整优化过程,旨在

实验设置

数据集介绍。LOLv1[50]作为评估所提模型性能的基础数据集,包含500对低光照和正常光照图像,其中485对用于训练,15对用于测试。该数据集中的图像对是通过在真实场景中调整相机曝光参数实际采集的。场景主要聚焦于包含复杂噪声和亮度衰减的室内环境,图像通常为均匀

结论

在本文中,我们提出了SG-MSLE,一种用于低光照图像增强的语义引导多阶段框架。通过集成HVI颜色空间解耦与尺度自适应可变形注意力(SADA)机制,所提方法旨在从物理层面缓解颜色失真和非均匀噪声放大问题。此外,FPAG和RPAE模块利用冻结的FastSAM先验和全局-局部双判别器,缩小了像素级重建与

作者贡献声明

张伟涵(Weihan Zhang):研究方法。袁根纪(Genji Yuan):可视化、监督指导。高兆龙(Zhaolong Gao):调查研究。李金江(Jinjiang Li):监督指导、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本论文所报告的工作。
张伟涵|袁根纪|高兆龙|李金江
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号