UQuadCGAN:一种基于不确定性驱动的、具有循环一致性的GAN模型,该模型结合了通道-空间引导注意力机制,用于低光照图像增强
《Neurocomputing》:UQuadCGAN: Uncertainty-driven cycle-consistent GAN with channel-spatial guided attention for low-light image enhancement
【字体:
大
中
小
】
时间:2026年05月16日
来源:Neurocomputing 6.5
编辑推荐:
关静硕|齐娜|朱青|陈亮
北京工业大学计算机科学学院,北京,100124,中国
**摘要**
低光照图像增强是一项计算机视觉任务,旨在提高在光照条件较差的场景中捕获的图像的视觉感知质量。目前,基于深度学习的低光照增强方法能够获得高质量的增强图像。然而,这些方法并未考
关静硕|齐娜|朱青|陈亮
北京工业大学计算机科学学院,北京,100124,中国
**摘要**
低光照图像增强是一项计算机视觉任务,旨在提高在光照条件较差的场景中捕获的图像的视觉感知质量。目前,基于深度学习的低光照增强方法能够获得高质量的增强图像。然而,这些方法并未考虑不同区域的统计特性,如边缘、结构和纹理。图像区域的不确定性没有得到很好的表征和利用。此外,大多数现有方法仅关注全局照明质量的提升,这往往会导致纹理失真、噪声和色彩偏移。为了解决这些问题,我们提出了一种新颖的不确定性驱动的循环一致GAN模型(UQuadCGAN),该模型结合了通道-空间引导注意力机制(Channel-Spatial Guided Attention),以无监督的方式提升低光照图像增强的性能。UQuadCGAN首先根据Retinex理论将未配对的低光照/正常光照图像分解为反射率和光照两个组件。然后,通过不确定性约束引导的生成对抗网络来增强光照组件,并通过方差估计进一步改善增强图像的质量。此外,我们还引入了通道-空间引导注意力网络(CSGAN)来解决色彩失真和噪声问题,从而使网络更好地保留纹理细节。广泛的实验结果表明,UQuadCGAN在视觉质量和定量指标方面优于现有方法。
**引言**
由于客观环境因素,图像采集过程中获得的低光照图像常常存在细节丢失和对比度低等问题[1]。作为一项低级计算机视觉任务,低光照图像增强(LLIE)不仅能够提升图像的主观视觉感知,还在后续的高级视觉任务中发挥着关键作用,如语义分割[2]、[3]、人脸识别[4]、[5]和对象检测[6]、[7]。现有的LLIE方法主要分为两类:传统方法[8]、[9]、[10]和基于深度学习的方法[11]、[12]、[13]。传统方法主要包括直方图均衡化和Retinex方法。然而,这些方法大多依赖于复杂的人工先验或特定的统计模型,适应性较差且灵活性不足,容易导致明显的色彩失真、噪声、过度增强或增强不足。最近,基于深度学习的方法由于从大量数据中获得的鲁棒先验和深度神经网络(DNN)的强大学习能力而取得了显著进展,通常在性能上优于传统方法。
大多数现有的LLIE方法依赖于配对数据集进行训练。尽管这些方法取得了良好的结果,但在现实世界场景中同时获取配对数据具有挑战性。为了解决这个问题,已经提出了一些基于无监督学习GAN的方法[13]、[14]、[15]来处理未配对数据集。EnlightenGAN[13]利用全局-局部鉴别器、自编码感知损失和注意力机制来提升低光照图像增强的性能。此外,[14]提出的两阶段GAN框架结合自适应内容损失,将低光照图像增强问题明确分解为光照增强和噪声抑制两个子任务,其中提出了光照感知去噪模型来抑制不同区域的噪声。另外,UT-GAN[15]利用AGM-Net网络减少图像噪声,并通过文本注意力模块TAM提高文本检测精度。然而,大多数无监督学习方法仅关注保留纹理细节和去除噪声,而没有考虑不同区域照明的多样性。
CycleGAN[16]在风格转换任务中表现出色,尤其是在未配对数据集上。受此启发,可以直接利用CycleGAN来解决未配对数据集的LLIE问题。然而,由于CycleGAN旨在捕捉和转换整体视觉风格而非内容特定特征,在学习两个不同域之间的映射时,转换后的图像可能会出现不自然的色彩变化,重要的纹理细节可能会丢失或模糊(见图1(b))。因此,与直接应用CycleGAN于LLIE任务相比,我们提出的方法采用了先分解后增强的策略,即首先根据Retinex理论将图像分解为反射率和光照两个组件。这种策略不仅解决了光照不足的问题,还能有效保护反射率组件图像中的重要信息不被破坏(见图1(c))。
此外,由于低光照图像不同区域的光照分布不均匀,某些区域较亮(见图1(d)和(e)中的红色区域),而其他区域较暗(见图1(d)和(e)中的蓝色区域),应用统一的光照增强可能导致某些非局部区域过曝或欠曝。因此,我们还将不同区域照明的统计特性整合到方法中,以实现自适应光照增强。值得注意的是,宁等人[17]已将不确定性驱动机制成功应用于单图像超分辨率(SISR)任务。为了充分利用图像区域的区域感知性和不确定性以实现更有效的光照增强,本文将不确定性估计 incorporated 到整体框架中。
此外,图像的反射率组件包含丰富的内在纹理和色彩信息。然而,分解低光照图像后得到的反射率组件图像通常含有大量噪声。以往基于深度学习的去噪方法主要依赖于卷积神经网络(CNN)。由于CNN的局部感受野限制,这些模型在捕捉长距离依赖性和非局部相似性方面存在不足。因此,使用CNN直接去噪反射率图像可能导致色彩失真和纹理细节丢失。作为替代方案,Transformer[18]在捕捉长距离依赖性方面具有优势,并在各种计算机视觉任务中表现出出色性能。基于Transformer的低光照增强方法[19]、[20]、[21]进一步提升了性能。然而,这些方法主要关注整体图像光照增强,并未专门解决反射率组件中的噪声和纹理细节丢失问题。因此,Transformer在低光照图像增强任务中的噪声抑制和细节恢复潜力尚未得到充分探索。为了进一步探索Transformer在低光照增强任务中的潜力,特别是在去噪和保留反射率组件纹理细节方面的潜力,我们提出了一种名为通道-空间引导注意力网络(CSGAN)的新模块,以利用Transformer捕捉长距离依赖性的优势以及CNN提取低级特征和增强局部性的优势。
**总体贡献**
我们的主要贡献如下:
- 我们提出了一种无监督的低光照图像增强方法,在确保图像质量的前提下解决了获取配对数据集的挑战。
- 我们引入了不确定性驱动的约束,提出了基于CycleGAN的双步训练的新型UQuadCGAN模型。此外,我们还提出了通道-空间引导注意力网络(CSGAN),以在去噪过程中更好地保留色彩和纹理细节。
- 实验结果表明,我们提出的UQuadCGAN在主观和客观质量方面均优于现有方法。
**初步版本**
本工作的初步版本已作为会议论文发表[22]。在这项工作中,我们在以下几个方面充分改进了新颖性、方法论和实验:
1) 我们结合了基于Retinex的分解和基于CycleGAN的光照增强,实现了端到端的无监督训练。
2) 我们进一步提出了用于反射率组件的通道-空间引导注意力网络,在去噪过程中更好地保留纹理细节,并进一步提升增强图像的质量。
3) 我们将评估扩展到更多真实世界和合成数据集,以证明所提出的UQuadCGAN方法的有效性。
**本文结构**
第2节简要总结了与所提方法相关的研究。第3节详细介绍了所提方法。第4节展示了与其他最先进方法的实验结果,并对关键组件进行了消融研究。第5节总结了本研究。
**相关工作**
在本节中,我们简要介绍了一些关于低光照图像增强、计算机视觉中的不确定性以及Vision Transformer的相关工作。
**方法**
在本节中,我们提出了用于LLIE的不确定性驱动的循环一致GAN模型UQuadCGAN,包括其详细信息和损失函数。
**实现细节**
我们在NVIDIA RTX 3090 GPU上使用PyTorch实现了该框架。模型使用Adam优化器进行训练,每步训练若干 épochs,批量大小为。学习率最初设置为 ,然后在训练过程中线性衰减到 。对于损失函数的正则化参数,我们对每个权重进行了广泛的搜索范围测试,同时监控增强图像的视觉质量和定量指标。最终配置如下:
**讨论**
在本研究中,我们提出了UQuadCGAN,这是一个结合Retinex理论、不确定性驱动的循环一致对抗学习和通道-空间引导注意力的无监督低光照图像增强框架。实验结果在视觉质量、纹理保留和色彩保真度等多个基准测试中显示出最先进的性能。这些改进源于两个关键设计:
(i) 不确定性引导的光照增强机制能够实现区域感知。
**结论**
在本文中,我们提出了一种名为UQuadCGAN的新型低光照增强模型,以无监督的方式恢复图像效果。我们将Retinex模型集成到循环一致的生成对抗网络中以实现低光照增强,施加不确定性约束以增强分解后的光照组件,并提出了通道-空间引导注意力网络(CSGAN)来去噪反射率组件并保留纹理细节。
**作者贡献声明**
关静硕:撰写 – 审稿与编辑、撰写 – 原初草稿、可视化、验证、软件开发、方法论、数据管理、概念化。
齐娜:撰写 – 审稿与编辑、验证、项目监督、方法论、研究调查、资金获取、概念化。
朱青:项目监督、项目管理、研究调查、资金获取。
陈亮:撰写 – 审稿与编辑。
**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
关静硕于2019年获得北京工业大学数字媒体技术学士学位,目前在北京工业大学计算机科学学院攻读软件工程硕士学位。她的研究兴趣包括深度学习中的反问题、计算机视觉、多媒体和低光照图像增强。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号