混合深度学习与GAN的弱光图像增强方法

《Scientific Reports》：HEA-GAN for high-fidelity low-light image enhancement and degradation-aware image augmentation using a hybrid deep learning and GAN framework

　　

摘要

视力不佳和弱光环境对监控、自动驾驶、生物医学成像和遥感等下游计算机视觉系统的运行会产生不利影响。直方图均衡化、基于Retinex的方法和人工设计的去噪方法是经典的增强方法，但这些方法往往无法保留高频结构，并且可能引起色彩伪影或其他不良伪影。在过去十年中，深度学习和生成对抗网络（GANs）已成为弱光图像增强、修复和合成数据增强的有效范式。本文提出了一种混合深度学习与GAN的模型，能够提升弱光或低质量图像的图像质量，并具备控制光照、噪声和模糊程度的能力，从而真实地扩充训练数据。随后，我们介绍了所提出的架构和损失函数设计以及训练策略，并在概念上将其预期性能与现代先进方法在LOL、SID、ExDark和DICM等基准数据集上的表现进行了比较，评估指标包括PSNR、SSIM、LPIPS以及下游检测任务。近期的实验结果表明，混合GAN训练模型相较于卷积基础模型在PSNR上可额外提升1–3 dB，SSIM上可额外提升0.02–0.05，同时能够生成更真实的纹理和更鲁棒的增强样本。所提出的结构是一个概念框架，可用于苛刻弱光条件下端到端的增强与增强系统。