《Optics & Laser Technology》：A joint approach to low-light image enhancement at high ISO: Denoising with retinex-based restoration
编辑推荐：
低光条件下高ISO设置带来的噪声与细节损失问题，传统方法难以平衡降噪与细节保留。本文构建首个涵盖高ISO低曝光、低ISO低曝光、低ISO正常曝光的三重曝光低光图像数据集，提出融合监督降噪与Retinex重建的深度学习框架，通过特征融合与属性优化实现高清晰度与色彩保真度提升。实验证明该方法在PSNR、SSIM等指标上显著优于现有SOTA技术，并保持实时性优势。
Jiahui Xu|Qirun Zhang|Zhengyue Zhuge|Wenguan Zhang|Xiaopan Chen|Tingting Jiang|Yueting Chen|Zhihai Xu|Qi Li
中国浙江省杭州市浙江大学光学科学与工程学院极端光子学与仪器国家重点实验室，310027
摘要
在数字成像中，低光照条件带来了重大挑战，尤其是在具有高实时要求的应用中，例如监控和遥感。在这些应用中，高ISO设置是不可或缺的，但会引入大量噪声，从而降低视觉质量。现有的增强方法往往难以在降噪和细节保留之间取得平衡，导致恢复效果不佳。为了解决这些问题，我们建立了第一个包含三种关键曝光条件的数据集：高ISO低曝光、低ISO低曝光以及低ISO正常曝光，为低光照成像研究提供了全面的基准。基于这个数据集，我们提出了一种新的深度学习方法，该方法结合了监督降噪和基于Retinex的重建技术。通过特征融合和属性细化，该方法有效提高了图像清晰度和色彩保真度，同时恢复了关键细节。广泛的实验评估表明，我们的方法超越了当前的最先进技术（SOTA），在需要高ISO设置的低光照场景中取得了更优的图像质量和更强的性能。
引言
低光照图像增强对于推动数字视觉技术的发展至关重要。通过提高在黑暗环境中的可见性和细节感知能力，它使成像系统在监控、自主导航和工业检测等领域的可靠性得到提升。然而，在低光照条件下捕获的图像通常会遭受严重退化，包括噪声、对比度降低和细节丢失[1]。这个问题在便携设备的实时成像中尤为明显，因为高ISO设置和短曝光时间会加剧噪声，进一步降低场景清晰度。这类图像的特点是信号微弱且噪声严重，不仅影响人类感知，还阻碍了下游视觉任务的成功率，如物体检测[2]、[3]和语义分割[4]、[5]，因此实现有效的噪声抑制和忠实细节保留面临重大挑战。
已经提出了多种方法来处理图像噪声。传统技术，如空间滤波[6]、总变分（TV）正则化[7]和稀疏表示[8]，在降噪方面取得了显著成果。然而，这些方法通常受到手动参数调整的需求和特定噪声模型的依赖性的限制。近年来，基于深度学习的方法作为强大的降噪工具应运而生[9]、[10]、[11]、[12]。通过从大型数据集中学习复杂的噪声分布，这些方法提供了精确且基于内容的噪声去除，提高了效率和鲁棒性。尽管在受控环境中的性能优越，但基于深度学习的算法仍面临挑战，包括高计算需求、对训练数据分布的敏感性以及适应现实世界噪声的能力不足，尤其是在极端条件下。
与图像降噪不同，低光照增强旨在在不良照明条件下恢复亮度和细节。早期方法，如直方图均衡化和伽马校正，往往难以处理局部光照变化，并且容易引入影响整体质量的伪影[13]。相比之下，基于Retinex的方法通过将图像分解为反射率和照度成分来进行增强处理，从而实现两者的联合优化，以改善视觉质量[14]、[15]。而最近的最先进方法主要集中在开发直接将低光照图像映射到增强后图像的监督式深度学习模型[16]、[17]、[18]、[19]、[20]、[21]。虽然这些方法取得了令人印象深刻的结果，但它们严重依赖于大规模标注的数据集，并且在不同拍摄条件下往往无法保持鲁棒性。此外，增强后的输出可能仍存在颜色失真和不自然的细节放大等问题，这影响了它们在进一步应用中的有效性。
在高ISO设置下的低光照增强中，主要挑战是高质量数据集的稀缺性和鲁棒的恢复算法的缺乏。在本文中，我们介绍了一个新的基准数据集，该数据集包含了在三种不同条件下捕获的多样化场景：高ISO低曝光、低ISO低曝光以及低ISO正常曝光。这个数据集涵盖了广泛的实际低光照环境，为研究噪声特性和开发有效的恢复算法提供了坚实的基础。基于这个数据集，我们提出了一种结合监督降噪和基于Retinex增强的新方法。经过轻量级降噪模块处理后，图像特征被融合，并传递到基于照度的Transformer网络中生成最终输出。通过这些组件的端到端优化，所提出的方法在高ISO低光照图像中实现了更好的可见性和一致的保真度。实验结果表明，我们的方法在定量指标和感知质量方面显著优于现有的SOTA方法。此外，该方法在各种低光照场景中表现出强大的性能，凸显了其在具有严格实时要求的实际应用中的潜力。
本文的主要贡献如下：
•一个用于低光照图像增强的新基准数据集，涵盖了在三种不同曝光条件下捕获的多样化真实世界场景。
•一个独特的深度学习框架，它将高效的降噪模块与基于Retinex的Transformer网络相结合，有效提高了在高ISO下拍摄的低光照图像的可见性并恢复了细节。
•广泛的实验表明，所提出的方法在定量指标和视觉感知方面优于SOTA技术，取得了显著进步。
章节片段
三重曝光数据集
为了解决高ISO下的低光照增强问题，我们创建了三重曝光低光照（TELL）数据集。这个室内数据集包含500对图像，每对图像的分辨率为6000×4000像素，使用佳能80D相机拍摄。这些图像是通过拍摄来自公开数据集的高质量海报获得的。如图1所示，所选场景涵盖了各种复杂的室内和室外场景，确保了
实验与分析
在本节中，我们通过与其他代表性方法的比较和详细的消融研究，对所提出的网络在TELL数据集上的性能进行了全面评估。
结论
在本文中，我们提出了一种用于增强在高ISO设置下捕获的低光照图像的新深度学习框架。为了实现这一方法，我们构建了一个包含三种曝光设置的专用数据集，为低光照成像研究提供了宝贵的资源。基于Retinex的Transformer架构，我们的方法结合了监督降噪模块，形成了一个统一的流程，有效解决了噪声抑制和可见性问题
CRediT作者贡献声明
Jiahui Xu：撰写——原始草稿、软件、方法论、数据管理。Qirun Zhang：方法论、数据管理。Zhengyue Zhuge：撰写——审阅与编辑、软件。Wenguan Zhang：可视化、验证。Xiaopan Chen：调查、数据管理。Tingting Jiang：调查。Yueting Chen：资源协调。Zhihai Xu：项目管理、资金获取。Qi Li：监督、资源协调、资金获取。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
该项目得到了宁波市2023Z053关键研究与发展计划和杭州西部科技创新走廊专项基金511308-X02402的支持。我们感谢浙江大学光学工程设施平台的Meijuan Bian提供的仪器支持。
