基于对抗性噪声生成建模的低光照CMOS传感器图像去噪方法

《Optics & Laser Technology》：Adversarial noise generation modeling-based image denoising method for low-light CMOS sensors

　　

摘要

如今，基于低光CMOS传感器的图像去噪技术在许多与光学信息处理相关的应用领域得到了广泛应用，如计算摄影、安全监控和智能驾驶等。现有的基于深度学习的图像去噪方法通常依赖于大规模、高质量的训练数据集，主流方法通过生成带噪低光图像来合成大量配对训练数据。然而，低光图像中的噪声表现出复杂的统计特性，尤其是与信号无关的噪声，使得使用传统基于物理模型的噪声生成方法难以取得理想的去噪效果。此外，在生成带噪图像上训练的去噪网络在恢复图像细节和保留纹理信息方面仍存在局限性，这限制了它们在真实低光成像环境中的重建精度和视觉一致性。因此，本文提出了一种基于对抗性噪声生成建模的低光CMOS传感器图像去噪方法。一方面，构建了一个频域感知（FDA）对抗性噪声生成模型，以学习和合成具有真实统计特性的与信号无关的噪声。在该模型中，利用FDA判别机制从空间结构和频域分布两个角度联合约束生成的噪声。另一方面，专门设计了一个频域图像去噪网络，称为FD-UNet。该网络对子带频域表示进行端到端建模，并在频域增强分支中引入通道注意力机制，以自适应地加权和调整特征通道。此外，在FD-UNet中集成了残差重建策略，以帮助在有效抑制噪声的同时保留原始图像细节。最后，噪声生成网络和图像去噪网络在统一框架内联合设计，构建了一个完整的低光CMOS传感器图像去噪框架。在公开数据集RLID和LOL上的实验结果表明，与次优方法相比，本文提出的方法在RLID和LOL数据集上分别实现了平均峰值信噪比（PSNR）提升0.34 dB和1.36 dB，以及平均结构相似性指数（SSIM）提升0.0004和0.0028。我们的代码和数据集可在https://github.com/MinjieWan/FD-UNet获取。

引言

基于CMOS传感器的低光成像技术能够在极暗场景中捕获可用的视觉信息，是突破人眼感知极限的一种重要技术手段[1]。随着计算摄影[2]、安全监控[3]和智能驾驶[4]等领域对全天候、高可靠性成像能力的需求不断增加，低光成像在过去几十年中经历了快速发展。然而，由于成像过程中入射光子数量极为有限，低光图像不可避免地受到不同类型噪声的严重干扰，导致信噪比（SNR）较低[5]。因此，深入探索面向低光CMOS传感器的图像去噪方法非常必要。

近年来，得益于深度学习在特征表示方面的强大能力，基于深度学习的低光图像去噪方法在噪声抑制、细节恢复和鲁棒性方面相较于传统算法展现出显著优势，并逐渐发展为该领域的主流研究方向[6]。然而，这类方法通常依赖于大规模、高质量的配对训练数据。在真实低光成像条件下，由于成像硬件的限制和环境的可控性不足，极难构建高质量的低光图像数据集。此外，由于成像传感器的物理特性和成像过程的复杂性，基于深度学习的低光去噪方法仍然难以有效去除结构化噪声。这一现象在很大程度上限制了深度学习方法的发展和实际应用。

基于深度学习的低光图像去噪方法学习从低光带噪图像到正常光照图像之间的复杂非线性映射。然而，收集大规模真实世界噪声-清洁图像对的过程极为繁琐且耗时。更简单的解决方案是生成带噪低光图像以获取更多配对训练数据。现有的噪声生成方法大致可分为基于物理的噪声生成模型和基于深度神经网络（DNN）的噪声生成模型。基于物理的噪声建模[7]、[8]是低光条件下最常用的噪声生成方法。通过分析相机的物理过程，获得不同噪声源的统计分布，并构建每个噪声分量的物理模型。然而，由于不同成像条件下与信号无关的噪声[9]、[10]存在显著差异，不可避免地会出现频域分布异常和明显结构化噪声等问题，使得传统基于物理模型的噪声生成方法难以实现理想的噪声降低效果。基于DNN的噪声建模利用深度生成网络从真实数据集中学习噪声以生成噪声。虽然现有DNN模型凭借其强大的表征能力在原始图像上展现了令人满意的生成结果[10]、[11]，但先前的研究[9]、[12]揭示，它们在处理低光图像时性能会下降。因此，需要对低光环境中的噪声生成问题进行深入的研究。总之，图1展示了使用不同噪声生成方法训练的深度学习网络进行低光图像去噪的结果示例。峰值信噪比（PSNR）和结构相似性指数（SSIM）的数值标注在图1(a)-(e)的左上角。

得益于深度学习的强大计算能力，基于深度学习的低光图像去噪算法展现了显著优势，并在近年来成为主流方法[13]、[14]。然而，在极低光照成像条件下，低光图像通常伴随信噪比极低、细节信息减弱以及结构和纹理退化等问题。由于网络对弱纹理区域的判别能力不足以及对高频细节信息的建模不足，现有方法在生成数据集上训练后，仍难以在真实低光图像去噪任务中平衡噪声去除和细节保留性能，因此在细节重建和纹理信息保留方面存在一定的不足。因此，也需要对深度学习网络中的细节恢复问题进行深入研究。图2展示了使用不同基于DNN的方法进行低光图像去噪的结果示例。PSNR和SSIM的数值标注在图2(a)-(e)的左上角。

综上所述，在低光CMOS图像恢复中，基于深度学习的去噪方法的性能高度依赖于用于训练的噪声-清洁图像对的质量和多样性。此外，噪声生成模型的有效性需要根据其对下游图像恢复任务的贡献进行评估。因此，本文提出了一种基于频域感知（FDA）对抗性噪声生成建模的低光图像去噪方法。一方面，构建了一个FDA对抗性噪声生成模型，以学习和生成具有真实统计特性的与信号无关的噪声。进一步引入频域感知判别机制，从空间结构和频域分布两个方面联合约束生成的噪声，从而提高噪声建模的准确性。另一方面，设计了一个频域去噪网络，即FD-UNet，用于对子带频域表示进行端到端建模。此外，在频域增强分支中采用通道注意力机制，以自适应地加权和调整特征通道。同时，FD-UNet融入了残差重建策略，以进一步帮助保留原始图像细节。最后，我们建立了一个统一的噪声建模和去噪框架，其中提出的FDA对抗性噪声生成模型学习真实的低光CMOS噪声分布，而FD-UNet利用生成的数据进行有效的图像恢复。总之，本研究的贡献如下：

（1）我们提出了一个FDA对抗性噪声生成模型，用于学习和生成具有真实统计特性的与信号无关的噪声。在该模型中，设计了一种频域感知判别机制，从空间结构和频域分布两个方面联合约束生成的噪声。

（2）我们设计了频域去噪网络FD-UNet，通过对子带频域表示进行端到端建模，实现了频域特征的联合学习。在频域增强分支中引入通道注意力机制以自适应地调整特征通道，并结合残差重建策略，从而在实现有效去噪性能的同时保留图像细节。

（3）基于定量评价指标（包括PSNR和SSIM）的实验结果表明，在RLID和LOL数据集上，本文提出的方法优于现有方法，与次优方法相比，平均PSNR提升分别为0.34 dB和1.36 dB，平均SSIM提升分别为0.0004和0.0028。

本文其余部分组织如下：在第2节中，我们介绍了低光噪声生成建模和图像去噪方法的相关工作；在第3节中，我们进一步介绍了低光CMOS传感器中噪声的产生机制；在第4节FDA对抗性噪声生成建模和第5节频域去噪网络中，我们分别详细阐述了FDA对抗性噪声生成建模和频域去噪网络FD-UNet；在第6节中，详细报告了定性和定量实验结果；在第7节中，讨论了本文提出的方法与相关方法的差异；在第8节中，总结并得出本文的主要结论。

章节片段

相关工作

总体而言，低光图像噪声生成建模主要分为基于物理的模型和基于DNN的模型，而图像去噪方法主要分为传统方法和基于深度学习的方法。

预备知识

对于CMOS传感器生成的原始图像，从入射光子到数字值的原始图像信号D的形成过程可以建模如下[15]：

D = KI + N

其中，K表示整个系统的增益，I表示由场景辐射激发的光电子数，N表示由光或相机物理引起的各种噪声源的总和。

由于CMOS的各种物理限制，噪声可能来自各种来源。原始图像中的噪声可分为FDA对抗性噪声生成建模

根据公式（2），低光图像噪声可分为两部分：与信号相关的噪声和与信号无关的噪声。后者在低光照条件下变得更加复杂。基于物理的噪声生成模型难以准确地对此类噪声进行建模，且构建成本较高。因此，我们提出了一种生成模型来生成与信号无关的噪声。对于与信号相关的噪声，仍然使用基于物理的噪声生成模型以确保准确性。

频域去噪网络

为了实现复杂噪声的高质量去除，并充分利用图像在空间结构建模和频域表示分析方面的互补优势，我们进一步提出了一个称为FD-UNet的频域去噪网络。其整体结构如图6所示。

为了明确表征图像结构信息和噪声之间在频域分布上的差异，FD-UNet首先执行单层离散小波变换DWT(·)。

训练细节

算法1 提出的FDA对抗性噪声生成模型和FD-UNet框架的训练过程

提出的FDA对抗性噪声生成模型和FD-UNet框架的训练过程由三个顺序阶段组成。（1）使用真实的带噪-清洁配对数据集对初始FD-UNet进行预训练。训练收敛后，固定预训练FD-UNet的参数，并将其在噪声生成阶段作为域对齐模块使用。具体而言，预训练的FD-UNet提供一个去噪特征空间，其中特征差异。

讨论

本节讨论了本文提出的方法与LRD、Noise Flow、相机感知噪声模型、基于小波的去噪网络和MPFT-Net之间的差异。

结论

在本研究中，我们提出了一种基于FDA对抗性噪声生成建模的低光CMOS传感器图像去噪方法。其目标是通过GAN获取低光图像数据集，并使用提出的FD-UNet实现有效的去噪性能。一方面，我们设计了一个基于FDA对抗性GAN的噪声生成模型，用于生成大规模配对低光数据集。另一方面，我们利用一个频域去噪网络（命名为FD-UNet）来去除。

CRediT作者贡献声明

Minjie Wan：撰写——初稿，验证，软件，方法论，调查，概念化。Hao Chen：撰写——审阅与编辑，软件，方法论，形式化分析。Xiaofang Kong：可视化，资源，项目管理。Guohua Gu：监督，项目管理。

钱陈：指导监督，项目管理。

利益冲突声明
作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢
本工作部分由中国国家自然科学基金资助（资助号62201260和62571245），部分由深海载人运载器国家重点实验室开放基金资助（资助号2025SKLDMV06），部分由视觉感知与智能感知江苏重点实验室开放研究基金资助（资助号JSSJCG202601），部分由中央高校基本科研业务费资助（资助号30924010941和30925020226）。

万敏杰于2014年和2020年分别获得了南京理工大学电子科学与技术学士学位和光学工程博士学位。2017年至2018年，他就读于加拿大魁北克省拉瓦尔大学电气与计算机工程系，担任访问博士生。2020年至2021年，他在南京理工大学电子与光学工程学院担任博士后研究员。他目前是

万敏杰|陈浩|孔晓芳|顾国华|钱陈