基于物理特性的噪声建模，用于短波红外成像系统的去噪

《Optics and Lasers in Engineering》：Physics-informed noise modeling for denoising in short-wave infrared imaging systems

　　

• •
  一种基于物理信息的噪声模型，用于真实红外噪声的表征。
• •
  合成数据提高了深度去噪网络的泛化能力。
• •
  一种具有卓越噪声抑制性能的模型驱动去噪流程。

引言

短波红外（SWIR）指的是波长范围在0.9–2.5 μm的电磁辐射[1]。由于其强大的穿透烟雾能力和高材料依赖性对比度，SWIR成像在激光诊断、遥感和工业检测中发挥着重要作用[2]、[3]、[4]、[5]。然而，SWIR成像系统的固有物理限制带来了持续的挑战，最显著的是图像的不均匀性、复杂的噪声特性以及较低的信噪比（SNR）。这些挑战严重削弱了成像的稳定性，并最终限制了先进SWIR应用的广泛部署[6]。

虽然通过硬件改进来缓解这些问题通常耗时且成本高昂，但去噪算法提供了一种实用且高效的替代方案。近年来，去噪算法的显著进步显著提高了红外图像的视觉质量[7]、[8]、[9]。然而，大多数现有的基于深度学习的方法主要关注网络架构设计，对潜在的物理噪声形成机制考虑不足，这限制了它们在涉及原始数据和未知噪声水平的实际场景中的应用。这一限制的根本原因是，大多数现有方法是在使用独立噪声模型（如高斯噪声、条纹噪声、泊松噪声或其混合组合）生成的合成数据集上训练的。此外，在没有明确噪声特征先验知识的情况下，完全消除数字图像中的所有噪声成分仍然极具挑战性[10]。实际上，大多数经典去噪算法（如BM3D [11]和WNNM [12]）的性能在很大程度上依赖于对测试图像中噪声水平的准确先验估计[13]。因此，一个准确的噪声模型对于提供可靠的图像恢复先验至关重要。总体而言，现有的噪声模型存在几个限制。它们通常依赖于过于简化的统计假设，使得难以准确表征现实世界中的多源噪声，从而限制了现有去噪算法的性能和改进。此外，它们在合成物理上真实的训练数据方面提供的支持也很有限。更重要的是，对于红外图像噪声建模的全面研究仍然不足。

传统上，噪声分析方法简单地将噪声视为时间和空间组分的组合[14]、[15]、[16]。鉴于噪声在红外图像的水平和垂直维度上表现出不同的时间行为，这种简化变得不足够。三维（3D）噪声模型通过将噪声分解为八个具有物理意义的组分来捕捉这种复杂性，以分析红外相机的输出序列。尽管这种分解提供了对潜在噪声机制的关键洞察，但其实际应用常常受到巨大的计算和操作复杂性的阻碍[17]。具体来说，噪声等效温度差（NETD）只能提供有限的噪声特征信息。例如，具有相同NETD值的相机在其实际图像噪声上仍可能表现出显著差异[18]。最终，虽然这些噪声分析方法提供了部分噪声信息，但它们从根本上来说是不够的，因为它们缺乏准确的噪声分解能力，无法阐明潜在的物理机制。

本文建立了一个基于SWIR相机的物理成像过程和噪声生成机制的全面噪声模型，并进一步探讨了其在SWIR图像去噪中的应用，包括基于深度学习的方法和通用去噪流程，如图1所示。我们首先专注于表征原始图像数据中的噪声，从而避免了后续信号处理步骤将原始测量值转换为高信噪比图像所带来的混淆效应。如图1(a)所示，所提出的噪声模型源自相机的物理成像链，并包含了多种关键噪声源，包括光子散粒噪声、暗电流噪声和读出噪声。通过严格考虑光子到数字的转换过程，我们建立了一个全面的统计噪声模型，显著阐明了SWIR成像中噪声的物理起源。此外，我们开发了一种专用的校准程序来估计现有红外相机的噪声模型参数。使用这些校准参数，该模型可以生成与真实数据匹配的受噪声污染的图像，从而取代了收集真实噪声配对数据的繁琐任务。实验结果表明，仅在从所提出的噪声模型合成的数据上训练的网络能够实现高度准确的去噪结果。我们的主要贡献总结如下：

• •
  我们构建了一个基于物理的噪声模型，通过联合建模相机成像流程和硬件特定特性，克服了现有红外噪声模型中采用的过于简化的统计假设。
• •
  我们开发了一种基于物理信息的数据合成策略，缓解了真实配对红外训练数据的短缺问题，并生成了与实际SWIR系统中观察到的噪声特性密切匹配的合成图像。
• •
  我们进一步开发了一种模型引导的去噪流程，将校准的物理噪声特性明确地纳入图像恢复中，为图像处理提供了实用的参考。

本文的其余部分组织如下。第2节回顾了相关的噪声建模和去噪方法。第3节介绍了所提出的基于物理信息的噪声形成模型，并详细介绍了相应的参数校准程序。第4节展示了全面的定量和定性实验结果。第5节总结了本文并讨论了所提方法的适用范围。

章节片段

基于物理信息的噪声建模

针对RGB图像的噪声建模研究已经得到了广泛探索，并在相关成像应用中取得了实质性的进展。在过去的几十年中，大多数图像去噪方法都是在加性高斯白噪声（AWGN）的假设下开发的。然而，这种简化的噪声模型在面对复杂的实际成像条件时表现出有限的泛化能力[19]。为了更准确地描述噪声，人们

噪声模型的构建

SWIR相机主要由光学镜头、焦平面探测器和电子电路组成。成像原理如图1(a)所示。SWIR辐射来自目标反射或高温对象的自发辐射，通过镜头聚焦到探测器上，在那里发生光电转换。随后，电子电路放大、采样并数字化光电生成的信号，得到最终图像输出。

实验

在本章中，我们首先描述了实验设置。随后，对所提出的噪声模型进行了全面的消融实验，并与现有方法进行了去噪性能的定量比较，并辅以定性的视觉结果。然后将噪声模型扩展到一个去噪流程中。最后，对所提出的噪声模型进行了严格的验证。

结论

本文系统地研究了SWIR相机成像链中的噪声机制、噪声建模、参数校准和去噪策略。首先，基于探测器的物理特性和ROIC的架构，我们推导出一个全面的噪声模型，包括光子散粒噪声、PRNU噪声、列FPN和暗噪声。关键模型参数包括列增益系数矩阵、PRNU分布、暗帧噪声等

CRediT作者贡献声明

Qinglin Zha：写作——原始草稿，软件，方法论。Weiqiang Chen：写作——审阅与编辑，方法论。Lidan Lu：数据管理，概念构思。Xu Zhang：软件，形式分析。Jing Yu：写作——审阅与编辑，资源。Bingfeng Liu：可视化，验证。Lianqing Zhu：监督，形式分析。

利益冲突声明

作者声明他们没有已知的会影响到本文工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（中国）（62205029）的财政支持。

Qinglin Zha|Weiqiang Chen|Lidan Lu|Xu Zhang|Jing Yu|Bingfeng Liu|Lianqing Zhu