带有噪声先验的多尺度增强 Transformer 用于红外图像去条带

《Neurocomputing》：Multi-scale enhanced transformer with noise prior for infrared image destriping

　　

摘要：红外焦平面探测器的非均匀性会在红外图像中引起条纹噪声，严重降低图像质量，并阻碍目标检测和识别等下游任务。然而，大多数基于深度学习的方法仍残留噪声、产生结构伪影并丢失关键图像细节，同时难以适应不同场景下空间变化的噪声强度。为解决这些问题，我们提出一种带噪声先验的多尺度增强Transformer模型，以实现高效且鲁棒的条纹噪声去除。具体而言，我们设计了一个噪声感知模块来估计输入图像的噪声强度分布，提供必要的先验知识，以增强模型对不同噪声强度的适应能力。此外，我们设计了一个多尺度特征提取模块，通过并行卷积和融合自适应选择最优感受野，以匹配列条纹变化的宽度，更好地捕捉其多尺度结构特征。此外，我们提出一个深度特征提取模块，融合改进的Swin Transformer块、卷积通道注意力和残差连接。这种整合加强了空间和通道特征的表示，确保精细纹理的高保真恢复，同时有效消除连续结构化噪声。大量实验结果表明，所提模型在定量指标和定性视觉质量上均优于当前先进方法。值得注意的是，该模型在不同红外场景中表现出优异的噪声鲁棒性和强大的泛化能力。

引言：红外成像技术已被广泛应用于多个关键领域，包括遥感、夜间监控、自动驾驶和火灾危险检测[1]。然而，红外焦平面探测器的固有非均匀性经常导致红外图像中出现条纹固定模式噪声[2]。这一问题严重降低图像质量，并阻碍目标检测[3]、[4]和识别[5]、[6]等下游任务，使得红外图像去条纹技术至关重要。尽管经过数十年的研究，探测器非均匀性的时间变化以及平衡条纹噪声抑制与细节保留的需求仍是长期挑战。

近年来，深度学习推动了红外图像去条纹的重要进展，方法主要分为基于CNN和基于Transformer的方法。基于CNN的方法利用层次化卷积层进行局部特征提取，在噪声减少和纹理保留方面表现出良好性能。SNRCNN[7]首次将卷积神经网络(CNNs)应用于红外图像条纹噪声。然而，其简单架构导致在真实红外场景中性能受限。DLS-NUC[8]将CNNs与残差学习和合成条纹噪声模拟相结合，以增强模型的去条纹能力。然而，CNNs的固定感受野限制了其去条纹精度，在复杂红外图像中产生伪影和边缘模糊。ICSRN[9]解决了残余噪声问题，但产生了过度平滑的输出。Xu[10]等人提出了多尺度密集连接条纹噪声去除网络以增强对噪声变化的适应能力，但容易丢失精细细节。ASCNet[11]采用U形结构利用全局列相关性，但弱的全局上下文建模无法完全抑制大范围条纹噪声，并导致结构伪影[12]。

相比之下，基于Transformer的方法受益于其自注意力机制[13]、[14]、[15]进行全局上下文建模，已成为解决长程依赖挑战的有竞争力的解决方案。Ji等人[16]将自注意力引入条纹噪声抑制并取得了良好的去条纹性能。然而，原始自注意力带来的固有二次计算复杂度降低了实际推理效率。SwinDenoising[17]利用Swin Transformer的特征提取平衡局部和全局信息。IHD-Former[18]和IDTransformer[19]通过建模长程依赖改进了噪声去除。然而，这些方法在红外场景中仍面临关键缺陷。它们难以处理高强度条纹噪声，缺乏利用多尺度噪声特征的专门机制，导致恢复精度降低。由于缺乏卷积的局部归纳偏置，它们在保留细微边缘和纹理方面也表现较差。此外，缺乏动态通道重校准抑制了判别性特征选择，最终限制了它们在红外图像中区分有意义上下文和条纹噪声的能力。

现有的红外去条纹方法主要集中于网络架构设计，但对噪声先验关注有限，而这一策略已被证明在可见光去噪中对于提高模型在不同噪声强度下的适应能力有效。Zhang等人[20]提出了一种带有可调噪声水平图作为输入的卷积去噪网络，能够高效处理多种噪声水平，但依赖手动预定义的噪声图。Zhang等人[21]提出了一种配备去噪器先验的即插即用恢复框架。然而，这是一种非盲迭代方案，需要手动调整噪声水平参数，并且针对高斯随机噪声优化。Wu等人[22]采用噪声估计子网络引导双分支CNN进行盲去噪，而额外的估计网络增加了计算复杂度。总之，这些研究表明显式的噪声感知先验引导在提高模型噪声适应性方面起着关键作用。然而，现有的红外去条纹框架缺乏处理条纹噪声引起的强度波动的专门机制。

综上所述，虽然深度学习技术在红外图像去条纹方面取得了实质性进展，但仍有几个关键挑战尚未解决。首先，主流方法经常留下残余条纹伪影以及扭曲的精细边缘和纹理，这一局限性源于它们联合建模局部纹理细节和长程全局依赖的能力不足。其次，大多数红外去条纹模型缺乏显式的噪声先验引导，导致泛化能力和噪声鲁棒性有限，在严重条纹退化下性能急剧下降。第三，大多数深度网络拥有过多的冗余参数并提供低速推理，无法在去条纹保真度和计算效率之间取得良好平衡。

为解决上述挑战，我们提出一种新颖的噪声先验引导的多尺度增强Transformer(METNet)以实现优秀的红外图像去条纹。我们的方法受一个关键观察启发，即有效的红外去条纹需要自适应处理变化的噪声强度，同时平衡建模局部精细细节和全局上下文，而这是单独的CNN或Transformer无法实现的。我们整合噪声感知先验引导、多尺度特征提取和全局-局部联合建模来减轻现有方法的缺陷。具体而言，我们设计了一个噪声感知模块来估计输入图像的全局噪声强度，提供必要的先验知识以增强模型对不同噪声水平的适应能力。此外，我们设计了一个多尺度特征提取模块，通过并行卷积和自适应融合自适应选择最优感受野，以匹配列条纹变化的宽度，更好地捕捉多尺度图像结构信息。此外，我们提出一个深度特征模块来优化空间-通道特征表示，确保完全抑制连续条纹，同时不过度平滑微弱的热细节。

本工作的主要贡献总结如下：
• 我们为红外图像条纹噪声去除引入了噪声感知模块。与传统的盲去噪方法不同，我们的模块显式估计全局图像噪声水平，提供关键的噪声先验知识来引导后续去条纹，并增强对不同噪声强度的适应能力。
• 我们提出一种使用不同尺寸感受野和自适应融合策略的多尺度特征提取模块，以及一个整合改进的Swin Transformer块、卷积通道注意力和残差连接的深度特征提取模块。该设计有效捕捉高质量红外图像去条纹所需的精细细节和全局结构信息，显著增强了整体去条纹性能。
• 在标准红外图像数据集上的综合实验表明，我们的METNet在定量指标和定性视觉质量上均优于最先进的替代解决方案。

本文其余部分组织如下。第2节介绍相关工作。第3节详细描述所提出的模型架构。第4节呈现我们的实验结果和分析。第5节呈现讨论，第6节总结本文并指出未来工作方向。

相关工作片段

CNN-based方法：早期工作为基于CNN的去噪奠定了基础，通过整合深度学习进展，如DnCNN[23]、FFDNet[20]、ADNet[24]、DRUNet[21]、FEUNet[25]和DRSFANet[26]。这些基于CNN的方法由于其更强大的学习能力，迅速超越了传统图像去噪技术。然而，它们主要设计用于可见光图像去噪，在红外图像去条纹方面表现不佳。早期尝试侧重于网络架构

实验数据集：在我们的实验中，采用DLS-NUC-100[8]和FLIR[50]公开数据集进行模型训练和测试。DLS-NUC-100数据集使用商用非制冷长波红外相机(Xenics Gobi640-GigE)获取，包含100张高分辨率(640×480)红外图像和20个真实世界数据样本。本研究使用的另一个数据集FLIR包含150张分辨率为640×480的灰度图像。80%的高清红外图像被分配用于...

讨论：本文提出了METNet，一种针对红外图像去条纹的噪声先验引导多尺度增强Transformer。METNet采用三个精心设计的模块进行自适应和多尺度特征学习。NaM通过全局噪声估计动态调整不同噪声强度下的特征提取策略。MFEM结合并行多核卷积和基于动态Softmax的权重分配，同时捕捉精细条纹纹理和大范围连续条纹...

结论：由红外焦平面探测器非均匀性引起的红外图像条纹噪声显著降低图像质量并干扰下游任务。然而，大多数现有的基于深度学习的去条纹方法仍然存在残余噪声、结构伪影和关键细节丢失等问题。为应对这些问题，我们引入了METNet，一种创新校正框架，将噪声估计与特征增强相结合，以实现高效且鲁棒的...

CRediT作者贡献声明
Feng Deng：写作-审阅与编辑，写作-原稿撰写，监督，资源，项目管理，方法论，资金获取，形式分析，数据整理，概念构思。Fanlei Meng：写作-审阅与编辑，写作-原稿撰写，验证，方法论，形式分析，数据整理，概念构思。Shiqiang Chen：验证，方法论，形式分析，数据整理，概念构思。

利益冲突声明
作者声明以下财务利益/个人关系可能被视为潜在利益冲突：Feng Deng报告获得国家自然科学基金委员会镍钴资源综合利用重点实验室提供资金。Feng Deng报告获得北京市自然科学基金提供资金。如果有其他作者，他们声明没有已知的可能影响...

致谢
本工作得到了北京市自然科学基金专项基金(项目编号：4232044)和国家重点实验室Ni&Co伴生矿产资源开发与综合利用(项目编号：2022110033002966)的支持。

Feng Deng于1993年和1996年分别从中国长春地质学院获得计算机应用学士学位和测量仪器硕士学位，并于1999年从中国北京理工大学获得信号与处理博士学位。她曾是美国南卡罗来纳州克莱姆森大学Holcombe电气与计算机工程系和中国北京理工大学计算机与信息科学系的访问学者...

Feng Deng | Fanlei Meng | Shiqiang Chen