D2former：用于红外图像去噪的双分支差分变换器

《Neural Networks》：D2former: Dual-Branch Differential Transformer for Infrared Image Denoising

【字体：大中小】 时间：2026年07月11日 来源：Neural Networks 7.2

编辑推荐：

•
提出了D2former，这是首个受差分噪声消除启发的去噪模型。
•
引入差分注意力模块，以增强空间域和通道域中的结构语义。
•
设计了带有ABIM的双分支编解码器，可实现无混叠的全局-局部特征交互。
•
在红外图像去噪性能方面，D2former优于现有的最先进方法。

引言

红外成像技术具备全天候工作能力、高穿透力以及高灵敏度，因此在军事和民用领域都极具价值，应用场景包括环境监测、天文遥感以及自动驾驶等。尽管有这些优势，红外传感器捕获的热辐射信号往往很微弱，还会受到复杂外部环境噪声的干扰，从而导致图像对比度低、信噪比差，影响其在需要高图像细节场景中的使用效果。虽然可以通过改进探测器设计和系统配置来降低红外噪声，但这类硬件解决方案往往成本高昂且能耗较大。因此，人们开发了多种图像去噪算法，通过软件手段来解决噪声问题，从而提升图像清晰度。受这些进展启发，我们旨在开发一种新的基于软件的方法，以提高红外图像的质量。

传统的图像去噪方法主要可分为三类：基于滤波的方法、基于变换域的方法以及基于统计模型的方法。基于滤波的方法，如均值滤波和中值滤波，是通过计算指定窗口内像素值的均值或中值来降低噪声。基于变换域的方法，如DDID、BM3D和DDF，是利用图像在特定变换域中的稀疏性来分离并抑制噪声。基于统计模型的方法则通过概率分布或统计原理来建模图像和噪声的统计特性，以此减轻噪声影响。这些传统方法在噪声类型明确或计算资源有限的场景下效果较好，但在处理复杂噪声类型或需要高恢复精度时往往力不从心。近年来，基于深度学习的图像去噪技术取得了显著进展，为解决这些难题提供了更为强大的解决方案，能够更好地应对复杂噪声场景以及对精度要求极高的应用。

目前，基于卷积神经网络的多种图像去噪方法在处理复杂噪声模式方面表现优异。有研究首次提出了利用堆叠卷积层、批量归一化以及ReLU激活函数的残差噪声预测方法。之后，又有研究将深度去噪器整合到传统算法中，形成了即插即用的去噪方案。此外，还有研究将CNN与多尺度编解码器架构结合，用于红外图像去噪。尽管基于CNN的方法效果不错，但其有限的感受野限制了其模拟视觉元素间长距离依赖关系的能力。为了解决这一问题，人们提出了自注意力机制，该机制能够有效建模长距离依赖关系。另有研究引入窗口注意力机制，在控制计算复杂度的同时实现长距离建模。还有研究采用通道维度注意力机制，以实现高效的全局上下文建模。最近，还有研究基于Transformer架构设计了并行网络结构的去噪器，进一步推动了图像去噪技术的发展。

虽然基于注意力的去噪方法在提升红外图像质量方面取得了显著进展，但仍面临两个突出问题。首先，红外图像具有像素分布均匀、梯度范围受限的特点，这使得其稀疏的结构和语义信息容易被密集的高频噪声所掩盖。因此，在建模全局上下文时，自注意力机制可能会过度关注那些缺乏结构和语义意义的噪声，进而降低特征图的结构性语义，影响图像恢复质量。其次，这些方法在红外图像去噪过程中往往难以在捕捉局部细节和全局语义之间取得平衡，通常只能侧重其中一方。尽管有研究试图通过结合自注意力机制和CNN来同时兼顾这两方面，但这种混合方法会导致在最细微的像素层级上同时进行运算，从而过度建模局部特征，造成全局特征与局部特征之间的混叠现象，进而降低去噪效果。

为了解决这些问题，我们提出了一种全新的双分支差分Transformer架构，名为D²former，旨在纠正由噪声引起的注意力偏移，同时实现全局语义与局部细节的均衡建模。借鉴耳机中的噪声消除原理，如图1所示，我们将差分方法融入到空间注意力与通道注意力的常规处理流程中，由此形成了差分空间注意力块和差分通道注意力块。在这两个模块中，通过计算两个并行softmax注意力图之间的差异来得到注意力图，从而减少冗余的噪声注意力，形成更精准的注意力模式，有助于突出红外图像中的关键结构语义信息。此外，D²former还在编解码器框架内采用了全局-局部双分支结构，以避免全局语义与局部细节之间的混叠现象。DSTB和DCTB分别作为局部分支和全局分支的核心模块，用于实现精细的局部特征交互和全局上下文交互。为进一步提升这一架构，我们还引入了自适应双向交互模块，以实现双分支之间的多尺度特征交互。

我们的主要贡献如下：

•
我们提出了一种名为D²former的双分支差分Transformer，在模拟噪声条件下的红外图像去噪任务中表现优异。该研究创新性地将受耳机噪声消除技术启发的差分去噪理念应用到了去噪模型中。
•
我们将差分方法融入到局部空间注意力与全局通道注意力的计算框架中，由此形成了DSTB和DCTB这两个模块。这些创新使得注意力模式更加稀疏，更能突出关键的结构语义信息。
•
D²former采用了基于编解码器架构的全局-局部双分支结构，并通过ABIM模块实现双分支之间的多尺度特征交互，有效避免了全局语义与局部细节之间的混叠现象。

章节节选

可见光图像去噪

图像去噪的任务是从含噪图像中恢复出清晰的图像。传统的去噪方法包括基于滤波的方法、基于域变换的方法以及基于统计模型的方法，这类方法在噪声特征明确且对精度要求不高的场景下通常表现良好。然而，当面对

整体架构

如图2所示，我们的D²former架构在编解码器框架内整合了全局分支和局部分支。这两个分支都采用了UNet结构，同时运用像素重排技术来实现高效的上采样和下采样，还通过跳跃连接来促进残差信息的交互。局部分支以DSTB为核心，专门负责处理复杂的局部特征交互。而全局分支则

实验设置

数据集与评估指标。在红外图像去噪任务中，我们主要使用IR700数据集来训练和评估我们的去噪模型。该数据集包含700张红外图像，拍摄对象包括人、车辆、道路和建筑物等，这些图像都是用长波红外望远镜拍摄的，分辨率为480×800。我们从该数据集中随机选取了600张图像用于训练，剩下的100张作为IR700_test测试集。

结论

在本文中，我们提出了D²former，这是一种专为降低噪声、提升红外图像质量而设计的双分支差分Transformer。我们的方法具有创新性，它将受耳机噪声消除技术启发的差分去噪技术应用到了红外图像处理领域。该方法包含了DSTB和DCTB两种新型模块，它们通过差分策略来突出红外图像中的核心语义结构。

CRediT作者贡献说明

Xiyu Cao：撰写——初稿、方法部分。 Feiwei Qin：撰写——审阅与编辑、指导、资金获取、概念构思。 Changmiao Wang：撰写——审阅与编辑、指导、资金获取、概念构思。 Kai Zhang：指导、方法部分、概念构思。 Jin Fan：可视化、验证、指导。 Ahmed Elazab：验证、指导、概念构思。 Juan M. Gorriz：验证、指导、软件相关工作、概念构思。 David Lopez-Garcia：

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知利益冲突或个人关系。

致谢

本研究得到了浙江省高校重点科研计划（编号GK259909299001-006）、广西科技计划（编号FN2504240022）、广西重点研发计划（编号AB24010167）、广东省基础与应用基础研究基金（编号2025A1515011617、2022A1515110570）以及浙江大学CAD&CG国家重点实验室开放项目（编号A2510）的支持。

引言