红外小目标检测(ISTD)在各种应用中都至关重要,包括海上救援、早期预警系统和交通管理。与可见光成像不同,红外系统可以在大面积监控区域内工作,并且对环境光和恶劣天气条件的干扰具有很强的抵抗力。然而,目标相对较小,通常在图像中只占据1到10个像素,远小于背景像素(Xu等人,2025年)。这可能导致正样本和负样本之间的极端不平衡(Duan等人,2025年)。同时,由于对比度低和信噪比(SNR)低,红外小目标通常很暗淡,容易被复杂的背景掩盖。鉴于此,ISTD仍然是一个具有越来越多关注的挑战性任务。
在过去的几十年中,出现了许多方法,这些方法可以大致分为模型驱动和数据驱动两类。模型驱动方法通过利用目标与背景之间的内在差异来检测目标。这些方法在特定场景中取得了显著的成功,例如Top-hat(Bai和Zhou,2010年)、WSLCM(Han等人,2020年)和PSTNN(Zhang和Peng,2019年)。然而,它们严重依赖于先验知识和手工制作的特征,导致泛化能力有限和实时性能较差。此外,这些手工制作的特征通常设计复杂,在应用于复杂的现实世界场景时往往效果不佳(Zhu等人,2024年)。
随着深度学习的进步,数据驱动方法由于其强大的特征学习能力,已成为ISTD领域的主导研究范式。它们可以通过从大规模训练样本中自适应地学习目标特征来克服模型驱动方法的局限性(Peng等人,2025年)。例如,Dai等人提出了第一个数据驱动的ISTD网络,采用了分割策略(Dai等人,2021a)。随后,又开发了多种方法,包括DNANet(Li等人,2022年)、MLPNet(Wang等人,2025年)和PConv(Yang等人,2025年)。尽管取得了显著的检测性能,但这些方法存在三个主要缺点,如图1(a)所示。首先,它们难以有效地协同捕获局部和全局特征。大多数方法分别提取这些特征,这阻碍了它们在复杂场景中区分目标与背景的能力。这经常导致漏检和误报,特别是在目标信噪比低且被干扰物(如云团、建筑物和树木)遮挡时。其次,它们依赖于最终输出层的单阶段监督,其中标签仅监督网络的最终预测图,未能提供足够的学习约束。这忽略了中间特征表示的重要性,容易导致模型收敛到次优的局部最小值。第三,目标的精确形状和边界信息经常被忽略,这对于准确描绘和检测红外小目标是一个重大挑战。
为了克服这些限制,我们提出了一种新的ISTD流程,该流程结合了局部-全局特征协同学习和分层解码。该流程旨在有效地实现局部和全局特征协同,并执行多级解码约束,如图1(b)所示。具体来说,我们采用视觉变换器(ViT)作为全局特征细化的关键组件。我们选择ViT有两个主要优势。一是自注意力机制对于局部特征感知和全局上下文增强都非常有效,这对于区分小目标的细微特征至关重要。二是ViT通常可以缓解训练过程中经常出现的梯度消失问题(Lin等人,2023年;Zhu等人,2025年)。由于这些优点,ViT已经成功应用于ISTD(Zhang等人,2022a)。
因此,我们提出了一个局部-全局特征协同(LGFC)框架,主要包括一个全局高斯掩码ViT(GM-ViT)组、局部-全局协同(LGC)和分层解码策略。为了有效地整合不同网络深度的特征,设计了一个层间交互(CFI)模块,以更好地保留关于红外小目标的关键信息。此外,由于解码过程中获得的目标轮廓通常比较粗糙,我们引入了一个额外的粗略到精细的细化(CFR)模块来进一步细化最终预测。在三个公共数据集上的广泛实验证明了我们提出方案的有效性和优越性。
为了直观性和清晰性,我们总结了我们的LGFC与现有方法之间的典型差异,以突出其创新之处,如下:
(I) 局部-全局协同学习:大多数现有的数据驱动方法通常依赖于单流编码器。它们无法有效地协同捕获局部和全局特征。相比之下,我们的LGFC提出了一种新颖的双流架构,将局部特征提取和全局上下文建模结合起来。
(II) 分层解码与深度监督:与当前仅使用后端解码来监督最终解码器输出的方法不同,我们设计了一种分层解码策略,在解码器的每个阶段应用深度监督,为每个中间特征层提供足够的学习约束。
(III) 形状感知特征细化:之前的方案通常使用简单的跳跃连接或串联,忽略了目标的形状和边界。它们通常导致轮廓粗糙和不准确。与此不同,我们开发了一种形状感知的特征细化策略来感知目标轮廓细节。
总之,我们工作的主要贡献可以总结如下:
(I) 我们提出了LGFC,一种新的局部-全局特征协同学习框架,用于ISTD。它具有用于局部特征提取的卷积分支和用于全局上下文建模的GM-ViT组,增强了红外小目标的特征学习能力。
(II) 提出了一种超越传统后端解码的分层解码策略。与仅监督最终输出的结果不同,我们的设计在每个解码阶段都引入了中间监督。它不仅强调了解码过程中的中间特征,还通过集成多层损失混合加速了模型训练的收敛速度并提高了准确性。
(III) 我们设计了一个全局GM-ViT组。与标准注意力机制不同,我们的设计特别解决了捕捉微小目标和抑制结构化杂乱的双重挑战。通过结合局部窗口注意力(LWA)和通过全局高斯注意力(GGA)进行的全局特征增强,每个GM-ViT处理一个级别的局部粗糙特征并执行上下文增强。
(IV) 为了避免丢失目标信息,特别设计了CFI。与简单的串联或跳跃连接不同,CFI采用了通道间和像素间的注意力来融合细粒度细节和高级语义,从而保留了小目标的区分性线索。此外,CFR被安排用来明确学习预测结果和掩码标签之间的残差,即使在低信噪比情况下也能实现准确的目标轮廓。