基于局部-全局协同特征学习与分层解码的红外小目标检测方法

《Computer Vision and Image Understanding》:Local–global collaborative feature learning with level-wise decoding for infrared small target detection

【字体: 大 中 小 】 时间:2026年01月08日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  红外小目标检测中,提出局部-全局特征协作学习框架LGFC,通过增强型高斯掩码视觉Transformer整合局部与全局特征,结合跨层特征交互和粗到细细化策略,有效提升低信噪比下的小目标检测精度。

  
段伟伟|季 Luping|陈胜家|黄江红
中国电子科技大学计算机科学与工程学院,成都,611731,中国

摘要

由于信噪比低和视觉对比度弱,红外小目标经常淹没在背景中。因此,在提取能够将它们与背景区分开来的特征的同时,保留目标信息至关重要。然而,现有方法通常单独依赖卷积和变换器,这限制了它们在复杂场景中捕获稳健目标特征的能力。为了解决这个问题,我们提出了一种新的局部-全局特征协同学习(LGFC)框架。该框架能够以统一的方式将局部空间特征与目标的全局上下文充分整合。具体来说,我们开发了一种增强了的高斯掩码视觉变换器,其中包含全局高斯注意力和局部窗口注意力,以提取精细的全局特征。然后通过局部-全局协同将卷积编码器获得的局部粗略特征与精细的全局特征进行协调。此外,为了避免解码过程中的特征丢失,我们提出了一种分层解码策略,并结合了层间特征交互来减轻深度网络中的信息丢失。另外,我们引入了粗略到精细的细化后处理机制来提高目标轮廓的精度。在三个公共数据集(NUAA-SIRST、IRSTD-1K和SIRST-AUG)上的广泛实验表明,我们提出的LGFC框架在红外小目标检测方面的优越性和泛化能力,每个数据集上的F1分数比现有最先进方法高出约2.3%。

引言

红外小目标检测(ISTD)在各种应用中都至关重要,包括海上救援、早期预警系统和交通管理。与可见光成像不同,红外系统可以在大面积监控区域内工作,并且对环境光和恶劣天气条件的干扰具有很强的抵抗力。然而,目标相对较小,通常在图像中只占据1到10个像素,远小于背景像素(Xu等人,2025年)。这可能导致正样本和负样本之间的极端不平衡(Duan等人,2025年)。同时,由于对比度低和信噪比(SNR)低,红外小目标通常很暗淡,容易被复杂的背景掩盖。鉴于此,ISTD仍然是一个具有越来越多关注的挑战性任务。
在过去的几十年中,出现了许多方法,这些方法可以大致分为模型驱动和数据驱动两类。模型驱动方法通过利用目标与背景之间的内在差异来检测目标。这些方法在特定场景中取得了显著的成功,例如Top-hat(Bai和Zhou,2010年)、WSLCM(Han等人,2020年)和PSTNN(Zhang和Peng,2019年)。然而,它们严重依赖于先验知识和手工制作的特征,导致泛化能力有限和实时性能较差。此外,这些手工制作的特征通常设计复杂,在应用于复杂的现实世界场景时往往效果不佳(Zhu等人,2024年)。
随着深度学习的进步,数据驱动方法由于其强大的特征学习能力,已成为ISTD领域的主导研究范式。它们可以通过从大规模训练样本中自适应地学习目标特征来克服模型驱动方法的局限性(Peng等人,2025年)。例如,Dai等人提出了第一个数据驱动的ISTD网络,采用了分割策略(Dai等人,2021a)。随后,又开发了多种方法,包括DNANet(Li等人,2022年)、MLPNet(Wang等人,2025年)和PConv(Yang等人,2025年)。尽管取得了显著的检测性能,但这些方法存在三个主要缺点,如图1(a)所示。首先,它们难以有效地协同捕获局部和全局特征。大多数方法分别提取这些特征,这阻碍了它们在复杂场景中区分目标与背景的能力。这经常导致漏检和误报,特别是在目标信噪比低且被干扰物(如云团、建筑物和树木)遮挡时。其次,它们依赖于最终输出层的单阶段监督,其中标签仅监督网络的最终预测图,未能提供足够的学习约束。这忽略了中间特征表示的重要性,容易导致模型收敛到次优的局部最小值。第三,目标的精确形状和边界信息经常被忽略,这对于准确描绘和检测红外小目标是一个重大挑战。
为了克服这些限制,我们提出了一种新的ISTD流程,该流程结合了局部-全局特征协同学习和分层解码。该流程旨在有效地实现局部和全局特征协同,并执行多级解码约束,如图1(b)所示。具体来说,我们采用视觉变换器(ViT)作为全局特征细化的关键组件。我们选择ViT有两个主要优势。一是自注意力机制对于局部特征感知和全局上下文增强都非常有效,这对于区分小目标的细微特征至关重要。二是ViT通常可以缓解训练过程中经常出现的梯度消失问题(Lin等人,2023年;Zhu等人,2025年)。由于这些优点,ViT已经成功应用于ISTD(Zhang等人,2022a)。
因此,我们提出了一个局部-全局特征协同(LGFC)框架,主要包括一个全局高斯掩码ViT(GM-ViT)组、局部-全局协同(LGC)和分层解码策略。为了有效地整合不同网络深度的特征,设计了一个层间交互(CFI)模块,以更好地保留关于红外小目标的关键信息。此外,由于解码过程中获得的目标轮廓通常比较粗糙,我们引入了一个额外的粗略到精细的细化(CFR)模块来进一步细化最终预测。在三个公共数据集上的广泛实验证明了我们提出方案的有效性和优越性。
为了直观性和清晰性,我们总结了我们的LGFC与现有方法之间的典型差异,以突出其创新之处,如下:
(I) 局部-全局协同学习:大多数现有的数据驱动方法通常依赖于单流编码器。它们无法有效地协同捕获局部和全局特征。相比之下,我们的LGFC提出了一种新颖的双流架构,将局部特征提取和全局上下文建模结合起来。
(II) 分层解码与深度监督:与当前仅使用后端解码来监督最终解码器输出的方法不同,我们设计了一种分层解码策略,在解码器的每个阶段应用深度监督,为每个中间特征层提供足够的学习约束。
(III) 形状感知特征细化:之前的方案通常使用简单的跳跃连接或串联,忽略了目标的形状和边界。它们通常导致轮廓粗糙和不准确。与此不同,我们开发了一种形状感知的特征细化策略来感知目标轮廓细节。
总之,我们工作的主要贡献可以总结如下:
(I) 我们提出了LGFC,一种新的局部-全局特征协同学习框架,用于ISTD。它具有用于局部特征提取的卷积分支和用于全局上下文建模的GM-ViT组,增强了红外小目标的特征学习能力。
(II) 提出了一种超越传统后端解码的分层解码策略。与仅监督最终输出的结果不同,我们的设计在每个解码阶段都引入了中间监督。它不仅强调了解码过程中的中间特征,还通过集成多层损失混合加速了模型训练的收敛速度并提高了准确性。
(III) 我们设计了一个全局GM-ViT组。与标准注意力机制不同,我们的设计特别解决了捕捉微小目标和抑制结构化杂乱的双重挑战。通过结合局部窗口注意力(LWA)和通过全局高斯注意力(GGA)进行的全局特征增强,每个GM-ViT处理一个级别的局部粗糙特征并执行上下文增强。
(IV) 为了避免丢失目标信息,特别设计了CFI。与简单的串联或跳跃连接不同,CFI采用了通道间和像素间的注意力来融合细粒度细节和高级语义,从而保留了小目标的区分性线索。此外,CFR被安排用来明确学习预测结果和掩码标签之间的残差,即使在低信噪比情况下也能实现准确的目标轮廓。

部分摘录

红外小目标检测

红外小目标检测(ISTD)已经研究了数十年。由此产生的方法可以大致分为两类:模型驱动方法和数据驱动方法。
(1) 模型驱动方法:模型驱动方法可以进一步分为三类:基于滤波器的、基于人类视觉系统(HVS)的和基于低秩表示的方案。基于滤波器的方法通过应用一系列特定滤波器来增强目标细节和边缘,例如

整体架构

ISTD的独特挑战,包括极低的信噪比、目标尺寸微小以及缺乏明显的结构特征,往往使得许多通用视觉架构不够理想。传统的CNN通常难以捕捉长距离依赖性,这对于抑制复杂背景至关重要。同时,标准的视觉变换器通常计算成本高,不适合检测红外小目标。受这些限制的启发,

数据集和评估指标

我们在三个公共数据集上评估了所有方法:NUAA-SIRST(Dai等人,2021a)、IRSTD-1K(Zhang等人,2022b)和SIRST-AUG(Zhang等人,2023)。NUAA-SIRST包含427张红外图像,IRSTD-1K包含1000张红外图像,SIRST-AUG是一个增强数据集,包含9070张红外图像,增加了红外小目标的多样性。每个数据集根据原始工作中定义的分区比例分为训练集和测试集。在训练期间,我们应用

结论

为了解决复杂场景中具有挑战性的ISTD任务,我们提出了一个新框架,该框架结合了局部-全局协同学习和分层解码策略,以获得精细的目标特征。它使用全局GM-ViT组来捕获精细的全局特征,充分利用了卷积和ViT的优势。此外,还开发了一种分层解码策略来改进现有方法中的后端解码,实现了训练期间的全面监督

CRediT作者贡献声明

段伟伟:撰写——原始草稿,方法论。季 Luping:撰写——审阅与编辑,监督,资金获取。陈胜家:可视化,验证。黄江红:可视化,验证,数据整理。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金(NSFC)的支持,项目编号为62476049。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号