基于局部 - 全局注意力 Top-k 选择的红外小目标检测

《Infrared Physics & Technology》:Infrared small target detection based on local-global attention Top-k selection

【字体: 时间:2026年09月09日 来源:Infrared Physics & Technology 3.8

编辑推荐:

   摘要红外小目标检测(IRSTD)在复杂背景下常因对目标稀疏性先验的利用不足而面临性能下降的问题。为了解决该问题,本文提出了一种局部与全局注意力 Top-k 选择网络(LGTS)用于红外小目标检测,通过显式建模红外小目标的稀疏分布特性。基于 U-Net 框架,LGTS 通过互补

  

摘要

红外小目标检测(IRSTD)在复杂背景下常因对目标稀疏性先验的利用不足而面临性能下降的问题。为了解决该问题,本文提出了一种局部与全局注意力 Top-k 选择网络(LGTS)用于红外小目标检测,通过显式建模红外小目标的稀疏分布特性。基于 U-Net 框架,LGTS 通过互补的局部和全局稀疏注意力机制提取层次化多尺度目标表示。具体而言,在最深特征层引入全局注意力 Top-k 选择模块(GATS)执行稀疏 Transformer 注意力建模,从而增强全局显著目标区域的表示能力。同时,为多尺度浅层特征设计了局部注意力 Top-k 选择模块(LATS),采用渐进式由粗到细的稀疏注意力细化策略来增强局部目标显著性并抑制背景干扰。通过联合集成局部与全局稀疏注意力,所提出的框架在具有挑战性的红外场景中实现了更有效的目标判别。大量实验表明,LGTS 在三个红外小目标检测基准测试中均取得了具有竞争力的性能,在 NUDT-SIRST 上取得最佳 Fa(1.492),在 IRSTD-1k 上取得最佳 IoU(67.96)和 Fa(11.41),在 NUAA-SIRST 上取得最佳 IoU(75.55)和 Pd(98.54)。

引言

红外热成像技术具有隐蔽性强、穿透能力高、全天候可操作等优势,因此在军事和民用领域均得到广泛应用。作为红外视觉中的基本任务,IRSTD 在预警、救援以及地质分析等应用中发挥着重要作用 [1], [2], [3], [4], [5], [6]。然而,由于红外成像系统的局限性以及复杂的成像环境,IRSTD 仍极具挑战性。如图 1 所示,由于成像距离远,红外目标通常仅占据几个像素,导致结构信息和几何特征微弱。与此同时,远距离红外辐射衰减导致低信杂比(SCR),使得目标容易被淹没在复杂背景中。此外,不同场景下显著的目标尺度变化进一步增加了检测难度。因此,IRSTD 主要面临的挑战包括目标尺寸小、结构信息弱、信杂比低以及尺度变化大。
大量传统红外小目标检测方法 [7], [8], [9], [10], [11], [12] 已被提出以解决该问题。然而,这些方法严重依赖人工设计的先验知识和手动设计特征,限制了其在多种红外场景中的鲁棒性和泛化能力。得益于强大的表示学习能力,基于深度学习的方法显著提升了红外小目标检测性能。现有方法大致可分为基于边界框的检测方法和逐像素分割方法两类。大多数基于边界框的方法是从可见光目标检测器改编而来的 [13], [14], [15]。例如,Ciocarlan 等人 [16] 通过引入专用检测头和对抗决策策略来抑制背景干扰,增强了基于 YOLO 的红外检测。相比之下,基于分割的方法由于其像素级定位能力而受到越来越多的关注 [17], [18], [19], [20], [21], [22], [23], [24]。代表性工作如 MSHNet [21]、DNA-Net [22] 和 UIU-Net [23] 利用多尺度特征提取与融合来改善目标表示。此外,基于 Transformer 的红外小目标检测方法,如 RKformer [25]、TCI-former [26] 和 DATransNet [27],通过自注意力机制进一步增强了全局上下文建模能力。
尽管基于深度学习的方法相较于传统方法取得了更优异的性能,但它们在稀疏目标表示方面仍缺乏有效的先验。因此,这些方法往往依赖于日益复杂的架构来增强特征表示,这不可避免地导致了更高的计算成本。近期,已有若干研究将 Top-k 稀疏选择引入红外小目标检测,如 TriHANet [28]、HPFNet [29]、SeRankDet [30] 和 DifRankNet [31],其中通过稀疏特征过滤或基于注意力的选择来增强目标响应并抑制背景干扰。然而,现有方法要么仅对单尺度特征独立执行稀疏选择,要么依赖于有限的 k 值选择策略,要么忽略了注意力图中红外小目标的结构特性,这可能导致跨尺度交互有限、适应性差以及面向目标的解释性较弱,从而限制了在复杂场景中的检测性能。
为了解决上述问题,我们提出了一种用于红外小目标检测的 LGTS 网络。具体而言,首先采用 U-Net 主干网络提取层次化多尺度特征。然后,在浅层多尺度特征上引入 LATS 模块,执行渐进式多尺度自适应 Top-k 选择,以实现由粗到细的稀疏细化并增强不同尺度间的交互。与此同时,在深层特征上设计了 GATS 模块,利用红外目标在注意力矩阵中的行列稀疏性,执行协作式行列 Top-k 选择以增强显著目标区域的结构依赖性建模。此外,引入了自适应多 k 融合以提升两个模块的 Top-k 选择能力,使 LGTS 在复杂红外场景中取得卓越性能。本文的主要贡献总结如下:
  • 1.
    提出了一种基于局部-全局注意力 Top-k 选择的新颖红外小目标检测网络模型。通过对红外目标特征提取施加稀疏约束,增强了网络的检测性能。
  • 2.
    引入了一种渐进式局部注意力 Top-k 选择模块。通过采用由粗到细的局部注意力选择策略,显著提高了局部注意力计算的准确性,增强了网络的特征提取能力。
  • 3.
    提出了一种专用的全局注意力 Top-k 选择模块。通过对小尺度特征上的全局注意力机制应用 Top-k 选择,增强了 Transformer 对目标区域的关注,从而提升了检测性能。
本文其余部分组织如下。第 2 节回顾了基于 CNN 和 CNN-Transformer 的红外小目标检测方法。第 3 节介绍了所提出的 LGTS。第 4 节在三个公开数据集上将 LGTS 与 16 种方法进行了对比评估。第 5 节讨论了其泛化能力和局限性。最后,第 6 节对本文进行总结。

章节摘要

相关工作

本文提出的 LGTS 基于一种混合 CNN-Transformer 架构并融合了 Top-k 选择机制。本节简要介绍这些组成部分。

LGTS 框架

如图 2 所示,所提出的 LGTS 框架由 U-Net 主干网络以及 LATS 模块和 GATS 模块组成。给定一张输入图像,主干网络首先从编码器阶段 L1–L5 提取层次化多尺度表示。随后,LATS 应用于浅层和中间层特征(L1–L4)以执行渐进式局部稀疏注意力细化,而 GATS 则作用于最深的语义特征(L5)以建模全局稀疏上下文依赖性。细化后的

数据集与实验参数设置

(1)数据集与评价指标: 为验证所提出 LGTS 方法的有效性,采用了三个公开可用的红外小目标检测数据集,包括 NUDT-SIRST1 [24]、NUAA-SIRST1 [36] 和 IRSTD-1k2 [22]。这些数据集包含合成和真实红外图像,具有多样化的目标尺寸、形状以及复杂背景。所有数据集均以 6:4 的比例划分为训练集和测试集。详细数据集信息汇总于表 12

弱监督应用分析

为进一步探索所提方法的适用性,我们在点监督设置下将 LGTS 整合到渐进式主动学习(PAL)[80] 框架中。如表 8 所示,所提方法在弱监督条件下仍取得了具有竞争力的性能,特别在保持高检测概率的同时表现出较低虚警率,显示出良好的鲁棒性和泛化能力。然而,在……条件下 IoU 性能仍有改进空间。

结论

本文通过提出一种感知稀疏的局部-全局 Transformer 框架,称为 LGTS,解决了红外小目标检测问题。为利用红外小目标的稀疏分布特性,在局部和全局特征建模过程中均引入了稀疏约束。具体而言,所提出的 LATS 模块通过注意力引导的 Top-k 特征选择渐进式增强并聚合多尺度局部表示,而 GATS 模块则高效地……

CRediT 作者贡献声明

黄科文:撰写——初稿、验证、方法论、数据整理、概念构思。李科:可视化、验证、方法论、数据整理。陈洛阳:监督指导、调查、数据整理。毛虹霞:监督指导、资源、形式分析。田岩:撰写——审阅与编辑、资源、概念构思。徐一平:撰写——审阅与编辑、资源、概念构思。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
黄科文|李科|陈洛阳|毛虹霞|田岩|徐一平
华中科技大学电子信息与通信学院,武汉,430074,中国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号