面向多帧红外小目标检测的小波引导时序光度网络

《Infrared Physics & Technology》:Wavelet-guided temporal photometric network for multi-frame infrared small target detection

【字体: 大 中 小 】 时间:2026年08月29日 来源:Infrared Physics & Technology 3.8

编辑推荐:

   摘要 多帧红外小目标检测是一项极具挑战性的任务,其难点在于目标响应极其微弱、背景杂波复杂,以及微小目标在深度特征提取和多尺度融合过程中容易被抑制。为解决这些问题,我们提出了一种小波引导的时序光度网络(WTPNet),这是一种面向运动红外小目标检测的先验引导三分支交叉注意力框

  

摘要

多帧红外小目标检测是一项极具挑战性的任务,其难点在于目标响应极其微弱、背景杂波复杂,以及微小目标在深度特征提取和多尺度融合过程中容易被抑制。为解决这些问题,我们提出了一种小波引导的时序光度网络(WTPNet),这是一种面向运动红外小目标检测的先验引导三分支交叉注意力框架。WTPNet不同于直接堆叠连续帧,而是将多帧信息解耦为运动敏感的时序线索、上下文感知的时序表示和当前帧空间外观。具体而言,通过联合使用时序离散余弦变换(DCT)和Haar小波分解来构建时序上下文先验,其中前者捕获帧间运动敏感的光度变化,后者将低频背景结构从高频局部细节中分离出来。该先验引导时序上下文分支在强调目标相关变化的同时抑制背景主导的响应。此外,方向性光度残差增强策略保留了当前帧中的微弱浅层响应,大上下文尺度聚焦融合模块缓解了多尺度特征聚合过程中的目标稀释问题。在两个公开数据集上的实验表明,WTPNet在性能上超越了具有代表性的单帧和多帧检测器。与基线方法相比,WTPNet在两个数据集上的平均精度(AP50)分别从59.10%提升至64.06%,从85.85%提升至90.11%。这些结果验证了时序-频率先验学习、光度响应保留和尺度聚焦融合在鲁棒运动红外小目标检测中的互补性。代码将在 https://github.com/vazheaven/WTPNet 发布。

引言

红外小目标检测(IRSTD)是红外搜索与跟踪系统、空间监视、海事监测和遥感解译中的基本任务。与可见光图像中的通用目标检测不同,红外小目标通常仅占据几个像素,且缺乏稳定的形状、纹理和语义线索[1]。其微弱的光辐射响应很容易被结构化杂波、传感器噪声和背景热辐射变化所淹没,导致频繁漏检和虚警。近期研究进一步表明,如果没有显式保留目标相关的高梯度或高频线索,小目标特征会在特征下采样和深度语义抽象过程中逐步被削弱[2]、[3]。如图1所示,红外小目标的紧凑响应倾向于随着网络层级加深而衰减和扩散。因此,保留微弱但具有判别力的目标线索仍然是红外小目标检测中的核心挑战。

早期的IRSTD方法主要是模型驱动的,依赖于手工设计的领域先验。局部对比度方法利用小目标与其邻近背景之间的强度差异来增强目标[4]、[5]。低秩稀疏分解方法将红外图像或序列建模为低秩背景与稀疏目标成分的叠加[6]、[7],而基于张量的扩展方法进一步利用非局部和时空相关性进行背景抑制[8]。对于红外序列,传统方法还引入时序剖面和运动显著性来区分微弱运动目标与复杂背景[9]、[10]。这些方法具有可解释性,并揭示了有价值的先验,如局部光度对比度、背景低秩性和时序一致性。然而,其性能通常对手工设计的窗口、阈值、秩假设和迭代优化方案较为敏感。更关键的是,强边缘、孤立噪声和背景角点也可能表现出稀疏或高频响应,使得纯粹的手工先验不足以在复杂红外场景中有效区分真实目标与杂波引起的伪响应。

随着深度学习的发展,单帧红外小目标检测在可学习特征表示和背景抑制方面有了显著提升[11]。现有方法探索了U形编码器-解码器架构[12]、稠密嵌套特征交互[13]、高分辨率特征保留[14]、多尺度注意力机制[15]、基于Transformer的上下文建模[16]以及面向检测的预测头[17],以补偿红外目标的微弱语义和极小的空间范围。近期研究还引入了图像去噪、基于小波的下采样和空间-频率融合来保留局部细节并增强目标-背景可分性[18]、[19]。尽管取得了这些进展,大多数单帧方法仍然主要依赖于单张图像的空间外观线索。当目标-背景对比度极低时,仅凭空间证据往往不足以可靠地区分真实目标与杂波类响应。此外,反复的下采样和深度语义抽象可能会抑制小目标的紧凑光度特征,而粗糙的多尺度融合可能将背景干扰传播到细分辨率细节中。

为了克服单帧检测的局限性,多帧方法利用红外序列中的时序信息。传统的序列方法研究表明,微弱目标可以在时序维度上形成具有判别力的光度模式,如能量积累和时序剖面相似性[20]、[21]。深度多帧方法进一步通过双流时空建模、交叉注意力交互和多尺度时序融合从相邻帧中学习运动相关表示[22]、[23]、[24]、[25]。近期工作还探索了运动模式挖掘[26]、状态空间建模[27]和神经时空张量表示[28]。总体而言,这些研究表明时序信息应被视为结构化引导,而不仅仅是额外的输入帧。然而,时序建模并非自动有益的。不加区分地堆叠帧或无约束的时序聚合可能同时放大背景引起的时序变化和真实目标响应。因此,需要更具判别力的时序上下文先验来强调目标相关的时序变化并抑制背景主导的响应。

上述讨论表明,有效的多帧红外小目标检测应满足三个相互耦合的要求。首先,小目标的微弱光度证据应在浅层阶段被保留,以免被背景结构淹没或被深度语义削弱。这一点尤为重要,因为真实红外目标和杂波类结构通常表现出不同的方向性响应模式,使得方向感知的局部增强对早期特征学习具有重要价值。其次,时序信息应转化为目标相关的上下文引导,而非不加区分地聚合。频率和小波引导的研究表明,小目标在高频或跨域表示中往往更具可区分性,而低频成分主要反映缓慢变化的背景结构[29]。第三,层次化特征融合应避免用大尺度上下文语义稀释紧凑的目标响应。虽然多尺度和跨层融合可以结合精细空间细节与深度上下文信息,但直接融合可能导致语义不匹配并传播背景干扰[30]。这些要求对应同一问题的三个互补方面:保留微弱目标响应、判别目标相关的时序上下文以及维持尺度感知的特征聚焦。

为此,我们提出了面向多帧IRSTD的小波引导时序光度网络(WTPNet)。WTPNet采用三分支交叉注意力架构,将多帧表示学习解耦为运动敏感的时序线索、上下文感知的时序表示和当前帧空间外观。如图2所示,所提出的小波引导时序上下文先验(WTCP)结合时序离散余弦变换与Haar小波分解。时序变换捕获帧间运动敏感的光度变化,Haar小波分解将低频背景结构与高频局部细节分离。二者的组合提供了更具判别力的时序上下文先验,使上下文分支能够强调目标相关的时序变化并抑制背景主导的响应。同时,方向性光度残差增强(DPRE)模块保留当前帧分支中的微弱浅层响应,大上下文尺度聚焦融合(LCSF)模块在宽泛上下文感知下将层次化特征重新聚焦于紧凑的目标区域。通过这种方式,WTPNet构建了一个统一的先验引导框架,从三个互补视角提升多帧红外小目标检测性能:时序上下文纯化、浅层光度响应保留和尺度感知特征融合。

本文的主要贡献总结如下:

1)我们提出了WTPNet,一种面向多帧红外小目标检测的先验引导三分支交叉注意力框架,联合建模运动敏感的时序线索、上下文感知的时序表示和当前帧空间外观。

2)我们设计了一种小波引导的时序上下文先验,联合利用时序DCT和Haar小波分解。与大多数现有频率或小波引导方法主要从单帧中派生静态空间-频率表示不同,WTCP显式建模时序光度变化和当前帧-参考帧小波上下文,以构建序列级时序上下文先验,在动态红外杂波下校准上下文感知分支。

3)我们引入了方向性光度残差增强模块和大上下文尺度聚焦融合模块,分别用于保留微弱浅层响应和缓解层次化特征融合过程中的目标稀释问题。

4)在两个公开数据集上的大量实验表明,WTPNet的性能超越了具有代表性的单帧和多帧方法。与基线方法相比,WTPNet将AP50分别从59.10%提升至64.06%和从85.85%提升至90.11%。

相关工作

单帧红外小目标检测

单帧红外小目标检测是IRSTD中的基本设置之一。早期深度学习方法通常将IRSTD建模为稠密分割问题,其中核心挑战是在层次化特征提取过程中保留微弱的目标响应。DNANet通过稠密嵌套特征交互和通道-空间注意力缓解了小目标在深层中的消失问题[13]。针对星载热红外微小船舶检测,HFA-Net进一步……

整体架构

所提出的WTPNet的整体架构如图3所示。给定按时序排列的红外帧序列{X_i}_{i=1}^T,其中X_1,…,X_{T-1}表示前序帧,X_T表示当前待检测帧,WTPNet采用三分支交叉注意力框架,联合利用运动敏感的时序线索、上下文感知的时序表示以及当前帧的空间外观信息。与直接堆叠多帧特征或简单融合2D……

实现细节

数据集。遵循近期运动红外小目标检测研究的标准评估协议,我们在两个公开基准上开展实验,即IRDST-H[60]和DAUB-R[46]。这些数据集为动态红外目标检测提供了互补的评估场景。IRDST-H包含具有可变原生分辨率和多种空中目标类别的异构红外序列,因此呈现了目标外观和场景多样化的挑战性设置。

结论

本文提出了WTPNet,一种面向多帧红外小目标检测的小波引导时序光度网络。WTPNet不同于直接堆叠连续帧,而是将多帧表示学习解耦为运动敏感的时序建模、上下文感知的时序先验学习和当前帧空间外观保留。具体而言,WTCP引入DCT和Haar小波引导的先验来增强目标相关的时序上下文,DPRE强化微弱……

CRediT作者贡献声明

龙高(Long Gao):写作 – 审稿与编辑,写作 – 初稿撰写,可视化,验证,软件,资源,方法论,调查,形式分析,数据管理,概念化。李媛(Liyuan Li):验证,监督。张文聪(Wencong Zhang):软件,数据管理。赵雪(Xue Zhao):验证。倪新悦(Xinyue Ni):监督。苏晓峰(Xiaofeng Su):监督,资源。陈凡生(Fansheng Chen):监督,资源,项目管理,经费获取,形式分析。

利益冲突声明

作者声明,他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本研究得到国家自然科学基金的资助[项目编号:62575297]。

龙高 | 李媛 | 张文聪 | 赵雪 | 倪新悦 | 苏晓峰 | 陈凡生

中国科学院上海技术物理研究所,红外物理重点实验室,上海 200083,中国
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号