《Signal Processing: Image Communication》:WAMENet: Wavelet attention fusion downsampling and multi-scale edge enhancement network for infrared small target detection
编辑推荐:
•提供了一种用于小型红外目标检测的新型网络框架。•提出了一种新的下采样方法,以保留目标细节并抑制噪声。•提出了一种边缘增强技术,以增强目标的边缘特征。引言红外成像通过物体的热辐射形成图像,在低光照、背光和烟雾遮蔽的条件下仍然有效。由于其全天候能力和不受外部光照的影响,它已被广泛应
- •
提供了一种用于小型红外目标检测的新型网络框架。
- •
提出了一种新的下采样方法,以保留目标细节并抑制噪声。
- •
提出了一种边缘增强技术,以增强目标的边缘特征。
引言
红外成像通过物体的热辐射形成图像,在低光照、背光和烟雾遮蔽的条件下仍然有效。由于其全天候能力和不受外部光照的影响,它已被广泛应用于国防和军事侦察[1]、[2]、[3]、灾难预警[4]、[5]以及无人平台监控[6]。作为合成孔径雷达[7]和可见光成像[8]的补充,红外传感器实现了远距离、非侵入式的观察,然而它们的成像特性也使得红外小型目标检测(IRSTD)特别具有挑战性[9]。
在远距离成像条件下,目标通常只占据少数几个像素[10],提供的形状和纹理线索极为有限[11]。复杂的背景,如云层、海浪和地形边界[12],包含强烈的边缘和明亮区域,这些容易与真实目标混淆[13],而传感器噪声进一步掩盖了微弱的信号[14]。因此,与强调类别识别的通用视觉任务[15]、[16]相比,IRSTD更接近于一个高度类别不平衡的二分类问题,必须在严格抑制误报的同时实现高灵敏度[17]、[18]、[19]。
早期的模型驱动方法通过滤波[20]、[21]、局部对比度测量[22]、[23]、[24]和低秩稀疏分解[25]、[26]、[27]、[28]来解决这个问题,而深度编码器-解码器网络(如U-Net[29])则通过多尺度学习和注意力机制[30]提高了性能。在这些层次结构中,分阶段的下采样构建了多尺度特征表示,并允许后续的卷积模块聚合来自更广泛输入邻域的信息。然而,在空间域骨干网络中重复下采样往往会淹没定义目标的高频线索,而直接注入频率分量也可能放大杂波。已经探索了几种变换域方法[31]、[32]、[33]、[34],但它们中的许多方法将变换特征视为额外的通道,增加了优化负担,并在目标边缘和干扰背景结构之间提供了有限的选择性。图1总结了下采样的上下文-细节权衡以及目标相关和高频响应之间的模糊性。
基于这些观察,我们提出了WAMENet,这是一种用于红外小型目标检测的双分支网络,它在下采样过程中保留了微弱的目标线索,并在输出端增强了边界定位。我们构建了一个语义分支和一个浅层分支,它们仅在最后一个解码阶段交互,以便深层特征关注全局上下文,而浅层特征保留了精细结构。为了在极端类别不平衡的情况下加强这种协作,我们在最高分辨率解码器的特征上附加了一个辅助预测头,在最终融合之前提供额外的直接训练信号。
在语义分支中,我们引入了小波注意力融合下采样器(WAFD),并用它替换了每个编码器下采样操作。WAFD不是无差别地丢弃高频线索,而是在每个下采样阶段应用一级2D Haar DWT将当前特征分解为近似子带和三个方向细节子带、HL1、HH1。随后,WAFD使用细节子带作为受限的门控线索,允许与目标一致的局部结构增强近似特征,同时避免直接注入所有高频系数。最后,轻量级的通道注意力细化进一步突出了与目标相关的通道,为复杂背景下的小型目标提供了更健壮的语义表示。这种设计有助于保留定义目标的细节,同时限制了与杂波相关的细节响应的传播。
在浅层分支中,我们提出了一个多尺度边缘增强模块(MEEM),从早期特征中提取稳定的边界先验,此时空间细节仍然得以保留。MEEM通过渐进式池化构建多尺度上下文。在每个池化尺度上,EdgeEnhancer结合了固定梯度对比度线索和可学习的结构建模,以在弱对比度和杂波背景下提供稳定的浅层边缘先验。通过跨感受野聚合边缘线索,MEEM突出了弱目标轮廓,同时减少了来自背景边缘的碎片化响应。得到的边缘先验与最终解码器特征融合,明确指导预测头,使边界更加清晰,并有助于减少目标膨胀和误报。
我们的主要贡献总结如下:
- (1)
我们提出了WAMENet,这是一个双分支IRSTD框架,它将深度语义特征与输出端的浅层边缘先验相结合,旨在保留全局上下文的同时提高红外小型目标的高分辨率定位。
- (2)
我们为所有编码器下采样阶段设计了WAFD,在那里使用一级Haar DWT和可学习的细节子带融合来指导分辨率降低,并在杂波背景下保留小型目标线索。
- (3)
我们设计MEEM从浅层特征中提取多尺度边缘先验,通过固定的局部对比度增强和可学习的结构建模,在最终解码阶段提供轮廓指导。
本文的其余部分安排如下。第2节,我们回顾了关于红外小型目标检测的相关工作,包括传统方法、深度学习方法和变换域方法。第3节,我们详细介绍了提出的WAMENet,包括整体框架、小波注意力融合下采样器、多尺度边缘增强模块以及与深度监督的双分支协作学习。第4节,我们展示了实验数据集、设置和实验结果。第5节得出了结论。
章节片段
相关工作
在本节中,我们回顾了红外小型目标检测的相关研究,主要分为三类:传统检测方法、基于深度学习的方法和变换域方法。
方法论
在本节中,我们详细介绍了小波注意力融合下采样和多尺度边缘增强网络(WAMENet)。首先,我们描述了整体架构。然后,我们分别介绍了小波注意力融合下采样(WAFD)模块、多尺度边缘增强(MEEM)模块和双分支协作学习以及深度监督策略。
数据集
为了全面评估WAMENet,我们在三个公共单帧红外小型目标检测数据集上进行了实验:IRSTD-1K [41]、NUAA-SIRST [35] 和 NUDT-SIRST [36]。这三个数据集都提供了带有像素级目标掩膜的红外灰度图像。它们涵盖了多样化的具有挑战性的场景,如海天线、云层、山脉和城市地面,并具有典型的低信噪比、微小目标区域和杂波背景特征。
(1) IRSTD-1K,由
结论
我们提出了WAMENet,这是一个双分支红外小型目标检测网络,它将小波引导的语义下采样与后期融合的浅层边缘先验相结合。为了缓解传统下采样导致的精细细节严重丢失,我们引入了小波注意力融合下采样器(WAFD),它将2D离散小波变换嵌入到每个下采样步骤中,保留了有信息的高频线索,同时限制了与杂波相关的细节响应。
CRediT作者贡献声明
Bin Xiao:撰写——原始草稿,概念构思。Tao Yang:撰写——审阅和编辑,软件,方法论。Xinqi Xie:撰写——审阅和编辑,项目管理。Yanxue Wu:撰写——审阅和编辑,调查,形式分析。Min Wang:撰写——审阅和编辑,监督,资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作部分得到了国家重点专项(项目编号2025ZD1408602-03)、国家自然科学基金(项目编号62006200)和国家自然科学基金专项(项目编号62441610)的支持。
Bin Xiao|Tao Yang|Xinqi Xie|Yanxue Wu|Min Wang