重新思考UNet中的下采样技术：用于红外小目标检测的无步长双域学习方法

《Optics & Laser Technology》：Rethinking downsampling in UNet: Stride-free dual-domain learning for infrared small target detection

针对红外小目标检测中下采样导致信息丢失的问题，提出SDANet。通过高频率调制下采样（HMD）和无下采样小波增强模块（SWEM）保留高频细节，结合注意力路由的尺度自适应模块（ARSA）融合多尺度特征，提升检测准确性和鲁棒性。

　　

张世豪|何欣|袁帅|金少辉|卢阳|蒋晓恒|徐明亮

郑州大学计算机科学与人工智能学院，郑州，450001，中国

摘要

红外小目标检测（IRSTD）近年来从U型神经网络中受益匪浅。然而，现有方法通常忽略了U型架构中步长下采样的不利影响，以及目标和背景在频域上的固有区分性。这导致下采样过程中细节丢失严重，特征提取不足。为了解决这些问题，我们提出了一种无步长的双域自适应网络（SDANet）用于IRSTD。与传统的步长下采样不同，我们提出的高频调制下采样（HMD）通过融合离散小波变换生成的低频带和调制的高频子带来实现无步长下采样。HMD在下采样过程中保留了更丰富的目标细节，同时抑制了背景杂波干扰。在HMD的基础上，我们进一步设计了无步长小波增强模块（SWEM），该模块结合了多尺度小波卷积（MWC），以共同提取空间和之前被忽视的频域表示，从而捕获更丰富、更具区分性的特征。在解码器中，我们提出了一个注意力引导的尺度自适应（ARSA）模块，通过输入依赖的注意力路由动态融合局部和非局部特征，以提高尺度鲁棒性。在三个公开IRSTD数据集上的广泛实验表明，SDANet在检测准确性和鲁棒性方面优于现有的最先进方法。

引言

由于红外小目标检测（IRSTD）具有全天候和昼夜操作能力，它已成为早期预警[1]、火灾救援[2]和交通监控[3]等应用中不可或缺的技术。尽管经过数十年的研究，IRSTD仍面临两个根本性挑战：信噪比（SNR）低和严重的背景干扰。这些挑战促使研究人员持续关注红外小目标检测[4]。一般来说，IRSTD方法可以分为单帧和多帧方法。多帧方法，如最近提出的Triple-Domain Feature Learning[5]和SSTNet[6]，有效利用了时空相关性来区分目标和背景杂波。然而，在时间信息不可用或计算资源有限的场景中，单帧检测仍然是一个基本且具有挑战性的研究方向。早期的单帧方法主要依赖于领域先验来构建手工制作的数学模型。代表性技术包括图像滤波[7]、[8]、受人类视觉系统（HVS）启发的建模[9]、[10]和低秩近似[11]、[12]。然而，这些方法严重依赖于手动设计的特征和经验性调整的参数，这限制了它们在复杂现实世界场景中的鲁棒性和适应性。

最近，基于深度学习的方法取得了显著进展[13]、[14]、[15]。为了更好地捕捉目标像素位置，许多研究将IRSTD重新定义为语义分割任务。然而，由于红外目标的固有特征，如尺寸小、边界模糊和背景复杂，直接应用通用深度学习模型往往无法捕获足够的区分性表示，导致检测性能不佳。

为了缓解这些限制，一些方法引入了精心设计的功能提取模块来增强小目标感知[16]、[17]、[18]、[19]。然而，目标特征仍然容易在网络的深层丢失，因此提出了几种改进的U型架构来加强深度特征表示[20]、[21]、[22]。进一步的研究表明，由于空间错位或深层中小目标的丢失，浅层细节和深层语义经常表现出不一致性甚至冲突[23]、[24]。因此，提出了多种特征融合方法来有效整合相邻层之间的详细信息和语义信息[25]、[26]。

尽管这些方法在不同程度上增强了小目标的多尺度表示，但它们都是基于UNet架构构建的。它们之间的一个共同限制是依赖于步长下采样操作（例如最大池化或步长卷积）来降低空间分辨率。这些操作不可避免地会丢弃原始分辨率级别的大量目标信息。考虑到无步长下采样的信息保留优势，我们在图1中可视化了两种下采样方法的效果。经过多次最大池化操作后，目标特征变得极其稀疏，而无步长下采样即使在深层也能保留丰富且紧凑的目标表示。

受这些观察结果的启发，我们进一步探索了在其他视觉任务中研究过的无步长下采样策略。代表性类别包括高频丢弃方法[27]、[28]、[29]、[30]、均匀低高频融合[31]、[32]、[33]、[34]以及空间到深度的重排[36]、[37]、[38]、[39]。然而，这些方法并不适合红外小目标检测。传统的小波下采样倾向于丢弃包含丰富目标细节的高频成分。均匀融合低频和高频子带将它们视为在语义上同等重要，导致包含丰富目标响应的高频成分被低频主导特征所淹没，从而削弱了频域的区分性。相比之下，空间到深度的重排保留了空间几何结构，但当应用于IRSTD时，目标和背景的边界像素可能会映射到同一空间位置的不同通道，导致特征混叠和表示不一致。如图2所示，这些限制促使我们设计了一种动态的无步长下采样机制，该机制在保留空间信息的同时自适应地注入调制的高频细节。

此外，由于局部显著性和高比例的边界像素，小目标表现出较大的空间梯度，这些边界像素通常伴随着丰富的高频响应。而背景通常表现出平滑的低频信号，这种差异使得在频域中可以区分目标和背景。然而，现有方法忽略了这一差异，只考虑了空间域中目标的局部显著性，从而未能利用频域线索。

受这些观察结果的启发，我们提出了一种动态的无步长双域自适应网络（SDANet），以减轻步长下采样引起的特征丢失，并利用目标和背景之间的频域可区分性。首先，我们引入了高频调制下采样（HMD）模块，在下采样过程中保留更多目标细节。具体来说，使用Haar小波生成低频和高频子带。然后，用局部-全局上下文线索调制高频子带，并将其注入低频子带。在HMD的基础上，我们进一步开发了无步长小波增强模块（SWEM），该模块结合了多尺度小波卷积（MWC），以共同捕获空间域和经常被忽视的频域表示。此外，单尺度解码器难以处理小目标和尺度变化的目标，因此我们提出了一个注意力引导的尺度自适应（ARSA）模块，以适应目标大小和网络深度的变化。ARSA首先广泛感知局部和非局部特征，然后在注意力路由的指导下将它们融合。我们的贡献总结如下：

1)

我们基于两个关键见解提出了SDANet：IRSTD中步长下采样导致的功能退化，以及频域中经常被忽视的目标-背景区分性。

2)

我们通过采用无步长下采样提出了一种无步长小波增强模块，以最小化不可逆的信息丢失，并关注被忽视的频域区分性信息。

3)

我们设计了一个注意力引导的尺度自适应模块，该模块采用感知-融合策略，在注意力路由的指导下适应性地解码不同大小和网络深度的目标。

章节片段

基于UNet的IRSTD方法

深度学习极大地推动了IRSTD的发展，特别是U型网络显著提高了检测鲁棒性。

在将UNet适应到IRSTD时，Dai等人[23]首次发现了多层特征中的语义不一致性问题。因此，提出了几种特征融合策略来减轻语义不一致性[24]、[25]、[26]、[40]。同时，为了增强特征表示，许多方法引入了精心设计的模块，例如

方法

在本节中，我们将介绍所提出的SDANet。我们首先在第3.1节介绍SDANet的整体架构。然后，在第3.2节介绍SWEM的技术细节和无步长下采样的具体实现。最后，在第3.3节详细阐述注意力引导的尺度自适应模块。

数据集

在我们的实验中，我们在三个公开且广泛使用的红外数据集上评估了我们提出的方法：SIRST-v1（427张图像）、NUDT-SIRST（1327张图像）和IRSTD-1K（1000张图像）。

为了确保公平比较，我们采用了官方的数据集划分[20]、[23]、[44]。具体来说，SIRST-v1和NUDT-SIRST数据集都使用256×256分辨率的图像，训练-测试比例为5:5，而IRSTD-1K使用256×256分辨率的图像，训练-测试比例为8:2。在推理过程中，原始

结论

在本文中，我们重新审视了基本的UNet组件和步长下采样，并揭示了其对红外小目标的负面影响。我们进一步得出了两个关键见解：步长下采样会导致小目标严重退化，小目标主要表现为频域中的高频成分。受这些见解的启发，我们提出了一种无步长的双域自适应网络（SDANet）。在编码阶段，我们引入了无步长小波增强模块

CRediT作者贡献声明

张世豪：写作 – 审稿与编辑，撰写 – 原始草稿，可视化，概念化。何欣：写作 – 审稿与编辑，可视化，方法论。袁帅：写作 – 审稿与编辑，可视化，概念化。金少辉：写作 – 审稿与编辑，可视化，概念化。卢阳：写作 – 审稿与编辑。蒋晓恒：写作 – 审稿与编辑，方法论，资金获取，概念化。徐明亮：写作 – 审稿与

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了郑州国家超级计算中心的支持。本工作部分得到了国家自然科学基金（项目编号：62572444、62576322）的支持；部分得到了河南省自然科学基金（项目编号：232300421093）的支持；部分得到了河南省高等学校科技创新人才项目（25HASTIT033、25IRTSTHN019）的支持；以及河南省重点研发项目（项目编号：251111221400、252102211044）的支持。作者