SPFormer：用于红外小目标检测的超像素感知变换器

《Pattern Recognition》：SPFormer: Superpixel-perceptive transformer for infrared small target detection

　　

• •
  我们首创性地将超像素技术引入基于深度学习的 IRSTD 框架，建立了一种兼具语义一致性与几何灵活性的超像素感知 Transformer。
• •
  一种从语义到细节的特征融合机制构建了像素级与区域级特征之间的双向交互，以增强局部结构感知。
• •
  频率自适应特征增强策略动态地将与目标相关的高频特征与复杂背景噪声分离。
• •
  与现有代表性方法相比，它在保持甚至提升检测性能的同时，显著减少了模型参数。

引言

红外小目标检测（IRSTD）在军用和民用领域得到了广泛应用 [1]，如海洋资源利用、导航系统和生态监测。与通用目标检测任务 [2]、[3] 相比，红外小目标具有独特的特征，包括尺寸小、亮度低和形状多样，这给 IRSTD 带来了巨大挑战。

现有方法大致可分为两类：基于模型的方法 [4]、[5] 和基于深度学习的方法 [6]。基于模型的方法主要依赖于手工设计特征和人工参数调整，限制了其在复杂真实场景中的鲁棒性 [7]。相比之下，基于深度学习方法通常通过大数据集训练，表现出更强的泛化能力 [8]。大多数基于深度学习的方法建立在 CNN 或 Transformer 之上。基于 CNN 的方法 [9] 专注于局部特征提取，但由于目标与背景相似，仅靠局部特征很难区分目标。Transformer 利用自注意力建模长程依赖，有助于克服卷积局部感受野的局限 [10]。因此，一些研究 [11]、[12] 结合 CNN 和 Transformer 以提高检测性能。

传统 CNN 模型 [13] 使用常规卷积进行特征提取，而 Transformer 模型 [14] 在应用自注意力之前将特征图划分为固定大小的块。然而，CNN 难以适应目标形状变化，如不规则边缘和尺度变化 [15]。它们对复杂背景（包括云层和热噪声）也很敏感，这可能导致深层几何细节丢失。Transformer 也受制于分块策略，这可能分割目标特征并破坏其结构连续性 [16]。为了克服这些局限，近期研究 [17] 探索动态变形建模，包括可变形卷积和可变形注意力。如图 1 所示，可变形卷积 [18] 学习采样偏移量以使感受野适应目标形状，可变形注意力 [19] 动态调整注意力区域以减少固定分块导致的信息损失。

然而，这些方法仍然依赖低级特征和均匀分布的参考点，这些可能不与语义边界对齐。在模型驱动的 IRSTD 中，一些工作 [20] 引入超像素分割，基于颜色或纹理相似性将像素分组为语义一致的区域。尽管这些方法能更好地与目标边界对齐并提供结构化区域，但它们在基于深度学习的 IRSTD 中很少被使用。由于红外小目标通常具有低对比度和弱纹理，这与超像素分割的区域一致性相冲突，因此设计具有自适应区域感知的基于超像素的深度网络仍具有挑战性。

为了解决上述挑战，我们提出了一种超像素感知 Transformer（SPFormer），为 IRSTD 中的 Transformer 提供了一种计算范式，结合了语义一致性和几何灵活性。具体来说，超像素感知分区（SIP）模块（第 3.3 节）使用可微分超像素分割构建语义感知的局部单元。它将输入特征分离为强度分量和对比度分量，并使用自适应平均池化初始化超像素特征。通过迭代优化亲和矩阵获得像素与超像素之间的软分配，从而生成遵循图像结构的自适应分区。超像素引导的交叉注意力（SGCA）模块（第 3.4 节）将亲和矩阵作为结构先验。它构建像素级和区域级特征之间的交互，以提高局部细节和全局上下文之间的一致性。动态频率增强前馈网络（DF-FFN）模块（第 3.5 节）引入了可学习的频率选择机制。它将目标相关组件从噪声中分离出来，以弥补空间域建模的局限。

基于这三个提出的模块，我们构建了超像素感知 Transformer（SPFormer）。主要贡献总结如下：

• 1.
  我们首创性地将超像素技术引入基于深度学习的 IRSTD 框架，建立了一种兼具语义一致性与几何灵活性的超像素感知 Transformer。
• 2.
  一种从语义到细节的特征融合机制构建了像素级与区域级特征之间的双向交互，从而在保持全局建模能力并降低计算复杂度的同时，增强了局部结构感知。
• 3.
  频率自适应特征增强策略通过动态地将与目标相关的高频特征与复杂背景噪声分离，弥补了空间域建模的固有局限。
• 4.
  大量实验表明，所构建的 SPFormer 在多个基准数据集上取得了优异性能。与现有代表性方法相比，它在保持甚至提升检测性能的同时，显著减少了模型参数。

本文其余部分结构如下。第 2 节概述了与此研究相关的先前工作。第 3 节介绍了所提出的 SPFormer 的具体内容。随后，我们在第 4 节展示了所提方法的对比实验和消融实验。最后，在第 5 节中，我们呈现了总结和展望。

章节摘要

相关工作

我们首先回顾基于 CNN 和基于 Transformer 的 IRSTD 方法，然后讨论超像素分割在图像处理中的应用。

所提方法

在本节中，我们详细介绍了我们的 SPFormer。具体来说，我们首先阐述 SPFormer 的整体架构和流程，随后全面描述 SPT 组成。然后，我们介绍 SIP 并提供 SGCA 的详细分析。最后，解释了 DF-FFN 的详细结构。

实验

在本节中，我们首先介绍评估指标，随后是实验设置和实现细节。然后，从定量和定性角度将 SPFormer 与几种最先进的（SOTA）IRSTD 方法进行比较。最后，我们进行消融研究以分析所提方法。

结论

所提出的 SPFormer 为红外小目标检测提供了一种有效解决方案。通过在学习架构中引入超像素先验，模型有效地解决了固定大小分块方法导致的目标边缘不完整和弱纹理信息丢失等问题。其核心贡献由三个关键组件组成：一个实现边界敏感语义单元生成的语义一致自适应区域分区模块，一个

CRediT 作者贡献声明

刘燕琼：写作 – 审阅与编辑，写作 – 原始草稿，软件，方法论。雷森：写作 – 审阅与编辑，方法论，资金获取。李衡超：写作 – 审阅与编辑，方法论，资金获取。潘杰：写作 – 审阅与编辑。耿雄飞：写作 – 审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系，这些关系可能影响本论文所报告的工作。

致谢

本工作部分由 四川省自然科学基金 资助（项目编号 2023NSFSC0030 和 2025ZNSFSC1154），以及部分由 国家自然科学基金 资助（项目编号 62271418）。

刘燕琼 | 雷森 | 李衡超 | 潘杰 | 耿雄飞