面向运动红外小目标检测的无监督自优化学习

《Pattern Recognition》：Unsupervised self-optimization learning for moving infrared small target detection

　　

• •
  提出了一种用于 MISTD 的新型端到端无监督框架。
• •
  设计了一种新的时空伪标签生成方案。
• •
  制定了一种运动引导的标签过滤策略以优化伪标签。

引言

红外小目标检测 (ISTD) [1] 因其独立于外部照明且提供全天候可见性而被广泛采用，使其在军事系统、环境监测、火灾监控和动物观察等应用中不可或缺 [2]。

早期，为满足红外小目标检测需求，开发了单帧方法，例如 ISNet [3]。此类方法主要处理非顺序输入。然而，它们越来越难以满足基于视频检测应用不断增长的需求 [4]。因此，近期研究开始探索视频序列上的 ISTD，催生了一个名为基于多帧的运动红外小目标检测 (MISTD) 的新兴且更具挑战性的分支 [5]。

在该领域，除了基于模型的方法 [6] 外，数据驱动（例如基于深度学习）的方法已成为 ISTD 的关键研究焦点之一 [7]，如图 1(a) 所示的经典全监督方案。它们能够实现强大的检测性能和泛化能力 [8]，但需要具有昂贵人工目标标注的大规模数据集 [9]。这种对标注的依赖性对 MISTD 尤为限制，因为运动红外小目标在视频序列中稀疏、微弱且难以准确标注。因此，引入无监督学习并非简单地替代现有的基于模型或监督方法，而是通过从无标注红外视频中学习来缩小它们的差距。

尽管无监督目标检测在可见光场景中取得了可喜的进展 [10], [11]，但这些方法主要针对语义丰富的对象设计，因此无法直接适用于 MISTD。大多数通用无监督检测器依赖于语义类别、类别级判别或区域级外观一致性。然而，红外小目标通常是类别无关的、无纹理的且对比度弱的，特别是在长感应距离下 [12]。它们的视觉响应往往接近背景杂波，且包含很少可靠的语义线索 [13]。因此，现有的无监督目标检测方法可能无法为红外小目标生成可靠的伪标签，如图 1(b) 所示。这解释了为什么需要一个特定的 MISTD 无监督框架，而不是直接迁移通用无监督检测器。

在无监督 MISTD 中，伪标签是检测器训练的唯一监督，使其可靠性至关重要 [10]。然而，背景杂波可能导致虚假警报，而微弱目标往往导致定位不准确。我们通过利用运动小目标的内在时空规律来解决这个问题。真实目标通常在相邻帧之间表现出紧凑的响应和连贯的运动轨迹，而背景噪声通常在时间上不稳定或运动不一致。因此，我们从空间紧凑性和时间连续性中挖掘候选伪标签，然后应用运动引导的标签过滤来抑制运动不一致的虚假警报，为自优化学习提供有用的初始化。

基于这些初始标签，我们进一步提出了一种无监督自优化学习框架，即 UNSoL，如图 1(c) 所示。从学习角度来看，伪标签可被视为潜在监督。如果噪声标签持续与检测器训练耦合，模型可能会反复拟合标签误差并放大确认偏见。为了缓解这个问题，UNSoL 将伪标签优化和模型学习解耦为独立的递归阶段。每个阶段通过检测器推理和选择性替换更新伪标签，从而保留稳定候选者并逐渐抑制不可靠标签。这样，伪标签质量和检测器性能可以逐步提高。

我们的工作主要贡献如下：

见解。 我们揭示出，在无监督 MISTD 中，关键挑战不仅是无标注训练检测器，而是获得足够可靠的伪标签作为监督。这将焦点从以检测器为中心的学习转移到以标签为中心的自优化，其中伪标签质量成为主要优化目标。

方法论。(i) 我们提出了一种用于 MISTD 的端到端无监督自优化学习框架 UNSoL。UNSoL 引入了一种解耦学习机制，将连续检测器训练划分为独立的递归优化阶段。每个阶段从当前伪标签学习并通过检测器推理、候选伪标签存储和选择性替换来更新它们，从而逐步提高伪标签质量并减轻误差积累。

(ii) 我们设计了一种时空伪标签生成方案，从无标注红外视频序列初始化伪标签。该方案联合利用空间目标响应和时间运动线索，能够在无需人工标注或辅助标注数据的情况下实现可靠的伪标签初始化。

(iii) 我们为伪标签初始化阶段开发了一种运动引导的标签过滤策略。通过评估生成候选者的运动一致性，该策略抑制来自复杂背景的运动不一致虚假警报，并在自优化学习之前提高初始伪标签的可靠性。

章节片段

单帧红外小目标检测

现有的主流方法通常可以分为两个方向：基于模型的方法 [14] 和数据驱动方法 [15]。

前者主要包括基于背景一致性 [16]、人类视觉系统 [14] 和优化公式 [17] 的策略。基于模型技术的典型代表包括局部特征导向方法，如局部对比度量 (LCM) [14]，及其改进变体，例如 NLCM [18] 和 RLCM [6]。在

符号定义

为了清晰起见，表 1 总结了我们 UNSoL 框架中使用的主要符号。

自优化学习

提出了一种端到端 UNSoL 框架用于无监督检测，如图 2 所示。首先，将时空伪标签生成应用于无标注训练集，并结合运动引导标签过滤以获得初始伪标签 ${\zeta }^1$。随后，使用解耦学习训练检测器，并通过模型推理迭代更新伪标签 ${\stackrel{?}{\zeta }}^n$ 以构建一个

实现细节

我们在两个数据集上评估了我们的 UNSoL 和其他方法：DSISTD [9] 和 IRDST-M [5]，使用诸如精确率 (Pr)、召回率 (Re)、F1 分数和平均精度 (mAP₅₀，即在交集并集 (IoU) 阈值为 0.5 时的平均精度均值) 等指标。所有基于分割的方法都配备了额外的检测头，并在相同的检测协议下训练/测试，以便进行公平比较。对于所有方法，输入图像使用 letterbox 方法调整大小为 512 × 512 分辨率。

结论

为避免高成本的人工目标标注，本文提出了一种新的无监督自优化学习框架，即 UNSoL。通过自优化学习策略，它可以生成优化后的伪标签以促进红外小目标检测器的训练。大量实验证明了我们的 UNSoL 在 ISTD 方面的有效性和实用潜力。在主要指标上，它可以在特定

CRediT 作者贡献声明

陈圣家：撰写 – 原稿，软件，方法论，调查，形式分析，数据整理，概念化。 姬禄平：撰写 – 审查与编辑，监督，项目管理，资金获取。 彭双：验证，软件。 朱思诚：验证，资源。 叶茂：资金获取。

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系可能会影响本论文中报告的工作。

陈圣家 | 姬禄平 | 彭双 | 朱思诚 | 叶茂