揭示微小目标：用于小目标检测的 foreground probing 方法

《Image and Vision Computing》：Unmasking the Tiny: Foreground probing for small object detection

　　张彤|王海诺|张毅|郭晓杰
天津大学智能与计算学院，中国天津市雅观路135号，300350

**摘要**
在高分辨率图像中检测小对象是一项具有挑战性的任务，因为小目标常常被周围的背景所掩盖，因此容易被遗漏或错误分类。为了解决这个问题，本文提出了一种前景探测范式，通过利用集体分类特征来恢复和优化被抑制的前景分数。其核心是一个稀疏令牌选择模块（STSM），该模块在特征图中识别潜在的前景令牌，以防止有希望的候选对象被背景特征淹没。为了进一步增强这些表示，我们设计了一个前景细化模块（FRM），该模块从分类特征中提取出语义丰富的注意力图，以指导信息聚合。这使得令牌能够自适应地引用语义相似的邻居，从而在复杂场景中加强前景和背景之间的区分。广泛的实验表明，我们的方法在小对象检测方面取得了卓越的性能。我们的代码可在以下链接获取：https://github.com/AngstCJ/Unmasking-the-Tiny-Foreground-Probing-for-Small-Object-Detection

**引言**
高分辨率小对象检测对于无人机航空成像、遥感分析、智能安全监控和自动驾驶等关键应用来说越来越重要[1]、[2]。然而，在这些领域实现可靠的性能仍然是一个重大挑战[3]、[4]，因为高率的假阴性会严重降低召回率。这是因为小目标在背景像素的海洋中几乎看不见。它们的视觉痕迹非常微小，通常只表现为较大场景中的纹理异常或噪声。如果没有强烈的区分特征将它们分离出来，它们很容易被周围的视觉环境所淹没，导致它们经常被错误地分类为背景。YOLO系列[5]、[6]、[7]等检测器的设计加剧了这一问题。在这些检测器中，类别Ci的候选对象的最终排名分数通常由前景项和类别置信项计算得出：
s(Ci∣I)∝p(F∣I)p(Ci∣F,I)，
其中前景分数是在图像I的条件下，给定位置对应于前景对象F的概率，而类别分数是该对象属于第i类的条件概率。我们强调，这种公式化是作为检测器分数的解释性分解使用的，而不是基于条件独立性的严格概率推导。公式（1）揭示了核心的脆弱性。前景分数p(F|I)的估计依赖于局部网格的监督。但是单个网格的感受野通常比它所表示的小对象要大得多，其特征不可避免地受到周围背景环境的影响。这种固有的模糊性迫使网络在推理时产生被抑制且不可靠的前景分数，因为它无法自信地区分目标的微弱信号和主导的背景噪声。图1(a)展示了VisDrone数据集[8]中的一个例子，显示了YOLOX[7]产生的前景分数被严重抑制的区域。即使在物体密集聚集的区域，这些分数也明显较低，这强烈证明了传统检测器在高分辨率小对象检测任务中确实存在显著的前景区分错误。

为了进一步证明我们的动机，我们提供了所需的统计分析，比较了真实目标的前1名分类置信度和前景对象性（图2）。结果揭示了一个关键且之前被忽视的困境：即使前景信号严重退化，分类语义仍然非常可靠。这揭示了传统“过滤-然后检测”范式中的一个致命缺陷，例如依赖于空间裁剪来放大小目标。如果目标被早期的前景阈值不可逆地丢弃，这种空间放大就变得徒劳无功。

早期尝试解决前景分数p(F|I)不可靠估计的问题通常依赖于直接的“裁剪-然后检测”策略[9]，如图1(c)所示。它们将高分辨率图像I划分为较小的、重叠的块{Ip}。通过在给定块Ip内使对象相对较大，目的是使局部前景分数p(F|Ip)更加稳健且易于估计。然而，这种方法未能从根本上解决小目标被背景淹没的问题，因为它只是将问题从像素级别转移到了块级别。虽然这种策略可能会提高特定块内目标的分数，但检测器仍然被迫处理许多只包含无信息背景的块。这意味着区分包含目标的稀有块和绝大多数空块的核心挑战仍然存在，实际上没有解决低先验对象概率的问题。更严重的是，被块边界分割的对象丢失了关键的上下文信息，由于结构和上下文线索不完整，阻碍了类别分数p(Ci|F)的可靠估计。

为了缓解这些问题，最近的研究[10]、[11]、[12]、[13]主要采用了区域过滤范式，如图1(d)所示。这种策略旨在通过识别和过滤掉无关的背景区域来减少计算负担，使检测器能够将资源集中在高概率目标区域上，从而在速度和精度之间寻求最佳平衡。然而，这种范式对检测准确性的直接影响往往被忽视了。这是因为该范式引入了自己的一系列挑战。首先，其性能在很大程度上取决于辅助区域提案算法的质量，使得最终检测精度依赖于提案方法的精度。其次，即使在正确识别的区域内，背景主导的问题也常常存在。如图1(d)中显示的目标区域所示，小目标在裁剪中仍然可能非常稀疏，其特征仍然容易受到周围背景的掩盖。此外，区域提案机制本质上偏向于密集的簇，因此容易忽略孤立的对象。如图1(d)中视觉上所示，一个被明确标记为“散布区域”的单独车辆被提案机制排除在“目标区域”的选择之外，导致不可避免的检测遗漏。因此，背景信息冗余和前景-背景纠缠的基本问题仍然很大程度上没有得到解决。

我们如何准确探测小对象并提高它们的前景分数？我们的解决方案源于一个关键观察：尽管目标区域的前景置信度经常被严重抑制，但潜在的分类信息并没有完全丢失，而且相对稳健。如图1(a)和(b)所示，基线检测器产生了许多遗漏的检测（用红色十字标记），其中前景分数被严重抑制，使得对象与背景无法区分。相比之下，对分类头的分析显示，这些相同的区域显示出强烈的、具有区分性的分数（用黄色星号标记），表明关键的语义信息仍然得到了很好的保留。

受此启发，我们引入了一种新的前景探测范式。如图1(e)所示，这种范式超越了孤立的局部估计，首先选择一组稀疏的候选“目标令牌”，然后根据它们的集体分类特征来细化它们的前景分数。具体来说，我们设计了一个稀疏令牌选择模块（STSM），从背景特征（例如天空、道路、建筑物）中识别并挽救有希望的前景令牌，从而防止它们被淹没。例如，一张包含一小群车辆的航空图像。一个密集的检测器会在车辆上放置令牌，但也会在空旷的路面、屋顶和植被上放置令牌。STSM的作用是进行粗略但关键的修剪，丢弃明确属于背景的令牌，只保留那些具有合理（即使微弱）初始信号的令牌。这确保了FRM的注意力机制在一组潜在的车辆候选对象之间计算语义亲和力，而不是让其分析被无关的背景特征淹没。为了进一步细化前景分数，我们引入了一个前景细化模块（FRM）。FRM旨在结合更明确的语义指导。它从分类特征中提取出语义丰富的注意力图，然后指导前景分数的信息聚合和更新过程。这允许每个令牌引用具有相似语义特征的周围令牌。例如，一个初始前景分数较弱的候选令牌，如果周围有其他具有高语义相似性的令牌，那么它很可能是一个被抑制的真实正例。如图1(a)和(b)所示，我们的FRM利用了稳健的语义上下文来纠正被抑制的前景分数，成功挽救了许多否则会被基线检测器遗漏的检测（用蓝色方块标记）。

我们的主要贡献可以总结如下：
• 我们引入了前景探测范式，这是一种新的小对象检测框架。它从根本上将重点从不可靠的、孤立的局部预测转移到了一个利用集体语义信息的稳健的、上下文感知的细化过程。
• 我们提出了一种新的稀疏令牌选择模块（STSM），它从背景特征中识别并挽救有希望的前景候选对象，防止它们因初始置信度低而被过早丢弃。
• 我们设计了一个前景细化模块（FRM），进一步细化前景分数。该模块从稳健的分类特征中提取出语义丰富的注意力图，以指导被抑制前景分数的增强，显著提高了召回率。
• 广泛的实验和消融研究证明了我们提出的框架的有效性及其在高分辨率小对象检测方面优于现有方法的优越性，特别是在具有挑战性的基于无人机的航空图像中。

**相关工作**
随着深度神经网络的出现和大规模数据集（例如COCO [14]和PASCAL VOC [15]）的可用性，基于深度学习的方法的性能显著提高。传统的对象检测器可以大致分为两类：一类是单阶段检测器，另一类是两阶段检测器。两阶段检测器首先提出候选区域，然后利用感兴趣区域（ROI）机制从这些区域提取特征，随后执行边界框检测。

**实验设置**
我们基于YOLOX-X [7]实现了我们的方法，在两块NVIDIA RTX3090 GPU上使用4个尺度的检测头，批量大小为8。我们将初始学习率设置为0.01，训练周期为100个周期。训练中的图像输入大小设置为（960, 960），VisDrone和UAVDT的测试图像大小分别设置为（1504, 1504）和（1286, 1286），遵循ESOD [12]的设置。我们在两个不同的数据集上进行了实验：VisDrone [8]和UAVDT [29]。

**结论**
在这项工作中，我们解决了小对象检测中的一个关键问题：前景分数的抑制导致目标被遗漏。我们的解决方案基于一个关键洞察，即即使前景信号较弱，潜在的分类特征仍然保持稳健。受此启发，我们引入了新的前景探测范式，该范式使用稀疏令牌选择模块（STSM）从背景噪声中挽救有希望的候选对象，并使用前景细化模块（FRM）来进一步细化前景分数。

**局限性**
如图7所示，我们的模型在具有多种失败模式的复杂场景中表现出局限性。例如，尽管我们的方法成功识别出了ESOD之前遗漏的一辆卡车（用红色圆圈突出显示），但它未能检测到同一图像中的另外三个前景对象。左边的两个人被忽略了，可能是由于它们的规模极小，导致它们的特征与周围背景纹理无法区分。

**作者贡献声明**
张彤：撰写——原始草稿、验证、方法论、调查、形式分析。
王海诺：撰写——原始草稿、验证、数据管理。
张毅：撰写——审阅与编辑。
郭晓杰：撰写——审阅与编辑、监督、资源管理、项目管理、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。