用于无人机图像密集微小目标检测的语义 - 空间协同特征金字塔网络

《Neural Networks》：Semantic-Spatial Synergy Feature Pyramid Network for Dense Tiny Object Detection from UAV Images

　　

# 摘要

与通用目标检测不同，由于拍摄角度和高度变化，无人机（UAV）图像中包含大量密集分布且尺度微小的目标。特征金字塔网络（FPN）作为目标检测模型中最重要的组件之一，已大幅提升目标检测性能。然而，在处理无人机图像中的目标时，FPN 倾向于弱化感兴趣目标的关键空间特征，阻碍了对目标进行精确定位的能力。为克服上述问题，我们提出了一种新颖的语义-空间协同特征金字塔网络，命名为 S3-FPN，用于无人机图像中的密集微目标检测。具体而言，新提出的 S3-FPN 由四个主要部分组成。首先，跨通道压缩模块（CCM）与两组通道分离特征进行交互，降低了网络的计算负担。其次，自上而下的语义感知模块（TSPM）和自下而上的空间感知模块（BSPM）构成两个独立分支，分别在不同阶段互补并增强语义和空间特征。第三，层级核交互模块（HKIM）经过精心设计，用于整合多尺度特征，以补偿在更深层次中可能丢失的微目标特征。最后，将同一阶段增强后的语义和空间特征进行整合，用于目标分类和定位。为验证所提出的 S3-FPN 的有效性，在包含密集分布微目标的四个数据集上进行了大量实验，即 TinyPerson、visDrone、DOTA-v1.0 和 HIT-UAV 数据集，结果表明 S3-FPN 与其他最先进（SOTA）FPN 模型相比取得了具有竞争力的性能。代码将在 https://github.com/D-ace11/ 上可用。

## 引言

随着无人机的快速发展，空中图像采集在智能交通、城市监控、紧急救援、精准农业和海上监测等应用中变得越来越容易获取。大规模无人机数据集，包括 TinyPerson (Yu et al., 2020)、VisDrone (Cao et al., 2021)、DOTA-v1.0 (Xia et al., 2018) 和 HIT-UAV (Suo et al., 2023)，极大地促进了空中感知技术的发展。

如图1所示，由于拍摄角度和高度变化，无人机图像包含大量密集分布且尺度微小的目标。然而，由于目标像素面积小、分布密集以及背景复杂，当前目标检测器在这些图像上的检测性能并不令人满意。无人机图像中的密集微目标检测（DTOD）在民用和军事领域具有广泛的应用前景。在智能交通系统中，无人机可用于大规模交通监控、车辆计数和拥堵分析，其中车辆通常表现为密集分布的微目标。在城市安防和应急响应场景中，基于无人机的 DTOD 能够快速在广阔区域内定位行人、车辆和可疑目标。在环境监测和精准农业中，无人机有助于检测牲畜、野生动物、作物异常和农业设施，这些目标在航拍图像中通常仅占据少数几个像素。此外，在海上监控、边境巡逻和侦察任务中，准确检测密集微目标的能力对于提高态势感知和决策效率至关重要。因此，为无人机图像开发鲁棒的 DTOD 方法具有重要的实际意义，并引起了学术界和工业界日益增长的兴趣。

目标检测网络通常由三个主要组件组成：骨干网络、FPN 和检测头。FPN 增强来自骨干网络的特征，检测头的性能很大程度上取决于 FPN 提供的特征质量。因此，为了探索骨干网络和 FPN 对无人机图像中密集分布微目标检测的影响，我们在图1中呈现了中间特征的可视化结果。该图清楚地显示了不同组件对目标特征的响应强度。首先，从左到右观察骨干网络的特征，我们注意到虽然微目标的空间细节从浅层到深层逐渐减少，但丰富的语义信息显著有助于网络确定区域内是否存在目标并提高目标分类的准确性。其次，在检查 FPN 的特征时，我们也注意到语义信息在各层级间得到了显著增强。此外，在比较红框区域中高亮的骨干网络和 FPN 特征时，我们观察到 FPN 未能有效抑制背景噪声，并倾向于弱化底层目标的轮廓细节，这可能会对边界框的精确回归产生不利影响。基于上述分析，我们认为 FPN 在抑制背景噪声和增强空间细节表达方面存在不足，导致目标特征表示质量的下降。目前，大多数现有的 FPN 变体 (Chen, Zhao, Zhou, Wang, Yao, Zhang, Xue, 2023b; Peng, Miao, Li, Li, 2021) 主要关注深层语义信息的提取和传递，而忽视了浅层空间细节在微目标识别中的关键作用。

根据图1的展示和上述分析，我们重新思考了类似 FPN 结构的特征融合，并提出以下问题：（1）如何有效增强底层特征中的关键空间细节，以抑制 FPN 对它们的弱化效应？（2）如何整合多尺度特征，以补偿因网络深化而导致的微目标特征损失？（3）如何在保持有竞争力的检测性能的同时减少模型参数量和计算负担？

为应对上述挑战，我们重新审视了现有 FPN 变体中的特征传播机制。大多数现有方法，如 FPN、PAFPN、RCNet 和 AFPN，通过引入额外的传播路径、注意力机制或多尺度聚合策略来增强特征表示。然而，这些方法在特征传递和融合过程中仍将语义信息和空间信息视为统一的表示。因此，语义信息的增强可能会不可避免地抑制对密集微目标定位至关重要的细粒度空间细节。基于这一观察，我们提出了一种语义-空间协同特征学习范式，称为语义-空间协同特征金字塔网络（S3-FPN）。S3-FPN 不再通过单一特征流共同传播语义和空间信息，而是将语义增强和空间增强显式分离为两个独立分支，并在最终融合之前进行层级聚合。这种设计使语义信息和空间信息能够相互补充，同时避免因语义主导的特征传播导致的空间细节退化。

为评估所提出的 S3-FPN 的有效性，我们在图1中对其中间特征进行了可视化。传统 FPN 通过自下而上的传播逐步增强语义响应，但反复融合可能会同时弱化对微目标定位至关重要的细粒度空间线索。相比之下，S3-FPN 在微目标区域周围保持了更强的响应，同时在各金字塔层级保持了更清晰的空间结构。这一现象与所提出的解耦传播机制一致，其中 TSPM 专注于语义判别，BSPM 保留空间细节，然后在最终协同融合。此外，在包含密集分布微目标的四个公共数据集上进行了大量实验，包括 TinyPerson (Yu et al., 2020)、visDrone (Cao et al., 2021)、DOTA-v1.0 (Xia et al., 2018) 和 HIT-UAV (Suo et al., 2023)。实验结果表明，与其他 SOTA FPN 方法相比，S3-FPN 在不同尺度上均取得了有竞争力的平均精度（AP）。

简而言之，我们提出的 S3-FPN 的主要贡献总结为以下三个方面：

- 为缓解传统统一特征传播中语义抽象与细粒度空间保持之间的相互干扰，我们提出了 S3-FPN，一种语义-空间解耦的特征金字塔框架。与现有的双向或多路径 FPN 将语义和空间信息反复聚合到共享特征流中不同，S3-FPN 通过两个独立传播分支执行任务特定的语义和空间增强，并延迟它们的融合，直到完成分支特定的跨尺度细化。
- 为了增强语义和空间特征，我们设计了 TSPM 和 BSPM，通过注意力机制增强特征，并从不同方向补充潜在缺失的信息。此外，利用 HKIM 自适应整合多尺度特征，旨在补偿深层中可能损失的微目标信息。
- 为评估 S3-FPN 的有效性，在包含密集分布微目标的四个公共数据集上进行了大量实验，结果表明我们的方法与其他 SOTA 方法相比取得了具有竞争力的性能。

本文其余部分组织如下。第2节综述了关于 DTOD 和特征金字塔网络的相关工作。第3节介绍了所提出的 S3-FPN 的技术细节。第4节介绍了实验细节并将我们的方法与 SOTA 方法进行比较。最后，第5节总结了所提出的 S3-FPN 并展望了未来工作。

## 密集微目标检测的四大支柱

通常，现有的目标检测算法可分为两大类：单阶段检测器 (Hsu & Lin, 2020; Yang, Xu, Wang, Yuan, Zhang, Li & Hu, 2022) 和两阶段检测器 (Chen, Jiang, Hu, Tang, Gao, Chen & Xie, 2023a; Chen, Wang, Li, Liu, Li, Qi, Ma, Li & Wang, 2023c)。单阶段检测器在一次通过中直接预测目标边界框和类别标签，而两阶段检测器首先生成感兴趣目标的候选框，然后...

# 语义-空间协同特征金字塔网络

密集微目标具有两个独特特征。首先，它们的视觉外观仅由少数几个像素表示，使得语义信息在反复下采样操作中极易退化。其次，由于目标尺寸极小且空间分布密集，精确定位高度依赖于浅层特征中保留的细粒度空间细节。因此，密集微目标检测需要同时增强语义...

## 实现细节

为公平验证我们方法的有效性，我们采用四个包含密集分布微目标的公共数据集，即 TinyPerson (Yu et al., 2020)、visDrone (Cao et al., 2021)、DOTA-v1.0 (Xia et al., 2018) 和 HIT-UAV (Suo et al., 2023)，将我们的方法与 SOTA 方法进行比较。由于无人机拍摄的高分辨率图像在训练阶段会给网络带来负担，我们将图像裁剪为640×640的图像块集合，相邻块之间重叠100像素...

## 结论

在本文中，我们提出了一种新颖的 S3-FPN 用于无人机图像的 DTOD。我们提出的方法由四个主要组件组成：首先，CCM 通过通道特征交互压缩通道数，提高推理效率；其次，TSPM 和 BSPM 作为两条独立且对立的路径，在每个阶段增强语义和空间特征；最后，设计 HKIM 整合多尺度特征，补偿微目标可能损失的信息。

## CRediT 作者贡献声明

刘泽源：写作 – 审阅与编辑，写作 – 原稿撰写，软件，方法论，概念化。黄和：调研，经费获取，概念化。张凯兵：验证，软件。王会峰：可视化，数据整理。高涛：监督，经费获取。

## 利益冲突声明

作者声明没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

## 致谢

本研究部分由国家自然科学基金（批准号52172379）和中央高校基本科研业务费（批准号300102326501）资助。

刘泽源 | 黄和 | 张凯兵 | 王会峰 | 高涛