面向小目标检测的层次化上下文融合与协同对齐网络

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：A Hierarchical Context-Fusion and Synergistic Alignment Network for small object detection

　　

摘要

无人机图像中的小目标检测仍然面临挑战，因为细粒度目标特征会逐步退化，复杂背景造成大量干扰，且分类置信度往往与定位质量不一致。针对这些挑战，我们提出了一种基于分层上下文融合网络（HCFN）的单阶段检测器。在特征保持方面，浅层到头部特征重组和动态软加权插值（DSWI）保留了高分辨率目标线索并支持稳定的跨尺度语义交互。在特征传播方面，扩展感受野轻量卷积（ERL-Conv）将保留的细粒度细节传递到更深的语义表示中，同时扩大感受野。在特征精炼方面，自适应通道上下文优先级模块（ACCPM）结合了非对称通道分配、大核上下文建模和频域门控，以抑制背景干扰并增强目标敏感响应。最后，协同任务对齐头（STAH）通过结合共享的任务交互特征、分类感知调制和可变形回归对齐，提高了分类与定位之间的一致性。在VisDrone2019、AI-TOD、AI-TODv2、SODA-D和HIT-UAV上的实验表明，该方法在对应基线上取得了持续提升。

引言

近年来，无人机（UAV）已成为交通监控、城市规划、搜救以及许多其他应用中重要的工具。因此，航空图像中的目标检测已成为计算机视觉研究的一个活跃领域。与自然场景图像不同，无人机图像在变化的光照和视角条件下，往往包含极其微小且密集分布在复杂背景中的目标。这些特性使得准确检测变得尤为困难。

尽管YOLO（You Only Look Once）（Redmon等人，2016）系列等单阶段检测器在实时应用中表现出色，但它们在航空场景中的准确率往往会下降。我们将这种性能下降归因于检测流程中小目标线索的逐步丢失。在此语境下，特征丢失不仅包括空间细节的消失，还包括目标判别性证据在特征经过骨干网络、颈部和预测头过程中的稀释、污染和不完整利用。如图1所示，该问题具有三个阶段特异性的表现。首先，反复的跨步下采样增加了骨干网络中的语义抽象程度，但微小目标可能仅占据几个像素；因此，它们的轮廓、纹理和位置线索可能在特征融合和预测之前就已消失（图1(a)）。其次，判别性线索在multi-scale融合过程中可能进一步减弱。深层语义特征通过自顶向下的路径注入到浅层特征图中，而浅层纹理则被聚合到更深的层次。然而，刚性上采样、有限的感受野和 indiscriminate 的上下文增强可能会稀释微弱的目标响应，或将其与道路、屋顶、阴影、植被和光照变化的激活信号混合在一起（图1(b)）。第三，预测头可能不一致地使用任务相关线索。分类和定位通常由独立的或弱交互的分支来优化，而基于IoU的回归可能对微小框产生不稳定的梯度。由此导致的共享的、空间一致性证据的丢失，会使分类置信度与定位质量不匹配，并在密集的航空场景中产生偏移的边界框（图1(c)）。因此，细粒度细节的损失、背景干扰和分类-定位不匹配代表了检测器不同阶段的特征退化。

本研究致力于解决特征传播过程中目标线索的逐步退化问题。所提出的框架在对齐分类和定位之前，先保存、精炼并传播判别性小目标特征。我们的主要贡献如下：

• •
  我们将无人机小目标检测形式化为一个具有三个阶段特异性组件的特征退化问题：骨干网络中的细节丢失、特征融合过程中判别性线索的稀释，以及预测头中任务一致性证据的丢失。基于这一形式化，我们开发了一个分层上下文融合网络（HCFN），在检测流程中保存、精炼和传播小目标线索。
• •
  我们提出了一条耦合的特征保持与精炼通路，包含浅层到头部特征重组、DSWI、ACCPM和ERL-Conv。这些组件保留高分辨率线索、调节跨尺度语义注入、抑制背景杂乱并将精炼的细节传播到更深的特征层次。
• •
  我们引入了STAH和GCD损失作为预测级和监督级的改进。STAH通过共享交互特征空间、分类感知调制和可变形回归采样来对齐分类与定位，而GCD损失为IoU梯度不稳定的微小框提供几何感知监督。
• •
  我们在VisDrone2019、AI-TOD、AI-TODv2、SODA-D和HIT-UAV上评估了所提出的方法，涵盖可见光和红外无人机图像、遥感小目标以及驾驶场景中的小目标。该方法在VisDrone2019上达到30.1% AP，在AI-TOD测试集上达到26.69% AP，在AI-TODv2上达到29.13% AP，在SODA-D上达到34.9% AP，在HIT-UAV上达到54.5% AP。

各章节摘要

相关工作

小目标检测仍然面临困难，因为目标包含少量像素、微弱纹理和模糊边界，而杂乱的背景往往产生比目标本身更强的响应。早期的流水线将手工描述符（包括HOG（Dalal和Triggs，2005）和SIFT（Lowe，2004））与SVM（Burges，1998）或AdaBoost（Schapire和Singer，1998）等分类器相结合。此后，基于CNN的检测器直接从数据中学习层次化表示。

整体框架

如图2所示，所提出的分层上下文融合网络（HCFN）将检测流程重新组织为一种分层上下文融合架构，而非简单地聚合独立模块。HCFN遵循保持-精炼-传播-对齐的策略，以减轻目标线索的逐步退化。它针对图1中确定的三个阶段特有问题：骨干网络中的细节丢失、融合过程中判别性特征的稀释与污染，……

实验设置

我们使用标准单阶段检测器的nano级变体作为消融研究的主要基线，以平衡效率和准确性。所有实验都在一台配备两块NVIDIA TITAN RTX GPU的工作站上完成，用于并行训练。为避免外部训练数据带来的混淆效应，所有模型均从零开始训练，不使用预训练权重。输入分辨率设置为640 × 640像素，以平衡计算成本与小目标的表示……

讨论

为了检验模型在数值评估之外的泛化能力，我们在VisDrone和AI-TOD上进行了定性分析，分别代表城市无人机场景和遥感小目标场景。定性图表由从保存的激活图中计算得出的离线目标激活集中度（TAC）和前景-背景比（FBR）分析予以补充。TAC是落在真值框并集内部的总激活能量比例，而FBR是……

结论

本研究提出了一种用于无人机图像中小目标的单阶段检测器。所提出的分层上下文融合网络（HCFN）并非简单地堆叠独立组件，而是围绕保持-精炼-传播-对齐的策略组织特征处理。浅层到头部特征重组和DSWI减轻了细粒度细节的损失并调节跨尺度语义注入，而ACCPM结合恒等路径、大核上下文建模和频域门控来提升……

CRediT作者贡献声明

张斌：写作–初稿，软件。潘伟国：监督指导，方法学，资金获取。徐秉欣：验证。戴松吟：写作–审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或可能影响本文所述工作的个人关系。

致谢

本工作得到了国家自然科学基金（62572057、62672047、U24A20331）的支持。

张斌|潘伟国|徐秉欣|戴松吟

北京市信息服务工程重点实验室，北京联合大学，北京市东四环北路97号，北京，100101，中国