DCPNet：基于双流互补感知增强遥感小目标检测

《Remote Sensing Applications: Society and Environment》：DCPNet: Enhancing Small Object Detection in Remote Sensing with Dual-Stream Complementary Perception

　　

摘要

无人机和卫星遥感图像中的小目标通常包含有限的视觉信息，在复杂背景下可能产生微弱的特征响应。在多级特征提取过程中，这些响应会受到周围背景信息的进一步干扰，使得后续识别更加困难。基于这一观察，我们提出了双流互补感知网络（DCPNet），旨在统一的检测框架中提升小目标的表征能力、上下文特征传播和定位监督。双流异构互补感知模块（DHCPM）通过独立的细化路径引入更广泛的上下文信息，同时保留局部特征响应。经过多级特征对齐后，双向门控多尺度模块（BGM）沿两个序列方向进一步传播上下文信息，并施加门控特征调制。对于边界框回归，在自适应加权方案下结合Ochiai系数和归一化Wasserstein距离，提供基于重叠度和基于分布的定位监督。DCPNet在AI-TOD、RGBT-Tiny、USOD、UAVDT和VEDAI数据集上分别获得了0.664、0.959、0.995、0.995和0.910的AP50值。实验结果表明，DCPNet在五个遥感基准测试中均具有竞争力的检测性能。代码可在以下地址获取：https://github.com/tngqiang/object-detection。

引言

遥感图像小目标检测旨在识别和定位仅占大规模航空或卫星场景中很小比例的目标。它支持广泛的应用，包括军事侦察、环境监测、基础设施检查和城市规划 [1], [2], [3]。然而，遥感目标通常仅由少数几个像素表示，可能存在显著的尺度变化、弱对比度、空间隔离和与周围背景高度相似等特性。这些特性使得特征提取过程中的细粒度特征丢失以及由此导致的定位模糊问题尤为严重。

近期针对遥感小目标检测的深度学习方法大致可分为三类：特征增强方法、上下文建模方法和定位或标签分配方法。第一类方法通过多尺度融合、注意力机制、可变形卷积或轻量级感受野扩展来增强特征表征。例如，TPH-YOLO引入了基于Transformer的上下文建模，FE-YOLO采用可变形卷积进行多级特征融合，CA-YOLO引入坐标注意力以增强特征判别能力 [4], [5], [6]。FFCA-YOLO进一步结合局部区域感知、多尺度特征融合和跨通道/空间相关性建模来增强微弱目标的响应 [7]。尽管这些方法改进了特征提取，但其特征分支通常通过直接相加或拼接的方式进行融合，并未明确为不同分支分配保留局部细节和建模更广泛上下文的角色。因此，在多级融合过程中，背景响应和语义不一致性仍可能被传播。

第二类方法聚焦于通过非局部操作、注意力机制、大核卷积和多分支结构来扩展感受野或建模长程依赖 [8], [9], [10], [11]。这类方法可以提供有用的上下文线索，但通用大核注意力机制主要通过增大感受野和重新加权特征图来发挥作用，而轴向注意力方法则沿预设的空间轴建模内容相关的交互。相比之下，多分支融合方法主要聚合并行表征，并不一定在各分支之间建立互补角色。这些设计还可能引入额外的计算开销，或在杂乱场景中传播无关上下文 [12], [13], [14], [15], [16]。第三类方法通过修改定位相似度或标签分配来改进监督。NWD将边界框建模为高斯分布，以减小IoU对微小目标的位置偏差 [17]，而RFLA、RKA和SimD进一步改进了感受野匹配、样本分配或位置-形状相似度 [18], [19], [20]。然而，这些方法主要改进了回归或分配阶段，无法直接恢复微弱的视觉特征或缓解空间特征隔离。现有的遥感小目标检测器已从不同角度改进了特征提取和定位。然而，在小目标检测过程中，微弱的局部响应、背景干扰和定位敏感性可能同时出现。这促使我们在同一检测框架内协调特征细化、上下文传播和定位监督，而非将它们视为孤立的组成部分。

基于这一动机，我们以YOLOv5为基础检测器，对其特征通路和定位目标函数进行修改，以适应遥感小目标检测。由此得到的双流互补感知网络（DCPNet）包含DHCPM、BGM和自适应混合定位目标。DHCPM使用独立路径保留局部特征响应并引入更广泛的上下文信息，随后进行特征重组和局部细化。BGM置于多级特征对齐之后，对栅格化特征序列施加前向和后向深度可分离过滤，并结合门控特征调制。对于定位，归一化Wasserstein距离和Ochiai系数在自适应加权下结合，以提供基于分布和基于重叠的监督。DCPNet的有效性在五个基准数据集上进行评估，包括AI-TOD、USOD、RGBT-Tiny、VEDAI和UAVDT，如图1所示。

本工作的主要贡献总结如下：

• 1.
  我们提出了DHCPM作为层内上下文-细节细化模块。它为局部特征保留和更广泛的上下文细化分配了独立角色，随后进行特征重组和局部细化。
• 2.
  我们在多级特征对齐之后引入了BGM。对栅格化特征序列施加前向和后向深度可分离一维过滤，以实现方向性上下文传播，随后进行门控特征调制。
• 3.
  我们提出了自适应混合定位目标，将基于重叠的Ochiai相似度与基于分布的归一化Wasserstein距离相结合，使两种定位度量在基于重叠的加权方案下贡献。

章节摘录

小目标的定义

尽管深度学习在目标检测领域取得了显著进展，但在小目标上的性能仍明显不如正常尺寸的目标。MS COCO基准[21]所确立的广泛接受的小目标定义是指面积小于32×32像素的实例。然而，在遥感应用中，关键对象的尺寸往往远低于这一阈值。例如，AI-TOD数据集的平均目标大小仅为

方法

DCPNet架构主要由骨干网络和损失函数组成。如图2所示，骨干网络包含双流异构互补感知模块（DHCPM）、双向门控多尺度模块（BGM）、普通卷积块（OCB）、空间金字塔池化-快速（SPPF）[29]模块，以及专用的上采样和下采样操作。OCB由卷积层、批归一化和SiLU激活函数组成

航空图像微小目标检测

航空图像微小目标检测（AI-TOD）数据集[33]包含28,036张航空图像和跨八个类别的700,621个标注实例。该数据集上的目标检测极具挑战性，因为平均目标大小仅为12.8像素。类别分布和物体大小分布如图9所示。凭借这些特性，AI-TOD已成为推进航空小目标检测研究的重要基准。

Unicorn小目标数据集

Unicorn小目标数据集

结论

本研究提出了用于遥感图像小目标检测的DCPNet。该框架结合了用于局部特征保留和上下文细化的DHCPM、用于多级特征对齐后方向性上下文传播的BGM，以及将Ochiai系数与归一化Wasserstein距离相结合的自适应定位目标。在五个基准数据集上的实验表明，DCPNet在不同的遥感

CRediT作者贡献声明

谢梅林：指导、项目管理、资金获取。唐强：撰写–审阅与编辑、撰写–原始草稿、资源、方法论

利益冲突声明

作者声明，他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。

人体研究声明

本研究未涉及人类参与者、人类组织样本或人类相关的临床数据。此外，研究过程的任何部分均未使用动物实验、动物组织或动物相关的生物材料。

本文的所有分析和结论均基于公开可用的数据集、计算模拟、理论分析、实验室非生物实验和现有已发表文献。未获得机构

代码可用性

本研究中使用的数据集公开可用且符合伦理规范，符合相关指南。DCPNet的源代码可在以下地址获取：https://github.com/tngqiang/object-detection

利益冲突声明

? 作者声明，他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。

致谢

本工作由陕西省人才基金（编号：E53E31D101）和中国科学院青年创新促进会（编号：2023419）资助。作者感谢匿名审稿人的建设性意见。

唐强|谢梅林

中国科学院西安光学精密机械研究所，中国陕西西安，710068