基于多分支频率-空间-小波特征融合的无人机小目标检测

《Knowledge-Based Systems》：UAV small object detection via multi-branch frequency-spatial-wavelet feature fusion

　　我们提出了一种多域特征融合网络，其中包含多分支频率-空间-小波（MFSW）模块，用于检测小目标。我们设计了极性-通道协同Transformer（PCCT）模块，该模块利用极性感知线性注意力（POLA）和卷积门控线性单元（CGLU）的协同作用。我们提出了MPD-Focal-IoU损失函数，以解决目标尺度不均匀和样本不平衡的问题。引言随着无人机（UAV）技术的快速发展，无人机凭借其高机动性、灵活的视角、低成本和易于部署等优势，已广泛应用于目标检测任务中。无人机拍摄的高分辨率图像为行人、车辆和建筑物等目标的自动检测提供了数据支持。然而，由于无人机成像高度较高，目标通常仅占据图像中的少量像素，这给检测器在小目标的分类和定位方面带来了巨大挑战。这些挑战表现为目标像素信息不足、频繁遮挡、视角变化导致的外观显著变化以及目标尺度的巨大差异[1]，[2]。传统目标检测方法，如支持向量机（SVM）[3]和方向梯度直方图（HOG）[4]，在某些低分辨率场景中有效，但在复杂环境下的检测精度和鲁棒性方面仍难以满足实际需求[5]，[6]。近年来，基于卷积神经网络（CNN）的深度学习方法已广泛应用于无人机图像中的目标检测。典型模型如YOLO [7]、Faster R-CNN [8]和SSD [9]在COCO [10]和Pascal VOC [11]等公开数据集上取得了优异的检测性能，并已成功应用于无人机图像处理任务[12]，[13]。基于CNN的检测器利用卷积算子在局部特征提取方面的优势，并使用锚框实现高效的目标定位，已成为主流方法。然而，这些方法的感受野有限，对全局上下文信息的建模能力不足，通常需要非极大值抑制（NMS）等后处理步骤来优化检测结果，这限制了端到端的优化能力。在复杂遮挡、密集多目标分布和大规模场景变化的情况下，这些问题更加突出。为了克服这些不足，基于Transformer的DETR模型[14]，[15]，[16]，[17]已被引入目标检测领域。通过将Transformer架构应用于检测任务，DETR消除了传统的锚框设计和非极大值抑制，从而实现了端到端的目标检测。通过利用自注意力机制建模全局依赖关系，这些方法在复杂场景中表现出较强的鲁棒性。此外，实时检测Transformer（RT-DETR）[18]仅对高层语义特征图应用自注意力机制，并结合卷积操作进行多尺度特征融合。该设计在增强全局建模能力的同时降低了计算复杂度，从而在不牺牲精度的情况下提高了检测速度。然而，将RT-DETR直接应用于无人机小目标检测时暴露出一个关键局限：标准架构在最小步长为8的特征图上操作（$S_3$）。在无人机图像中，微小目标在经过这种下采样后实际上会消失。虽然将混合编码器扩展以包含高分辨率$P_2$层（步长为4）可以通过物理保留目标像素来显著缓解这一问题，但仅依赖标准空间卷积来处理这些特征仍然不是最优的。由于小目标纹理较弱，且航空图像中存在高频背景噪声，标准卷积通常难以区分有效的目标细节和环境干扰。在此基础上，本文提出了一种用于无人机小目标检测的新型多域特征融合网络。所提方法通过联合谱-空间建模和精细的关系学习，有效缓解了极端尺度变化和杂乱背景导致的性能退化。通过整合高分辨率线索和增强的特征交互，我们的框架在检测可靠性和计算复杂度之间实现了良好的平衡。所提出的MFSW-DETR的整体架构如图1所示。本文的主要贡献总结如下：(1) 我们提出了多域特征融合网络（MFFN）。通过整合高分辨率$P_2$层和多分支频率-空间-小波（MFSW）模块，通过对空间、频率和小波域的联合建模，增强了对小目标的判别能力。(2) 我们构建了极性-通道协同Transformer（PCCT）模块，通过结合现有的极性感知线性注意力（POLA）和卷积门控线性单元（CGLU）机制，实现互补的极性感知令牌交互和局部感知通道选择。(3) 我们制定了一个复合的MPD-Focal-IoU回归目标，通过将MPDIoU与Focaler-IoU相结合，共同考虑角点对齐和所选IoU区间内样本的优化。本文的其余部分组织如下。第2节回顾了关于通用目标检测框架、特征交互机制和多域学习的相关工作。第3节描述了所提出的MFSW-DETR的技术细节。第4节展示了在VisDrone-2019和AI-TOD基准上的实验结果、消融研究和定性分析。最后，第5节提供了结论，并讨论了局限性和未来的研究方向。章节摘要通用目标检测框架目标检测经历了从滑动窗口方法到基于深度学习的架构的范式转变。通常，这些架构被分为卷积神经网络（CNN）和基于Transformer的模型。概述我们提出了一种基于多域特征融合和极性感知关系的高性能无人机图像小目标检测网络（MFSW-DETR）。其整体架构如图1所示。该网络以RT-DETR为基础框架，主要由带有高分辨率$P_2$层的多尺度特征提取骨干、用于鲁棒特征感知的MFSW模块、用于增强特征交互的PCCT模块以及MPD-Focal-IoU损失策略组成，用于实验结果在VisDrone无人机数据集和AI-TOD航空数据集上进行了一系列对比实验，以评估所提网络的有效性。结论在本文中，我们提出了MFSW-DETR，这是一个针对无人机图像中小目标和微小目标精确检测的鲁棒检测框架。通过将MFSW模块的多域特征建模与PCCT模块的极性感知交互相结合，所提方法有效缓解了特征信息丢失和背景干扰问题。在VisDrone-2019和AI-TOD上的实验证明了MFSW-DETR在不同目标尺度上的持续有效性，并且CRediT作者贡献声明Boqian Wen：撰写——初稿，可视化，验证，软件，方法学，调查，正式分析，数据管理。Yanping Chen：撰写——审阅与编辑，验证，调查。Jing Yang：撰写——审阅与编辑，验证，数据管理。Yuling Chen：撰写——审阅与编辑，验证，调查。Ji Xu：撰写——审阅与编辑，监督，资源，项目管理，资金获取，概念化。Dexian Wang：撰写——审阅与利益冲突声明作者声明，他们没有任何已知的竞争财务利益或个人关系可能影响本文所报告的工作。Boqian Wen|Yanping Chen|Jing Yang|Yuling Chen|Ji Xu|Dexian Wang|Tianrui Li