一种用于无人机遥感图像的小目标检测变换器：基于多尺度感知与跨空频域融合技术 施成龙（Chenglong Shi） 王辉（Hui Wang） 傅晓琳（Xiaolin Fu） 刘萍萍（Pingping Liu） 柯洪昌（Hongchang Ke）

《Remote Sensing》：A Small Object Detection Transformer for UAV Remote Sensing Imagery via Multi-Scale Perception and Cross-Spatial-Frequency Domain Fusion Chenglong Shi, Hui Wang, Xiaolin Fu, Pingping Liu and Hongchang Ke

　　

摘要

在无人机遥感图像中，小目标检测长期以来一直面临诸多挑战。现有的基于Transformer的检测器在处理具有稀疏像素和复杂背景的小目标时，仍然存在特征退化以及多尺度信息融合不足的问题。为了解决这些问题，我们提出了MSF-DETR，这是一种基于Transformer的检测器，它具备多尺度感知能力和跨空间频率域融合功能。具体而言，我们设计了一个多尺度感知注意力特征提取网络，该网络通过双路径融合模块将Poly Kernel Inception模块与双向上下文锚注意力机制相结合，从而能够同时捕获多粒度特征和长距离语义依赖关系。此外，我们还开发了一个特征对齐和跨空间频率增强金字塔结构，通过特征重组丰富浅层空间细节，并利用空间频率双域协同策略来捕捉局部纹理和全局光谱依赖关系。跨尺度动态强度调制结合解耦的轻量级下采样方法，有效地抑制了语义噪声，纠正了特征错位，并保留了关键边缘细节。最后，我们设计了一种Shape-NWD损失函数，以纳入几何和尺度约束，有效降低了小目标IoU（交并比）对位置的变化敏感性。在三个公开基准测试数据集上的广泛实验表明，MSF-DETR的性能显著优于现有方法；特别是在VisDrone数据集上，其在mAP50和mAP50:95指标上分别实现了7.45%和8.71%的提升。