LDA-DETR：一种用于遥感图像中小目标的轻量级多尺度检测算法

《Journal of Visual Communication and Image Representation》：LDA-DETR: A lightweight multi-scale detection algorithm for small targets in remote sensing images

　　

• •
  EM-GS骨干网络增强了特征提取和跨层级协作能力，提升了检测性能和算法鲁棒性。
• •
  DIPI模块增强了小目标特征的同尺度交互，从而实现了对小目标的增强检测。
• •
  DMFF模块将参数数量减少了25%，同时mAP@0.5提升了2%，体现了轻量化和高效的设计理念。
• •
  对比实验和泛化实验验证了LDA-DETR检测性能的显著提升。
• •
  LDA DETR在保持高精度的同时实现了轻量化效率，适用于遥感图像目标检测。

引言

由于具有覆盖范围广、多时相性和信息丰富等特点[4]，遥感图像已成为资源调查[1]、环境监测[2]和军事安全[3]等领域不可或缺的数据来源。目标检测是智能图像解译的核心，能够实现多目标定位和复杂场景分析。然而，遥感图像通常覆盖大面积区域且分辨率各异，既包含大型物体又包含大量小型目标。由于小目标像素占比低、特征弱、背景复杂且分布密集，小目标检测仍然面临挑战，导致漏检和误报频繁发生。现有方法在密集场景中往往缺乏足够的多尺度特征提取和融合，限制了其精度和实际应用。因此，在保持低计算成本的同时提高小目标检测精度对于推动遥感目标检测的发展至关重要。

深度学习检测器分为两阶段和单阶段两类。作为两阶段检测器，Faster R-CNN[5]通过区域提议和精化实现了高精度，但模型沉重且速度较慢。单阶段检测器直接进行预测：SSD[6]速度较快，但浅层网络限制了小目标提取；RetinaNet[7]使用FPN和焦点损失来处理尺度变化和类别不平衡。YOLO系列单阶段检测器从YOLOv1[8]的快回归框架但融合有限开始，发展到YOLOv5[9]添加特征金字塔，YOLOv8[10]采用C2f模块以更好地重用特征，YOLOv11[11]以较少参数实现更高精度，再到YOLOv12[12]融入注意力和残差连接。总体而言，单阶段检测器在速度和精度之间取得了平衡，但仍对非极大值抑制（NMS）超参数敏感[13]，影响检测质量和推理效率。

为了解决NMS敏感性问题，Carion等人[14]提出了DETR，采用Transformer摒弃锚框和NMS以实现端到端检测，但存在收敛慢和模型尺寸大的问题。为实现实时性能，Zhao等人[15]引入了RT-DETR，采用混合CNN-Transformer编码器、解耦的同尺度和跨尺度交互以及IoU感知查询选择，实现了更好的速度-精度权衡。尽管取得了这些进展，RT-DETR仍存在小目标特征提取有限和全局信息整合不足的问题，这促使需要进一步进行轻量化和高精度设计。

为了克服这些挑战，我们提出了轻量级动态自适应检测Transformer（LDA-DETR），基于RT-DETR-r18框架构建，在涉及多尺度和密集分布目标的复杂场景中实现了增强的检测性能。具体而言，我们引入了元素级乘法增强幽灵-洗牌骨干网络（EM-GS Backbone），将元素级乘法融入特征提取，并结合幽灵卷积和洗牌注意力机制，在平衡模型性能和计算效率的同时显著提升了特征表示能力。此外，我们设计了动态自适应输入和极性特征交互（DIPI）模块，以增强同尺度特征交互、促进视觉特征转换并丰富多尺度表示，从而增强局部物体细节的保留。另外，开发了动态多尺度特征融合（DMFF）模块，以自适应地对齐和整合多尺度特征图，提升细粒度细节的表达能力。通过融入动态上采样，DMFF模块有效减少了小目标的信息损失并增强了模型的多尺度融合能力。

我们的主要贡献如下：

(1) 我们提出了EM-GS骨干网络。以元素级乘法为中心，它增强了小目标的弱特征表示，抑制了背景干扰，提升了特征提取性能，并降低了漏检率。

(2) 我们设计了DIPI模块，通过极性感知注意力和频域增强来增强同尺度特征交互，稳定小目标表示，从而提高小目标的检测精度。

(3) 我们提出了DMFF模块以增强多尺度特征融合。它实现了自适应的跨尺度特征对齐和聚合，缓解了上采样过程中的小目标信息损失，减少了模型冗余，从而增强了多尺度表示并提高了小目标检测精度。

(4) 为了提高模型泛化能力和检测精度，我们应用了Mosaic数据增强来生成多样化的复合场景并增加数据集的变异性。

LDA-DETR在RSOD[16]和NWPU VHR-10[17]数据集上进行了评估，显示出低计算成本下的强大检测性能。为评估泛化能力，我们还在无人机视角数据集VisDrone2019[18]上进行了测试，达到了39.1%的mAP@0.5和22.8%的mAP@0.5:0.95，较基线分别提升了0.8%和0.7%。

章节摘要

小目标方法

由于特征表示弱和判别能力有限，小目标检测仍然面临挑战。为解决这一问题，Hyper-YOLO[19]通过混合聚合和超图计算融合多尺度特征；HIC-YOLOv5[20]采用CBAM和卷积分解以增强特征表示；风车形卷积[21]通过多方向非对称填充扩展感受野；YOLO-MFDNet[22]通过MSSA注意力和FSDown平衡全局和局部信息；

整体结构

图1展示了所提出的LDA-DETR的整体架构。所提出的LDA-DETR用EM-GS骨干网络替换了RT-DETR-r18骨干网络，以减少复杂度同时增强特征表示。编码器中的DIPI模块整合了频域处理、极性感知注意力和多认知视觉适应，增强了全局特征并减少了下采样信息损失。在跨尺度融合中，添加了一个小目标特征层并

实验环境和数据集

本文的实验环境如表2所示，实验的训练参数如表3所示。

为验证所提出模型的有效性，使用了1个无人机图像数据集和2个公开遥感数据集：VisDrone2019、RSOD和NWPU VHR-10。其中，RSOD和NWPU VHR-10数据集主要用于初步实验，而VisDrone2019数据集用于评估模型的泛化能力。

The

结论与讨论

由于尺度变化大、目标尺寸微小和分布密集，遥感中的小目标检测仍然面临挑战。为解决这些问题，我们提出了LDA-DETR，一种基于RT-DETR-r18增强的检测器。它整合了三个关键组件：用于高效特征提取的EM-GS骨干网络、用于增强同尺度特征交互和捕获高频细节的DIPI模块，以及具有动态上采样和PConv的DMFF模块，以改善多尺度融合并减少

CRediT作者贡献声明

王佳成：撰写——初稿，可视化，验证，方法论。黄伟佳：撰写——审阅与编辑，撰写——初稿，资源，概念化。李震：概念化。张正炎：撰写——审阅与编辑，概念化。李莎莎：概念化。

利益冲突声明

作者声明不存在已知的财务利益竞争或个人关系可能会影响本文所报告的工作。

王佳成|黄伟佳|李震|张正炎|李莎莎