DG-DETR：用于高效小目标检测的密度引导动态查询检测Transformer

《Image and Vision Computing》：DG-DETR: Density-guided dynamic query detection transformer for efficient tiny object detection

　　

• •
  我们提出了DG-DETR，一种面向微小目标检测的密度感知DETR模型。
• •
  我们引入了一种密度引导的查询机制，能够自适应地调整查询数量和位置。
• •
  我们设计了MonaPyramid，一种用于微小目标检测的双向金字塔结构。
• •
  DG-DETR在VisDrone、AI-TOD和UAVDT数据集上取得了最先进的结果。

引言

无人机（UAV）图像中的微小目标检测在航空监视、智能交通、城市监控和安全系统等领域具有重要作用。在这些场景中，车辆或行人等目标往往仅占据少数几个像素，且出现在高度杂乱的具有不规则空间分布的环境中。它们的视觉线索容易受到噪声、模糊、遮挡和尺度变化的影响而退化。此外，无人机图像的一个显著特征是目标分布存在极端的空间不平衡性。微小目标通常形成密集的局部聚类，大量实例紧密排列且严重遮挡，而周围大片区域却稀疏分布。这种密度不平衡进一步增加了特征表示和查询分配的难度。

基于卷积神经网络（CNN）的检测器，如Faster R-CNN [1]、YOLO [2]和SSD [3]，在通用目标检测中取得了优异的性能。然而，它们在无人机图像中常见的密集微小目标场景中性能显著下降。尽管基于CNN的方法融合了多分支聚合或多尺度高分辨率表示 [4], [5]，但这些代表性方法并没有显式地针对拥挤区域中的目标密度变化来调整检测资源。以DETR [6]为代表的基于Transformer的检测器将目标检测建模为集合预测问题，消除了锚框设计和非极大值抑制（NMS）的需求。这种端到端框架通过二部图匹配实现全局优化。为了解决DETR收敛缓慢和捕捉细粒度结构能力有限的问题，研究者提出了各种扩展方法。Deformable DETR [7] 通过多尺度特征上的稀疏注意力提高了效率和微小目标敏感性，而Conditional DETR [8] 和SMCA-DETR [9] 引入空间先验以稳定训练并引导注意力。后续方法包括Anchor-DETR [10]、DN-DETR [11]、DAB-DETR [12]和DINO [13]，进一步增强了查询初始化、训练稳定性和收敛速度，提升了实际性能。然而，这些方法通常对所有输入图像使用固定的查询预算，而不考虑目标数量和空间密度的变化。因此，有限的查询预算可能在拥挤区域覆盖不足，而过大的固定预算则在稀疏场景下引入冗余计算。

由于目标密度直接反映了目标丰度和空间分布，它为引导查询分配提供了有效的线索。基于这一观察，我们提出了DG-DETR，一种面向无人机图像微小目标检测的密度引导动态查询检测Transformer。核心思想是显式建模目标密度以实现自适应查询分配。具体来说，我们设计了一种密度引导的动态查询机制，通过预测多尺度密度图来动态确定查询的数量和空间分布。该设计能够更好地覆盖密集区域，同时减少稀疏区域的冗余计算。为进一步增强跨尺度特征表示，我们设计了MonaPyramid，一种轻量级细节保留双向特征金字塔网络，用于鲁棒的微小目标表示。具体来说，引入了多分支感受野建模策略和轻量级空间细化机制，以提高结构细节保留并在跨尺度间保持语义一致性。在VisDrone、AI-TOD和UAVDT数据集上的大量实验表明，DG-DETR在微小目标检测中取得了最先进的性能，同时保持了有竞争力的计算复杂度。

我们的主要贡献总结如下：

• 1.
  我们提出了DG-DETR，一种基于DETR的框架，将密度感知查询分配与增强的多尺度特征表示相结合，用于微小目标检测。
• 2.
  我们引入了一种密度引导的动态查询机制，基于多尺度密度估计自适应地确定查询的数量和空间分布。
• 3.
  我们设计了一种轻量级特征增强方案，通过多分支感受野建模和空间细化来改进结构感知能力并保留细粒度细节。
• 4.
  在VisDrone、AI-TOD和UAVDT上的大量实验表明，与现有方法相比，DG-DETR以较低的计算代价实现了更优的检测精度。

各章节摘要

微小目标检测

微小目标检测（TOD）由于每个实例可用的视觉证据极其有限而本质上极具挑战性，这限制了语义判别和空间定位能力。在无人机图像中，车辆和行人等目标往往仅占据少数几个像素，极易受到背景噪声、运动模糊和遮挡的影响。此外，这些目标通常出现在杂乱的环境中，具有显著的尺度变化和不规则的空间

方法

我们提出了DG-DETR，一种面向无人机图像微小目标检测的密度引导动态查询检测Transformer。如图1所示，整体架构遵循DETR范式并采用D-FINE [32]作为基线。在此基础上，DG-DETR整合了一系列紧密耦合的架构和算法设计，协同应对微小目标检测的核心挑战，包括严重的密度不平衡、渐进式特征退化，

数据集

我们在三个广泛使用的无人机相关基准数据集上评估我们的方法：VisDrone、UAVDT和AI-TOD，它们共同涵盖了多样化的航空场景和不同程度的微小目标难度。VisDrone是一个大规模城市无人机基准数据集，包含10个类别，以极端的尺度变化、杂乱背景和频繁遮挡为特征，包含6471张训练图像、548张验证图像和1610张测试图像。UAVDT专注于从航空平台进行车辆检测，包括

结论

在本文中，我们提出了DG-DETR，一种面向无人机图像微小目标检测的密度引导动态查询检测Transformer。所提出的密度引导动态查询机制根据预测的目标密度自适应地调整解码器查询的数量和空间分布，使得在密集场景中能够实现更有效的查询分配，同时相较于统一的大固定预算，减少了稀疏区域的冗余查询计算。为增强跨尺度特征

CRediT作者贡献声明

王盛博：撰写 – 原稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，经费获取，形式化分析，数据管理，概念化。杨文竹：撰写 – 审阅与编辑。

利益冲突声明

作者声明他们不存在可能影响本文工作的已知竞争性财务利益或个人关系。

致谢

作者感谢中国河北省自然科学基金（项目编号：F2024201012）的资助，以及河北大学高性能计算中心提供的计算资源。

王盛博|杨文竹