改进的基于多尺度特征融合的IDMSNet：用于无人机图像小目标检测的DETR方法

《Electronics》：IDMSNet: Improved DETR Based on Multi-Scale Feature Fusion for Small Object Detection in UAV Images

　　

随着无人机(UAV)技术的快速发展，无人机图像目标检测也面临诸多挑战，尤其是针对小目标，包括密集分布、特征丢失和背景干扰。为了解决这些问题，研究人员提出了一种具有动态竞争融合的新型目标检测模型。该框架包含三项主要创新：首先，采用动态竞争多尺度特征融合结构，结合双路径并行注意力机制，确保充分保留小目标特征。其次，引入小目标偏置机制，通过动态学习建立小目标区域，并为小目标生成更强的特征响应。第三，引入混合匹配策略，为模型提供更丰富的监督信号，优化其特征学习能力。在VisDrone2019和COCO2017数据集上的实验表明，与现有多种方法相比，所提出的模型在保持相当效率的同时提高了检测精度，特别是在小目标上取得了显著的性能提升。这验证了该模型具有良好的泛化能力，在处理小目标时表现出鲁棒性，并证实了所提出的模型在无人机图像目标检测实际应用中的部署潜力。

随着无人机(UAV)技术的快速发展与普及，基于无人机平台的计算机视觉任务，特别是目标检测，在智慧城市、交通监控、农业普查、灾害救援和国防安全等领域展现出巨大的应用潜力。然而，无人机视角带来了独特的技术挑战：图像中的目标通常尺度极小、分布密集且具有高度的空间随机性，同时常受光照变化和复杂背景干扰的影响。尽管基于卷积神经网络的目标检测模型取得了长足进步，但在处理无人机图像时仍显不足，其性能在面对极端尺度变化尤其是小目标时会显著下降。基于Transformer架构的检测器(DETR)凭借其端到端检测范式和强大的全局上下文建模能力为该领域带来突破，其中可变形DETR通过引入可变形注意力机制有效缓解了收敛慢和计算成本高的问题。然而，标准可变形DETR在处理无人机图像中的“小目标困境”时仍有待改进：一是小目标特征在深层网络中极易被淹没或丢失，模型注意力易被大面积背景或显眼大目标主导；二是传统DETR严格的一对一匹配导致正样本稀疏，减缓了特征学习与优化效率。针对上述问题，研究人员提出了一种新的带有动态竞争融合机制的目标检测模型IDMSNet。该模型在可变形DETR基础上设计了动态竞争多尺度特征融合结构、可学习的小目标偏置机制以及混合匹配策略，有效解决了小目标特征易被淹没和正样本稀疏的问题。实验表明该模型在提升无人机图像小目标检测精度的同时保持了推理效率，具有良好的泛化能力与实际部署潜力。该研究论文发表在《Electronics》期刊上。

研究人员主要采用了三项关键技术方法开展研究：一是设计了包含双路径并行注意力机制的动态竞争多尺度特征融合结构，通过可变形卷积和不同尺度的一维卷积分别生成空间和通道注意力权重，并以竞争机制保留小目标特征；二是构建了基于动态阈值算法的小目标偏置机制，通过跨批次移动平均生成动态阈值以定位小目标区域并施加偏置权重；三是引入了一对一与一对多相结合的混合匹配策略，训练时扩增真实标注以提供丰富的监督信号，推理时仅使用一对一分支以维持效率。实验样本队列来源于公开的大规模无人机视觉基准数据集VisDrone2019以及通用目标检测数据集COCO2017。

**5.1. 对比实验结果分析**
研究人员在VisDrone2019数据集上，将IDMSNet与Faster R-CNN、YOLOv7、YOLOv8m、Efficient DETR、RT-DETR及Deformable DETR等模型进行了对比实验。研究得出，所提模型的平均精度^AP达到了28.3%（^AP₅₀为43.8%）。与基线模型Deformable DETR相比，^AP提升了1.2%，^AP₅₀提升了1%。在计算量仅有少量增加且帧率相当的情况下，有效提高了检测精度。在VisDrone2019测试集上的进一步对比研究中得出，所提模型在^AP、^AP₅₀、精确率和召回率上均获得提升，^AP相较基线模型提高了1.6%。此外，在COCO2017数据集上的对比研究结果表明，该模型的^AP达到44.3%，在小目标检测的^AP_S指标上较基线模型Deformable DETR提升了2.5%，验证了该方法在小目标检测任务中的有效性与泛化能力。

**5.2. 消融实验**
研究人员在VisDrone2019数据集上以Deformable DETR为基线进行了消融实验。研究得出：仅引入混合匹配策略时，模型在不增加推理计算开销的前提下提升了^AP与召回率；加入动态竞争多尺度特征融合结构使^AP提升了0.8%；在融合结构基础上引入小目标偏置机制使^AP增加0.3%。当集成所有结构构建为完整模型时，相较于基线模型，^AP提升了1.2%，精确率提升了1.3%，召回率提升了1.2%。研究结果证实了各个设计组件均能有效提升模型在无人机图像检测中的性能。

**5.3. 可视化结果分析**
研究人员通过对无人机图像检测结果进行可视化对比得出，基线模型Deformable DETR在部分车辆或行人被遮挡、重叠以及被植被覆盖的区域存在漏检与误检现象，而所提模型有效避免了此类错误，在密集小目标区域和复杂场景下保持了强大的覆盖能力，检测结果更符合真实标注。

在讨论与结论部分，研究人员总结提出了一种创新的用于无人机图像目标检测的竞争融合模型IDMSNet。研究结论表明，通过设计动态竞争多尺度特征融合结构、开发小目标偏置机制以及引入混合匹配策略，该模型成功解决了无人机图像检测中小目标特征丢失和训练效率低下的问题，在保持计算效率的同时显著提高了目标检测精度。在VisDrone2019与COCO2017数据集上的广泛实验验证了该模型在小目标检测任务上的有效性、先进性与良好的泛化能力。尽管模型取得了优异性能，但在恶劣天气条件下的泛化能力仍需进一步验证，且针对计算资源受限的边缘设备还需进行轻量化优化。未来研究将集中于开发轻量化网络架构、将应用扩展至视频序列连续帧检测、结合去雾方法预处理以应对恶劣天气，并将方法推广至电力线或绝缘子等其他无人机视觉场景中的小目标检测任务。