CME-DETR:面向无人机小目标检测的上下文感知与多尺度增强DETR
《Image and Vision Computing》:CME-DETR: Context-aware and multi-scale enhanced DETR for UAV small object detection
【字体:
大
中
小
】
时间:2026年09月20日
来源:Image and Vision Computing 5.0
编辑推荐:
• CME-DETR框架改进了无人机图像中的小目标检测。
• 一种新颖的头部在不增加计算负担的情况下注入了高分辨率特征。
• 自适应特征融合丰富了多尺度上下文信息并抑制了噪声。
• 在VisDrone2019上仅用15.8 M参数实现了50.6%的mAP@50。
## 引言
• CME-DETR框架改进了无人机图像中的小目标检测。• 一种新颖的头部在不增加计算负担的情况下注入了高分辨率特征。• 自适应特征融合丰富了多尺度上下文信息并抑制了噪声。• 在VisDrone2019上仅用15.8 M参数实现了50.6%的mAP@50。## 引言随着无人机技术的快速发展,无人机成像系统已被广泛应用于农业监测、搜救、城市监控和智能交通[1]。目标检测是无人机视觉感知中的基本任务,其性能直接影响下游应用,如多目标跟踪和动作识别[2]。因此,无人机图像中的高效、准确目标检测在计算机视觉领域引起了越来越多的关注[3]。与传统地面视角图像不同,无人机图像通常从高空和俯视角度拍摄。这种成像模式导致尺度变化大、背景复杂和目标外观微弱[4]。在航空场景中,行人、车辆和其他目标往往只占据几个像素。因此,其视觉特征不足,容易与背景模式混淆[5]。此外,密集的目标分布、光照变化、建筑物阴影和杂乱的场景进一步增加了检测难度[6]。因此,传统检测器在无人机图像中容易出现特征混叠、漏检和背景虚警。为了应对无人机图像的挑战,研究人员开发了各种任务导向的优化策略。其中,YOLO系列作为单阶段CNN检测器的代表性家族,因其高推理效率而被广泛研究[7]、[8]。近期研究通过引入多分支特征提取、坐标注意力和特征金字塔优化来增强特征表示[9]、[10]。然而,基于CNN的检测器受限于卷积操作的局部感受野,因此在密集航空场景中可能难以建模长程上下文依赖。Transformer架构通过自注意力机制展现了强大的全局依赖建模能力[11]。基于这一范式,DETR风格的检测器将基于Transformer的全局建模引入目标检测,并建立了端到端检测框架。特别是,RT-DETR通过高效的混合编码器进一步改进了检测精度与推理效率之间的平衡,在实时检测场景中展现了实用潜力[12]。然而,将现有的端到端检测器直接应用于无人机小目标检测仍存在若干局限性。首先,深度网络中的重复下采样不可避免地削弱了对微弱和微小目标至关重要的细粒度空间细节。其次,直接引入高分辨率P2预测层会增加解码器序列长度并大幅提高计算成本[13],不利于无人机边缘部署。第三,常规多尺度融合可能在不同特征层之间传播背景噪声,并削弱密集航空场景中判别性前景表示[14]。为了解决这些问题,本文提出了CME-DETR,一种面向无人机小目标检测的上下文感知多尺度增强端到端检测器。该设计旨在提高检测精度的同时保持计算效率。基于RT-DETR(Res18)基线,主要贡献总结如下:• 我们以RT-DETR为基础开发了CME-DETR,通过联合改进多尺度特征提取、跨尺度特征融合和细粒度特征补偿。所得框架专门针对无人机小目标检测,同时保持了精度与复杂度之间的良好权衡。• 我们提出了CSP-PMF和CAG-FPN以在尺度变化和复杂背景下增强特征表示。CSP-PMF通过部分通道多尺度提取减少通道冗余,而CAG-FPN将上下文建模与门控重采样相结合以调节跨尺度特征传输。• 我们设计了SOE-Head以在不增加额外P2预测分支的情况下补偿小目标细节的丢失。通过SPDConv注入高分辨率P2特征,并利用OmniKernel对其进行优化,SOE-Head在有限额外计算的情况下提高了小目标感知能力。• 在VisDrone2019、DOTA v1.0和HIT-UAV上的大量实验表明,CME-DETR实现了有竞争力的检测性能和实用的精度-效率权衡,在所评估的数据集上均一致优于RT-DETR(Res18)基线。## 节选### 基于CNN和YOLO的目标检测YOLO系列因推理速度快而被广泛应用于无人机目标检测。为解决航空图像中小目标尺寸和微弱特征表示的挑战,近期研究探索了各种优化策略,包括基于注意力的多尺度特征提取、骨干网络结构优化、边缘特征增强、多层特征重建和细节补偿机制[15]、[16]、[17]、[18]。结合混合网络……### 整体框架针对无人机图像中细粒度表示不足和严重背景干扰的问题,本文将RT-DETR(Res18)重新设计为CME-DETR。CME-DETR是一种专为无人机小目标检测设计的端到端检测器。如图1所示,所提模型由三个协调阶段组成:用于多尺度特征提取的骨干网络、用于选择性跨尺度融合的颈部网络以及用于高分辨率细节补偿的检测头部。这些阶段构成了一个任务导向的特征……### 实验数据集无人机目标检测的代表性数据集包括VisDrone2019[2]、UAVDT[31]、DOTA v1.0[4]、HIT-UAV[32]和AI-TOD[33]。此外,我们在DOTA v1.0和HIT-UAV上进行了跨数据集评估,以检验CME-DETR在不同无人机数据集和成像条件下的性能。VisDrone2019数据集由中国天津大学使用无人机搭载相机拍摄,涵盖了多种真实世界场景。它包含10个目标类别:行人、人……### 结论本文提出了CME-DETR,一种面向无人机小目标检测的上下文感知多尺度增强端到端检测器。该方法从三个方面重新设计了RT-DETR:多尺度特征提取、上下文感知特征融合和高分辨率细节补偿。具体而言,CSP-PMF以较少的参数冗余增强了多尺度表示,CAG-FPN通过引入上下文建模和门控特征传输改进了跨尺度特征融合,SOE-Head……### CRediT作者贡献声明**方龙:** 撰写——初稿、软件、资源、方法论、调查研究、正式分析、数据整理、概念设计。**宋英磊:** 撰写——审阅与编辑、监督、资源、项目管理、资金获取、概念设计。### 资助太湖实验室深海科技项目(项目编号2035032202)资助了本工作。### 未引用参考文献[38]、[39]、[40]、[41]、[42]、[43]、[44]、[45]、[46]、[47]### 利益冲突声明作者声明不存在已知的竞争性经济利益或个人关系,这些关系可能影响本论文所报告的工作。方龙 | 宋英磊
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号