FA-DETR:一种基于特征增强和自适应融合的端到端检测器,用于小目标检测
《Neurocomputing》:FA-DETR: Feature-augmented end-to-end detector with adaptive fusion for small object detection
【字体:
大
中
小
】
时间:2026年04月12日
来源:Neurocomputing 6.5
编辑推荐:
小目标检测(SOD)在无人机应用中面临特征退化、定位不准和多尺度表示不足的问题,传统YOLO和Transformer基线方法均存在局限。本文提出FA-DETR框架,通过多尺度边缘增强(MEE)、注意力机制与可学习位置编码(ALPE)和多域特征合成(MDFS)三模块协同优化,有效提升小目标检测精度与定位准确性,实验表明在VisDrone和UAVVaste数据集上AP提升5.5%和6.6%。
张浩|张华翔|朱国牛
复旦大学智能机器人与先进制造学院,中国上海200433
摘要
在航空图像中,小目标检测(SOD)仍然是无人机(UAV)应用中的一个基本且未解决的挑战,这主要是由于特征严重退化、定位不准确以及多尺度表示不足所致。尽管基于Transformer的检测器(如DEtection TRansformer(DETR)展现了强大的全局建模能力,但将其应用于SOD任务时性能会显著下降。为了解决这些限制,本文提出了一种特征增强型DEtection TRansformer(FA-DETR),这是一个旨在增强细粒度特征保留和空间精度的统一框架。FA-DETR包含了三个新颖的模块:(1)多尺度边缘增强(MEE)模块,该模块能够明确捕捉多个尺度上的细粒度边界线索;(2)带有可学习位置嵌入(ALPE)的注意力机制,用于在密集或杂乱的场景中加强定位;(3)多域特征合成(MDFS)模块,该模块结合了空间域和频率域的表示以实现多尺度融合。在VisDrone数据集上的广泛实验表明,FA-DETR在平均精度(AP)上比RT-DETR(实时DETR)基线提高了5.5%,在AP50上提高了6.6%。在UAVVaste数据集上也观察到了类似的显著改进。这些结果验证了我们协同设计在解决特征丢失和定位挑战方面的有效性,并突显了FA-DETR作为基于UAV的SOD的强大解决方案。
引言
无人机(UAV)技术的迅速发展显著加速了航空视觉系统在各种应用领域的采用[1]。这些系统现在被广泛用于农业监测[2]、城市监控[3]和基础设施检查[4]。然而,航空图像存在一系列固有的挑战,这些挑战严重阻碍了传统目标检测算法的性能[5]。首先,小目标在UAV图像中占主导地位。大量目标的尺寸小于32像素,这种分布比地面成像场景中的情况要极端得多。其次,由于自上而下的视角和拥挤的场景布局,相邻目标之间经常发生密集遮挡。第三,复杂且异构的背景引入了大量的视觉杂乱,进一步增加了准确目标识别的难度。这些挑战在实际的UAV部署中表现得非常明显。图1展示了一个典型的例子,其中阴影、遮挡和杂乱的背景共同突显了航空视角中小目标检测(SOD)的核心难题。这些因素共同导致了特征严重退化和定位不可靠的问题,凸显了需要更专业的检测框架。
为了解决这些挑战,以往的研究主要遵循了两种主流的目标检测范式:传统的基于锚点的架构(例如YOLO系列)和较新的基于Transformer的框架(例如DETR系列)。尽管取得了显著进展,但这两种范式在应用于航空SOD时仍存在未解决的局限性。
YOLO系列[6]、[7]、[8]、[9]是一种代表性的基于锚点的方法,因其实时性能和实际部署效率而被广泛采用。然而,它对手工制作组件的依赖从根本上限制了其在UAV场景中的有效性。航空图像通常包含极端的尺度变化,目标尺寸远小于通用数据集中的目标尺寸。YOLO预定义的锚点框通常来自标准基准,可能无法充分覆盖极小的目标。这种锚点先验与真实尺寸分布之间的不匹配可能导致训练期间交并比(IoU)值系统性地偏低,从而导致高比例的漏检[10]。此外,在推理过程中使用非最大值抑制(NMS)会引入额外的延迟,并且在密集的场景中表现不佳,因为高度重叠的预测使得NMS容易产生错误的抑制[11]。
相比之下,基于Transformer的检测器,特别是DETR[12]及其后续变体,通过消除手工制作的组件并利用注意力机制实现全局上下文建模,极大地提升了端到端的目标检测能力。DETR系列采用基于CNN主干网络和Transformer编码器-解码器架构的端到端框架。它放弃了锚点和NMS,将检测视为一个集合预测任务,其中可学习的目标查询通过匈牙利算法与全局图像特征匹配。这种设计在通用基准测试中达到了与YOLO相当的准确性,并由于Transformer的全局上下文建模能力而在高度重叠的场景中提供了更好的鲁棒性。后续的变体,如Deformable DETR[13]和Conditional DETR[14],缓解了收敛缓慢和高计算成本的问题。
尽管取得了这些进展,基于DETR的方法在基于UAV的SOD方面仍然表现不佳。这些不足源于一个固有的架构不匹配:激进的特征下采样严重削弱了对微小目标的表示,而依赖于全局注意力对于建模航空图像中典型的大量分布的微小目标来说并不理想。尽管最近的多尺度扩展(如RT-DETR[15])提供了更高效的基线,但它们仍然无法满足UAV场景的需求。现有框架继续受到三个关键限制的困扰:(1)细粒度边缘和轮廓信息的严重丢失;(2)在密集目标布局下的定位不可靠;(3)多尺度特征融合效果不佳,通常无法有效抑制复杂的背景干扰。
为了弥合这些差距,我们提出了FA-DETR,这是一种专为基于UAV的SOD设计的特征增强型DEtection TRansformer。FA-DETR结合了三个协同工作的组件,共同解决了上述限制。这些模块共同构成了一个针对UAV图像独特特性的连贯架构。本文的主要贡献总结如下。
1.我们提出了FA-DETR,这是一种高效的端到端基于Transformer的检测器,专为基于UAV的SOD设计,解决了现有框架在处理微小、密集分布的航空目标时的核心限制。
2.我们提出了一个多尺度边缘增强(MEE)模块,该模块能够明确捕捉多个尺度上的高频边界线索,减轻了Transformer主干网络中激进下采样导致的细粒度特征丢失。
3.我们设计了一种带有可学习位置嵌入(ALPE)的注意力机制,以精细化空间对应关系并提高密集场景中的定位精度。
4.我们开发了一个多域特征合成(MDFS)模块,该模块以互补的方式融合了空间域和频率域的表示,改善了多尺度特征集成并抑制了复杂的背景干扰。
5.在VisDrone和UAVVaste数据集上进行了多次实验来评估所提出方法的有效性。实验结果和对比分析证明了所提方法在基于UAV的SOD方面的优越性。
本文的其余部分组织如下。第2节概述了相关工作。第3节介绍了所提出方法的设计理念和核心组件。第4节讨论了实验和结果。第5节提供了讨论。最后,在第6节得出结论。
部分摘录
小目标检测
小目标检测(SOD)通常指的是小于32像素的目标,它在特征表示和空间定位方面存在固有的限制[16]。这些限制在UAV成像场景中尤为明显,这些场景主要面临三个基本挑战:(1)极端尺度变化,同一帧内的目标尺寸可能从小到大;(2)信噪比低,因为复杂的背景(如树荫)
整体架构
如图2所示,我们提出了FA-DETR,这是一种基于RT-DETR架构的增强型Transformer检测器。该模型引入了三项关键创新。首先,多尺度边缘增强(MEE)模块作为一个关注边缘的主干组件,处理输入特征图以生成多尺度边缘增强的表示;其次,我们提出了带有可学习位置嵌入(ALPE)的注意力机制,以加强位置敏感的注意力
实验设置
VisDrone:我们的实验是在VisDrone-2019-DET数据集上进行的,这是一个专门为UAV捕获的图像中的目标检测和跟踪设计的大规模基准。该数据集包含了来自14个城市、在不同天气条件、光照和一天中不同时间的各种无人机收集的图像和视频帧,使其非常具有代表性的真实世界航空监控场景。VisDrone-2019-DET包含超过260万个手动标记的
讨论
我们提出的FA-DETR框架通过精心设计的模块化架构有效解决了UAV图像中SOD的核心挑战,从而实现了卓越的性能。如表3中的消融结果所示,三个关键模块协同工作,带来了显著的改进。首先,我们在早期特征提取阶段增强了小目标特征,使DETR主干网络能够保留更精细的细节。接下来,注意力热图分析表明,我们的设计提高了
结论
在本文中,我们提出了FA-DETR,这是一种专为UAV图像中的SOD设计的端到端检测器。为了克服普遍存在的特征丢失问题,我们提出了三个互补的模块(即MEE、ALPE和MDFS),这些模块增强了边缘保留、细化了小目标定位,并实现了高效的多域特征集成。这些组件协同工作,产生了更清晰的目标边界、更准确的定位以及显著提高的整体检测性能
CRediT作者贡献声明
张浩:撰写——原始草稿、验证、方法论、调查、数据管理、概念化。张华翔:方法论、调查。朱国牛:撰写——审阅与编辑、监督、资源管理、项目管理、方法论、调查、资金获取、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
这项工作部分得到了上海市科技重大项目(项目编号2021SHZDZX0103)的支持,同时也得到了复旦大学综合繁荣计划关键项目(项目编号XM06231744)的支持。
张浩于2024年从中国淄博的山东工业大学获得了计算机科学与技术学士学位。他目前正在复旦大学智能机器人与先进制造学院攻读电子信息硕士学位。他的研究兴趣包括目标检测、计算机视觉和代理系统。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号