基于多分支细节增强与跨尺度注意力融合的无人机小目标检测方法
刘晓勇,
刘静,
陶俊杰,
胡浩晨,
李盼,
陈柳志
《Symmetry》:A UAV Small Object Detection Method Based on Multi-Branch Detail Enhancement and Cross-Scale Attention Fusion
Xiaoyong Liu,
Jing Liu,
Junjie Tao,
Haochen Hu,
Pan Li and
Liuzhi Chen
【字体:
大
中
小
】
时间:2026年05月02日
来源:Symmetry 2.2
编辑推荐:
摘要 在基于无人驾驶飞行器(UAV)的小物体检测中,如何在复杂背景下增强物体感知仍然是当前检测模型面临的关键挑战。由于UAV上小物体的尺寸较小、像素占用率低以及背景复杂,它们的区分特征在深度网络中容易减弱,这限制了多尺度特征融合,从而增加了检测难度。为了解
摘要 在基于无人驾驶飞行器(UAV)的小物体检测中,如何在复杂背景下增强物体感知仍然是当前检测模型面临的关键挑战。由于UAV上小物体的尺寸较小、像素占用率低以及背景复杂,它们的区分特征在深度网络中容易减弱,这限制了多尺度特征融合,从而增加了检测难度。为了解决这些问题,本文提出了一种细节感知的多尺度融合网络(DMF-Net),用于UAV小物体检测,该网络由两个核心模块组成:多分支细节增强模块(MBDE)和双注意力融合(DAF)模块。首先,在特征提取阶段,引入了一个具有串联卷积和残差连接的多分支细节增强模块,以增强高频细节和局部纹理,同时保持语义一致性。其次,在特征融合阶段,设计了一个基于双注意力的特征融合模块,该模块具有对称交互结构,能够通过自适应注意力机制动态评估不同尺度特征的重要性,实现对称的跨尺度交互和细粒度的特征互补。在具有挑战性的VisDrone和TinyPerson数据集上获得的实验结果证实,DMF-Net在小型物体检测的准确性方面优于现有的最先进方法,同时保持了高推理效率。在TinyPerson数据集上,与YOLO11n相比,DMF-Net将AP提高了1.4%,AP_50提高了4.1%,AP_75提高了0.6%,同时保持了97.2 FPS的帧率。此外,它在复杂背景和密集目标场景中表现出良好的性能。
1. 引言
由于无人驾驶飞行器(UAV)技术的迅速发展,基于UAV平台的物体检测在军事监视、公共安全、电影制作和物流配送等领域展示了巨大的应用价值。与一般物体检测相比,UAV图像中的物体通常具有尺寸小、像素占用率低和背景复杂的特点,这使得小物体在成像过程中更容易受到环境纹理和噪声的干扰,从而给检测带来了更大的挑战。因此,迫切需要改进在复杂背景下小物体的特征提取和融合技术,这已成为UAV物体检测中的首要任务。近年来,越来越多的研究集中在使用UAV检测小物体上,并取得了显著进展。根据不同的检测范式,现有方法可以分为两阶段方法和一阶段方法。两阶段方法,如Faster R-CNN [1]和Cascade R-CNN [2],通过区域提议生成、分类和回归的两步过程实现高检测精度。然而,在复杂场景中检测小物体时,这些方法的推理速度往往有限,并且缺乏针对小物体的必要区分特征。相比之下,一阶段方法,包括YOLO [3,4,5,6]系列和SSD [7],直接在多尺度特征图上进行物体预测,实现了高效的端到端推理。其中,YOLO系列通过使用串联线性卷积、残差连接和多尺度特征融合逐步增强特征表示,从而在保持快速推理速度的同时提高了小物体检测性能。然而,由于卷积操作的局部性质,CNN在捕捉复杂场景中的全局上下文关系方面仍存在局限性。随着Transformer架构的引入,DETR [8]通过端到端序列建模和基于查询的机制 [9] 进行物体定位,消除了对预定义锚点和复杂后处理的依赖,并在检测精度上取得了显著提升。尽管有这些优势,DETR在小物体检测中的收敛速度较慢,且难以提取详细的局部特征。为了解决这些问题,RT-DETR [10]和D-Fine [11]通过引入高效的查询机制和特征增强策略加速了收敛速度并提高了小物体检测性能。此外,DEIM [12]通过改进匈牙利匹配策略和样本分配机制提高了训练效率和检测性能。另外,基于状态空间模型的Mamba [13]增强了上下文建模能力,为在复杂场景中检测小物体提供了新的方法。尽管在设计检测框架和使用现有方法提高整体性能方面取得了进展,但在基于UAV的小物体检测中仍存在多个挑战 [14]。首先,当前的特征提取过程主要依赖于单一传播路径或串联线性卷积结构。虽然这样的设计有助于逐步积累高级语义信息,但它们在建模高频细节和局部纹理方面不足,这对于区分小物体至关重要,导致重要线索在深度堆叠的卷积中逐渐减弱 [15]。其次,主流的多尺度特征融合策略通常采用简单的聚合或固定权重机制,缺乏对不同尺度特征的适应性加权 [16]。这一限制阻碍了针对物体尺度和上下文信息变化的灵活跨尺度交互,从而限制了细粒度特征互补的有效利用。此外,在具有复杂背景或密集分布目标的UAV视角下,现有的融合方法在联合建模局部区分特征和全局语义信息方面仍然不足。总体而言,仅依赖传统的串联卷积堆叠和静态融合策略已不足以持续提高UAV小物体检测性能。因此,需要在特征提取架构设计和基于跨尺度注意力的融合机制方面进行更有针对性的改进。
为了解决上述问题,本文从两个方面提出了细节感知的多尺度融合网络(DMF-Net):特征提取架构和基于跨尺度注意力的特征融合。首先,在特征提取阶段,引入了一种称为多分支细节增强模块(MBDE)的卷积结构来增强局部感知。通过采用多分支设计,MBDE增强了高频细节和局部纹理信息的提取,同时结合了残差连接以保留原始语义信息。这种设计减轻了小物体在深度卷积过程中区分线索的逐渐减弱,并增强了对其检测至关重要的局部特征的提取。其次,在多尺度特征融合阶段,设计了一个称为双注意力融合模块(DAF)的多尺度注意力融合模块。通过使用注意力权重来反映不同尺度特征的重要性,该模块自适应地调整了跨尺度信息交互的强度,从而实现了更有效的细粒度特征互补。这些改进使所提出的方法能够在复杂背景和密集目标场景下更有效地提取局部细节并整合全局语义信息。如图1所示,输入的图像包含小尺寸物体、密集排列和复杂背景。在图1a中,YOLO11n骨干网络可以提取一些语义信息,但其特征响应较弱且分散在整个图像中。在随后的特征融合过程中,这些有限的区分线索略有增强,导致更局部的特征响应;然而,最终的检测结果仍然不令人满意。相比之下,如图1b所示,DMF-Net在骨干网络、颈部和头部阶段对小物体表现出更集中和连续的特征响应,这在检测结果的红色圈出区域中尤为明显。通过增强细粒度特征表示并改善多尺度信息的有效传播,所提出的模型在复杂背景下更好地保留了小物体的关键语义线索。这使得小物体的定位和检测更加可靠,有效缓解了现有YOLO系列方法在航空小物体检测场景中的局限性。本文的主要技术贡献如下:
图1. YOLO11n和DMF-Net检测结果比较的可视化。子图(a)和(b)分别展示了YOLO11n和DMF-Net的检测结果。虚线框和绿色边界框突出了同一检测阶段的主要差异。显然,DMF-Net在检测小物体簇方面表现优于YOLO11n。
1. 为了解决UAV场景中小物体尺寸小、区分特征减弱以及多尺度特征融合不足的问题,本文提出了DMF-Net,该网络由MBDE和DAF模块组成。实验结果表明,DMF-Net在多个UAV小物体数据集上实现了一致且显著的性能提升。在保持高推理效率的同时,它有效地提高了小物体检测的准确性,表现出强大的鲁棒性和泛化能力。
2. 为UAV小物体检测设计了一种改进的特征提取结构,称为MBDE。为了解决由于深度串联卷积导致的小物体检测中局部区分信息逐渐减弱的问题,逐步引入了多分支卷积结构(MSDC-Conv)来捕获多尺度局部细节。结合了残差连接以保留语义信息的原始来源,从而在不同深度增强高频细节和局部纹理特征的提取,同时保持语义一致性。这种设计改进了小物体的特征表示。
3. 设计了一种基于跨尺度注意力的特征融合机制,称为DAF。为了解决现有多尺度融合方法的局限性,这些方法通常依赖于线性加法或固定权重,并且难以充分利用不同尺度上的信息,引入了一种基于注意力的自适应融合策略。该策略根据不同尺度特征的相关重要性动态调整跨尺度信息交互的强度,从而实现更有效的细粒度特征互补,并提高了网络对小物体的感知能力。
本文的后续部分包括:第2节概述了小物体检测、多分支卷积策略和基于注意力的跨层特征增强技术的先前研究。第3节全面介绍了所提出方法,包括其整体框架和关键模块的设计。第4节描述了实验设置,并对结果进行了系统分析和讨论。最后,第5节总结了本文并探讨了未来研究的潜在方向。
2. 相关工作
2.1. UAV小物体检测
随着深度学习的快速发展,小物体检测已成为计算机视觉中的一个重要研究课题。早期的方法主要采用两阶段算法,如R-CNN [17]系列,将检测过程分为区域提议生成和分类。虽然R-CNN实现了精确的定位和识别,但其主要缺点包括计算成本高和训练时间长。后续的改进显著提高了两阶段检测器的效率和性能,但它们通常会增加计算复杂性,并未完全解决这些限制。为了提高实时性能,开发了一阶段算法。一阶段方法通过直接将图像划分为固定区域并端到端地预测物体类别和位置,消除了对区域提议的需求。这种设计实现了更快的计算和更高的检测效率,使其适用于实时应用。典型的例子包括YOLO [3,4,5,6]和SSD [7]。尽管基于CNN的方法捕获了大量局部细节,但卷积核大小和模型结构的限制限制了它们捕捉长距离依赖性和全局上下文信息的能力。Vaswani等人 [18] 在2017年提出的Transformer架构有效地解决了建模全局信息的挑战,并在各种视觉任务中展示了强大的潜力。Zhu等人 [19] 通过引入可变形DETR解决了原始DETR的收敛速度慢和局部特征捕获不足的问题,该设计采用了可变形注意力机制来更有效地关注关键细节。这种设计加速了模型收敛并提高了小物体的检测性能。
一般物体检测的快速发展也推动了UAV小物体检测的持续进步 [20]。然而,多尺度检测中特征语义和分辨率之间的不平衡仍然是一个挑战。为了提高小物体检测的准确性,Lin等人 [21] 在2017年提出了具有侧向连接的特征金字塔网络(FPN)。后续研究利用FPN框架对UAV小物体检测做出了各种贡献。例如,Zhao等人 [22] 设计了一种基于YOLOv7的UAV小物体检测方法,优化了特征融合结构并引入了注意力机制,以解决UAV场景中小物体特征不足和多尺度差异较大的问题,从而提高了特征提取性能和泛化能力。Li等人 [23] 提出了一种改进的YOLOv7-UAV算法,以解决UAV图像中特征提取不足和多尺度适应能力有限的问题。通过优化预测头以更好地捕获小物体特征并减少冗余计算,以及改进特征金字塔中的多尺度融合,该方法在检测精度和推理效率方面取得了显著提升。席等人[24]提出了FiFoNet,这是一种细粒度目标聚焦网络,它结合了细粒度目标聚焦模块、优化的多尺度特征融合策略和增强的训练方法。这种方法有效地解决了无人机图像中目标尺度变化大、背景干扰强以及细粒度特征不足的问题,同时在检测精度、鲁棒性和实时性能方面取得了提升。张等人[25]提出了一种基于注意力的深度神经网络,以克服传统序列建模在捕捉长距离依赖关系方面的局限性。通过引入多头自注意力机制,该网络能够并行计算全局依赖关系,显著提高了模型对上下文信息的感知能力。王等人[26]开发了一个多模态融合深度学习框架,该框架结合了跨模态注意力和自适应特征对齐,以弥合异构数据融合中的语义差距,有效缓解了传统方法中特征分布不一致和语义关联弱化的问题。尽管深度学习算法在无人机中检测小目标方面取得了成功,但仍然需要更高的精度。
2.2 多分支卷积
由于小目标检测存在固有的困难——包括像素覆盖稀疏、可捕获的内容有限、对噪声敏感以及下采样导致的细节丢失——单路径卷积结构往往不足以提取有意义的小目标特征。最近的研究表明,与单通道卷积相比,并行多通道卷积核可以显著改善小目标的特征提取。并行异构卷积具有扩大感受野、增强定位能力、改善细节捕捉以及提高特征表示鲁棒性等优点。张等人[27]提出了FFCA-YOLO检测框架,并增加了专门的特征增强模块(FEM)。该模块采用并行结构,通过多种不同的膨胀因子进行卷积操作,有效扩展了卷积层的感受野,而不会增加参数数量或降低特征图分辨率。因此,它可以更全面地捕捉包含细粒度空间特征和高级语义上下文的多尺度空间信息。通过高效整合不同尺度上的上下文特征,FEM提高了模型对小目标检测的能力和鲁棒性。杨等人[28]开发了一个多模态融合深度学习框架,其中浅层辅助融合(SAF)和深层辅助融合(AAF)模块与重新参数化的异构多尺度模块(RepHMS)以及全局异构灵活核选择机制(GHFKS)相结合,有效提高了特征融合效果并扩展了感受野。江等人[29]引入了一种新的多分支卷积神经网络(MBCNN),该网络使用三个不同核大小的分支来扩展感受野,从而能够有效提取局部特征和跨多个感受野的依赖关系,结合高级特征后实现了鲁棒且高精度的识别。李等人[30]提出了专门用于小目标检测的多分支注意力网络(MBAN),该网络包含一个具有双路径结构的多分支注意力模块(MBAM),特征通过不同的卷积核并行处理。这种方法在保留小目标细节的同时,通过1×1卷积实现了跨通道信息交互。随后,SimAM注意力机制增强了关键特征,从而获得了更详细的小目标表示。
2.3 基于注意力的跨层特征增强
为了提高小目标检测的精度,除了采用多分支卷积路径进行特征提取外,一种有效的策略是应用注意力机制来细化颈部模块生成的特征图。这种策略通过整合局部和全局信息来提高检测性能。杜等人[31]提出了一种用于检测航空图像中小目标的跨层特征金字塔网络(CFPT),该网络结合了跨层通道注意力(CCA)模块和跨层空间注意力(CSA)模块。在CCA中,特征图按通道分组,以在特征层次结构中进行跨层注意力操作,使每个通道能够访问其他通道的空间上下文信息。在CSA中,每个特征图被划分为多个窗口,并在相应窗口之间进行键值交互,实现跨层空间信息融合。这种设计增强了小目标的语义表示和检测灵敏度。王等人[16]提出了一个高效的特征融合框架,以解决分类和定位信息之间的不平衡问题[32]。该框架包括融合下采样(FDS)模块、融合上采样(FUS)模块和融合多头自注意力(FMSA)模块。FDS模块利用局部注意力来加强细细节的提取和保留,FUS模块引入全局注意力以保留更丰富的语义信息,FMSA模块通过全局多头自注意力融合不同层次的特征。该框架有效提高了小目标检测的细节提取和语义处理能力,从而显著提高了精度。王等人[33]提出了一种创新的多尺度全局细节特征集成策略(MGDFIS),该策略结合了FusionLock-TSS注意力模块、全局到细节的融合模块和动态像素注意力模块。这种策略加强了细小目标细节的提取,并改善了复杂特征的表示,为解决特征表达能力和信息流不平衡的问题提供了有效方案。杭等人[34]使用PARE-YOLO算法解决了无人机小目标检测中复杂背景干扰和低检测精度的问题。在颈部,自适应时间特征集成模块和基于Transformer的RT-DETR检测头对不同尺度的特征图进行注意力加权融合。这种策略显著提高了无人机在复杂和不利条件下的小目标检测的可靠性和精度。
3. 方法论
在无人机图像中,小目标使用的像素很少,常常导致特征信息不足和多尺度特征融合不充分。为了克服这些困难,我们设计了一种基于多分支卷积结构和注意力机制的小目标检测特征增强网络,称为DMF-Net。DMF-Net主要由两个关键模块组成:MBDE用于增强特征表示和上下文信息整合,DAF用于自适应地重新加权相邻尺度的特征,以优化多尺度特征融合的效果。
3.1 概述
作为高性能的一阶段目标检测模型,YOLO11在一般目标检测任务中表现出色。然而,在无人机小目标检测场景中,由于目标较小且占用的像素较少,YOLO11使用的渐进式下采样和特征金字塔结构往往会削弱深度网络层中的细粒度特征,使得难以完整保留小目标的表示。此外,其特征融合过程主要依赖于预定义的多尺度信息路径,这限制了不同尺度之间语义信息和详细信息互补优势的利用,从而降低了模型在复杂背景中表示和区分小目标的能力。具体来说,在无人机小目标检测中,YOLO11仍然面临三个局限性。首先,传统的主干网络设计缺乏在逐步聚合细粒度局部细节时保持稳定语义信息的专用结构。其次,其串行下采样和深度卷积操作往往会逐渐削弱局部纹理线索,这对于表示低像素占用率的小目标至关重要。第三,其颈部主要通过预定义的融合路径进行跨尺度交互,在建模高级语义特征和低级详细特征之间的适应性互补性方面不够灵活。
以YOLO11n为基准,本文介绍了一种名为DMF-Net的小目标检测模型。如图2所示,该方法由三个主要组成部分构成:主干网络(Backbone)、颈部(Neck)和头部(Head)。在主干网络中,引入了MBDE模块,通过保持稳定的语义信息和逐步聚合细粒度局部细节来增强特征表示。此外,MSDC-Conv模块采用并行卷积路径来模拟不同尺度和方向的局部细节,从而减轻了深度特征提取过程中局部纹理线索的削弱,并显著提高了网络的特征提取能力。在特征融合阶段,应用DAF模块,该模块使用注意力机制自适应地重新加权相邻尺度的特征,从而提高了跨尺度交互的灵活性,并增强了高级语义特征和低级详细特征之间的互补性,以更好地表示小目标。在检测阶段,将四个不同尺度的增强特征图输入到检测头进行分类和定位。通过同时最小化多个尺度上的分类损失和回归损失,模型产生了更准确的检测结果。
3.2 DAF
在目标检测领域,由于尺度变化、强烈的背景干扰以及目标与背景对比度低,小目标的识别面临重大挑战。为了解决这些问题,主流检测框架通常采用多尺度特征金字塔来融合不同层次的特征。然而,现有的特征融合方法主要依赖于固定的自上而下或自下而上的信息路径,这限制了它们完全捕捉高级语义特征和低级详细特征之间互补关系的能力。因此,在复杂场景中,小目标的关键信息仍可能被削弱。此外,在小目标检测中,不同尺度上存在的特征的贡献并不恒定,固定的融合策略缺乏对特征重要性的自适应建模。为了克服这些缺点,我们设计了DAF,如图2右下角所示。DAF自适应地重新加权相邻尺度的特征,并实现双向信息交互,有效增强了小目标相关信息在整个多尺度特征融合过程中的保留和传播。具体来说,DAF接收来自相邻尺度的高级语义特征和低级详细特征作为输入。在通道对齐后,为每个特征路径生成自适应的注意力权重,引导双向交互和融合。与传统的主要强调自上而下和自下而上的信息传播的不同,所提出的DAF在融合单元层面进行对称融合,其中相邻尺度的特征被分配独立的注意力权重并通过结构镜像操作进行更新。具体而言,融合过程遵循对称设计,高级语义特征和低级详细特征通过结构镜像操作进行处理,实现了相邻尺度之间的平衡和双向信息交换。这一过程同时增强了融合特征中的语义和详细信息,为检测头提供了更有效的多尺度表示。
需要注意的是,传统特征金字塔设计中的“双向融合”通常指的是同时存在自上而下和自下而上的信息传播路径。这样的设计改善了跨尺度信息流,但其融合操作仍然基于预定义的路线和简单聚合,没有明确建模相邻尺度特征之间的平衡相互增强。相比之下,所提出的DAF在融合单元层面进行对称融合。具体来说,高级语义特征和低级详细特征首先在通道空间中对齐,然后分配独立的注意力权重,并通过结构镜像操作进行更新。因此,所提出的对称融合不仅仅是一种双向路径设计,而是一种平衡的双分支交互机制,在融合过程中,相邻尺度的特征既作为信息提供者也作为接收者。
如图2所示,颈部的DAF模块沿着双向融合路径串联排列,而不是作为独立的融合单元使用。具体来说,三个DAF模块在自上而下的路径中依次连接,另外三个DAF模块在自下而上的路径中依次连接。在自上而下的过程中,高级语义特征作为主要传播流,而相邻的低级详细特征在每个阶段作为补充信息引入以细化和增强当前表示。在自下而上的过程中,融合后的低级特征成为主要传播流,并与上一个融合阶段的相邻高级表示进一步交互。因此,每个DAF的输出被传递到下一个相邻尺度的DAF阶段,形成了整个颈部的渐进式跨尺度交互过程。这里,高级特征图(high-level feature map)富含语义信息,而低级特征图(low-level feature map)则包含丰富的局部细节信息。首先,使用一个1 × 1的CBS(卷积-批量归一化-SiLU)模块对两个特征图进行通道映射(channel mapping),使它们具有相同的特征维度:(1)这里的 和 分别表示CBS模块——由卷积、批量归一化和非线性激活函数组成——用于在保持非线性表示能力的同时统一特征维度。接下来,为了自适应地捕捉不同尺度特征的重要性,DAF为高级和低级特征图生成注意力权重(attention weights):(2)这里的 表示Sigmoid函数,它限制了注意力权重在[0, 1]区间内。在注意力權重的引导下,DAF执行双向信息交互(bidirectional information interaction),以同时增强语义和细节特征。这种双向交互形成了一个对称的特征增强过程,每个尺度以平衡的方式为另一个尺度提供互补信息。高级特征图通过低级语义信息的增强得到更新:(3)同样,低级特征图通过高级细节特征的增强得到更新:(4)这里的 ⊙ 表示逐元素乘法, 表示一个尺度对齐操作符,它在跨尺度交互之前将源特征转换为目标特征的空间大小。低级特征首先通过其对应的注意力权重得到增强,项 强调了低级分支内部的信息响应。同样,经过注意力加权的高级特征通过 对齐到低级分支的空间大小,从而实现相邻尺度之间的逐元素交互。项 作为一个补充门(complementary gate),允许低级分支在其自身响应相对较弱的区域选择性地吸收来自高级分支的额外语义信息。最后,这些对齐的高级和低级特征被连接并融合:(5)这里的 表示由CBS块组成的k×k卷积。所提出的DAF引入了一种基于双向注意力的特征交互机制,建立了相邻尺度之间更灵活和自适应的信息传播路径。这使得高级语义特征和低级细节特征在融合过程中能够互补和强化彼此。与依赖于固定融合策略的传统多尺度结构相比,DAF有效地缓解了小物体在尺度变化和复杂场景中的特征表示不足问题,为检测头提供了更好区分性和可靠的特征表示。
3.3. MBDE设计
在无人机对象检测任务中,目标通常具有小尺度、低像素占用率和复杂背景,这对骨干网络提取特征的能力提出了更高的要求。一方面,网络必须高效地捕捉诸如局部边缘和纹理等细节特征以支持精确定位;另一方面,它需要提取稳定的高级语义信息以确保可靠的类别区分。然而,传统的卷积块通常均匀处理所有通道,这可能会将语义信息与局部细节混合,导致在密集或复杂场景中产生定位错误和对象混淆。此外,连续的下采样和有限的感受野导致高频细节逐渐减弱,使得难以保留小物体的边缘和结构信息。为了解决这些挑战,骨干网络结合了MBDE和MSDC-Conv模块。如图3所示,多个串联的MBDE和MSDC-Conv模块被整合进来,以增强局部细节提取同时保留原始语义信息。MBDE模块在骨干网络内部引入了多分支并行结构,代表不同感受野和特征子空间中的同一特征层,从而有效增强了语义和局部细节特征。MSDC-Conv作为基本构建块,采用多种并行路径和不同的卷积组合来提取细粒度特征。它在保持空间一致性的同时融合多级信息,为骨干网络提供了更丰富和更稳定的特征表示。
3.3.1. MBDE
如图4所示,我们提出了MBDE模块,它在模块级别引入了显式的通道分配和融合机制。输入特征图首先通过一个1 × 1的CBS进行通道重组,生成特征图Z。接下来,一个分割操作将Z沿通道维度分为一个旁路分支(bypass branch)和一个增强分支(enhancement branch)。旁路分支直接保留原始特征,确保类别相关信息的连续传播。增强分支通过一系列N个MSDC-Conv块逐步细化,以加强对局部细节的响应,增强的特征表示为,其中。最后,通过将原始特征与N个增强特征沿通道维度连接起来获得模块输出。这种设计有助于输出同时保留稳定的语义信息和可定位的局部细节特征,从而增强了模型在复杂条件下的小物体检测能力。
3.3.2. MSDC-Conv
图5展示了所提出的MSDC-Conv采用了多分支并行结构从输入图像中提取特征。输入被馈送到多个独立的卷积路径中,每个路径由不同组合的串联卷积组成,旨在捕捉各种感受野和特征子空间中的互补局部细节和上下文信息。一些分支通过逐元素加法进行特征增强,保留原始细节并稳定信息传播。最终,每个分支的处理特征在特征层面上结合,形成统一的表示,显著丰富了特征多样性和可区分性,同时保持空间一致性。MSDC-Conv由多个卷积分支组成: 和 作为局部残差细节分支(Local Residual Detail Branches,LRDBs), 是紧凑语义分支(Compact Semantic Branch,CSB), 是身份映射分支(Identity Mapping Branch,IMB)。每个分支在不同尺度和方向上提取特征,然后在下一步中按通道合并结果特征。所提出的结构增强了检测小物体时的特征建模能力。输入图像首先通过1 × 1的CBS进行通道重组,然后沿通道分为旁路分支和增强分支。旁路分支保留原始信息,而增强分支通过N个MSDC-Conv块细化特征。每个增强阶段的输出通过层间连接传递到最终融合,生成结合了稳定语义和增强局部细节的特征图。MBDE采用了结构化的通道分割、渐进式增强和多级聚合设计,有效组织了特征提取过程。一方面,旁路分支保留了稳定的原始信息,减少了语义传播过程中的干扰并提高了训练稳定性;另一方面,增强分支堆叠了N个MSDC-Conv块,逐步细化局部结构特征,每个阶段的输出汇总到最终输出。这种设计确保输出特征同时包含多深度的局部细节信息和语义信息。MBDE以最小的额外计算开销提高了特征的可分离性和定位一致性,特别适合在复杂场景中进行无人机对象检测。
4. 实验
4.1. 数据集
为了测试所设计方法在复杂背景中检测无人机的能力,本研究使用了两个公开可用且广泛使用的无人机数据集:VisDrone(Vision Meets Drones)和TinyPerson(Tiny Person Detection Dataset)。
VisDrone数据集是无人机对象检测领域中常用的数据集示例。它包含了在中国14个城市中由各种类型无人机拍摄的图像,涵盖了广场、街道、校园和商业区等复杂场景,提供了高场景多样性。由于无人机飞行高度、相机角度和光照条件的变化,该数据集还展示了多样的视角。VisDrone标注了总共十种对象类别:自行车、遮阳三轮车、三轮车、货车、公交车、卡车、汽车、行人、人和摩托车。图像分辨率约为2000 × 1500像素。如图6左侧图像所示,数据集包括城市街道、高速公路、夜间场景和郊区地区,具有丰富的视觉内容和强烈的背景干扰。无人机采集过程引入了显著的目标大小和形状失真。物体的尺度变化很大,其中小而远的实例占很大比例。光照条件变化很大,夜间图像包含噪声和眩光。目标通常分布密集,导致遮挡和重叠,进一步复杂化了准确定位和分类。图6. VisDrone数据集(左)和TinyPerson数据集(右)。
TinyPerson是一个具有高空间分辨率的数据集,专门用于支持在复杂场景中检测非常小的行人目标。它主要用于评估模型对极小行人目标的定位和识别能力。该数据集来自各种高空成像平台,主要覆盖开阔的户外环境,如海滩和海岸线。如图6右侧图像所示,TinyPerson专注于从远距离、俯视角度检测行人。行人实例非常小且分布密集,经常受到严重遮挡和背景杂乱的干扰。由于小目标的普遍性和对象尺度的广泛变化,该数据集在有效特征提取和鲁棒的多尺度表示学习方面面临重大挑战。根据官方的TinyPerson基准[35],大多数目标的大小低于20像素。此外,如图7b所示,大多数对象的标准化宽度和高度集中在0.1以下,进一步量化了数据集的极小尺度。图7. VisDrone(a)和TinyPerson(b)数据集中所有对象的标准化宽度-高度分布的散点图。颜色表示不同的对象类别。如图7所示,我们分析和绘制了TinyPerson和VisDrone数据集中所有标注对象的标准化宽度-高度分布。所有对象的宽度和高度都通过分别除以相应的图像宽度和高度来进行归一化,使得数值范围在0到1之间。因此,归一化值0.1大约对应于图像宽度的10%,0.2对应于20%。这种归一化使得可以比较不同分辨率图像中对象的尺度。在图7a中,VisDrone数据集展示了广泛分布的对象尺度,涵盖了众多小型和中型目标。这反映了现实世界无人机监控场景的多尺度特性,增加了对不同大小对象的特征对齐和区分的难度。相比之下,图7b显示TinyPerson数据集主要包含极小尺度的目标,大多数对象的归一化宽度和高度低于0.1,并且分布密集。这突显了检测小对象所固有的困难。该数据集的对象尺度范围有限,大型目标较少,因此模型需要具备强大的高分辨率特征提取和细粒度定位能力。图8展示了本研究中使用的VisDrone(a)和TinyPerson(b)数据集中的每个类别的实例数量,两者都存在明显的类别不平衡。VisDrone包含10个对象类别,其中汽车和行人分别有187,005个和109,187个实例,而遮阳三轮车、三轮车和公交车等类别的样本较少,反映了典型的长尾分布,增加了对代表性不足且容易混淆的类别的检测难度。TinyPerson仅包含两个类别,即earth_person和sea_person,其中earth_person的数量明显更多。这些数据集中的长尾效应和跨场景不平衡情况与现实世界应用密切相关,为评估模型在复杂条件下的鲁棒性提供了严格的基准。图8. VisDrone(a)和TinyPerson(b)数据集的类别分布统计。VisDrone表现出部分长尾类别,突显了在小目标检测任务中检测小样本和易混淆目标的挑战。TinyPerson包含两个不平衡的类别,为评估模型在复杂背景和样本稀缺条件下的泛化能力提供了基准。
4.2. 实验设置
所有模型都在相同的环境下进行评估,所有基线模型使用了相同的超参数。实验设置如下:操作系统是Red Hat 4.8.5-28;编程使用Python 3.11;深度学习框架是PyTorch 2.1;使用CUDA 12.1进行GPU加速;GPU是NVIDIA A800,拥有80 GB的VRAM;CPU是Intel Xeon 6338N。实验超参数总结在表1中。对于VisDrone和TinyPerson数据集的训练,应用了标准的数据增强策略来提高模型对小型、密集目标的泛化和性能。具体来说,我们应用了水平翻转、颜色抖动、马赛克增强和随机裁剪作为数据增强技术。这些增强技术确保了特征学习的稳健性并支持可重复性。
4.3. 评估指标
在当前实验中,采用了以下评估指标:精确度(Precision)、召回率(Recall)、mAP_50和mAP_50:95。精确度定义为正确预测结果占所有预测结果的比例,反映了模型的检测准确性和产生正确结果的可靠性。高精确度表明模型即使在复杂条件下也能有效抑制背景干扰并正确识别目标。召回率反映了模型成功识别出的真实目标的比例,表明其在检测所有目标并减少漏检方面的有效性。由于精确度和召回率分别只评估了假正例和假负例,它们无法全面评估模型的整体检测能力。因此,我们采用mAP_50作为综合评估指标。mAP_50衡量模型在IoU阈值为0.5时检测真实对象的能力,通过整合精确度-召回率曲线获得每个类别的平均精确度(AP),然后对所有对象类别进行平均。在上述公式中,AP是从精确度-召回率曲线的积分中得出的,较大的AP值意味着相关类别的检测性能更强。
4.4. 消融实验
本研究在VisDrone和TinyPerson数据集上使用YOLO11n作为基线模型进行了消融实验。在一致的实验设置和超参数下,进行了单模块消融和全模型消融研究。
4.4.1. 单模块消融
为了准确评估MSDC-Conv下采样模块在YOLO11n框架不同阶段的作用,我们采用了图9所示的分层累积单点消融策略。该设计以原始YOLO11n为基准,同时保持网络的其他部分和训练配置不变,逐步将MSDC-Conv模块从浅层引入到深层。图9a表示在p1下采样层插入MSDC-Conv,而其余的下采样层保持原有的卷积结构。在此基础上,图9b显示了在p2层进一步添加MSDC-Conv;随后,图9c和图9d分别描述了在p3和p4层的累积替换。最终,如图9e所示,MSDC-Conv应用于从p1到p5的所有下采样层,形成了完整的增强模型。与一次性完全替换不同,这种分层累积消融设计能够更清晰地评估每个下采样阶段对检测性能的独立贡献。一方面,它有效地避免了由于多层同时修改而导致的性能耦合干扰;另一方面,它有助于分析MSDC-Conv在保持细粒度浅层特征和建模深层语义表示方面的独特作用。
4.4.2. 整体消融
我们对VisDrone数据集进行了消融研究,以评估每个创新模块对无人机小型对象检测的影响。关注的模块包括MSDC-Conv、MBDE和DAF,如表4所示。当基线模型中未引入任何模块时,mAP_50为33.7%,精确度为46.3%,召回率为33.0%。引入MSDC-Conv模块后,模型提取多尺度细节信息的能力得到加强,mAP_50上升至38.2%,mAP_50:95上升至22.9%,精确度和召回率分别提高到49.0%和37.6%。进一步引入MBDE模块后,多尺度建模能力得到加强,mAP_50上升至39.7%,召回率上升至39.9%,表明MBDE在复杂背景中检测小型对象方面有贡献。当三个模块一起使用时,DAF模块通过重新校准特征金字塔和上下文融合有效抑制了背景噪声并增强了关键特征表示。这使得mAP_50达到44.0%,mAP_50:95上升至27.2%,精确度和召回率分别达到52.9%和42.3%。这些模块的组合效应显著提高了小型对象的检测准确性以及跨多个尺度有效整合特征的能力。尽管引入MBDE和DAF会增加参数数量(Params)和浮点运算次数(GFLOPs),但在精确度(Precision)、召回率(Recall)、mAP_50和mAP_50:95方面获得的提升非常显著,这表明对于优先考虑检测准确性和鲁棒性的无人机小目标检测场景来说,额外的计算成本是可以接受的。表4展示了在VisDrone数据集上的消融研究结果。表5则呈现了在TinyPerson数据集上的消融研究结果。与VisDrone数据集的发现类似,随着不同模块逐步结合到基线模型中,精确度、召回率、mAP_50和mAP_50:95等指标持续增加,当这三个模块同时使用时达到了最大值。MSDC-Conv增强了特征提取能力,MBDE使模型能够捕捉对象之间的局部依赖关系,帮助网络更好地理解上下文关系。DAF进一步优化了特征融合过程,使模型能够更有效地关注关键区域。优化后的模型在检测微小目标方面表现出显著的精确度和召回率提升,从而验证了多尺度感知和特征重新校准在以密集小目标为特征的场景中的有效性。同样,在TinyPerson数据集上,模型复杂性的增加伴随着所有主要评估指标的明显改善,这表明在复杂背景下进行极小目标检测时,额外的参数数量和浮点运算次数是合理的。表5显示了在TinyPerson数据集上的消融研究结果。需要注意的是,添加这三个模块后,计算成本从6.3 GFLOPs增加到了26.6 GFLOPs,但检测性能的提升非常显著。此外,该模型在我们的测试平台上仍能达到150.4 FPS(表6),满足了许多无人机应用的实时推理要求。因此,未来的工作将集中在轻量化设计上,如模型剪枝、量化和高效的模块简化,以在保持高检测准确性的同时进一步降低计算开销。表6展示了在VisDrone数据集上的比较实验结果。图10比较了YOLO11n和DMF-Net在TinyPerson数据集上经过P5层处理后的特征图可视化结果。图(a)显示了输入场景。在YOLO11n的特征图中(图10b),对象响应稀疏且较弱,密集目标的边界模糊,特征经常与背景混合。相比之下,所提出的MSDC-Conv产生的特征图(图10c)对密集的小目标实例表现出连续的高强度响应,清晰地分隔了紧密排列的目标边界,防止了实例混淆,并增强了与低对比度背景的对比度。这些改进直接提高了复杂场景中小目标的特征可区分性,表明MSDC-Conv比标准的YOLO11n卷积更适合小目标检测任务。图10展示了TinyPerson数据集上的特征图可视化:(a)输入图像,(b) YOLO11n特征图,(c) 使用MSDC-Conv生成的特征图。
4.4.3. MBDE特定特征可视化分析
为了更直接地证明MBDE的作用,我们进一步使用TinyPerson数据集中的样本,在插入MBDE之前和之后对应的阶段可视化了特征响应,如图11所示。由于TinyPerson包含极其微小且对细节敏感的目标,因此它适合用来检验MBDE是否增强了细粒度的局部响应。与基线特征图相比,MBDE增强后的特征在微小目标区域周围显示出更清晰的激活,并且局部结构响应更加明显,表明MBDE有助于在特征提取过程中保留对细节敏感的信息。图11展示了在TinyPerson数据集上相同特征层次的特征图比较:(a)输入图像,(b) YOLO11n基线特征图,(c) 使用MBDE后的YOLO11n特征图。在红色框标记的区域中,引入MBDE后微小目标的响应更加突出,目标区域与周围背景之间的区别更加明显。
4.5. 对比实验
在同一数据集上使用最先进的对象检测算法进行了一系列对比实验。具体来说,基于MMDetection平台训练的基线方法训练了12个周期,而选定的方法(用*标记)在我们的实验环境中训练了300个周期。在MMDetection中,训练过程采用了基于迭代的调度策略、预训练的权重初始化和自适应学习率策略,使模型能够在相对较少的周期内实现足够的参数更新并达到稳定收敛。因此,MMDetection中较少的训练周期并不影响结果与传统长期训练结果的可比性。实验包括了代表性的两阶段检测器(Faster R-CNN、Cascade R-CNN)和一阶段检测器(TOOD、ATSS、RetinaNet、RTMDet、YOLOX、RT-DETR)。在相同的硬件条件下,我们一致测量了每个模型的参数数量(Params)、计算成本(GFLOPs)、推理速度(FPS)和检测性能指标(AP_50、AP_75、AP_50:95)。
4.5.1. VisDrone数据集
如表6所示,两阶段检测器实现了相对稳定的准确率,但计算成本高且速度有限。例如,Cascade R-CNN有69.2M参数和236 GFLOPs,但FPS仅为24.6,这使得实时部署变得具有挑战性。Faster R-CNN的FPS达到了46.8,但AP_50仅为34.0%。相比之下,一阶段检测器通常更适合实时场景:TOOD和ATSS的AP_50均为34.5%,其中ATSS在AP_75上略胜一筹,为23.1%,同时计算需求更低,推理速度也更快。RetinaNet的FPS达到了54.4,但准确率相对较低。在轻量级模型中,YOLO11n在准确率和速度之间取得了更好的平衡,AP_50为35.0%,FPS为177.0。YOLO12n和YOLO13n的速度进一步提高(分别为FPS 204.7和177.3),但AP_50仅达到中等水平。RT-DETR也提供了较高的速度,但AP_50为31.2%。相比之下,我们的方法在保持150.4 FPS的同时实现了最高的AP_50,并在AP_75上达到了21.9%,显示出整体性能的优越性。值得注意的是,在VisDrone数据集上,DMF-Net相对于YOLO11n在AP_50上的提升相对有限,尽管模型在参数数量和GFLOPs方面有所增加。然而,在更严格的AP_75指标下,DMF-Net的改进更为明显,从20.0%提升到了21.9%,表明在更严格的评估标准下具有更好的定位性能。此外,尽管计算成本增加,DMF-Net仍能达到150.4 FPS,这足以满足许多无人机应用的实时推理需求。因此,所提出的模型更适合需要在保持实时性能的同时提高检测质量的场景,而不是资源极度受限的部署环境。
如图12所示,DMF-Net在各种具有挑战性的场景中保持了稳定的检测性能。在低对比度、远距离小目标场景中,例如夜间或低光照环境中,增强的MSDC-Conv和MBDE模块显著提高了模型捕捉微弱特征的能力,捕捉局部依赖关系,对远距离目标产生一致响应,并减少了漏检情况。在密集交通和停车区域,DAF模块促进了高质量的多尺度特征融合,改善了小目标检测,明确了相邻目标之间的边界,并生成了更精确的边界框。这些改进提高了对象的可区分性和定位稳定性,使模型能够更好地适应复杂环境。图12展示了DMF-Net在VisDrone测试集上的定性检测示例。样本涵盖了典型的挑战性场景,包括密集交通(b,g)、停车区域(a,c)、低对比度远距离小目标(d–f,h,i)以及夜间/低光照条件(g–i)。不同颜色的边界框表示不同的对象类别。图13展示了VisDrone测试集中三个代表性示例的视觉对比结果:(a)输入图像,(b)基线YOLO11n的输出,(c) DMF-Net的输出。可视化使用绿色表示正确检测,红色表示漏检,蓝色表示误检。在常见的空中城市场景中遇到的挑战性条件下——如远距离小目标、高度聚集的对象、遮挡和强烈的背景纹理干扰——基线模型倾向于产生更多的红色和蓝色框。具体来说,它在建筑阴影和道路边缘等复杂背景区域产生误检(蓝色框),而远距离或被遮挡的小车辆经常被漏检(红色框)。相比之下,DMF-Net在同一示例上产生了更多的绿色框,表明了对密集目标的更稳定分离,更完整地检测了远距离小目标,并抑制了不相关的背景激活。这提高了鲁棒性和泛化能力,有效减少了漏检和误检。
4.5.2. TinyPerson数据集
表7展示了在TinyPerson数据集上主流检测器的比较结果。总体而言,两阶段方法在这种极端小目标场景中优势有限:Faster R-CNN和Cascade R-CNN的AP分别为4.1%和4.4%,同时模型体积大且推理速度慢。在一阶段方法中,RetinaNet和ATSS的AP分别为1.5%和4.0%,表明它们对微小行人目标的适应能力不足。尽管YOLO系列模型具有较高的推理效率,但在以极小目标为主的TinyPerson数据集中,其准确率提升有限;例如,YOLOX和YOLO11n的AP分别为5.5%和6.1%。RT-DETR的AP达到了6.8%,但仍低于我们的方法。相比之下,DMF-Net的AP为7.5%,AP_50为22.9%,AP_75为2.6%,在整体准确率上优于所有其他方法。对于小目标特定的指标,AP_s达到了7.3%,显著高于YOLO11n的5.5%,表明所提出的改进更有效地增强了极小规模行人的检测。在效率方面,我们的模型包含5.5M参数,同时保持了97.2 FPS的实时推理速度,实现了准确率、模型大小和速度之间的优越平衡。值得注意的是,DMF-Net在TinyPerson数据集上的AP为7.5%,从绝对值来看似乎较低。然而,这个数据集主要包含极小的行人目标,大多数对象大小低于20像素且分布密集,这对检测构成了重大挑战。在现实世界的无人机应用中,即使AP较低,也能为跟踪、警报和场景理解等下游任务提供有价值的检测结果。因此,尽管AP较低,该模型在具有挑战性的小目标检测场景中仍然具有实际效用。图14展示了DMF-Net在TinyPerson数据集上的几个检测示例。在这些具有挑战性的条件下,DMF-Net为众多微小行人生成了稳定的响应,整体边界框分布与实际人群位置非常吻合。在背景干扰强烈的区域(如海洋和海岸线),模型输出受到限制,避免了大规模的误激活,并有效抑制了复杂的背景噪声。图14展示了使用DMF-Net检测TinyPerson的结果。子图(c,g,h)展示了稀疏的小目标场景,而子图(a,b,d–f,i)展示了密集的小目标场景。图15比较了YOLO11n和DMF-Net在TinyPerson数据集上的检测可视化结果。如图(b)和(c)所示,基线模型在纹理复杂和光照变化较大的区域产生了误检(蓝色框),同时漏检了远处的行人(红色框)。相比之下,DMF-Net在同一示例上产生了更多的绿色框,表明了对密集目标的更稳定分离,更完整地检测了远距离小目标,并抑制了不相关的背景激活。这提高了鲁棒性和泛化能力,有效减少了漏检和误检。
4.5.2. TinyPerson数据集
表7展示了在TinyPerson数据集上主流检测器的比较结果。总体而言,两阶段方法在这种极端小目标场景中的优势有限:Faster R-CNN和Cascade R-CNN的AP分别为4.1%和4.4%,同时模型体积大且推理速度慢。在一阶段方法中,RetinaNet和ATSS的AP分别为1.5%和4.0%,表明它们对微小行人目标的适应能力不足。尽管YOLO系列模型具有较高的推理效率,但在TinyPerson数据集上的准确率提升有限;例如,YOLOX和YOLO11n的AP分别为5.5%和6.1%。RT-DETR的AP达到了6.8%,但仍低于我们的方法。相比之下,DMF-Net的AP为7.5%,AP_50为22.9%,AP_75为2.6%,在整体准确率上优于所有其他方法。对于小目标特定的指标,AP_s达到了7.3%,显著高于YOLO11n的5.5%,表明所提出的改进更有效地增强了极小规模行人的检测。在效率方面,我们的模型包含5.5M参数,同时保持了97.2 FPS的实时推理速度,实现了准确率、模型大小和速度之间的优越平衡。值得注意的是,DMF-Net在TinyPerson数据集上的AP为7.5%,从绝对值来看似乎较低。然而,这个数据集主要包含极小的行人目标,大多数对象大小低于20像素且分布密集,这对检测提出了重大挑战。在现实世界的无人机应用中,即使AP较低,也能为跟踪、警报和场景理解等下游任务提供有价值的检测结果。因此,尽管AP较低,该模型在具有挑战性的小目标检测场景中仍具有实际用途。图14展示了DMF-Net在TinyPerson数据集上的几个检测示例。在这些具有挑战性的条件下,DMF-Net为众多微小行人生成了稳定的响应,整体边界框分布与实际人群位置非常吻合。在背景干扰强烈的区域(如海洋和海岸线),模型输出受到限制,避免了大规模的误激活,并有效抑制了复杂的背景噪声。图14展示了使用DMF-Net检测TinyPerson的结果。子图(c,g,h)展示了稀疏的小目标场景,而子图(a,b,d–f,i)展示了密集的小目标场景。图15比较了YOLO11n和DMF-Net在TinyPerson数据集上的检测可视化结果。如图(b)和(c)所示,基线模型在纹理复杂和光照变化较大的区域产生了误检(蓝色框),同时漏检了远处的行人(红色框)。相比之下,DMF-Net生成了更多与真实目标位置对齐的检测框(绿色框),减少了漏检(红色框)和误检(蓝色框)。这些结果进一步证明了DMF-Net在复杂背景中对微小目标的强大泛化能力和敏感性,实现了更优的性能。图15展示了YOLO11n和DMF-Net在TinyPerson数据集上的检测结果比较。图16展示了各种模型在TinyPerson数据集上的预测热图。图(a)显示了输入图像,图(b)–(d)分别展示了YOLO11n、YOLO12n和YOLO13n的热图,图(e)展示了DMF-Net的结果。所有方法使用了一致的输入设置和后处理,目标类的预测响应以热图的形式可视化。从可视化结果来看,YOLO11n在小目标和低对比度区域的表现不稳定,表现为碎片化或不连续的热点,表明小规模行人表示受到噪声的严重影响。YOLO12n在主要目标附近的响应更接近,但在复杂背景区域只有分散的激活,表明背景抑制不足。YOLO13n在密集区域产生了更强的响应,热点扩散且可能与相邻目标合并,这可能会降低对象分辨率和定位精度。相比之下,DMF-Net的高响应区域与行人位置更紧密对齐,热点集中,特别是在拥挤或小目标区域,有效控制了背景激活。图16展示了不同模型在TinyPerson数据集上的预测结果热图。(a)原始图像;(b) YOLO11n;(c) YOLO12n;(d) YOLO13n;(e) DMF-Net。颜色从冷到暖表示目标类的预测响应逐渐增强。结论
本研究针对无人机在复杂背景下进行小目标检测时精度有限的难题,提出了一种基于特征提取和跨尺度融合的检测框架,并构建了一个融合了MBDE(Multi-Branch Deconvolutional)和DAF(Dynamic Attention Fusion)模块的检测网络。首先,在特征提取方面,我们分析了深度串行卷积结构在模拟小目标检测所需的高频细节和局部纹理时的局限性。为了解决这一问题,我们引入了MBDE,该机制结合了MSDC-Conv(Multi-Stage Discriminative Convolution)来实现具有不同局部感受野的多分支并行处理。通过引入残差连接来保留原始语义信息,这种设计在不会影响语义一致性的前提下显著提升了细粒度特征表示能力。其次,我们提出了DAF模块,该模块利用注意力机制动态调整不同尺度特征之间的权重,并动态调节跨尺度信息交互。相邻尺度特征之间的对称交互结构进一步增强了多尺度表示学习的一致性和鲁棒性。基于DAF的特征融合策略在复杂且目标密集的场景中有效平衡了局部判别线索与高级语义信息,显著提升了网络对小目标的整体感知能力。
广泛的对比实验表明,所提出的方法在VisDrone和TinyPerson数据集上都提升了小目标检测性能,尤其是在TinyPerson数据集上的提升更为显著。与基线模型相比,该模型在VisDrone数据集上的AP_50指标提升了0.5%,在TinyPerson数据集上提升了4.1%。总体而言,所提出的方法显示出提升无人机小目标检测性能的潜力。
尽管所提出的技术在无人机小目标检测领域取得了显著改进,但仍存在一些局限性。例如,多分支结构在增强特征表示的同时,不可避免地增加了计算开销和参数数量,这可能会限制其在资源受限的无人机平台上的应用。此外,当前的跨尺度注意力机制主要关注局部尺度间的特征交互,因此在建模长距离跨尺度依赖关系方面仍有改进空间。未来的研究将致力于开发更轻量级的多分支结构、更高效的跨尺度注意力建模策略,并提升在极端复杂场景下的鲁棒性,以进一步提升无人机小目标检测方法的实际应用价值。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号