面向无人机影像的多尺度特征增强与显著性引导跨层融合的轻量级小目标检测方法

《Remote Sensing》:A Lightweight Small-Object Detector for UAV Imagery via Multi-Scale Feature Enhancement and Saliency-Guided Cross-Layer Fusion

【字体: 大 中 小 】 时间:2026年07月04日 来源:Remote Sensing 4.3

编辑推荐:

  针对无人机(UAV)在交通巡检、城市安防及应急响应等应用中日益增长的需求,无人机环境感知需要同时保证高检测精度与实时效率。然而,无人机影像面临三大核心挑战:细节丢失——小目标仅占少量像素且微弱边缘在下采样过程中被稀释;跨尺度融合失效——浅层与深层特征之间的语义

  
针对无人机(UAV)在交通巡检、城市安防及应急响应等应用中日益增长的需求,无人机环境感知需要同时保证高检测精度与实时效率。然而,无人机影像面临三大核心挑战:细节丢失——小目标仅占少量像素且微弱边缘在下采样过程中被稀释;跨尺度融合失效——浅层与深层特征之间的语义鸿沟导致尺度错位与小目标抑制;环境干扰——杂乱背景、遮挡及密集布局引起定位漂移。为应对上述挑战,研究人员提出了一种基于YOLOv8s(You Only Look Once version 8 small)框架的优化高效检测器,通过多尺度特征增强与显著性引导跨层 Fusion 策略加以改进。具体而言,研究人员在主干(Backbone)中集成了RFCAConv(Receptive Field Attention Convolution,感受野注意力卷积)与RGCSP(RepConv and EDLAN-based CSP module)模块以增强局部细节与空间结构建模能力;设计了一种多尺度自适应融合模块(MSAFM,Multi-Scale Adaptive Fusion Module),通过双路池化与自适应通道重校准实现深浅层特征对齐;针对复杂背景干扰问题,引入显著性引导的上下文注意力模块(CASM,Context-Aware and Saliency-guided Module)以强化目标区域感知,并配合动态检测头(Dynamic Detection Head)实现自适应特征调制。在VisDrone2019数据集上的评估结果表明,该方法取得了48.3%的mAP@0.5和29.0%的mAP@[0.5:0.95],较YOLOv8s基线分别提升10.2和6.3个百分点,同时模型保持7.2M参数量和14.4 MB的紧凑规模。
随着无人机(UAV)在交通巡检、城市安防及应急响应等领域的广泛应用,基于无人机的环境感知技术对检测精度与实时效率提出了双重需求。然而,由于无人机影像多从高海拔正射或大倾角视角获取,感兴趣目标往往呈现极小的尺度特征,且小目标像素占比低、边缘微弱、信噪比差,导致其特征表示脆弱,极易被复杂背景淹没。现有深度学习检测方法虽在通用场景取得显著进展,但在无人机视角下仍面临严峻挑战:重复下采样导致浅层细节与边缘线索快速流失;传统多尺度融合难以持续保持小目标显著性,且非极大值抑制(NMS)在密集场景下更易误抑制真实目标;复杂背景纹理、遮挡、运动模糊及压缩噪声进一步降低了小目标与背景的可分性,引发假阳性或低置信度假阴性问题。

在此背景下,研究人员提出MRPCD-YOLOv8s检测框架,以YOLOv8s为基线,针对特征提取、跨层融合与预测建模三个阶段进行协同优化,旨在提升检测精度的同时保持模型紧凑。研究首先明确了当前无人机小目标检测领域的核心瓶颈:小目标像素占比极低且纹理边界弱,多次下采样使其特征被稀释;深浅层特征语义差异大,跨尺度融合时易产生尺度错位与语义不连续;复杂背景干扰导致目标响应与背景响应混淆,影响分类置信度与定位精度。

为从特征提取源头缓解上述问题,研究人员在主干网络中引入RFCAConv替代标准卷积进行特征提取与下采样。RFCralConv整合感受野注意力(Receptive Field Attention, RFA)与坐标注意力(Coordinate Attention, CA),前者通过显式扩展感受野增强不同空间偏移处的响应,后者沿高度和宽度方向建模方向感知的空间依赖关系,从而强化细粒度结构与方位依赖性。同时,研究人员以RGCSP模块替换原始C2f结构,该模块采用双分支架构:结构增强分支利用重参数化卷积(RepConv)提取局部纹理、边缘与轮廓信息,训练时多分支结构提升局部模式学习能力,推理时重参数化为单卷积核以保证轻量运行;语义增强分支通过堆叠EDLAN(Efficient Channel and Spatial Feature Extraction Module)模块,以分组卷积捕捉局部空间模式、逐点卷积恢复跨通道交互,提供更强的上下文判别能力。两分支经CSP(Cross Stage Partial Network)风格跨阶段融合后,实现结构信息与语义信息的互补整合,有效缓解单一路径下的信息衰减问题。

在颈部(Neck)的多尺度特征融合阶段,研究人员重新设计了MA-BiFPN(Multi-scale Adaptive Bidirectional Feature Pyramid Network)融合网络,移除P5检测层,将检测头聚焦于P2、P3、P4尺度,使高分辨率P2分支保留小目标空间细节,P3与P4提供更强语义表示。在此基础上,研究人员提出MSAFM模块嵌入MA-BiFPN中。该模块针对浅层与深层特征的固有差异设计分离式注意力路径:浅层分支采用最大池化(Max Pooling)突出局部显著响应,保护小目标边界与角点结构;深层分支沿高度和宽度方向执行定向平均池化,提取垂直与水平语义统计量,形成深层特征的语义坐标编码。融合时,MSAFM生成空间结构感知注意力权重对两类特征进行自适应重校准,使深层语义与浅层结构几何一致地对齐,避免浅层细节被深层语义淹没或背景复杂特征所干扰。

针对复杂背景下的目标感知与定位稳定性,研究人员设计CASM模块置于颈部特征融合阶段。CASM显式生成显著图(Saliency Map)以估计可能包含目标相关结构的区域,为网络提供空间先验以引导关注判别性区域。该模块采用双路径设计:增强卷积分支强化显著区域内的边缘、纹理和局部结构;通道调整分支保留全局上下文与背景信息以避免过度聚焦局部高响应区域。两分支在显著图引导下进行加权融合,实现目标区域增强与上下文信息保留的平衡。在预测阶段,研究人员引入动态检测头(DyHead)替代YOLOv8s的原有检测头,其动态调制机制依据输入特征自适应调整响应权重,可变形卷积(Deformable Convolution)学习输入条件化的采样偏移,实现对不同尺度、类别和空间分布目标的精确空间对齐,改善小目标定位精度与分类稳定性。

实验部分,研究人员在VisDrone2019数据集(10类目标,复杂城市场景)和CARPK数据集(高密度停车场车辆检测,辅助验证密集小目标场景)上开展验证。VisDrone2019训练设置包括:批量大小8,输入分辨率640×640,200轮训练,随机梯度下降(SGD)优化器,初始学习率0.01,动量0.937,权重衰减0.0005,不使用预训练权重。结果表明,MRPCD-YOLOv8s取得48.3% mAP@0.5和29.0% mAP@[0.5:0.95],较YOLOv8s基线(38.1%/22.7%)提升10.2和6.3个百分点,参数量从11.2M降至7.2M,模型大小从22.5 MB压缩至14.4 MB,分别降低约35.7%和36.0%。混淆矩阵分析显示,基线中行人(pedestrian)63%、人群(people)71%、自行车(bicycle)76%被误判为背景,而研究人员的方法使这些类别的正确识别率分别提升至0.46、0.35和0.19,车辆类别亦有显著改善。在CARPK数据集上,该方法达到98.93% mAP@0.5,较YOLOv8(97.20%)、YOLOv11(97.35%)、YOLOv12(96.87%)及MHA-YOLOv5(97.95%)均有提升。

消融实验表明,各模块具有互补贡献:单独添加MA-BiFPN降低参数量与模型大小,但需配合特征增强模块以提升精度;单独添加RFCAConv提升mAP@0.5至40.2%,单独RGCSP在8.4M参数下达到39.0% mAP@0.5;CASM单独使用提升mAP@0.5 4.5个百分点;MSAFM单独贡献最大,mAP@0.5达44.8%。组合消融显示,MA-BiFPN+RGCSP+CASM+MSAFM在6.7M参数、13.6 MB条件下,较基线在VisDrone2019提升9.0% mAP@0.5和5.5% mAP@[0.5:0.95],CARPK上提升1.91% mAP@0.5。可视化对比表明,研究人员的方法在远景小目标、遮挡场景、夜间/低光照及高密度拥挤场景中,均展现出更高的召回率与更准确定位能力;热力图显示其目标响应更连续集中、边界更清晰,背景虚假激活显著减少。

学习曲线显示模型在200轮内稳定收敛,训练损失快速下降后趋平,验证损失紧随训练趋势且差距小、无反弹,精确率(Precision)与召回率(Recall)持续提升后进入平台期,mAP@0.5与mAP@[0.5:0.95]呈"先快后慢"增长模式,最终趋于稳定。

讨论部分,研究人员指出当前工作主要评估参数数量与模型大小等复杂度指标,尚缺乏真实边缘设备上的推理延迟、吞吐量及功耗测试,未来需在NVIDIA Jetson等平台上进行ONNX、TensorRT等部署框架的系统评测,并探索剪枝、量化、知识蒸馏等压缩策略。此外,当前研究针对单帧图像检测,而实际应用多为连续视频流输入,未来可引入轻量化时序建模机制,利用帧间特征关联与运动轨迹增强动态场景下的小目标表示,可进一步探索检测-跟踪统一框架。最后,尽管方法在VisDrone2019和CARPK上验证有效,但真实场景更为复杂多样,低光照、雾霾、雨雾、强光照变化、压缩噪声及不同飞行高度等因素均会导致目标外观特征与背景分布显著变化,后续可研究域适应、半监督学习或自监督预训练以增强跨场景泛化能力。

研究结论指出,针对无人机航拍影像中小目标细节丢失、跨尺度融合困难和复杂背景鲁棒性不足的关键挑战,研究人员提出MRPCD-YOLOv8s检测框架,在特征提取、特征融合和预测建模三个关键阶段实现协同改进。主干网络中引入整合感受野注意力与坐标注意力的RFCAConv,并以基于RepConv和EDLAN构建的RGCSP替代原始C2f结构,在控制计算开销的同时增强小目标纹理、边缘和空间结构的表示能力,从源头缓解下采样和参数共享导致的特征稀释。颈部通过重新设计的多尺度融合路径和MSAFM模块,配合改进的MA-BiFPN实现跨尺度语义对齐与自适应通道重校准,减少由尺度错位、语义不连续和主导特征压制引起的小目标抑制。针对复杂场景适应,引入显著性引导的CASM模块强化目标区域响应并抑制背景噪声,并进一步采用动态检测头自适应调制多尺度特征,提升密集分布、遮挡/形变及强背景干扰下的定位稳定性与泛化能力。VisDrone2019实验结果表明,所提方法取得48.3% mAP@0.5(较YOLOv8s提升10.2%)和29.0% mAP@[0.5:0.95](提升6.3%),验证了所提架构在精度与效率平衡方面的有效性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号