FPDENet: 一种频域细节保留与方向增强的融合网络,用于可见光 - 红外无人机图像中的小目标检测
《Infrared Physics & Technology》:FPDENet: A Frequency-Domain Detail-Preserving and Direction-Enhanced fusion network for Small-Object detection in Visible–Infrared UAV images
【字体:
大
中
小
】
时间:2026年09月20日
来源:Infrared Physics & Technology 3.8
编辑推荐:
摘要为了解决无人机图像中目标尺寸较小导致下采样过程中细粒度信息丢失的问题,以及可见光与红外图像因模态差异和空间错位导致融合特征不一致的问题,本文提出了一种双流可见光-红外目标检测网络,称为FPDENet。该网络采用两个结构对称但参数独立的主干网络分别提取可见光和红外图像的多尺
摘要
为了解决无人机图像中目标尺寸较小导致下采样过程中细粒度信息丢失的问题,以及可见光与红外图像因模态差异和空间错位导致融合特征不一致的问题,本文提出了一种双流可见光-红外目标检测网络,称为FPDENet。该网络采用两个结构对称但参数独立的主干网络分别提取可见光和红外图像的多尺度特征,随后在深层语义尺度上进行跨模态融合。为了保留小目标的细节信息,本文设计了一个频域细节保持模块,FDDP。FDDP利用离散小波变换将特征分解为低频结构分量和高频细节分量,并通过高频信息增强小目标的细粒度表征。此外,本文提出了一种水平-垂直注意力增强模块,HVAE,以缓解跨模态空间错位导致的特征不匹配问题。HVAE通过在水平和垂直方向进行轻量级空间重校准来增强融合特征的结构一致性并抑制不匹配。在DroneVehicle数据集上的实验结果表明,FPDENet取得了82.2%的mAP50和60.6%的mAP50:95,分别比基线方法高出3.3和2.3个百分点。整体性能优于现有对比方法。同时,在M3FD和LLVIP数据集上的实验进一步表明,FPDENet能够在复杂交通和低光照环境中实现准确稳定的目标检测。
引言
无人机目标检测在智能交通监控、城市安防、应急救援和低空巡检等任务中具有重要的应用价值[1]。与地面视角图像相比,无人机图像通常具有高拍摄高度、大视场、小目标尺寸和复杂背景干扰等特点。特别是在车辆密集、光照显著变化或目标严重遮挡的场景中,检测器容易出现漏检、误检和定位偏差等问题[3]。近年来,基于Transformer和YOLO系列的目标检测方法取得了显著进展。Deformable DETR [2]、DINO [4]、RT-DETR [5]以及YOLO系列 [7], [8] 等方法在检测精度和推理效率方面持续改进。然而,单模态目标检测方法仍难以完全适应无人机图像中复杂光照、小目标和弱纹理目标所带来的挑战。
可见光图像能够提供丰富的颜色、纹理和结构细节,但易受光照影响;而红外图像在夜间、低光照环境和复杂天气条件下具有稳定的目标响应特性,但纹理较弱且边缘模糊[6]。因此,融合RGB和IR信息已成为提升复杂场景目标检测鲁棒性的重要方向。DroneVehicle、LLVIP和M3FD等公开数据集的引入进一步推动了无人机车辆检测、低光照行人检测和复杂交通场景中的可见光-红外目标检测的发展[10], [11], [12]。
尽管现有的RGB-IR目标检测方法已取得一定成果,但在无人机场景中仍存在两个关键问题。首先,传统的步幅卷积或池化操作容易在下采样过程中削弱边缘和轮廓等高频信息,而这些细节对于无人机图像中小目标的定位尤为关键。其次,尽管RGB和IR图像已经配准,但由于传感器视角、安装位置和成像机制的差异,局部错位仍可能存在。直接融合容易引入鬼影伪影和背景干扰[9]。现有方法通常从跨模态交互或对齐的角度改进RGB-IR融合。例如,TSFADet通过几何校准缓解弱跨模态错位问题[13],C2Former利用跨模态注意力建模双模态互补关系[14],CMX通过跨模态特征校正提升多模态表征能力[16]。这些方法证明了跨模态对齐和特征交互的重要性,但大多数方法仍主要关注融合阶段的信息交互,对下采样过程中细节损失的考虑不足。对于无人机小目标检测,一旦边缘和轮廓等细粒度信息在主干网络的深层被削弱,后续融合模块将难以完全恢复这些关键线索。因此,在融合前保留各模态中的小目标细节,并在融合后增强跨模态结构一致性,是提升无人机场景中RGB-IR目标检测性能的关键[29]。
针对上述问题,本文借鉴YOLOv11s [8] 的单模态设计理念,设计了一种双流可见光-红外目标检测网络,记为FPDENet。该网络使用RGB和IR双主干,具有对称结构和独立参数,分别提取模态特定特征,并在深层语义尺度进行跨模态融合。本文的主要贡献如下:
(1) 提出了用于RGB-IR无人机目标检测的双流网络FPDENet。该网络通过双主干特征提取和深层跨模态融合,提升了复杂场景中的小目标检测性能。
(2) 设计了FDDP模块,在下采样阶段引入频域细节保持机制,利用低频结构和高频细节的联合建模,减少小目标边缘和轮廓信息的损失。
(3) 设计了HVAE模块,在水平和垂直方向对融合特征进行空间重校准,增强RGB与IR特征之间的结构一致性,并缓解弱跨模态错位带来的干扰。
(4) 在三个公开数据集:DroneVehicle、M3FD和LLVIP上进行了实验。其中,DroneVehicle作为主要实验数据集,M3FD和LLVIP用于泛化能力验证。实验结果表明,FPDENet在检测精度和模型复杂度之间取得了良好的平衡。
章节摘要
可见光-红外目标检测
可见光-红外目标检测通过融合RGB和IR信息提升了复杂环境中的鲁棒性。DroneVehicle数据集面向无人机场景下的车辆检测[10],LLVIP数据集面向低光照行人检测任务[11],M3FD数据集涵盖低光照、烟雾和复杂交通场景[12]。这些数据集促进了多场景下可见光-红外目标检测的发展。
目前,RGB-IR检测方法主要分为
所提出FPDENet的整体架构
为了充分利用可见光和红外模态的互补性,本文借鉴YOLOv11s的单模态设计理念,构建了一种双流目标检测网络,FPDENet。其整体结构如图1所示。该网络主要由双流特征提取主干、跨模态融合分支、颈部网络和解耦检测头组成。给定一组空间配准的RGB和IR图像,网络首先提取
数据集
本文在三个公开的可见光-红外数据集上评估FPDENet,分别为DroneVehicle、M3FD和LLVIP。其中,DroneVehicle被选为主要基准数据集,因为它直接对应本文的目标场景,即从无人机视角进行相对较小车辆目标的RGB-IR目标检测。因此,主要对比实验、尺度评估、模块消融研究和可视化分析均在DroneVehicle上进行。相比之下,
结论
本文提出了一种双流目标检测网络FPDENet,以解决无人机场景中可见光-红外目标检测中小目标细节易丢失和跨模态特征空间不一致的问题。该方法分别从RGB和IR图像中提取特征,并在深层语义尺度完成跨模态融合。通过在下采样阶段引入频域细节保持机制,模型能够更好地保留高频
作者贡献声明
王富友:写作——初稿,方法论,数据整理,概念设计。高炎:写作——审稿与编辑,指导,资源,资金获取。方晶:软件,调查研究,形式分析。薛源:验证,项目管理,形式分析。萨马达·诺伊阿格达姆:可视化,资源,调查研究。
利益冲突声明
作者声明不存在任何可能影响本文工作的已知竞争经济利益或个人关系。
致谢
本工作未获得任何特定资金支持。作者感谢同事在讨论和论文准备过程中给予的支持。
王富友|高炎|方晶|薛源|萨马达·诺伊阿格达姆
上海工程技术大学 电子与电气工程学院,上海市松江区文汇路800号,邮编201620,中国
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号