基于小波频率–空间解耦的可见光–红外无人机检测网络(WFSD-Net):面向复杂背景下弱小目标的可见–红外融合检测

《Remote Sensing》:Bridging Deep Learning and Ecological Interpretability: A Spatial Mamba Framework for NDVI Prediction in Forest-Steppe Ecotones Under Climate Variability

【字体: 大 中 小 】 时间:2026年07月02日 来源:Remote Sensing 4.3

编辑推荐:

  检测无人驾驶航空器(Unmanned Aerial Vehicle, UAV)仍是一项困难任务,主要归因于其微小尺寸、快速运动及复杂背景。融合可见光(Visible)与红外(Infrared, IR)影像可为鲁棒检测提供互补优势,但现有方法依赖空间特征聚合,忽

  
检测无人驾驶航空器(Unmanned Aerial Vehicle, UAV)仍是一项困难任务,主要归因于其微小尺寸、快速运动及复杂背景。融合可见光(Visible)与红外(Infrared, IR)影像可为鲁棒检测提供互补优势,但现有方法依赖空间特征聚合,忽略了光谱差异,导致噪声与纹理耦合。此外,UAV目标的小尺度和高动态性使标准卷积因感受野受限难以将目标信号从背景干扰中解耦。为解决上述局限,研究人员设计了小波引导的频率–空间解耦网络(Wavelet-guided Frequency–Spatial Decoupling Network, WFSD-Net)用于可见–红外UAV检测。首先,为应对融合噪声,设计离散小波频带差异化融合(Discrete Wavelet Band-Differentiated Fusion, DWBF)模块,通过频谱分解将噪声主导子带与信息丰富分量显式解耦,利用自适应空间加权对齐低频分布,并基于物理感知规则分离高频细节,实现源级噪声抑制。其次,提出轴向条带上下文注意力(Axial Strip Contextual Attention, ASCA)模块,通过正交分解的各向异性条带卷积捕获全局上下文依赖,有效解耦弱目标特征与背景杂波,增强对弱目标的空间位置编码能力。最后,研究人员在Anti-UAV300和固定翼多传感器多视角UAV(Multi-Sensor and Multi-View Fixed-Wing UAV, MMFW-UAV)数据集上验证WFSD-Net,实验表明该方法优于现有先进(state-of-the-art, SOTA)方法。
论文解读:基于小波频率–空间解耦的可见光–红外无人机检测网络(WFSD-Net)
该研究发表于《Remote Sensing》。无人飞行器(Unmanned Aerial Vehicle, UAV)因其微小空间尺度、快速且不可预测的运动模式以及高度复杂的天空/城市背景,给传统目标检测带来巨大挑战。单一模态检测存在局限:可见光(Visible)图像在弱光下退化,红外(Infrared, IR)图像缺乏纹理且易受热干扰。可见–红外融合虽具互补性,但现有融合策略多在空间域进行通道拼接或逐元素相加,忽视了两模态在频率域能量分布的固有差异,导致热噪声污染可见纹理;同时,基于卷积神经网络(Convolutional Neural Network, CNN)的检测器受局部感受野限制难以建立远距离几何依赖,而Transformer架构计算量大且需大量标注数据,不适用于多模态样本稀缺的UAV检测场景。为此,研究人员提出小波引导的频率–空间解耦网络(Wavelet-guided Frequency–Spatial Decoupling Network, WFSD-Net),基于YOLOv11框架引入离散小波频带差异化融合(Discrete Wavelet Band-Differentiated Fusion, DWBF)模块进行频率域谱分解以抑制跨模态噪声,以及轴向条带上下文注意力(Axial Strip Contextual Attention, ASCA)模块通过各向异性条带卷积捕获全局依赖以增强弱小目标空间感知,并在公开数据集上验证其优越性。
研究人员采用的主要关键技术方法如下:以Ultralytics YOLOv11为基线构建双分支四通道RGB-IR输入网络;设计DWBF模块对可见与红外特征做二维离散小波变换(2D Discrete Wavelet Transform, 2D-DWT)分解为低频(LL)与高频(LH/HL/HH)子带,低频通过轻量网络生成自适应空间权重图进行融合,高频采用最大绝对值选择并结合动态核尺寸通道注意力重构,经逆小波变换(Inverse DWT, IDWT)及残差连接输出;设计ASCA模块用1×k和k×1深度可分离卷积提取水平与垂直正交条带上下文,融合全局平均池化得到的场景语义信息生成空间注意力图重标定输入特征;在Anti-UAV300数据集(318段对齐RGB-T视频对,旋翼机为主)和MMFW-UAV数据集(147,417张固定翼UAV图像,含变焦可见/广角可见/热红外,按文件夹分层采样子集训练)上进行对比实验及消融实验,以Precision、Recall、mAP50、mAP50:95及参数量(Params)、浮点运算量(GFLOPs)为评价指标。
研究结果
4.1. Comparison Experiments(对比实验)
研究人员将WFSD-Net与YOLOv7、YOLOv8、YOLOX、YOLOv11、YOLOv12、YOLOv13、Hyper-YOLO、PP-YOLOE、PP-PicoDet、RT-DETR、ICAFusion、CMFADet等基准模型对比,所有对比模型均改为四通道拼接输入以支持多模态处理。在Anti-UAV300上,WFSD-Net取得P=0.97、R=0.91、mAP50=0.96、mAP50:95=0.583,超越所有对比方法,且仅需3.5 M参数和9.57 GFLOPs,远小于RT-DETR(66.3 M, 194.00 GFLOPs)和ICAFusion(23.2 M)。在MMFW-UAV上,WFSD-Net取得P=0.98、R=0.96、mAP50=0.98、mAP50:95=0.864,优于同量级轻量模型及参数量更大的Hyper-YOLO与PP-PicoDet。定性可视化显示WFSD-Net在城市杂乱背景、夜间弱光及大场景固定翼小目标条件下漏检更少、虚警更低、置信度更均衡,证明频率解耦融合与轻量上下文注意力的有效性。
4.1.1. Qualitative Comparison on Anti-UAV300(Anti-UAV300定性比较)
通过对城市建筑强干扰背景、前景遮挡及夜间弱光三种典型场景的定性分析,研究发现仅WFSD-Net在强结构干扰的城市背景中成功定位被其他检测器漏检的目标;在前沿遮挡场景中WFSD-Net维持更高且跨模态均衡的置信度;在夜间人工光源干扰下WFSD-Net给出最高检测置信度。表明DWBF能有效抑制背景主导响应并保留弱目标证据。
4.1.2. Qualitative Comparison on MMFW-UAV(MMFW-UAV定性比较)
在固定翼UAV长距观测大场景中,WFSD-Net在简单背景下置信度高于竞品,在丰富城市场景背景中唯一正确检出其他模型漏检的目标,且在YOLOX产生虚警的案例中WFSD-Net正确识别真目标,说明DWBF与ASCA联合作用可降低背景误报并稳定弱目标表征。
4.2. Ablation Experiments(消融实验)
4.2.1. Effectiveness of Different Input Modalities and the Proposed Modules(不同输入模态及所提模块有效性)
单模态RGB输入mAP50:95为0.439(Anti-UAV300)/0.650(MMFW-UAV),单模态IR为0.472/0.798,基线双模态融合为0.556/0.852,证实RGB-IR融合必要性。单独加入DWBF模块(DWBF-only)提升至0.579/0.855,单独加入ASCA模块(ASCA-only)提升至0.571/0.858,两者联合(DWBF+ASCA)达最优0.583/0.864,表明两模块互补增益。
4.2.2. Analysis of DWBF Components and Hyperparameters on the Anti-UAV300 Dataset(DWBF子成分与超参数分析)
仅高频融合块(High-Frequency Fusion Block, HFFB)配置mAP50:95=0.573,仅低频融合块(Low-Frequency Fusion Block, LFFB)为0.568,完整DWBF(两者结合)为0.583,证实高低频分支独立贡献且联合效果最优。通道注意力中动态卷积核超参数a=2、b=1时取得最佳0.583,a=3时降至0.564,其余组合在0.571~0.574间波动,表明模块对合理范围内的超参数较鲁棒。
4.2.3. Analysis of ASCA Components on the Anti-UAV300 Dataset(ASCA子成分分析)
仅正交条带卷积(strip-only)得mAP50:95=0.573,替换为标准3×3深度可分离卷积降至0.565,完整ASCA(条带卷积+全局上下文分支)达0.583,说明各向异性条带建模与全局语义补充均有助于弱小目标定位。
讨论与结论总结
讨论部分指出:(1)WFSD-Net的优势源于DWBF与ASCA的协同——DWBF通过小波分解将低频热背景与高频可见纹理分治处理,低频自适应加权抑制慢变背景、高频最大绝对值选择保留边缘,解决了空间域融合中噪声与目标信号耦合问题;熵分析证实红外LL子带熵高于可见(热辐射弥散分布)、可见高频子带熵高于红外(光学纹理丰富),为分频段差异化融合策略提供了实证依据。(2)ASCA通过水平与垂直正交条带卷积捕获各向异性长距离依赖并以全局上下文补充,弥补了标准卷积局部感受野不足导致弱目标响应被淹没的问题,特别利于像素占比极小的UAV目标。(3)DWBF对超参数a、b在合理区间表现鲁棒。(4)WFSD-Net以接近单模态轻量检测器的参数量(3.5 M, 9.57 GFLOPs)实现优于SOTA多模态检测器的精度,说明改进来源于对跨模态信息的更有效利用而非单纯增加容量。
研究人员得出结论:所提出的WFSD-Net通过DWBF模块进行频谱分解实现源级去噪与模态互补增强,通过ASCA模块利用各向异性条带卷积解耦弱目标与复杂背景、提升小UAV空间感知能力;在Anti-UAV300和MMFW-UAV数据集上WFSD-Net在保持轻量化架构的同时检测精度超越现有SOTA方法;消融实验证实多模态融合必要性与DWBF、ASCA模块的互补贡献;该框架为可见–红外UAV检测提供了在频率域抑制光谱干扰、在空间域增强目标–背景分离的有效范式。未来工作将扩展至更宽光谱组合并探索自适应融合策略以适应多样工况下的实时UAV监测。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号