差分引导细节增强融合网络用于无人机可见光-红外目标检测

《Remote Sensing》：Satellite-Derived Shorelines Reveal Typhoon-Driven Erosion and Monsoon-Gated Recovery on the Macrotidal Coast of Fujian, China

　　

研究人员提出一种差分引导细节增强融合网络（DDEF-Net）用于无人机（UAV）基于RGB-热红外（RGB-T）的目标检测，旨在复杂场景下有效互补利用可见光与红外信息。设计差分引导Kolmogorov-Arnold网络（KAN）校准融合模块（DKCF），显式建模跨模态差异并引入基于径向基函数KAN（RBF-KAN）的非线性校准，提升信息性特征选择并抑制冗余干扰。同时引入Scharr-傅里叶细节增强模块（SFDE），联合Scharr边缘先验与傅里叶域信息强化低级可见光特征表示并保留细粒度结构线索。在DroneVehicle数据集上，DDEF-Net取得84.9% mAP@0.5与72.6% mAP@0.5:0.95，较RGB-IR基线分别提升3.5与4.0个百分点，参数量4.4 M、计算量12.5 GFLOPs。在VEDAI可见光-近红外（NIR）航空数据集上的补充实验表明所提模块在不同双模态成像设定下仍具收益。退化实验显示其对高斯模糊与运动模糊鲁棒性提升，但对强高斯噪声仍敏感。

研究背景方面，基于计算机视觉与深度学习的单模态目标检测在自动驾驶、智能监控与靶标搜索中广泛应用，而无人机遥感平台因高机动性与灵活部署成为细粒度地物检测重要数据源。可见光图像提供丰富色彩纹理但对光照敏感，红外图像对光照变化鲁棒但纹理细节弱，二者天然互补。现有可见光-红外融合多依赖特征拼接、加权融合或注意力交互，但因成像机制差异直接融合会引入冗余与模态冲突；同时无人机影像中小目标多、边界弱、纹理少，重复下采样进一步丢失细粒度结构。为此，研究人员以YOLO11n（nano）为基线，提出DDEF-Net，通过跨模态差异建模与低级细节增强实现紧凑高效的RGB-T检测。

关键技术方法上，研究人员采用DroneVehicle数据集（28439对可见光-红外图像，5类车辆，统一裁剪白边后 resize 至固定分辨率，训练推理均以红外标注为准）为主基准，以VEDAI可见-近红外子集（1122对，9类）作补充验证；基线为双分支YOLO11n在三尺度（P3、P4、P5）拼接融合；核心插入两大模块：SFDE嵌入可见光分支C2f的低级层，以固定权重分组Scharr卷积提取有符号水平/垂直梯度，联合FP32下FFT（快速傅里叶变换）实虚部1×1卷积学习频域表示再逆变换，残差重构低级细节；DKCF在neck的P3、P4、P5级计算有向RGB减IR差异，经1×1卷积与GELU激活后做通道全局平均/最大池化，共享1D卷积交互邻通道，再用通道级RBF-KAN（径向基函数-Kolmogorov-Arnold网络，中心可学、宽度可学、样条权重每通道独立）映射为非线性校准权，重加权差异后以固定增益λ=2回注双分支；训练150 epoch、batch 64、SGD动量0.937、Close Mosaic=10；退化评测对测试对加高斯模糊（3×3）、运动模糊（水平15 px）与高斯噪声（σ=5/15/25）。

研究结果部分，首先材料与方法明确双分支YOLO11n提取多尺度双模态特征，SFDE仅改可见分支C2f低级层、DKCF嵌neck三尺度，检测头与损失不变。SFDE模块小节指出低级特征受光照、运动模糊、传感器噪声等退化，Scharr算子引入显式梯度先验、傅里叶分支补频域结构，C2f-SFDE以残差与分组卷积控参；DKCF模块小节强调差异有向（RGB?IR），RBF-KAN将通道差异描述子映射为自适应校准权而非等同对待所有差异，λ=2为经验最优。实验结果显示，单模态RGB仅68.8% mAP@0.5、IR为79.7%，双模态基线81.4%/68.6%；加DKCF后83.1%/70.9%（+1.7/+2.3），加SFDE后83.1%/70.8%，全模型84.9%/72.6%（+3.5/+4.0），参4.4 M、GFLOPs 12.5、RTX 4090D上101.2 FPS。消融上，DKCF内部去差异/原始差异/ECA/MLP变体均低于全模，有向差异优于绝对值与反号；λ=0.5~2上升、λ=3回落；SFDE分支解耦显示Scharr-only与Fourier-only均不超基线，联合才受益，有符号平均优于绝对值与梯度幅值，COCO尺度AP中SFDE主要提升中大模型（mAP_m、mAP_l）而非小目标（mAP_s略降）；VKAI补充训练后全模72.4%/44.2%（+4.5/+3.1），DKCF单体贡献大于SFDE；退化实验中高斯模糊全模76.7%/64.1%（基线+5.1/+4.6）、运动模糊58.7%/45.8%（+7.9/+6.6），但σ=25高斯噪声全模骤降至17.9%/14.3%低于基线30.4%/24.2%，频域分析显示SFDE输出高频功率比从0.2088升至0.3784、谱质心0.2941→0.4064，证实低级细节增强路径放大噪声高频。

讨论与结论部分，研究人员指出DDEF-Net以仅0.3 M参增量获3.5/4.0点提升，证明显式跨模态差异校准与低级空频细节增强可在紧凑架构内互补：SFDE补低级边缘与频域结构、DKCF在P3~P5逐级用RBF-KAN非线性重加权差异，二者分阶段作用。比较表含重训与原文引值，差异来自分区/分辨率/调度不同，故结论限定于所述协议下竞争力而非严格超越所有SOTA。机制上噪声敏感源于SFDE低级高频放大与DKCF早期P3差异响应高频化（HFR 0.2641→0.3523），并非全尺度均匀失效。论文发表于《Remote Sensing》，其意义在于为无人机全天候RGB-T检测提供可部署的紧凑融合范式，并揭示细节增强模块在强高斯噪声下的高频脆弱性，为后续鲁棒空频正则提供方向。