DBF-YOLO：一种用于可见光-SAR跨模态遥感目标检测的轻量级双分支融合方法

《Frontiers in Remote Sensing》：DBF-YOLO: a lightweight dual-branch fusion method for Visible-SAR cross-modal remote sensing target detection

　　

在可见光-SAR（合成孔径雷达）跨模态遥感目标检测任务中，由于两种模态在成像机制和特征表示上存在显著差异，且SAR图像易受散斑噪声干扰，结构信息利用不充分，现有方法往往难以平衡检测精度与模型轻量化及实际部署需求。在资源受限场景（如星载或机载平台）中，模型需要具有低参数数量、低计算开销和强复杂环境适应性。为解决这些问题，研究人员提出了一种轻量级双分支融合网络DBF-YOLO，用于可见光-SAR跨模态遥感目标检测。基于YOLOv10框架，该方法构建了可见光-SAR双分支特征提取结构，并在三个层级（P3、P4、P5）设计了中间跨模态融合路径，以实现不同尺度下双模态特征的渐进式交互。为克服SAR图像中的强散斑噪声和边缘退化，引入了SAR梯度增强模块（SGM）以增强SAR输入的结构表示能力。此外，研究人员提出了自适应门控双模态融合模块（AGD），以根据不同的尺度和空间位置实现双模态信息的动态选择和有效互补。在OGSOD 1.0数据集上的实验结果表明，DBF-YOLO达到了94.4%的mAP50（平均精度均值在IoU阈值0.5时）和70.1%的mAP50-95（平均精度均值在IoU阈值0.5至0.95时），仅需5.0 M参数和20.5 GFLOPs（十亿次浮点运算），在检测精度与计算复杂度之间取得了良好平衡。此外，在OSPRC数据集上的实验结果证明了DBF-YOLO在不同分辨率、极化模式和云覆盖条件下的鲁棒性。特别是在低对比度密集目标场景和云覆盖条件下，该模型表现出更强的环境适应性。该方法可为在资源受限平台上设计轻量级多模态遥感目标检测模型并部署提供参考。

论文解读

**研究背景与问题**
在遥感图像智能解译中，目标检测是关键任务，广泛应用于海洋监测、港口监管、灾害评估、土地资源调查和军事侦察等领域。随着多源传感器技术的发展，遥感解译正从单模态分析向多模态图像解译演进，多源感知成为鲁棒场景理解的重要方向。然而，可见光图像虽提供丰富纹理、颜色和外观细节，易受弱光、云覆盖和复杂天气影响；SAR图像则具备全天候、全天时成像能力，能表征目标的散射结构和几何轮廓，但常受散斑噪声干扰，纹理表达有限。可见光-SAR跨模态融合能实现纹理-结构互补，但现有方法在特征融合时面临模态差异大、SAR结构信息利用不足、固定融合策略无法适应模态质量波动等问题，且模型需在资源受限的星载或机载平台部署，必须兼顾检测精度与轻量化。为此，研究人员基于YOLOv10框架，提出了轻量级双分支融合网络DBF-YOLO，旨在提升检测精度的同时保持模型效率，并研究了SAR结构增强、多尺度渐进融合和自适应模态加权等关键技术。论文发表在《Frontiers in Remote Sensing》。

**主要关键技术方法**（不超过250字）
研究人员采用了以下关键技术方法：1）双分支骨干网络：分别提取可见光（RGB）和SAR特征，保持各自模态的编码特异性；2）多尺度跨模态融合路径（MCFP）：在P3、P4、P5三个层级设置中间融合节点，实现从浅层细节到深层语义的渐进式跨模态信息交互；3）SAR梯度增强模块（SGM）：通过局部统计滤波（自适应去噪）、高斯平滑、Sobel梯度算子提取梯度幅值和方向，将去噪强度图、梯度幅值图、梯度方向图沿通道拼接，为SAR分支提供更稳定的结构先验；4）自适应门控双模态融合模块（AGD）：对可见光和SAR特征进行独立投影对齐，然后通过深度可分离卷积和门控网络生成空间-通道依赖的权重，实现加权融合，并引入残差投影和卷积精炼以增强特征稳定性。数据集来源为公开的OGSOD 1.0和OSPRC数据集，包含准确配准的可见光-SAR图像对。

**研究结果**
- **比较实验**：在OGSOD 1.0数据集上，将DBF-YOLO与单模态检测器（Faster R-CNN、RT-DETR-L、RT-DETR-ResNet50、YOLOv10n）和多模态方法（SuperYOLO、ICAFusion、CFT、YOLO-CMFM）对比。结果表明，DBF-YOLO在双模态输入下达到94.4% mAP50和70.1% mAP50-95，参数仅5.0 M，计算量20.5 GFLOPs。相比单模态YOLOv10n基线，mAP50提升2.0%（可见光）和2.4%（SAR），mAP50-95提升9.0%和7.3%。与多模态方法相比，DBF-YOLO在mAP50-95上超越所有对比方法，且参数和计算量显著低于ICAFusion（20.2 M、29.8 GFLOPs）和CFT（44.8 M、35.8 GFLOPs），表明其在定位精度和模型复杂度之间取得了更优平衡。

- **鲁棒性实验**：在OSPRC数据集上测试了六种成像场景（10 m分辨率VH极化、10 m VV、20 m VH、20 m VV、云覆盖-VH、云覆盖-VV）。结果表明，DBF-YOLO在所有场景下均优于可见光单模态模型，特别是在云覆盖场景下，mAP50和mAP50-95分别提升33.9%和28.8%（Cloud-VH）及35.5%和30.6%（Cloud-VV）。与SAR单模态相比，双模态融合也持续提升，说明模型并非简单替换，而是集成有效可见光细节与SAR结构信息，实现鲁棒互补。

- **消融实验**：以YOLOv10n为基线，逐步引入MCFP、SGM和AGD模块。结果显示，单独添加MCFP使mAP50从92.0%提升至93.6%，mAP50-95维持69.8%；SGM单独使mAP50-95提升至65.4%（基线为62.8%），表明SGM更有利于高IoU阈值下的定位精度；AGD单独提升mAP50至92.4%。三者联合（完整模型）达到最高mAP50 94.4%和mAP50-95 70.1%，证明各模块协同作用：MCFP提供多尺度交互空间，SGM提升SAR输入质量，AGD在融合节点实现自适应分配。

- **可视化实验**：在OGSOD 1.0数据集上，DBF-YOLO在密集目标场景（如油罐群）中能准确检测大部分小目标，漏检和误检少于ICAFusion。在OSPRC云覆盖场景下，DBF-YOLO能正确检测被云遮挡的目标，而ICAFusion出现误判（将桥梁误认为港口）。可视化表明，SAR分支提供的边缘和结构特征与可见光纹理在AGD中动态加权，增强了复杂背景下的检测稳定性。

**讨论与结论**
讨论部分指出，实验结果验证了可见光-SAR跨模态检测性能提升的关键在于针对模态差异、结构先验和融合效率进行专门设计，而非简单增大网络规模。DBF-YOLO通过SGM的输入增强、MCFP的层级交互和AGD的动态选择，形成“输入增强-层级交互-动态选择”的技术流水线，在轻量化前提下实现了良好检测性能。在OSPRC数据集上的实验表明，模型能根据场景退化程度动态利用SAR稳定结构信息，补偿可见光模态的表示不足，尤其在可见光严重退化时，SAR的几何轮廓和散射结构提供了有效补偿。

研究结论部分翻译如下：本文提出了DBF-YOLO，一种用于可见光-SAR跨模态遥感目标检测的轻量级双分支融合模型。基于YOLOv10框架，该模型采用双分支骨干网络分别提取可见光和SAR特征，并在P3、P4、P5层级建立中间融合路径。同时，利用SGM模块增强SAR输入的结构可用性，引入AGD模块实现双模态特征的自适应加权融合，从而提升不同尺度下的跨模态协同检测能力。实验结果表明，该方法在OGSOD 1.0数据集上实现了检测精度与部署复杂度的良好平衡。在OSPRC数据集的复杂成像条件（包括不同分辨率、极化模式和云覆盖）下，模型也保持了稳定性能增益，尤其在可见光信息严重退化的场景中显示出更显著的结构补偿优势。总体而言，本研究表明，以SAR结构先验增强、多尺度中间交互和动态模态加权为核心的轻量化设计，是提升可见光-SAR目标检测中检测性能、定位质量和复杂场景适应性的有效途径。本文实验基于准确配准的可见光-SAR图像对，主要验证了DBF-YOLO在可靠几何对应下的有效性。未来工作将进一步探索该框架在几何不一致、模态退化和资源受限部署等更具挑战性条件下的鲁棒性。