基于相关性引导的渐进式交互与门控融合技术在多模态光学与SAR遥感图像目标检测中的应用

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Correlation-Guided Progressive Interaction and Gated Fusion for Multi-Modal Optical and SAR Remote Sensing Image Object Detection

　　

摘要：

多模态遥感目标检测面临光学图像与合成孔径雷达图像之间严重的非线性成像差异以及语义特征不匹配的问题。现有的融合算法往往难以有效区分互补信息与各模态特有的噪声，从而导致特征冗余甚至负面迁移。为解决这些问题，本文提出了一种基于相关性引导的渐进式交互与门控融合的特征级融合策略，该策略被集成到单阶段检测网络中，以提高多模态检测性能。在特征增强阶段，设计了一种相关性引导的渐进式空间交互模块。该模块利用跨模态空间相关性建模方法构建引导先验，并将其与渐进式空间调制机制相结合，生成随训练过程动态变化的空间权重图。同时，采用双向并行注意力驱动的跨模态检索方法，以捕获全局感受野内的互补上下文特征。随后，利用生成的动态权重进行细粒度的空间加权与过滤，精准提取有区别的特征信息并抑制跨模态噪声干扰。最后，通过残差连接将经过调制的互补信息整合到网络的主干路径中，实现互补信息的深度整合，显著提升目标特征的表征能力。在特征融合阶段，采用门控权重融合模块，识别双模态特征之间的差异，通过生成自适应的空间权重图，有效抑制复杂场景中的背景噪声和杂波干扰。在OGSOD（光学图像引导的SAR图像目标检测）数据集上的实验结果表明...

显示更多