基于深度神经网络的雷达-光学遥感影像非同质自适应融合识别框架

《Scientific Reports》：Deep neural network-driven adaptive fusion recognition method for radar-optical heterogeneous remote sensing imagery

　　

摘要

雷达与光学遥感影像的融合由于成像机制和特征表示上的根本差异而面临重大挑战。本文提出了一种基于深度神经网络的非同质雷达-光学影像自适应融合识别框架。该框架包含三个核心组件：（1）一个异构特征提取与对齐模块，通过对比学习将SAR和光学特征映射到共享语义空间；（2）一种跨模态自适应融合机制，采用双注意力架构和动态权重生成来实现上下文敏感的模态集成；（3）一个端到端识别网络，联合优化所有处理阶段。为从多个角度检验该框架，我们在SEN1-2基准上进行了全面的实验，包括与十个代表性融合基线方法的头对头比较、隔离各模块及GLCM纹理分支的消融实验、对比温度参数的敏感性扫描、在加性散斑噪声和单模态缺失场景下的压力测试，以及报告参数数量和推理延迟的效率审计。所提方法达到91.38%的总准确率，Kappa系数为0.892，宏F1分数为90.45%，在超越竞争基线的同时，将推理成本控制在每样本11.4毫秒。消融实验证实了各组件的有效性，其中特征对齐贡献了3.45%的准确率提升，完整的自适应融合机制在基线拼接方法之上额外带来5.46%的提升。动态权重策略在退化输入条件下展现出鲁棒的性能，通过基于估计可靠性的自动调整来分配模态贡献。