SMAF-Net：语义引导模态转换与分层特征融合的光学-SAR图像配准方法

为解决光学与合成孔径雷达（SAR）图像间辐射差异和几何畸变导致的配准难题，研究人员开展了SMAF-Net网络研究，通过语义引导模态转换模块（SGMT）生成伪光学图像，并结合通道注意力分层聚合模块（CA-HAM）实现多级特征融合，最终实现平均配准误差2.26像素的优异性能，显著提升多源遥感数据融合的精度与效率。

　　

在遥感对地观测领域，光学图像和合成孔径雷达（SAR）图像因其互补特性成为不可或缺的数据源。光学图像能提供丰富的光谱和纹理信息，但在云雨天气下观测能力受限；SAR则具备全天时、全天候成像能力，对地表结构和粗糙度敏感。然而，由于成像机理的差异，二者之间存在显著的辐射差异和几何畸变，导致跨模态配准成为长期存在的技术瓶颈。传统基于手工特征的方法在跨模态场景下鲁棒性不足，而深度学习虽在特征学习方面取得进展，却受限于高质量配对数据的匮乏以及模态间语义对齐的困难。

针对这一挑战，武汉大学的研究团队在《International Journal of Applied Earth Observation and Geoinformation》上发表了一项创新研究，提出了一种名为SMAF-Net的新型网络架构。该网络通过语义引导的模态转换和分层特征融合，实现了光学与SAR图像的高精度、高效率配准。

研究采用了多项关键技术方法，主要包括：1）设计轻量化多尺度特征学习模块（MFLM），结合深度可分离卷积（DSC）和混合空洞卷积（HDC）提取多层次特征；2）构建语义约束的模态转换模块（SGMT），利用生成对抗网络（GAN）将SAR图像转换为结构一致的伪光学图像；3）提出基于通道注意力的分层聚合模块（CA-HAM），融合多尺度特征并增强判别能力；4）采用联合检测-描述策略，实现关键点检测与特征描述的一体化学习。实验数据来源于QXS-SAROPT、LuojiaSET-OSFCR和SEN1-2等公开数据集。

研究结果方面，通过系统性实验验证了SMAF-Net的优越性能：

在模态转换质量评估中，SMAF-Net生成的伪光学图像在PSNR（24.928 dB）、SSIM（0.579）、GMSD（0.181）和FID（11.24）等指标上均优于对比方法（pix2pixHD、KCGGAN等），表明其能更好地保持结构细节和语义一致性。

在配准精度测试中，该方法的平均配准误差仅为2.26像素，显著优于SIFT（4.74像素）、GLS_MIFT（2.30像素）以及深度学习模型MatchFormer（3.88像素）和LightGlue（3.56像素）。同时，正确匹配点数量（NCM）达到294个，匹配精度（MP）为75.62%，均达到最优水平。

在旋转与尺度不变性测试中，SMAF-Net在不同旋转角度（0-360°）和尺度变化（0.25-2.0倍）条件下均保持稳定的配准性能，证明了其强大的泛化能力。

通过消融实验进一步验证了各模块的贡献：单独使用SGMT可使配准误差降低至4.17像素，而结合MFLM和CA-HAM后可进一步提升至3.03像素，最终完整网络实现2.26像素的最优性能。

研究表明，SMAF-Net通过语义引导的模态转换有效缓解了模态差异问题，而分层特征融合机制增强了特征的判别力和鲁棒性。该方法不仅为光学-SAR图像配准提供了新的技术路径，对多模态遥感数据融合、变化检测和联合解译等应用具有重要意义。未来工作可进一步探索轻量化网络设计和生成质量的优化，以提升实用性和效率。