AMENet：一种用于多模态遥感岩性场景图像的语义分割框架

《International Journal of Remote Sensing》：AMENet: a semantic segmentation framework for multimodal remote sensing lithology scene images

针对多模态遥感岩石场景语义分割中长距离依赖捕捉不足的问题，提出AMENet框架，采用预训练ResNet101编码器结合跨模态注意力-Mamba融合机制，通过动态交互的跨模态特征融合优化模型复杂度，并设计多专家自适应加权解码策略，在多个数据集上验证其有效性，在CBLS-RB-DEM数据集上取得94.64% mIoU等最佳性能。

　　

摘要

针对多模态遥感岩性场景的精确语义分割能够显著提升基础地质调查的效率。然而，由于复杂的地质条件以及遥感数据在岩性场景中的异质性，当前主流的基于卷积神经网络（CNN）的语义分割方法难以捕捉跨模态遥感岩性场景图像之间的长距离依赖关系。近期，已在众多计算机视觉任务中表现出色的Transformer和Mamba模型，在特征提取和长距离依赖关系建模方面展现了巨大潜力。因此，我们提出了一种新的注意力-Mamba编码与多专家解码框架（AMENet），用于多模态遥感岩性场景图像的分割。具体而言，预训练的ResNet101被选作编码器中的基础网络，并提出了一种高效的跨模态注意力-Mamba（CMAM）融合机制，以模拟局部细节与全局背景之间的长距离依赖关系，这种机制能够动态交互并融合跨模态特征，同时优化模型复杂度。随后，我们开发了一种基于模态特异性和共享特征协同优化的多专家自适应加权（MEAW）策略，该策略利用TransUNet主干解码器中的多尺度特征解码和自适应融合技术，准确提取跨模态遥感岩性场景的特征。大量实验表明，与现有的多模态分割方法相比，我们的方法在Vaihingen、Potsdam和WHU-OPT-SAR数据集上具有较好的鲁棒性和扩展性，并且在多模态CBLS-RB-DEM数据集上实现了最佳的岩性场景分割性能（mIoU为94.64%，mF1为97.2%，总OA为97.84%）。