基于多模态遥感技术的多尺度精细分割模型，用于露天矿区的地表特征识别

《International Journal of Applied Earth Observation and Geoinformation》：Multiscale refined segment anything model based on multimodal remote sensing for surface feature recognition in open-pit mining areas

精准地表特征识别对地观测和矿业管理至关重要。本文提出MM-SAM框架，通过多模态遥感数据融合（光学+合成孔径雷达）和多层次特征增强机制，显著提升SAM模型在露天矿区异质地表的细粒度分割性能。实验表明，MM-SAM在2022年贺兰山矿区测试中mIoU达69.99%，较SAM提升17.88%，且在跨年度、跨区域数据集上保持稳定性能。

　　在当前地球观测和地理空间分析领域，土地表面特征识别是一项基础性任务，它对生态修复、矿产资源管理以及国防等应用具有重要价值。由于遥感（RS）数据通常具有高分辨率和多光谱特性，如何有效提取和分类这些复杂地表特征成为研究的热点。现有的方法大多依赖大量标注数据进行训练，这在实际应用中面临数据稀缺和标注成本高的问题。为了克服这些限制，研究者们开始探索更高效、更通用的模型架构，其中Segment Anything Model（SAM）因其强大的泛化能力而受到广泛关注。SAM通过在大规模数据集（如SA-1B，包含超过10亿个分割掩码和1100万张图像）上进行预训练，能够识别跨领域的通用特征，这使其成为遥感任务中迁移学习的有力候选者。然而，直接应用SAM进行遥感图像分割仍面临挑战，主要在于自然图像与遥感图像在光谱范围、类别间相似性以及多尺度对象分布等方面的本质差异。

本文提出了一种基于SAM的新型框架MM-SAM，旨在解决上述问题。MM-SAM通过引入多模态和多尺度的增强机制，显著提升了对异质地表特征的识别能力。首先，MM-SAM采用了一种轻量级的多模态遥感融合模块（Multimodal Remote-Sensing Fusion, MRF），该模块可以将光学和合成孔径雷达（SAR）数据融合为一种兼容SAM编码器的三通道表示。这种融合不仅保留了自然RGB图像的特性，还有效缓解了地形变化和云层遮挡导致的光谱失真问题。其次，MM-SAM在图像编码器中嵌入了多尺度特征增强机制（Multiscale Feature Enhancement, MFE），通过在编码器中使用多尺度卷积核提取局部细节，并在解码器中引入一个细化分支以生成更精确的边界。这种设计不仅能够捕捉异质地表特征的全局语义一致性，还能处理显著的尺度变化问题。

实验结果显示，MM-SAM在2022年数据集上实现了69.99%的平均交并比（mIoU），比SAM提升了17.88%。同时，其整体准确率和宏观F1分数也优于当前最先进的方法。此外，MM-SAM在不同年份的数据集中表现稳定，维持了69.51%的mIoU，这表明其具备良好的时间迁移能力。这些结果验证了MM-SAM在异质地表环境中的可靠性和适应性，为复杂地理空间任务中的基础模型应用提供了新思路。

在异质地表识别中，一个关键挑战是复杂地表结构和多模态数据之间的差异。传统单模态遥感数据往往无法有效解决这些问题，因此需要引入多模态融合技术。本文提出的MRF模块通过深度可分离卷积提取光学和SAR数据的模态特定表示，并将这些表示压缩为三通道的RGB兼容格式。这一设计不仅保持了多模态数据的完整性，还通过通道注意力机制（Squeeze-and-Excitation）对不同模态的信息进行自适应加权，从而提升整体分割性能。

此外，多尺度特征增强机制（MFE）在图像编码器中引入了多尺度卷积适配器（MSC-A）和多层感知机适配器（MLP-A），分别用于增强多尺度特征提取和轻量级语义对齐。MSC-A通过不同尺寸的卷积核扩展感受野，弥补了固定窗口大小带来的局限性，从而提升对局部和多尺度特征的提取能力。MLP-A则通过上-下投影和GELU激活函数，增强语义特征在不同层之间的对齐，从而提高模型对复杂地表特征的识别能力。这些创新设计使MM-SAM能够更有效地处理异质地表的多尺度特征，提升了模型在遥感图像分割任务中的适应性。

在实验部分，本文对MM-SAM进行了详尽的验证。通过对比实验，MM-SAM在多个指标上均优于其他方法，包括mIoU、整体准确率（OA）和宏观F1分数（mF1）。特别是在复杂地表特征的识别上，如开放坑（OCPs）和基础设施区域（IAs），MM-SAM表现出色。同时，该模型在不同年份的数据集中也保持了稳定的性能，这表明其具备良好的时间迁移能力，可以应对遥感数据随时间变化的挑战。

此外，本文还探讨了MM-SAM在计算效率方面的优势。通过采用参数高效的微调（PEFT）策略，MM-SAM仅需训练模型参数的11.42%（从103.67M中），而其他模型如DeepLab v3+和MaskFormer则需要优化全部参数。这种设计使得MM-SAM在资源有限的遥感应用中更具优势，尤其是在大规模数据处理和标注成本高的场景下。

在实际应用中，MM-SAM可以广泛用于矿区地表特征的自动识别和分类。它不仅能够帮助实现更精确的土地利用优化和灾害韧性策略，还能够为生态修复和资源评估提供关键支持。未来，随着多模态数据的进一步丰富和处理技术的持续发展，MM-SAM有望在更复杂的地理空间任务中发挥更大作用。通过引入更丰富的模态（如高光谱、InSAR）和辅助地理数据（如数字高程模型、无人机图像），MM-SAM的融合子系统可以与多尺度特征增强机制联合优化，从而实现更全面的空间-光谱-结构信息提取。这些改进将进一步提升模型在复杂地表识别中的表现，推动遥感技术在更广泛领域的应用。