基于卫星遥感与任意分割模型的采矿足迹多模态语义分割

《Engineering Applications of Artificial Intelligence》：Satellite remote sensing-based multi-modal semantic segmentation of mining footprints with segment anything model

　　

摘要

高分辨率卫星遥感凭借其高效性、广泛覆盖和动态连续跟踪能力，成为大规模矿区监测的关键技术。然而，现有方法主要依赖单模态数据，通常只能提取矿区整体范围或识别尾矿等单一特征，难以实现对矿区多样性和复杂性地物的精细识别。以中国鞍山市九个矿区为研究对象，我们利用高分七号（GF-7）卫星的光学数据和数字表面模型（DSM）数据，构建了包含八种地物类型的数据集。在此基础上，提出了一种基于Segment Anything Model（SAM）的矿区特征高分辨率遥感语义分割微调方法，即多模态SAM（MM-SAM）。首先，通过可学习系数实现了跨分支特征交互，并采用改进的SE模块进行多尺度深度特征融合。结果表明，MM-SAM相比七种代表性分割模型实现了更优的分割性能，平均交并比（mIoU）、总体精度（OA）和平均F1分数（mF1）分别为73.81%、88.76%和83.71%。此外，MM-SAM在白云鄂博和公常岭独立测试站点分别实现了86.55%和74.62%的OA值，初步表明其具有跨区域泛化能力。所提出的MM-SAM能够准确提取矿区相关土地覆盖类型，为多模态遥感语义分割提供了有效解决方案。

引言

矿产资源开发为社会经济发展提供了坚实基础，对人类进步和社会福祉至关重要（Smol等，2020）。同时，随着全球能源行业持续数字化转型，对矿区精确监测、生态破坏恢复和科学管理的需求日益迫切（Cai等，2023；Zhu等，2024）。矿区特征类型通常复杂、独特且分布不均，准确高效地分类这些特征至关重要。

传统方法依赖人工实地调查获取大矿区详细信息，不仅费时，而且费力且效率低下。近年来，随着遥感技术的快速发展，其已成为矿山环境监测和资源评估领域最有效的技术手段之一（Chen等，2022a；Du等，2022；Jab?ońska等，2024；Zhong等，2024）。通过融合多源异构数据的互补优势来提高地面目标分类精度，对于土地利用和土地覆盖分类（Hong等，2021；Yao等，2023）、环境监测（Karmakar等，2024）和灾害管理（Algiriyage等，2022；Zhang等，2023）等关键应用具有重要意义。然而，现有矿区制图研究仍主要依赖单光谱遥感影像。虽然高分辨率光学影像提供了丰富的光谱、纹理和空间上下文信息，但无法明确表征三维表面形态，因此对于光学外观相似但地形结构不同的矿区特征，其区分能力有限。高分七号（GF-7）卫星可以同时获取高分辨率光学影像，并从前后视立体图像生成数字表面模型（DSM）。DSM所表示的高度和地形起伏信息为识别矿区特征提供了互补的几何约束。因此，联合使用光学影像、DSM数据及由DSM衍生的地形特征，可以提高对光谱特性相似但高程变化、坡度结构和凹凸形态不同的矿区特征的辨别能力。

遥感图像分类的早期研究主要依赖手工设计特征，如颜色、纹理、形状和局部描述符，包括颜色直方图（Swain和Ballard，1990）、方向梯度直方图（HOG）（Qi等，2015）、尺度不变特征变换（SIFT）（Tang等，2019）和纹理特征（Umaselvi等，2014）。这些特征与支持向量机、随机森林和决策树等机器学习方法结合，用于识别土地覆盖特征（Belgiu和Dr?gu?，2016；Maulik和Chakraborty，2011；Zeng等，2017）。然而，此类方法严重依赖特征工程和领域专业知识，在复杂多类遥感场景中的表征和泛化能力仍然有限（Penatti等，2015）。

近年来，人工智能（AI）的快速发展为遥感图像分类提供了新途径。卷积神经网络（CNNs）是受生物视觉启发建立的网络，已广泛应用于遥感图像分类（Maggiori等，2016）。Wang等（2020）基于改进的Mask R-CNN和迁移学习，提出了针对湖北省露天矿区的开山采矿模型，以实现矿区的动态监测。Giang等（2020）利用U-Net卷积网络，基于多光谱无人机图像实现了越南得乐省矿区的土地覆盖分类。Sun等（2023）改进了YOLOv5，显著增强了对尾矿的识别，为尾矿池监测提供了方案，而Zhou等（2024）微调了Segment Anything Model（SAM）。这些研究表明，深度学习可以显著改进矿区特征的自动表征和识别。然而，现有研究主要关注矿区范围的二元提取或单个类别的识别，如矿坑和采矿废料-尾矿，而对于包含多种采矿和非采矿类别的矿区精细语义分割仍探索不足。

Segment Anything Model（SAM）（Kirillov等，2023）是一种最先进的图像分割模型，在零样本迁移场景中展现出强大的泛化能力，已广泛应用于各个领域（Ma等，2024；Wang等，2024a；Zhang等，2024a）。然而，将SAM迁移到遥感领域面临两大挑战：首先，遥感图像包含大量大规模地面物体，在光谱范围和分辨率方面与自然图像存在显著差异（Ma等，2023；Zheng等，2020）。其次，模型输出的几何掩膜缺乏语义标签。如何将SAM应用于遥感图像是一个关键问题，尤其是在多模态数据中，这进一步增加了难度。现有的一些参数高效微调方法，如Adapter（Chen等，2022b）和LoRA（Shan等，2025），已解决了部分问题。Adapter最初在自然语言处理（NLP）领域提出（Houlsby等，2019），其核心思想是在预训练模型的结构中插入小型可训练神经网络模块。在训练过程中，原始模型的参数被冻结，仅更新适配器模块的参数，这可以大大降低所需的计算资源和存储成本。目前已有将SAM微调应用于遥感领域的研究。近年来，多模态遥感语义分割已从输入级拼接逐渐发展为模态特定编码、跨尺度交互和自适应特征融合。这些方法通常采用双分支或多分支架构，分别从光学影像和高程或激光雷达等辅助数据中提取特征，然后通过注意力、特征对齐、Transformer或状态空间模型来建模模态间互补性。例如，DFAFNet（Zhang等，2024b）使用差分特征注意力融合多源遥感信息；BEMSeg（Liu和Wang，2024）通过双向特征融合和增强对齐提高异质模态之间的语义一致性；MFMamba（Wang等，2024b）进一步建模了长程跨模态依赖关系。这些研究表明，在融合前保留模态特定信息并在特征级别实现受控交互是处理异质遥感数据的重要策略。

随着视觉基础模型的发展，SAM已逐渐被引入遥感语义分割。SAM-Adapter（Chen等，2023）和MeSAM（Zhou等，2024）分别通过参数高效适配和多尺度增强，提高了SAM对单模态遥感影像的适用性。RSAM-Seg（Zhang等，2025）将高频图像信息与预训练特征相结合，通过自动提示生成进行语义分割。RingMo-SAM（Yan等，2023）构建了针对光学和SAR影像的遥感分割基础模型，实现了对象分割和语义类别识别。这些研究将SAM从通用自然图像分割推进到遥感适配；然而，早期方法主要关注单模态数据，光学影像和精细地形信息的协同建模仍有限制。最近的研究开始进一步探索使用SAM对多模态数据进行联合建模。矿区多模态分割也受到越来越多的关注。Saputra等（2025）使用多光谱卫星影像对多个矿区进行了精细的采矿足迹分割，证明多源信息可以改进复杂矿区特征的识别。尽管如此，现有研究通常强调光谱表征、多尺度建模或通用融合结构，而光学和地形信息在矿区环境中的差异化角色、复杂类别间的光谱-地形模糊性以及跨区域适用性仍研究不足。

矿区精细语义分割还面临一些挑战。矿坑、废石堆和采矿废料-尾矿区域通常面积较大且空间连续，而工厂和道路等设施则较小且空间碎片化。同时，矿坑、采矿废料-干燥、采矿扰动和自然裸地在光学影像中往往表现出相似的光谱和纹理特征，尽管其地形结构差异明显。岩性、水分条件、阴影、植被恢复和采矿阶段的变化也产生了大量类内异质性。因此，仅依赖光学信息或单尺度表征难以同时保留大对象的完整性、识别小对象并准确区分光谱相似类别。虽然SAM提供了强大的长程建模能力和迁移潜力，但由于领域差异和语义适配不足，其直接应用于矿区遥感影像仍受到限制。此外，光学影像和DSM数据分别代表表面光谱-纹理属性和高程信息，简单拼接或固定融合无法充分保留其互补性。多模态矿区分割因此需要在利用SAM预训练表征的同时保留模态特定信息，并实现有效的跨模态交互和自适应融合。

基于上述考虑，我们提出了MM-SAM，一种用于矿区精细语义分割的多模态SAM适配框架。该框架采用双分支架构分别编码光学和地形信息，并使用轻量级适配器将SAM的预训练表征适配到矿区语义。它进一步结合多尺度特征建模和自适应融合，联合表征大型连续特征、小型碎片化对象以及光谱特性相似但地形结构不同的矿区类别。同时，UNetFormer解码器（Wang等，2022）将全局语义信息与局部空间细节相结合，以改进预测区域的整体一致性和边界恢复。因此，MM-SAM不是SAM的简单结构扩展，而是针对矿区影像中尺度变化、光谱混淆、地形依赖和空间碎片化问题设计的任务导向多模态适配方案。所提出的框架通过与代表性分割模型和SAM适配方法的对比、输入模态实验、组件消融、融合策略比较、类别精度分析和跨区域测试进行了系统评估。

本研究的主要贡献如下。

1）构建多模态矿区数据集。由于目前缺乏专门用于矿区分割的数据集，我们必须构建一个矿区语义分割数据集以支持我们的研究，该数据集的图像经过仔细视觉解译进行了标注。

2）构建用于矿区高分辨率遥感分类的MM-SAM模型。MM-SAM采用适配器微调和迁移学习策略，在图像编码器中构建双分支结构分别提取光学和地形特征，然后进行多尺度融合集成。

3）开展矿区高分辨率遥感分类的实验和精度验证。对矿区语义分割数据集的评估验证了MM-SAM在矿区语义分割中的性能。与传统深度学习方法相比，MM-SAM实现了更高的精度。

本文其余部分组织如下。第2节描述研究区域和数据集。第3节详细介绍微调后的SAM模型。第4节展示实验结果。第5节介绍讨论。第6节提供简要结论。

研究区域和数据源

研究区域位于鞍山市，主要涵盖齐大山铁矿、徐东沟铁矿、牙吧岭铁矿、西北北铁矿、老砬山铁矿、官宝山铁矿、岩前山铁矿、大孤山铁矿、台上山铁矿及其周边地区。

研究区域如图1所示。本研究采用高分七号（GF-7）卫星数据作为数据源。GF-7是中国首颗具备亚米级测绘能力的民用卫星，具有高...方法部分：SAM由三个核心组件构成：基于Vision Transformer（ViT）的图像编码器、提示编码器和掩膜解码器。在这三个组件中，图像编码器占据了绝大多数参数。因此，我们在图像编码器中引入适配器模块对SAM进行微调。该框架如图4所示，包含一个双分支编码器，其中一个分支处理光学影像数据，另一个分支处理地形特征数据，以及一个...与代表性分割方法的对比：为了全面评估MM-SAM的性能，我们选取了七种代表性的语义分割方法进行对比，涵盖基于卷积神经网络（CNN）的模型、基于Transformer的模型、CNN-Transformer混合架构以及SAM适配方法。其中，RSAM-Seg（Zhang et al., 2025）、SAM-Adapter（Chen et al., 2023）和MeSAM（Zhou et al., 2024）采用预训练基础模型，其参数规模与MM-SAM相当。所有参与对比的...讨论：本研究通过开发一种融合光学与地形特征双分支的SAM微调模型，解决了复杂矿区环境中多土地利用类型精细化分割的挑战。在评估的八种语义分割模型中，MM-SAM取得了最佳性能，mIoU达到0.7381。然而，对采矿基础设施和采矿扰动的识别准确率仍然相对有限。未来的工作可探索边界感知监督...主要发现：本研究开发了MM-SAM，一种基于Segment Anything Model（SAM）的多模态微调框架，利用高分辨率光学影像和DSM衍生地形特征对矿区土地利用类型进行精细语义分割。MM-SAM采用双光学-地形分支、轻量级适配器、可学习的跨模态交互以及多尺度特征融合。MM-SAM取得了73.81%的mIoU、88.76%的OA和83.71%的mF1，优于七种代表性的...CRediT作者贡献声明：He Liming：撰写—审阅与编辑、撰写—原稿撰写、监督、方法论、经费获取、形式化分析、数据管理、概念化。Wang Qiao：撰写—原稿撰写、可视化、验证、软件、方法论、形式化分析、数据管理。Zhou Huilong：撰写—审阅与编辑、可视化、验证、软件、方法论、形式化分析。Zhang Junfei：撰写—原稿撰写、可视化、验证、形式化分析。Xue Chen：撰写—...利益冲突声明：作者声明他们不存在已知的利益冲突财务关系或个人关系，这些关系可能不当影响本文所报告的工作。致谢：本研究得到了国家重点研发计划（2022YFC2903903）和国家自然科学基金委员会（42474038）的支持。GF-7光学影像由中国地理空间数据云（CPEOS）提供。作者感谢上述数据提供方。He Liming | Wang Qiao | Zhou Huilong | Zhang Junfei | Xue Chen | Zhu Wancheng | Bao Nisha | Mao Yachun | Liu Shanjun | Li Cenjiang 东北大学资源与土木工程学院，沈阳，110819，中国