基于改进的Segment Anything模型和多分辨率专家混合技术的橄榄树林卫星图像分割

《Engineering Applications of Artificial Intelligence》：Olive grove satellite images segmentation based on adapted Segment Anything Model and mixture of multi-resolution experts

　　拉姆齐·祖阿里（Ramzi Zouari）| 阿卜杜勒阿齐兹·卡莱尔（Abdelaziz Kallel）
突尼斯斯法克斯大学（University of Sfax）计算机科学与多媒体高等研究院

**摘要**
人工智能的出现为卫星图像分析开辟了新的领域，对农业产生了重要影响。在这一背景下，Segment Anything Model（SAM）在多种分割任务中表现出了卓越的性能。然而，尽管其具有很强的泛化能力，SAM在遥感（RS）图像中往往难以绘制出清晰连续的边界，尤其是在纹理线索较少且结构较长的区域，导致生成的掩膜碎片化且不规则。为克服这些限制，我们提出了一种针对RS图像的SAM改进版本。该方法首先通过集成基于卷积的适应层来解决SAM图像编码器中固有的局部先验缺失问题，从而更好地聚合局部上下文信息并保持边界连续性。此外，我们还引入了一种新的几何损失函数，以强制在不同分辨率下边界保持长距离结构一致性。该模型采用两阶段训练协议进行训练：在第一阶段微调卷积适应参数，确保优化过程稳定，然后再加入新的几何损失项。实验是在橄榄树林的卫星图像上进行的，这些橄榄树以有序的行状排列。结果表明，与几种最先进的技术相比，该方法在橄榄树行分割方面取得了显著改进，生成了更准确、更连续的边界。

**引言**
人工智能（AI）的最新进展彻底改变了遥感（RS）领域，为环境监测、城市规划和农业等多个领域带来了新的应用机会（Gu和Zeng，2024）。在RS中，处理后的图像可以从无人机、飞机和卫星获取，这些图像具有高空间分辨率，能够提供详细信息，从而实现精确观测和分析。在农业中，卫星图像已被广泛用于现代农业生产实践。实际上，卫星上的传感器可以捕捉大规模地块，并保持高空间分辨率，从而准确区分作物、杂草和土壤。此外，卫星系统能够每天或每周对农田进行连续监测，便于跟踪作物的物候和生长阶段（Zarzuelo等人，2025）。另一方面，卫星图像通过光谱数据分析成为评估植物健康和土壤状况的强大工具（Karmakar等人，2024）。这使得无需地面测量设备即可全面监测农田。

深度学习（DL）的出现为农业应用中的RS数据分析与解释引入了先进技术，包括作物分类、产量预测和作物健康监测（Victor等人，2024）。长短期记忆（LSTM）、双向LSTM（Bi-LSTM）和卷积神经网络（CNN）等模型在处理时间序列RS数据方面表现出良好效果（Nguyen等人，2023；Jeong等人，2024）。最近，视觉变换器（ViTs）作为一种有前景的替代方案出现，利用自注意力机制捕捉图像块间的全局和长距离依赖关系（Dosovitskiy等人，2021）。在卫星图像中，ViTs已被用于土地覆盖分类和分割等多种任务（Rad，2024；MacDonald等人，2024）。然而，ViTs的计算成本高于传统CNN。为了提高效率，可以采用专家混合（MoE）技术，该技术只为每个输入激活一小部分ViT组件（Han等人，2024）。在RS中，MoE被用于通过结合多个专家并仅激活最相关的组件来处理高分辨率图像重建的复杂性（Chen等人，2025）。此外，低秩适应层（LoRA）也是一种提高模型性能同时显著降低计算成本的技术，它通过在ViT的注意力层中引入可训练的低秩矩阵来实现（Scribano等人，2025）。

在RS中，图像分割起着关键作用，它是土地覆盖分类、作物监测和农业地块划分等高级任务的基础。然而，RS图像通常空间分辨率较低，导致边缘模糊和纹理噪声，使得区分外观相似的相邻物体变得困难。此外，许多RS结构（如农业行、道路和河流）具有高度规则和延长的形状，标准分割模型难以保持这些特征。因此，这些模型经常产生碎片化区域、不连续的边界和不规则的物体形状，显示出其在结合显式几何约束方面的不足（Chen等人，2024）。现有的基础模型（如SAM和无标签蒸馏（DINO）主要在高质量自然图像上进行训练，依赖纹理和外观线索进行分割。因此，这些模型无法处理RS图像的特殊属性，即物体较小、纹理细节有限且几何结构呈延长形状。为此，一些最新研究探索了架构调整和专门训练策略，以使基础模型更好地适应RS数据的独特挑战。MeSAM是一种多尺度增强型Segment Anything Model（SAM），它在图像编码器中引入了Inception Mixer来有效保留高频特征（Zhou等人，2024）。此外，它还在掩码解码器中加入了基于多尺度的连接以改进RS图像分割。Ma等人（2024）提出的SAM增加了两个额外的损失函数Lobj和Lbound，分别用于对象一致性和边界保持。该方法在涵盖城市和农村场景的各种卫星图像上进行了评估，证明了在无需额外模块的情况下语义分割性能的显著提升。SAM还用于精准农业，通过卫星图像对耕地地块进行分割。为了解决分割具有不规则边缘的复杂地块的挑战，SAM生成的掩膜被集成到后续的多尺度分割模块中，采用组合约束分割策略（Huang等人，2024）。这种混合方法在提取大面积复杂耕地地块方面表现出优于基线SAM的性能。SatMAE是一种基于掩码自编码器（MAE）范式的卫星图像分割预训练框架（Cong等人，2022），它使用视觉变换器（ViT）作为编码器骨干，并在解码器中使用一系列变换器块来重建分割图像。GeoSAM是一种针对移动基础设施卫星图像的端到端SAM模型（Sultan等人，2025），它结合了视觉和文本模态以提供语义指导并提高模型理解能力。Li等人（2023）提出了RS-DINO，用于全景图像分割，包括空间和通道维度的双注意力模块，该架构在全景分割性能上优于单一注意力和基线DINO方法。Swin Transformer也被适配用于城市地区密集建筑物的RS图像分割（Cui等人，2022），在线性嵌入中使用了卷积块注意力模块来关注视觉编码器的关键特征，提取的层次特征图随后融合并输入UPerNet掩码解码器以获得最终分割图。与原始Swin Transformer模型相比，该方法略有改进。

用于调整分割模型以适应RS图像的适应技术主要依赖于增强纹理和外观特征。因此，分割过程仍然严重依赖于颜色和纹理等低级线索，这在处理具有明显几何规则性的微小RS物体时可能导致性能不佳。此外，缺乏显式几何建模往往导致边界不准确和预测碎片化（Peng等人，2022）。本研究通过向SAM架构引入新的几何先验来弥补这一不足，从而结合纹理线索和结构信息，提高了RS图像分割的鲁棒性。本研究的主要贡献如下：
- 将卷积低秩适应（Conv-LoRA）专家集成到SAM图像编码器中，以解决其固有的局部归纳偏差问题；
- 提出了一种新的几何约束模块，使分割模型具备保持RS图像中物体直线结构的独特能力。我们开发了多分辨率梯度专家混合体，以适应不同分辨率下的边界规范化，解决了RS图像中线性农业结构在细粒度和粗粒度分辨率下都存在的尺度变化问题。

本文的其余部分安排如下：第2节回顾了所提出分割模型中使用的理论基础；第3节详细描述了方法论；第4节介绍了数据集和实验设置，包括消融研究和定性分析；第5节讨论了主要发现；第6节总结了结论并指出了未来工作的方向。

**片段**
Segment Anything Model（SAM）是由Meta AI开发的一种图像分割基础模型，它在包含1100万张高分辨率图像和10亿张高质量分割掩膜的大型数据集上进行训练。SAM旨在通过大规模预训练和提示机制实现零样本分割。SAM架构由三个主要组件组成：图像编码器、提示编码器和掩码解码器。图像编码器使用预训练的ViT骨干。

**提出的方法**
在本研究中，我们提出了一种针对RS图像的改进型SAM，特别适用于卫星图像中橄榄树行的分割。改进后的SAM在视觉编码器块中包含了Con-LoRA专家混合体，以帮助捕获细粒度特征。此外，我们还引入了一种新的基于梯度的损失函数，应用于初始SAM分割输出，利用多分辨率专家来保持和增强边界线性。

**数据集描述**
实验使用从Google Earth获取的农业区域卫星图像进行，这些图像展示了以有序行状排列的超高密度橄榄树种植情况。研究区域中同一行内橄榄树之间的间距为2米，行与行之间的距离为4米。图4展示了本研究涉及的不同地块。第一个农业地块名为SidiAich（图4(a)），其分辨率为30厘米/像素。

**讨论**
本研究提出了一种从橄榄树林卫星图像中提取橄榄树行的新方法，特别适用于超高密度种植情况，其中橄榄树以有序行状种植。尽管预训练的分割模型在自然图像上表现优异，但在应用于RS图像时存在显著局限性，尤其是在处理具有直线结构的微小物体时。这种局限性源于这些模型主要针对自然图像进行训练。

**结论**
在本研究中，我们提出了一种用于分割超高密度种植橄榄树林卫星图像的新方法，目标是准确提取橄榄树行，这些信息可用于与橄榄树监测相关的各种应用。由于卫星图像的分辨率低于SAM训练所用图像的分辨率，即使经过微调，使用SAM模型得到的分割结果也不令人满意。因此，我们提出了进一步改进的方法。

**作者贡献声明**
拉姆齐·祖阿里（Ramzi Zouari）：撰写——审稿与编辑、原始草稿撰写、可视化、方法论；
阿卜杜勒阿齐兹·卡莱尔（Abdelaziz Kallel）：撰写——审稿与编辑、可视化、方法论。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。