DepthCropSeg++：利用深度标注数据对裁剪分割基础模型进行扩展

《IEEE Journal of Selected Topics in Signal Processing》：DepthCropSeg++: Scaling a Crop Segmentation Foundation Model With Depth-Labeled Data

作物分割基础模型DepthCropSeg++通过改进ViT-Adapter架构和动态上采样，在跨物种（30+种）及多环境（15种条件）的28,406张图像上实现93.11% mIoU，显著优于监督基线和SAM，尤其在夜间、高密度及新作物场景表现优异。

　　

摘要：

我们提出了DepthCropSeg++，这是一个用于作物分割的基础模型，能够在开放的田间环境中对不同作物种类进行分割。作物分割是现代农业的一项基本任务，与许多下游任务密切相关，如植物表型分析、密度估计和杂草控制。在基础模型时代，已经开发了许多通用的大型语言和视觉模型。由于这些模型具有显著的模型能力和大规模的数据集，它们在现实世界中展现出了出色的泛化能力。然而，目前的作物分割模型大多依赖于有限的训练数据，因为像素级别的标注成本较高，因此通常只能在特定作物类型或受控环境下表现出良好的性能。在这项工作中，我们延续了之前DepthCropSeg的研究思路——一种几乎无需监督的作物分割方法——扩展了一个跨物种和跨场景的作物分割数据集，该数据集包含30多种作物和15种环境条件下的28,406张图像。我们还基于先进的语义分割架构ViT-Adapter进行了改进，通过动态上采样增强了模型的细节感知能力，并采用两阶段自训练流程对模型进行了训练。为了系统地验证模型性能，我们进行了全面的实验，以证明其在多个作物数据集上的有效性和泛化能力。实验结果表明，DepthCropSeg++在综合测试集上的mIoU达到了93.11%，显著优于监督学习基线和通用视觉基础模型（如Segmentation Anything Model (SAM)：前者高出0.36%，后者高出48.57%。该模型在具有挑战性的场景中表现尤为突出，包括夜间环境（mIoU为86.90%）、高密度植被（mIoU为90.09%）以及未见过的作物品种（mIoU为90.09%），标志着作物分割技术达到了一个新的水平。