使用开源标注工具结合U-Net和DeepLabV3的作物残茬分割

《AgriEngineering》：Segmentation of Crop Residue Using an Open-Source Labeling Tool with U-Net and DeepLabV3

　　

作物残茬管理是可持续农业中的重要因素，因为它影响土壤侵蚀、水分保持、土壤有机质和作物产量。准确测量作物残茬覆盖率有助于作物残茬的战略规划、控制和监测。尽管机器学习的进步使作物残茬分类工作取得了显著进展，但在创建精确标注的作物残茬数据集以及应用基于分割的模型精确分割作物残茬方面仍然存在重大挑战。本研究旨在开发一个高效的图像标注框架，并评估用于作物残茬覆盖率估计的深度学习模型。为此，研究人员设计了一个独立的图形用户界面——残茬分割工具（Residue Segmentation Tool），以促进准确高效的图像标注，实现对残茬图像的灵活高通量标注。该工具公开可用，支持多种分割模式，包括经典和现代计算机视觉算法，如Otsu、Canny和手动阈值，以及分割任意模型（Segment Anything Model，SAM）和通过手动编辑选项进行用户引导的掩膜精修。该工具还用于创建标注数据集，用于作物残茬覆盖率估计的机器学习训练和测试。研究人员利用三种不同大小的数据集（100张、250张和500张图像）进行机器学习训练和测试，评估使用U-Net和DeepLabV3训练的模型性能。U-Net在大多数指标上持续优于DeepLabV3，尤其是在较小的数据集上，显示出更好的Dice系数、交并比（IoU）和召回率（Recall）。表现最佳的模型Dice、IoU和准确率（Accuracy）得分分别为0.748、0.627和0.864。研究结果表明，残茬分割工具（Residue Segmentation Tool）能够实现可扩展且可重复的数据集创建，并支持有效的残茬覆盖率估计分割。

本研究围绕作物残茬覆盖率的精准估计，开发了一种定制化开源标注工具并评估了两种深度学习语义分割模型。研究背景方面，作物残茬管理对可持续农业至关重要，影响着土壤健康、温室气体排放和养分循环。传统测量方法（如线样条法或目视评估法）受主观性、低准确率和观测者间差异的限制；现代方法虽结合了摄影法和机器学习分类，但现有开源或半自动化标注工具（如Fiji、MATLAB）耗时且需要专业训练，而网络平台则存在数据隐私风险。近期开源工具（LabelMe、CVAT等）适用于多类标注任务，但对二值细分任务（如残茬检测）需额外配置。因此，研究人员开发了专门化的残茬分割工具（Residue Segmentation Tool），并利用该工具创建标注数据集，训练U-Net和DeepLabV3模型进行像素级残茬分割，以解决缺乏领域专用工具、数据集创建效率低以及倾斜图像下模型性能不佳的问题。该研究发表在《AgriEngineering》上。

**关键技术与方法**
研究人员采用了以下主要技术方法：（1）数据收集：使用拖拉机及农具搭载的机载相机传感器，在2022至2024年春秋两季于美国伊利诺伊州和爱荷华州的29个不同田野收集玉米残茬倾斜图像，最终选取500张高分辨率（1200×400像素）图像。（2）残茬分割工具（Residue Segmentation Tool）：基于Python v3.12、Tkinter GUI、OpenCV v4.10.0和PyTorch v2.5.1开发，集成四种分割模式（Otsu阈值、Canny边缘检测、手动阈值、SAM-ViT-b骨干），并支持多边形/画笔编辑、掩膜反转及批量处理。（3）深度学习模型：从零训练3层U-Net（64初始滤波器，无批归一化/丢弃层）和基于ResNet-50骨干的DeepLabV3（无解码模块，使用空洞空间金字塔池化）。（4）评估指标：Dice系数、交并比（IoU）、准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数，并计算作物残茬覆盖率（CRC%）。统计采用混合效应回归模型和Wilcoxon符号秩检验。

**研究结果**
**3.1 残茬分割工具（Residue Segmentation Tool）评估**
通过目视比较不同分割模式产生的掩膜与手动编辑后的最终掩膜，研究人员发现该工具显著减少了标注时间和复杂度，单张图像标注耗时10-180秒。工具支持多种分割模式和导出格式，适用于作物残茬及其他二值分割任务。

**3.2 模型在残茬分割上的性能**
**3.2.1 训练与验证损失及准确率**
U-Net随着训练数据增加，训练和验证损失趋于平滑稳定；DeepLabV3在所有数据集大小下训练损失更低，但验证损失波动较大，显示过拟合倾向。验证准确率方面，U-Net随数据增加持续上升并收敛，而DeepLabV3尽管训练准确率高，验证准确率变化显著。

**3.2.2 残茬分割测试准确率**
定量评估（表2）显示，U-Net在所有数据集大小上均优于DeepLabV3，Dice（从0.634升至0.748）、IoU（从0.517升至0.627）和Recall更高。DeepLabV3在精确率和召回率之间存在权衡，但U-Net保持了高召回率。目视检验表明，两种模型在多数情况下预测掩膜与真实掩膜空间一致，且能够适应不同残茬水平、土壤背景和光照条件。箱线图和提琴图显示U-Net中位数Dice和IoU更高、变异性更小。混合效应模型表明模型类型和训练集大小对Dice和IoU有显著主效应（p<0.001），Wilcoxon检验证实U-Net在Dice（中位数提升0.132–0.125）和IoU（0.136–0.156）上显著优于DeepLabV3，且Recall优势在最小数据集时最大（中位数差值0.288，p<0.001）。低CRC值（约1–4%）的图像与最低Dice/IoU得分相关。

**3.2.3 作物残茬覆盖率（CRC）估计**
通过计算预测掩膜中前景像素比例得到CRC%，并与真实CRC%比较。散点图显示两种模型在较大训练集下R²均超过0.87，RMSE降低。U-Net和DeepLabV3在CRC预测上性能相当，但均在小数据集时表现较差。本研究获得的R²值高于先前基于超像素的纠缠随机森林方法（R²=0.60），并与CCRSNet（R²=0.80）相当或更高。

**讨论与结论**
讨论部分指出，U-Net在倾斜高分辨率图像上表现更优，源于其编码器-解码器结构及跳跃连接能保留低级空间细节，适合薄而间断的残茬纹理；DeepLabV3依赖空洞空间金字塔池化，更适合大而均匀的目标。低CRC图像因重叠指标敏感性而表现较差。未来研究应扩展更大数据集、纳入其他作物（如大豆、小麦）及结合公开数据。结论部分翻译如下：
**4. 结论**
本研究提出了一种基于深度学习的方法，使用U-Net和DeepLabV3模型进行作物残茬估计。研究人员开发了一个定制的残茬分割工具（Residue Segmentation Tool）用于数据集创建，并已开源。该工具实现了高效、准确且用户友好的作物残茬数据集标注，适用于二值分割工作。传统计算机视觉与现代深度学习的集成使该工具适合研究人员和从业者创建ML就绪数据集，以开发和评估农业图像分割模型。基于深度学习的训练表明，U-Net和DeepLabV3在残茬分割上均表现出强性能，最高Dice和IoU得分分别为74.80%和62.70%（U-Net）及68.40%和55.50%（DeepLabV3）。比较真实CRC估计值与模型预测CRC，大多数模型表现良好，最佳模型R²值达0.88。通过提供数据标注工具和基准分割模型，本研究为研究人员和从业者贡献了宝贵资源。未来研究可纳入更大数据集（包括本研究未涉及的其他田间地点），以及探索结合其他公开数据集并纳入其他作物残茬（如大豆和小麦）。