基于实例分割算法的甘薯田间产量估算：部署、分析与验证

本文介绍了一种利用智能手机和深度学习模型（Mask R-CNN）在田间快速估算甘薯（SP）产量和分级的方法。该方法通过图像分析获取根茎的长度、直径、重量和数量，与商用光学分选机相比具有较高一致性（平均精度AP=74.1），为资源有限的农户和育种者提供了一种低成本、便携式的表型分析（Phenotyping）策略，可显著提高田间效率并减少对昂贵设备的需求。

　　

引言

甘薯（Ipomoea batatas (L.) Lam.）是一种全球重要的粮食作物，其储藏根具有丰富的形状和大小多样性，这使得传统的测量方法既耗时又费力。目前，甘薯的市场分级通常依据视觉特征如形状、大小、表皮颜色、肉质颜色和缺陷程度等。例如，美国农业部（USDA）对US No. 1级甘薯根茎的直径、长度和重量有明确标准。然而，这些分级过程主观性强，且依赖昂贵的工业分选机，这些设备需要大型基础设施，耗时且存在交叉污染风险。因此，开发一种能够在田间直接快速估算产量和分级的方法具有重要意义。

深度学习（DL）技术在计算机视觉任务中表现出色，特别是在对象检测和实例分割方面。近年来，基于深度学习的方法在农业领域得到了广泛应用，包括疾病检测、杂草识别、自动化收获和产量估算。例如，Mask R-CNN（Mask Region-based Convolutional Neural Network）作为一种实例分割模型，已在多种作物如果蔬的分割和分类中展示出良好性能。然而，针对甘薯这种形状多变的作物，应用实例分割技术进行田间产量估算的研究尚不充分。

本研究旨在开发一种基于Mask R-CNN的甘薯田间产量快速估算方法，通过智能手机采集图像，利用深度学习模型进行根茎分割和度量提取，并与商用光学分选机的结果进行验证，以评估其在实际应用中的准确性和可行性。

材料与方法

实验概述

研究流程包括根茎图像采集、Mask R-CNN模型训练、空间校准和度量计算，以及模型验证。图像采集使用Google Pixel 4A智能手机，在2019年和2020年的试验田进行，共捕获约540张地块级别的图像。根茎在采集后被手动摊开在苗床上，以减少重叠。每个地块使用聚氯乙烯（PVC）管框架分为三个部分，并利用蓝色或红色胶带进行空间校准。

模型训练与设置

根茎图像使用VGG Image Annotator（VIA）软件进行手动标注，共标注约12,000个根茎实例。训练数据分为60%训练集、20%验证集和20%测试集。模型基于Detectron2库实现，采用ResNet-50和特征金字塔网络（FPN）作为主干网络，使用COCO数据集的预训练权重进行迁移学习。

空间校准通过颜色阈值处理识别胶带区域，计算像素与厘米的转换因子。从Mask R-CNN生成的二进制掩码中提取根茎的轮廓，并利用OpenCV库计算最小外接矩形的长度和直径。根茎体积通过两种模型估算：椭球体模型和立方体模型。重量则通过体积乘以密度（假设为1.0 g/cm3）计算。

模型验证

验证分为三个部分：地块级别验证、一对一验证和商用光学分选机基线性能评估。地块级别验证通过卡方检验比较细胞手机模型与分选机在直径、长度、重量和数量上的分布一致性。一对一验证将110个根茎单独标记，分别通过分选机和手机模型进行测量，以评估个体根茎的度量准确性。基线评估通过手动测量240个根茎的长度、直径和重量，与分选机结果进行回归分析，以确定分选机的误差范围。

甘薯根茎重量估算的模拟

通过3D模拟分析根茎方向对2D投影面积与体积关系的影响。利用Blender软件进行刚体物理模拟，生成不同约束条件下（自由空间、平面约束和滚筒约束）的根茎2D投影，并应用椭球体和立方体模型估算重量，以量化方向变化带来的误差。

误差计算

误差分为成像误差、建模误差和掩码误差。成像误差包括镜头失真和固体角效应；建模误差涉及体积估算模型的不准确性；掩码误差包括光照、阴影、遮挡物和根茎密度等因素。总误差通过均方根误差（RMSE）和平均精度（AP）等指标量化。

结果

模型性能

Mask R-CNN模型在甘薯根茎分割中表现出色，平均精度（AP）为74.085。在交并比（IoU）阈值为0.5和0.75时，AP分别为97.466和91.323，表明模型在不同掩码精度下均能有效检测根茎。

3D到2D蒙特卡洛模拟

模拟结果显示，在自由空间条件下，重量估算的误差较大（RMSE较高），而通过平面或滚筒约束后，投影面积与体积的相关性显著提高（R2达到0.73）。椭球体模型和立方体模型在性能上无显著差异，但均存在对小根茎低估和对大根茎高估的趋势。

地块级别表型性能

细胞手机模型与光学分选机在地块级别的直径、长度和重量分布上高度一致。卡方检验表明，两者在直径、长度和重量上的分布无显著差异（p值均大于0.05）。细胞手机模型在地块级别的平均直径、平均长度和总重量的RMSE分别为0.9 cm、1.7 cm和2.1 kg，相对误差分别为5.8%、5.5%和16.5%。

一对一表型性能

一对一验证显示，细胞手机模型在长度、直径和重量估算上与分选机高度相关（R2分别为0.8、0.7和0.7），RMSE分别为0.66 cm、1.22 cm和74.73 g。模型对这些度量存在8%-15%的低估，且重量估算的方差随根茎增大而增加。

商用光学分选机基线

分选机在长度和重量估算上与手动测量高度一致（R2分别为0.9和0.9），但在直径估算上相关性较弱（R2=0.7）。分选机的RMSE对于长度、直径和重量分别为0.5 cm、1.05 cm和26.63 g。

讨论

误差来源

误差主要分为成像误差、建模误差和掩码误差。成像误差（如镜头失真和固体角效应）对结果影响较小；建模误差中，椭球体模型在平面约束下的RMSE为50.61 g，且存在12%的高估；掩码误差的RMSE为54.98 g，主要由光照、阴影和遮挡等因素引起。总误差为74.73 g，其中建模和掩码误差是主要贡献者。

成像误差

固体角效应和镜头失真在近距离拍摄中影响可忽略。通过使用手机变焦镜头和避免广角拍摄，进一步减少了这些误差。

建模误差

椭球体模型在约束条件下表现良好，但对不规则形状根茎的适应性较差。未来研究可通过引入密度或形状参数改进模型精度。

掩码误差

Mask R-CNN的AP分数表明模型在复杂环境下（如阴影和土壤团块）仍能有效分割根茎。误差主要来自环境因素，而非模型本身。

地块级别表型性能

细胞手机模型与分选机在地块级别度量上高度一致，尽管存在一定偏差。这些偏差可通过校正因子（如密度调整）进一步减少，模型在年度内评估中具有可靠性。

结论

本研究开发了一种基于实例分割算法（Mask R-CNN）的甘薯田间产量估算方法，通过智能手机图像实现根茎分割和度量提取。模型在平均精度、长度、直径和重量估算上均与商用光学分选机具有较高一致性，且具有低成本、便携和高效率的优势。未来工作可探索RGB-D图像融合、边缘设备部署以及扩展至其他作物和应用场景，以进一步提升农业表型分析的自动化和精准化水平。