一种基于YOLO（You Only Look Once）算法的葡萄果实检测与计数方法，结合了葡萄形态学特征分析，用于估算葡萄产量

《Information Processing in Agriculture》：A YOLO-based approach to grape berry detection and counting with ampelographic feature analysis for grapevine yield estimation

　　Germano Moreira | Filipe Neves dos Santos | Mário Cunha
波尔图大学理学院，Campo Alegre街无号，波尔图4169-007，葡萄牙

**摘要**
深度学习技术应用于葡萄产量估计，在精准葡萄栽培领域取得了显著进展。精确检测和计数每串葡萄的数量是一项关键任务，可解释高达30%的产量变化，从而提高产量估计的准确性。本研究提出了一种基于YOLO的方法，用于自动化检测和计数可见的葡萄果实，使用了一个包含超过1500张图像的数据集，这些图像是在三个物候阶段收集的。所选的YOLO模型在检测和计数任务中表现良好，所有模型都实现了高检测精度（G-mAP > 0.95）和可见葡萄果实的准确估计（R2 > 0.97）。在评估的模型中，YOLOv11n表现出最高的检测性能（F1分数 = 0.954，G-mAP = 0.962），而YOLOv10n则展示了最一致且可靠的计数精度（MAPE = 4.764，MSE = 12.203，RMSE = 3.493）。此外，分析表明，葡萄的形态特征（如果实大小、遮挡情况和串的形态）会影响检测精度，尽管YOLOv10n在不同类别之间没有显示出显著差异。为了扩展研究范围，进一步分析显示可见果实数量与每串葡萄总数之间存在强烈的线性关系（R2 = 0.860），这支持了校正模型解决遮挡问题的潜力。通过系统地评估模型在多种葡萄栽培条件下的表现，并结合与总果实数量的相关性，本研究深入了解了深度学习模型的鲁棒性和局限性，为未来在葡萄园监测、产量估计、收获优化和管理中的应用提供了重要见解。

**1. 引言**
葡萄酒产业是全球经济上最重要且历史悠久的农业部门之一。2023年全球葡萄酒出口价值达到360亿欧元，创下历史新高[34]，主要葡萄酒生产国如法国、意大利、西班牙、美国和阿根廷每年出口数百万千升葡萄酒（2024年预计总产量为2.31亿千升）。仅在欧洲联盟（EU），葡萄园面积就达到约330万公顷，占世界葡萄园总面积的近45%，总产量初步估计为1.39亿千升（2024年数据），占全球总量的60%[33]。
葡萄酒的质量和产量与葡萄园产量密切相关，而产量又高度依赖于外部因素，这些因素包括土壤气候条件、生物和非生物压力、遗传因素（葡萄品种和砧木）以及栽培实践，这些因素会导致不同的生理反应[26]。葡萄酒葡萄的生产需要在产量优化和质量控制之间取得平衡。例如，在欧盟，法规和特定标识（如“原产地命名”或“地理标志”）规定了每公顷的最大产量以及质量标准[13]。在这种情况下，准确的产量估计在葡萄栽培中起着至关重要的作用，因为它直接影响从收获计划、资源配置到定价策略、供应链管理和市场分销的每一个环节。

传统的产量估计方法依赖于手动采样和视觉检查所谓的产量组成部分，例如生殖结构（花序、花朵、葡萄串或果实），这些可以反映生殖和产量发展的情况。除了每株葡萄的葡萄串数量外，每串葡萄的果实数量也被认为是决定总体产量的主要因素之一，它可以解释约30%的产量变化[10]。因此，准确检测和计数每串葡萄的数量对于改进葡萄园监测和实现更精确的产量估计至关重要。然而，这些方法存在几个主要局限性：它们需要大量的手工劳动，使得成本高且效率低下，尤其是在大规模的商业葡萄园中。手动计数果实是一种耗时且具有破坏性的方法，因为必须将葡萄串从葡萄植株上摘下，这不利于实时决策。因此，它们通常依赖于小样本量，并据此推断整个葡萄园的产量，无法完全捕捉葡萄产量在空间和时间上的高变异性。此外，手动采样容易受到人为错误和主观性的影响，导致结果不一致。

数字技术和数据驱动方法的日益采用改变了现代葡萄栽培，试图解决上述挑战。近年来，精准葡萄栽培（Precision Viticulture, PV）作为通过数据驱动决策来优化葡萄园管理的一种手段，取得了显著进展[3]。先进传感器、遥感、人工智能（AI）和机器学习（ML）技术的应用为提高产量估计的准确性提供了新的机会。计算机视觉（CV）和图像处理是最常见的产量估计技术，可作为传统采样方法的替代方案[5]。第一种用于田间计数果实的方法于2007年引入，该方法依赖于椭圆检测[38]。自那时起，开发了多种计数技术。其中一些方法利用传统的图像处理技术，包括针对这一特定任务定制的分割、形状识别和特征提取算法[5]。新兴技术，如深度学习（DL）和卷积神经网络（CNN）的最新进展，使得快速准确检测葡萄果实成为可能，提供了详细、高精度的数据，这些数据具有客观性、可扩展性和可重复性，克服了许多传统方法的局限性[29]。多项研究采用了实例分割和语义分割方法[1]、[2]、[7]、[9]、[14]、[17]、[31]、[35]、[36]、[41]、[42]、[43]、[52]、[53]，在像素级别对葡萄果实进行分类，以实现更精确的检测和定位，相比传统目标检测方法[4]、[22]、[28]、[50]、[51]具有优势，因为它们能够区分重叠或聚集的物体。除了检测和分割之外，基于密度图的方法也被用于果实计数[6]、[12]、[23]。

尽管有这些优势，但由于葡萄园的复杂性，自动化葡萄果实检测和产量估计仍然具有挑战性。产量组成部分在类别内部的差异显著，会随着物候阶段、观察角度和形态特征的变化而波动[16]。葡萄串和果实的大小、形状和颜色在不同品种之间以及同一品种内部都存在差异，这些特征在生长过程中会发生变化，增加了复杂性。例如，早期阶段的果实由于与叶片大小和颜色相似而难以计数。在非结构化的葡萄园环境中，照明条件、阴影和背景元素（如土壤、棚架）会干扰图像质量，从而影响检测效果。遮挡和果实重叠也会阻碍检测，这是由于密集的葡萄串结构、周围植物结构以及葡萄园管理实践造成的[46]。

硬件限制也增加了这些难度。深度学习模型需要强大的计算能力，而移动设备、地面平台或航空平台往往缺乏这种能力，导致推理速度慢和决策延迟[16]。虽然深度学习方法优于传统的计算机视觉方法，但它们仍在发展中。该领域缺乏标准化的方法和性能指标，限制了研究的可比性。一个主要障碍是缺乏包含真实数据的 large、多样化且标注丰富的数据集，例如果实数量的数据集。大多数研究集中在特定的葡萄品种、阶段或条件上，使得泛化变得困难[29]。此外，实际应用常常被忽视，因为许多模型更倾向于追求准确性而非实际应用所需的计算效率。

为了解决这些差距，本研究基于先前的工作[30]（关于葡萄花序分割和可见花朵估计），提出了一种轻量级的基于YOLO的方法，用于自动化检测和计数可见的葡萄果实，并特别强调了葡萄形态特征对模型性能的影响。本研究旨在：
- 收集来自葡萄牙多个葡萄酒产区、三种物候阶段的九种葡萄品种的1530张RGB图像数据集，这些图像是在真实的葡萄园环境下拍摄的。
- 对多种轻量级YOLO变体（YOLOv8n、YOLOv9t、YOLOv10n、YOLOv11n）进行基准测试，以评估其在不同葡萄园条件下的检测精度和计数可靠性。
- 分析葡萄品种、生长阶段和葡萄串形态（形状、长度和密度）对检测性能的影响，以识别基于深度学习的模型中的潜在偏差和局限性。
- 在真实的葡萄栽培条件下系统评估深度学习模型，从而发展出更鲁棒、可扩展和精确的产量估计系统。

**2. 材料与方法**
本研究采用了一种模块化的流程，用于在实地条件下基于图像的葡萄果实检测和产量估计，如图1所示。工作流程首先构建了一个包含多个葡萄酒产区、品种和物候阶段的RGB葡萄串图像数据集。这些图像随后被用于训练和基准测试单图像可见果实检测的深度学习模型。进一步分析了关键的葡萄形态特征，包括葡萄品种、物候阶段和葡萄串形态特征，以评估在不同田间条件下的鲁棒性。最后，应用了基于相关性的建模步骤，从可见果实数量估计每串葡萄的总数。这种模块化结构允许独立分析每个组成部分，同时支持从单个RGB图像进行高效且可在田间应用的产量估计。

**下载：**
- 下载高分辨率图像（330KB）
- 下载全尺寸图像

**图1. 提出的葡萄果实检测和产量估计方法流程图**

**2.1. 数据采集**
开发了一款用户友好的Android应用程序，并与多位葡萄牙葡萄种植者分享，允许他们从不同角度获取葡萄植株及其产量组成部分的图像，并为每张图像分配唯一的ID和地理参考位置（图2）。共收集了来自2022年、2023年和2024年不同葡萄酒产区的1530张葡萄串RGB图像（图3）。

**图2. 通过开发的Android应用程序获取葡萄产量组成部分的图像**
- 下载高分辨率图像（167KB）
- 下载全尺寸图像

**图3. 采集RGB葡萄串图像的葡萄牙葡萄酒产区位置**

在开花期之后，根据德国生物研究所（Biologische Bundesanstalt, Bundessortenamt und CHemische Industrie, BBCH）的扩展标准[27]，在果实发育阶段收集了葡萄串的图像，包括果实开始接触（BBCH 79）、果实着色（BBCH 83）到果实成熟可收获（BBCH 89）的阶段。数据集包含了以下葡萄品种的图像，这些品种根据Vitis International Variety Catalogue（VIVC）代码进行识别（详见https://www.vivc.de，2025年1月6日访问）：Touriga Nacional（VIVC-12594）、Viosinho（VIVC-13109）、Tinta Roriz（VIVC-12350）、Moscatel Galego（VIVC-8031）、Touriga Franca（VIVC-12593）、Jaen（VIVC-5652）、Trajadura（VIVC-12629）、Tinta Barroca（VIVC-12462）、Cabernet Sauvignon（VIVC-1929）。

葡萄品种在葡萄串和果实形态上表现出显著多样性，包括长度、形状和颜色的差异，这些差异还受到物候发育阶段的影响[32]（图4）。这些变化带来了挑战，需要开发能够在各种条件下准确检测果实的深度学习模型。通过包含多种葡萄品种的图像，数据集涵盖了代表性的果实和葡萄串特征多样性，减少了潜在的偏差，提高了模型在异质葡萄园环境中的性能。此外，还包括物候多样性，确保模型能够在生长季节的不同阶段检测果实，从而增强其在葡萄园监测和产量估计等应用中的实用性。此外，在不同的环境和光照条件下拍摄图像（包括阴影变化、背景和遮挡情况）进一步增强了模型的鲁棒性和适应性。数据集的多样性提高了模型的可扩展性，使其适用于更广泛的葡萄园和葡萄栽培区域，同时在各种操作环境中保持可靠性。

**下载：**
- 下载高分辨率图像（498KB）
- 下载全尺寸图像

**图4. 不同葡萄品种和物候阶段的葡萄形态特征：**
(a) 主轴上有侧枝（“翅膀”）且大多数果实接触的葡萄串（BBCH 79）；
(b) 短而葡萄分布密集、果实正在着色的葡萄串（BBCH 83）；
(c) 长而非常密集的圆柱形葡萄串，果实成熟可收获但不易移动（BBCH 89）。

除了用于可见果实检测和计数的数据集之外，2024年生长季节还进行了一个补充实验，以研究可见果实数量与每串葡萄总数之间的关系。使用相同的移动应用程序，在一位合作葡萄种植者（Quinta da Cale, Nelas, Viseu）的葡萄园中，在BBCH 79和89阶段收集了额外的图像。对于每一组拍摄的葡萄串，通过破坏性抽样手动计算了浆果的总数。在BBCH 89阶段，一些葡萄串出现了严重的脱水现象，因此被排除在分析之外。总共分析了110组白葡萄和红葡萄品种的葡萄串，包括Encruzado（VIVC-3909）、Barcelo（VIVC-980）、Síria（VIVC-2742）、Malvasia Fina（VIVC-715）、Rabo de Ovelha（VIVC-12460）、Terrantez（VIVC-24589）、Branda（VIVC-17676）、Uva C?o（VIVC-12812）、Malvasia Rei（VIVC-8888）、Tamarez（VIVC-12231）、Camarate（VIVC-2018）、Bastardo（VIVC-12688）、Tinta Roriz（VIVC-12350）、Tinta Carvalha（VIVC-12467）、Cora??o de Galo（VIVC-16954）、Monvedro（VIVC-17355）、Alvarelh?o（VIVC-1650）、Touriga Nacional（VIVC-12594）、Alfrocheiro（VIVC-277）和Jaen（VIVC-5652）。这些葡萄牙品种的选择涵盖了常见的葡萄串形态，包括与训练集中的品种有重叠的品种以及训练集中没有的品种，以此来评估在不同品种多样性下的可见浆果数量与总浆果数量之间的关系是否稳定，而无需实现全面的形态覆盖。预测结果使用在可见浆果计数任务中表现最好的检测模型得出。在图像中包含背景中其他葡萄串的情况下，为了避免偏差，这些背景中的浆果被排除在外。由于每组葡萄串都拍摄了多张照片，因此根据整体质量和检测到的最大浆果数量选择了一张图像进行分析，以确保与破坏性手动计数结果的一致性。

2.2 基于深度学习的方法
深度学习（DL）模型被用来检测和计数葡萄串图像中的可见浆果，因为它们在识别复杂图像中的物体方面已被证明非常有效，即使是在包含小型且密集排列的物体的情况下也是如此。选择了四种YOLO（You Only Look Once）模型变体——YOLOv8n、YOLOv9t、YOLOv10n和YOLOv11n，因为它们先进的架构确保了更高的速度和准确性[20]。选择这些模型的“nano”（n）和“tiny”（t）版本，是因为它们提供了轻量级的架构，这对于我们最终将DL模型部署到开发的Android应用程序中的目标来说是一个关键考虑因素。每种YOLO变体在准确性、速度和计算效率之间提供了独特的权衡，主要区别在于它们的架构和优化重点（表格1）。YOLOv10n和YOLOv11n在YOLOv8n的基础上进行了架构上的改进，例如改进了特征金字塔网络（FPNs）和先进的激活函数，从而在具有挑战性的场景中取得了更好的性能（Glenn [19], [21]; A. [47]）。YOLOv9t引入了可编程梯度信息（PGI）和通用高效层聚合网络（GELAN）等技术，其规模和性能与nano模型相当，但比最新的模型需要稍微更多的计算能力（FLOPs）[48], [49]。对多个模型进行基准测试可以比较它们的优势和局限性，从而确保在检测准确性和实时性能之间找到最佳平衡。这种方法不仅能够识别最适合该任务的模型，还能提供关于不同YOLO变体如何处理葡萄图像分析特定挑战的宝贵见解，例如不同的光照条件、遮挡和浆果密度。

2.2.1 数据预处理
在监督学习中，模型使用标记数据进行训练以预测结果或对输入进行分类，一个关键的做法是划分数据集以确保模型性能的可靠性和泛化能力。因此，收集到的图像被分为不同的子集：用于训练（70%），为模型提供学习模式和关系所需的数据；用于验证（10%），以便在训练过程中定期评估模型性能；以及用于测试（20%），作为独立基准来评估模型在未见数据上进行准确预测的能力。表格2提供了不同子集中每个物候阶段和品种的图像数量的详细信息。

2.2.2. 模型训练
首先使用Microsoft的COCO（Common Objects in Context）数据集[25]对模型进行预训练，该数据集包含80个预训练的类别。然后通过迁移学习对这些模型进行微调，以便它们能够检测葡萄串中的浆果。使用YOLO预训练的权重，模型采用了类似的超参数进行训练：训练周期为250个周期，批量大小为16张图像，学习率为0.01，输入图像分辨率为640×640像素。使用了AdamW优化器，动量为0.937，权重衰减为0.0005。所有实验都在NVIDIA GeForce RTX 4060图形处理单元（GPU）上执行（见https://www.nvidia.com/en-eu/geforce/graphics-cards/40-series/rtx-4060-4060ti/，访问时间为2025年1月10日），该GPU拥有8GB的内存。

2.3 模型推理
2.3.1 可见浆果检测
当预测边界框与真实边界框有大量重叠时，可以实现准确的检测，这通常通过交并比（IoU）指标来衡量。真实对象的数量由真正例（TP）和假负例（FN）之和给出，而预测对象的数量则对应于TP和假正例（FP）之和。检测性能通过精确度（1）、仅识别相关对象的能力（2）、检测所有相关对象的能力（3）以及F1分数（3）来评估（F1分数是精确度和召回率的调和平均值）。

2.3.2 可见浆果和总浆果计数
为了评估DL模型在可见浆果和总浆果量化方面的准确性，计算了决定系数（R2）（7）、均方根误差（RMSE）（8）和平均绝对百分比误差（MAPE）（9）。在这些公式中，n表示图像数量，yi表示真实浆果计数，?表示预测浆果计数，è3[TxErr]表示真实值的平均值：
(7) R2 = 1 - ∑(i=1n(yi - TxErr)2)
(8) RMSE = 1/n ∑(i=1n(yi - TxErr)2
(9) MAPE = 100/n ∑(i=1n(yi - TxErr)·yi)
为了补充对可见浆果计数的分析，还通过统计分析研究了基准测试模型和分类变量对测试集内错误率的影响。模型分析了不同因素，包括（i）葡萄品种（红色或白色），（ii）物候阶段（BBCH 79、BBCH 83和BBCH 89），以及（iii）葡萄串的葡萄学特征（葡萄串形状、长度和密度）。葡萄学特征的选基于OIV（国际葡萄与葡萄酒组织）的品种识别协议（见https://www.oiv.int/node/3112，访问时间为2025年1月10日），该技术文档旨在通过制定关于葡萄学和遗传特征的最小指南来协调国际葡萄品种识别标准。与检测阶段不同，检测阶段的目标是识别图像中所有可见的浆果，而在这里评估选定特征对可见浆果估计的影响时，如果图像中包含在背景中完全或部分可见的其他葡萄串，则不考虑这些葡萄串中的浆果，因为它们可能会影响主要葡萄串的分类。

图像数据的多样性对于提高DL模型的鲁棒性和性能至关重要，因此使用了数据增强技术来人工增加训练集。使用开源图像增强库Albumentations[8], [20]应用了像素级别（仅改变输入图像）和空间级别（同时改变输入图像和边界框）的变换，因为它可以直接集成到YOLO训练模式中。在数据增强过程中，变换是在每次批量加载时随机决定的，因此模型每次都会看到略微不同的图像版本。由于训练会话进行了250个周期，模型总共使用了267,750张图像进行训练。每次加载图像时都会生成这个图像的新版本，从而提供更多多样性，帮助模型更好地泛化。表格3概述了每种增强效果，而图6展示了使用默认值对原始图像应用的变换。

2.3.2. 模型训练
首先使用Microsoft的COCO数据集对模型进行预训练，其中包括80个预训练的类别。然后通过迁移学习对模型进行微调，以便它们能够检测葡萄串中的浆果。使用YOLO预训练的权重，模型在类似的超参数下进行训练：训练周期为250个周期，批量大小为16张图像，学习率为0.01，输入图像分辨率为640×640像素。使用了AdamW优化器，动量为0.937，权重衰减为0.0005。所有实验都在NVIDIA GeForce RTX 4060图形处理单元（GPU）上执行（见https://www.nvidia.com/en-eu/geforce/graphics-cards/40-series/rtx-4060-4060ti/，访问时间为2025年1月10日），该GPU拥有8GB的内存。不同葡萄串长度水平的表达：(a) 短串；(b) 中等串；(c) 长串。然后根据图像尺寸将浆果边界框的标准化坐标转换为像素面积，并计算串密度，即浆果边界框总面积与整个串边界框（包含所有浆果边界框）总面积的比率。串密度（OIV代码204）（图9）。
- 松散：[0, 61) % 串面积；
- 中等：[61, 71) % 串面积；
- 密集：[71, ∞) % 串面积。
下载：下载高分辨率图像（511KB）
下载：下载全尺寸图像
图9. 不同葡萄串密度水平的表达：(a) 松散的串，浆果之间接触较松，有些可见；(b) 中等串，浆果分布密集，果梗不可见，浆果可以移动；(c) 密集的串，浆果不易移动，有些因压缩而变形。
初步分析表明数据不符合正态分布。因此，在需要时进行了非参数Kruskal-Wallis检验，随后进行了Mann-Whitney U检验（α=0.05），以比较所测试模型与选定的葡萄学特征在浆果计数平均误差方面的影响。采用广义线性模型（GLM）来分析模型与葡萄学特征之间的相互作用。这种方法能够全面评估不同的葡萄学和遗传特征如何影响模型的性能，为在不同条件下的有效性提供宝贵见解。

3. 结果与讨论
3.1. 可见浆果检测
表4和表5中的结果表明，尽管四种YOLO模型在葡萄浆果检测方面的整体性能相似，但在精确度、召回率和置信度阈值方面存在关键差异，这决定了它们适用于特定应用的程度。YOLOv11n表现最佳，获得了最高的F1分数（0.954）和G-mAP（0.962）。其高精确度（0.988）和低置信度阈值（0.504）有助于最小化假正例（FP），使其在准确检测方面非常可靠。相比之下，YOLOv9t的置信度阈值较低（0.455），但召回率最高（0.920），使其更适合需要最大化真正例（TP）的场景，尽管精确度略有下降（0.965）。YOLOv10n在精确度（0.959）和召回率（0.919）之间取得了更平衡的折中，其置信度阈值最低（0.405）。这种方法优先考虑全面的检测，可能会以牺牲预测的确定性为代价。YOLOv8n的召回率略低（0.905），但其高精确度（0.974）确保了葡萄浆果的可靠识别。相对较低的召回率表明该模型倾向于忽略一些真正例，这可能是由于其较高的置信度阈值（0.503）所致，该阈值会过滤掉不太确定的检测结果。
表4. 使用优化后的置信度阈值，在测试数据集上YOLO模型的葡萄浆果检测性能。
模型 置信度阈值 精确度 召回率 F1分数 G-mAP 响应时间（秒）
YOLOv8n 0.503 0.974 0.905 0.938 0.002 0.990 0.004
YOLOv9t 0.455 0.965 0.920 0.942 0.958 0.001 0.990 0.004
YOLOv10n 0.405 0.959 0.919 0.939 0.955 0.000 0.993 0.004
YOLOv11n 0.504 0.988 0.923 0.954 0.962 0.000 0.992 0.004

表5. 基于YOLO模型在测试集上的葡萄浆果检测结果中的真正例、假正例和假负例数量。
模型 真正例 假正例 假负例
YOLOv8n 19 55 34 99 20
YOLOv9t 19 89 26 93 16
YOLOv10n 19 85 48 29 17
YOLOv11n 19 93 82 34 16

值得注意的是，所有模型的性能都令人称赞，G-mAP值均超过0.950，且推理时间每张图像低于5毫秒。低IVPV（< 0.002）和高BSGS（> 0.990）值表明这些模型在不同葡萄品种和物候阶段具有很好的泛化能力，YOLOv10n和YOLOv11n受品种类型（红色或白色）的影响较小。这种速度和准确性之间的平衡突显了这些模型的多功能性，使其非常适合用于实时监测和产量评估等时间敏感的任务。

系统地分析真正例、假正例和假负例对于评估性能至关重要，因为这些指标可以提供关于每个检测模型优缺点的详细见解。开源工具包FiftyOne（详见https://voxel51.com，访问日期2025年1月22日）有助于数据集的可视化和CV模型的分析，用于定性评估，以更好地理解假正例和假负例出现的情况及其存在的原因。真实值与模型预测边界框之间的不匹配是产生假正例和假负例的主要原因，这是由于相邻浆果或其他植物结构（如果梗）的重叠，导致模型生成的边界框只覆盖了部分浆果。当预测边界框和真实值边界框之间的重叠面积低于设定的IoU 60%时，预测边界框被视为假正例，而真实值边界框被视为假负例，就像一个未被检测到的浆果（图10a）。假正例还可能发生在模型检测到未标注为真实值的浆果的情况下，这可能是由于浆果出现在背景中或由于高遮挡/重叠程度导致手动标注过程中无法识别（图10b）。然而，即使评估指标受到影响，模型检测浆果的基本能力仍然不变。调整IoU阈值或改进标注可以改善报告的性能，减少由于上述情况导致的假正例和假负例的出现。

下载：下载高分辨率图像（432KB）
下载：下载全尺寸图像
图10. (a) 由于真实值和预测边界框之间的不匹配导致的假正例和假负例；(b) 由于检测到未标注的浆果导致的假正例。浅蓝色边界框代表真正例，深蓝色边界框代表假负例，橙色边界框代表假正例。

尽管如此，有些情况下模型的检测能力仍值得质疑。一些假正例的发生是因为模型检测到了类似浆果但实际上是背景元素的区域，如叶子或果梗。这个问题在白色品种的串或未成熟的串的图像中尤为明显，因为这些结构和浆果之间的颜色相似度更高。阴影也会通过创建低对比度的区域或模仿浆果纹理和形状的暗斑来导致假正例（图11a）。另一方面，假负例主要是由于模型难以检测到小浆果，这可能会受到图像分辨率和拍摄距离的影响。此外，上述结构造成的浆果重叠和遮挡效应也会进一步增加假负例（图11b）。

下载：下载高分辨率图像（527KB）
下载：下载全尺寸图像
图11. (a) 由于检测到背景元素导致的假正例；(b) 由于未能检测到小浆果或被遮挡的浆果导致的假负例。浅蓝色边界框代表真正例，深蓝色边界框代表假负例，橙色边界框代表假正例。

本研究提出的方法使用YOLO模型变体，在可见浆果检测方面表现出色，特别是在F1分数和G-mAP指标上，优于几种现有方法。利用对象检测架构和其他YOLO框架（如YOLOv7 [4] 和 YOLOv5 [50]、[51]）的研究报告的mAP值分别为0.835和0.877。同样，另一项使用基于Retina-Net架构的一阶段对象检测器的研究[22] 报告的F1分数为0.546，显著低于我们表现最好的模型YOLOv11n的0.954。Miao等人[28] 改进的HED网络也达到了相同的F1分数，尽管该模型是在不同发育阶段的串上进行测试的，但结果仅限于一个品种。这种方法在较少的图像（100张）上进行了测试，这些图像来自不同的背景和环境（自然和人工），由于其两步性质，其速度大约是YOLOv11n模型的5.8倍。

3.2. 可见浆果计数
表6展示了每个YOLO模型在估计可见浆果方面的性能指标。YOLOv10n模型实现了最低的MAPE（4.764）和RMSE（3.493），表明其准确性更高且预测的方差较小。同样，YOLOv9t的表现也具有竞争力，尽管MAPE（4.785）和RMSE（3.560）略有升高，表明其具有较强的泛化能力。相反，YOLOv8n和YOLOv11n在所有指标上显示出较高的误差值。YOLOv8n报告了最高的MAPE（6.069），而YOLOv11n虽然MAPE略低（5.583），但预测的绝对误差较小， RMSE（4.409）较高，表明在某些情况下可能存在更大的偏差。虽然YOLOv11n在检测浆果方面表现最佳，但其预测模式可能在计数估计中引入了小的但有影响力的变化，导致整体误差较大。这突显了针对计数任务对对象检测模型进行微调的必要性，以确保它们不仅能准确检测对象，还能在不同场景下保持一致的计数行为。

表6. 使用测试集对YOLO架构进行可见浆果计数估计的MAPE、MSE和RMSE值进行比较。
模型 MAPE RMSE
YOLOv8n 6.069 4.354
YOLOv9t 4.785 3.560
YOLOv10n 4.764 3.493
YOLOv11n 5.583 4.409

图12中的散点图进一步揭示了YOLO模型在预测每串可见葡萄浆果数量方面的性能。所有模型的R2值都超过了0.976，表明它们表现优异。尽管存在这些相似之处，但更深入的分析揭示了它们预测行为的轻微差异，这与表6中观察到的误差指标一致。YOLOv9t的R2值最高（0.979），意味着其预测更接近真实值，方差较低。相比之下，YOLOv10n的斜率最低（1.020），表示其在一对一的比例上更接近真实值，系统性的低估较少。在评估的模型中，低估和过高估计都会发生。然而，由于模型倾向于产生更多的假负例（FN）而不是假正例（FP）（表5），主要是由于忽略了小浆果、重叠浆果或被遮挡的浆果，因此低估更为常见。YOLOv8n和YOLOv11n的斜率分别为1.050和1.063，表明对浆果计数的低估更为明显。这种趋势反映在它们较高的MSE值和相应的RMSE值上，表明它们的预测偏差更大。应结合数据质量改进、模型架构微调、多源特征融合和推理策略[18]来减少低估现象。

表7中的统计分析展示了葡萄学特征对测试YOLO模型中可见浆果计数平均误差的影响。研究结果表明，模型之间的误差率存在统计学上的显著主效应（p < 0.001），YOLOv10n和YOLOv9t的平均误差最低（分别为4.764和4.785），从而证实了它们的优越性能。

空单元 YOLOv8n YOLOv9t YOLOv10n YOLOv11n
H （p值） 模型（n=306） 6.069 A 4.785 B 4.764 B
模型 x 品种 （n=218） 6.292 5.106 a 4.752 5.766 A
H 品种 （p值） 0.358 H 0.025 0.730 0.680 B
BBCH等级 BBCH 79（n=197） 5.892 a 4.749 4.778 5.506 B
H BBCH 83（n=46） 5.270 ab 4.275 4.590 5.770 H
模型 x BBCH=0.896 BBCH89（n=63） 7.208 ac 5.271 4.848 5.656 H
BBCH（p值） 0.038 0.248 0.848 0.748

表7. （a）不同葡萄串长度对可见浆果计数预测的影晌；（b）不同葡萄品种对可见浆果计数的影晌
空单元 YOLOv8n YOLOv9t YOLOv10n YOLOv11n
H 串长度 （p值） 0.004 0.039 0.007 0.000
Bunch Length 短（n=104） 7.300 a 5.552 a 5.122 6.68 a
中等（n=104） 5.905 b 4.700 ab 4.890 5.428 b
长（n=98） 4.938 b 4.061 b 4.250 4.583 b

表7中的统计分析还表明，葡萄品种对模型之间可见浆果计数估计的平均误差有影响（p < 0.001）。YOLOv10n和YOLOv9t的平均误差最低（分别为4.764和4.785），从而证实了它们的优越性能。这表明数据集的组成和图像采集的时间对模型准确性起着至关重要的作用。3.2.2. BBCH生长阶段分析不同BBCH阶段的错误进一步证实了之前的论点。尽管BBCH生长阶段与模型性能之间的交互作用在统计上并不显著（p = 0.896），但结果表明，模型在检测完全成熟的浆果（BBCH 89）时遇到更多困难。YOLOv8n受到生长阶段变化的影响比其他模型更大，展现出在各个BBCH生长阶段之间存在统计学上的显著差异（p = 0.038）。YOLOv10n和YOLOv9t在所有BBCH阶段都表现出较低的错误率，这加强了它们在可见浆果计数方面的优越性能。3.2.3. 果穗长度另一个导致小物体检测不良的原因是图像分辨率[24]，因为图像中果穗的明显大小显著影响了某些YOLO模型的预测误差。浆果的分辨率较低，像素比例较小，限制了足够特征信息的提取。Kruskal-Wallis测试显示YOLOv8n（p = 0.004）、YOLOv9t（p = 0.039）和YOLOv11n（p = 0.007）在不同果穗大小之间的错误率存在统计学上的显著差异。当果穗在图像中显得较小时，这些模型会遇到更多困难，从而导致更高的错误率。相比之下，YOLOv10n在不同果穗大小下的性能保持稳定。果穗长度与模型性能之间的交互作用在统计上并不显著（p = 0.816），然而，这些结果突显了考虑尺度训练策略的重要性。通过从更近的距离捕捉图像来最大化帧中的果穗长度可以是一种有效且直接的方法，结合多尺度训练和优化的锚框[18]，可以带来更一致和可靠的检测结果。3.2.4. 果穗密度在分析果穗密度对模型错误的影响时也观察到了类似的模式。尽管这一特征与模型之间的交互作用在统计上没有显著差异（p = 0.166），但果穗密度显著影响了YOLOv8n（p = 0.008）、YOLOv9t（p = 0.002）和YOLOv11n（p < 0.001）的性能，松散的果穗会导致更高的错误率。在松散的果穗中，浆果的总数通常比中等或密集的果穗要少。即使绝对误差（预测计数与真实计数之间的差异）在不同密度下保持相似，但由于它是相对于较小的总数计算的，因此松散果穗的百分比误差会更高。此外，松散的果穗在大多数情况下与较早的生长阶段相关（与背景的颜色相关性更大），或者浆果较小，这使得它们更容易受到环境噪声的影响，从而产生更多假阴性，导致更高的错误率。3.2.5. 果穗形状果穗形状显著影响了YOLOv8n（p = 0.008）、YOLOv9t（p = 0.002）和YOLOv11n（p = 0.025）的错误率，圆锥形果穗导致的错误率最高。葡萄藤果穗中的高度形状变异性影响了浆果的空间分布，并可能引入不同的遮盖比率。尽管观察到了差异，但与图像中的果穗长度或果穗密度等客观测量不同，果穗形状的分类依赖于人类感知，而这在不同观察者之间以及随时间可能会变化。这意味着一些果穗可能并不严格符合这些类别，尤其是在果穗仍在形成的早期生长阶段。此外，漏斗形的果穗同时具有圆锥形和圆柱形的特征，使其分类更加模糊。由于果穗形状是一个三维特征，图像视角也会影响果穗形状的分类，为分析增加了另一层变异性[42]。这可能意味着果穗形状对错误率的实际影响比报告的要小，因为部分变异性可能来自于错误分类而不是模型的实际检测错误。尽管如此，YOLOv10n模型在不同果穗形状下保持了稳定的错误率，并且在这一特征与模型之间的交互作用中没有发现统计学上的显著差异（p = 0.832）。更客观的形状分类方法（例如，宽高比、凸包分析）以及考虑形状的不确定性，重新考虑形状类别的定义可能有助于改进未来的分析。总体而言，结果表明YOLO模型在分析的各种葡萄特征上表现良好，错误率根据葡萄品种、生长阶段、果穗长度、密度和形状有所不同。尽管存在这些差异，模型在可见浆果计数方面表现出鲁棒性，尤其是YOLOv10n，它没有受到任何评估类别的显著影响。在评估的模型中，百分比误差记录不超过5%。虽然植物表型识别任务没有普遍的误差阈值，但5-10%的误差范围通常被认为是与传统手动方法相比在葡萄园产量估计中的理想目标[45]。尽管某些模型在类别之间显示出统计学上的显著变化，但这并没有影响整体性能。改善数据集平衡将主要有助于减少这些模型内的差异，并确保未来工作的评估更加公平和有代表性。与现有文献的比较分析显示，这些模型在浆果计数准确性方面表现出色，甚至超过了更复杂和计算要求更高的实例和语义分割模型。这些模型包括在完全人工[42]、[52]或混合自然-人工背景[9]、[14]上训练的模型，以及专门为单一品种[14]、[50]、[51]或物候阶段[9]、[14]、[35]、[36]、[42]训练的模型。Zabawa等人[53]提出的基于FCNN的方法取得了类似的结果，R2为0.977。尽管该模型是在距离葡萄藤较远的图像上测试的，并且使用了两种不同的训练系统，这增加了每张图像中的果穗数量和遮盖程度，但图像是在使用Phenoliner平台的照明系统下获取的。尽管该模型是在三种葡萄品种的图像上训练的，但它在60张单个品种的图像上进行了测试，VSP（垂直枝条定位）和SMPH（半最小修剪篱笆）训练系统的平均浆果数量分别为329个和556个。本研究中评估的基于YOLO的模型仅次于Nellithimaru和Kantor[31]提出的基于相机的SLAM解决方案Mask R-CNN，以及Li等人[23]提出的半监督DL模型CDMenet。Mask R-CNN模型在连续20张图像上的测试中取得了0.998的R2。数据是从超过20行（每行70-80株葡萄藤）收集的，使用安装在田间车辆上的相机和空气扇来移动叶子并提高果实可见性。CDMenet模型在使用50%标记数据时获得了0.984的R2。研究中使用的数据集来自Embrapa WGISD数据集[40]，涵盖五种葡萄品种，其中60张图像用于测试模型。这些发现突显了所评估的基于YOLO的模型的鲁棒性和效率，它们在包含多种葡萄品种和物候阶段的多样化数据集中一致地展示了高浆果计数准确性——这是以前研究中经常被忽视的方面。虽然文献中表现最好的模型利用了专用硬件设置、受控照明或半监督学习技术，但我们的结果强调了轻量级、实时模型的潜力，强调了它们在大规模部署中的适应性和可扩展性。3.3. 可见浆果计数与总浆果计数在2024生长季节采样的110个果穗上进行了补充分析，以研究2D图像中的可见浆果计数与每个果穗中的总浆果数量之间的关系。对于这项分析，使用了YOLOv10n模型，因为它在之前的可见浆果计数任务中获得了最低的MAPE，并且在葡萄特征上没有显示出统计学上的显著差异。由于每个果穗只选择了一张图像，因此每个果穗的一部分自然被遮挡，因此单张图像检测到的浆果数量始终低于真实总数。尽管如此，线性回归（图13）显示了可见计数和总计数之间的强关联（R2 = 0.860）。回归斜率2.350表明，平均而言，可见浆果约占总浆果数量的50%，反映了依赖单一直观视角时由于遮挡导致的系统性低估。定量误差指标进一步说明了这一关系在分析数据集中的强度，MAPE为20.807，RMSE为每个果穗21.246个浆果。这些值应被解释为样本内的一致性指标，而不是对未见数据的预测性能。总的来说，这些结果证实，虽然单张图像检测本质上低估了总浆果数量，但这种低估遵循一个可预测的线性模式，可以通过简单的统计建模进行校正。下载：下载高分辨率图像（93KB）下载：下载全尺寸图像图13. 真实总浆果计数与YOLOv10n单张图像预测的每个果穗可见浆果计数之间的关系。这些结果与文献中的先前发现一致。Torres-Lomas等人[42]使用在人工环境中从四个不同角度拍摄的 detached果穗研究了葡萄藤果穗结构和浆果特性。作者观察到浆果数量的系统性低估，这种低估随着成像角度的变化而变化，其平均值约为50%。重要的是，他们还表明，一个简单的线性回归模型足以纠正这种低估，使用显示最大可见浆果的簇图像（从四个视角）时，调整后的R2为0.872，斜率为2.250。除了与先前研究中报告的低估模式一致外，这些结果还将分析扩展到了真实的葡萄园条件中，在那里图像采集更具挑战性。现场获取的图像受到遮挡、非均匀照明的影响，并且由于棚架和植物冠层结构的原因，多个观察角度的访问受到限制。尽管有这些限制，可见计数与总浆果计数之间的回归仍然很强，并且重要的是，它是基于YOLOv10模型的检测结果，该模型在可见浆果计数中之前获得了最低的MAPE，并且对葡萄特征没有显示出统计学上的显著敏感性。此外，虽然该模型是在九种葡萄品种上训练和验证的，但相关性分析是在未包括在训练中的另外17种品种上进行的。这种跨品种的鲁棒性大大增强了所提出的框架的实际实用性，因为葡萄栽培应用通常需要在具有不同品种组成的葡萄园中部署，而没有可能针对每种情况重新训练。这些发现的实际意义不容忽视。尽管单张图像检测低估了总浆果数量，但一致的线性关系表明，一个简单的校正框架可以有效地将可见检测转换为总浆果数量的准确估计。这将显著提高可见浆果检测方法在葡萄栽培产量估计中的实用性，因为每个果穗中的总浆果数量是一个关键参数。此外，依赖单张2D图像在数据收集效率方面具有优势，相比多视图或3D重建方法（依赖于立体视觉、结构从运动或点云学习[39]、[49]、[23]、[54]）需要更少的设备和处理。然而，也必须承认某些限制。相关性的强度可能会根据果穗紧凑度和物候阶段而变化，因此未来的工作应侧重于改进校正模型——例如，将物候阶段或果穗密度作为协变量——以及探索补充策略，如多视图成像或深度感知技术，以进一步减轻遮挡效应。4. 结论本研究提出了一种基于YOLO的深度学习方法，用于自动检测和计数可见的葡萄浆果，全面分析了葡萄特征对模型性能的影响。利用来自葡萄牙不同葡萄酒区域的多种葡萄果穗图像的数据集，进行了系统评估，以确定葡萄品种、物候阶段、果穗形态（长度和形状）和密度对检测和计数准确性的影响。结果表明，选定的YOLO模型在检测和计数任务中表现良好，所有模型都实现了高的检测准确性（mAP50 > 0.95）和可见浆果的估计（R2 > 0.97）。在评估的模型中，YOLOv11n表现出最高的检测性能（F1分数 = 0.954，mAP50 = 0.960），而YOLOv10n显示出最一致和可靠的计数准确性（MAPE = 4.764，MSE = 12.203，RMSE = 3.493）。这项工作的一个关键优势是对葡萄特征如何影响DL模型性能的深入分析。虽然某些因素，如松散或圆锥形果穗，略微增加了错误率，但模型在多样化的葡萄栽培条件下表现出鲁棒性（MAPE < 7%）。YOLOv10n模型表现稳定，在不同葡萄特征下的计数误差没有统计学上的显著差异，这证实了基于YOLO的对象检测模型适用于实际葡萄园产量估计应用，在这些应用中，不同的葡萄生长条件会给自动化检测带来挑战。除了可见果粒的检测外，还进行了补充分析，以探讨单张图片中可见果粒数量与每串果实总数之间的关系。使用YOLOv10n的检测结果，观察到两者之间存在较强的线性关联（R2 = 0.860），可见果粒数量大约占总果粒数量的50%。重要的是，这一关联是在田间条件下获得的，并且适用于模型训练中未包含的葡萄品种，这突显了模型的稳健性及其超越训练集进行泛化的能力。这些发现表明，尽管单张图片的检测结果可能因遮挡而存在低估，但结合简单的校正框架后，它们可以作为估计总果粒数量的可靠依据。

总体而言，这项研究展示了基于YOLO的深度学习模型在葡萄园产量估计方面的有效性，为人工智能驱动的精确葡萄栽培提供了坚实的基础。通过将葡萄特征分析纳入模型评估，这项工作为精准农业中更具可扩展性和适应性的解决方案铺平了道路，最终支持更高效的葡萄园管理和决策制定。未来的研究应关注改善不同葡萄品种、果串形态和物候阶段的数据库平衡，以进一步提高模型的泛化能力。对与植物或果实特性无关的环境因素（例如，光照强度的变化、方向和阴影条件）进行更详细的分析，也有助于更好地理解它们对检测和计数性能的影响。此外，将检测范围扩展到估计每串果实的总数，并通过多类别标注或后处理步骤纳入果实质量评估，将进一步增加模型在实际产量估计中的适用性。这需要扩展当前的标注协议，以包括更多的果实状态类别（例如，受损、脱水或患病的果粒）。类似的基于图像的植物表型分析扩展到特征级分析已有所探索，表明所提出的检测框架可以与这些发展兼容[37]。另一个重要步骤是在实际条件下部署和评估这些模型，特别是在智能手机和机器人平台等终端设备上，以实现实时推理。

**伦理声明**：不适用：本手稿不涉及人类或动物研究。

**数据可用性声明**：支持本研究结果的数据可在Zenodo平台上获取：https://doi.org/10.5281/zenodo.15019487。

**作者贡献声明**：
Germano Moreira：撰写-原始草稿、可视化、软件开发、方法论设计、数据管理、概念构建。
Filipe Neves dos Santos：撰写-审稿与编辑、验证、监督、研究指导、资金筹集。
Mário Cunha：撰写-审稿与编辑、验证、监督、项目管理、研究指导、资金筹集、概念构建。

**资金支持**：本工作得到了欧盟（EU）“NextGenerationEU”框架下“恢复与韧性机制”（MRR）的一部分——“恢复与韧性计划”的“资本化和商业创新”（Component 5）的共同资助，该计划针对2021-2026年期间，项目名称为“Wine4cast——多方参与者可用的葡萄酒生产力时空预测：整合远程光学-光子传感器、人工智能和气候情景”[资助编号PRR-C05-i03-I-000071]：https://www.fc.up.pt/Wine4Cast/Home.html。

**关于生成式AI和AI辅助技术使用情况的声明**：在准备本工作中，没有使用任何生成式AI或AI辅助技术。