《Computers and Electronics in Agriculture》：Selective harvesting apple quality assessment in modern orchards: Fruit surface defect detection and severity analysis
编辑推荐：
•开发了一套果园内苹果表面质量评估流水线。•建立了一个包含十类缺陷类别的苹果表面缺陷数据集。•应用YOLOv9模型在复杂果园场景中检测缺陷。•为收获阶段的预分拣决策提供了果实级缺陷严重度评估。引言苹果表面缺陷直接影响市场等级、包装出货率和分拣所需劳动力，因此仍然是果园和包装车
- •
开发了一套果园内苹果表面质量评估流水线。
- •
建立了一个包含十类缺陷类别的苹果表面缺陷数据集。
- •
应用YOLOv9模型在复杂果园场景中检测缺陷。
- •
为收获阶段的预分拣决策提供了果实级缺陷严重度评估。
引言
苹果表面缺陷直接影响市场等级、包装出货率和分拣所需劳动力，因此仍然是果园和包装车间高效管理的关键瓶颈。苹果缺陷检测已经研究超过30年（Rehkugler和Throopmann, 1989）。随着传感和计算技术的进步，该领域的研究总体沿两个方向发展：一是利用电磁波谱中非可见光部分的方法，包括X射线成像（Schatzki等, 1997）、用于内部缺陷评估的计算机断层扫描成像（Si和Sankaran, 2016）、近红外光谱（Nicola?等, 2006, Jarolmasjed等, 2017）；二是利用彩色相机进行表面检查的可见光机器视觉系统（Siddiqi, 2019）。近年来，卷积神经网络（CNN）和深度学习模型显著提升了机器视觉技术，使其成为一种实用、准确且一致的苹果缺陷检测工具（Schmidhuber, 2014, O'Shea和Nash, 2015, Lu和Lu, 2017）。Fan等（2022）采用基于剪枝的YOLOv4模型结合近红外相机，开发了一套实时苹果缺陷检测和分拣系统，将平均精度均值（mAP）从91.82%提升至93.74%，在富士、金冠和红星品种中的平均检测准确率达到93.9%。Si等（2023）提出了一种名为Weight Compare-MobileNetV3的苹果表面缺陷检测方法，与其他迁移学习方法相比，在准确率、精确率、召回率和F1分数上分别提升了16%、14.68%、14.4%和15.39%。Zhou等（2025）设计了一个机器人收获原型，在四指形状夹持器中嵌入了四个成品相机，用于围绕苹果进行旋转检查。部署了YOLOv8变体来识别缺陷特征，计算开销较低。Molina等（2026）在苹果缺陷实验中评估了九种不同的CNN架构，随后提出了一种优化的ResNet101架构，以支持包装设施中的高效自动化质量控制。这些研究强调了在收获时筛查和采后分拣工作流程中实现准确高效缺陷识别方面的进展。
然而，随着精准作物管理需求的增加，当前苹果缺陷检测技术仍存在若干差距。首先，大多数先前的研究针对的是受控包装车间环境下的采后检测。尽管现场图像预分拣在收获阶段的应用潜力巨大——可以通过更早筛除低质量果实来减少下游储存和包装成本（Pothula等, 2023）——但这一领域探索较少。其次，以前的工作侧重于检测表面缺陷的存在，而没有进行全面的缺陷分类，或者仅考虑了少量损伤类型。在真实果园条件下，果实可能表现出多种表面缺陷，包括真菌病害、虫害、生理障碍（如日灼和锈斑），并受不同光照、背景杂波和遮挡的影响（Lv等, 2025）。第三，许多研究报告了检测或分类结果，但未提供归一化到果实表面的严重度估计（Tian等, 2021, Aksoy等, 2025）。第四，即使预测准确，许多方法也止步于性能指标，未包含将缺陷证据转化为收获导向建议的决策层（如采摘/跳过列表或市场渠道路线），这限制了果园经理和机器人收获平台的实际操作价值（Liu等, 2025）。最后，果园部署需要跨品种的鲁棒性。果皮颜色差异（即双色、红色、黄色或绿色苹果）、表面纹理和典型图案的变化会改变缺陷外观，导致在狭窄数据集上训练的模型出现跨品种泛化差距（Lv等, 2025）。这些差距促使我们开发集成化流水线，将多类别缺陷识别、果实表面提取、严重度估计和可操作的决策支持相结合，以实现选择性收获。
本研究提出了一种基于图像的两阶段流水线，利用包含多颗苹果的单视野冠层级图像，进行树上苹果质量评估和选择性收获支持。该系统首先应用缺陷检测器在原图像上识别候选表面缺陷。然后使用果实实例分割获取每颗果实的可见表面，以便在果实区域内而非图像背景中计算缺陷严重度。通过将缺陷预测与果实掩码结合，系统使用按可见果实表面积归一化的掩码约束重叠比来估计果实级缺陷严重度。最终输出包括每颗果实的缺陷类别和严重度信息，以及支持果园经理和机器人收获平台进行选择性采摘决策的面向收获的可视化结果。本研究的主要贡献如下：
（1）使用果园和实验室条件下采集的图像，开发了一个十类苹果表面缺陷数据集。该数据集包括真菌病害、虫害、日灼和健康果实。（2）开发了一套针对果园图像中多果实、可变光照、遮挡和复杂背景条件的苹果质量评估工作流程。（3）开发了一种可见缺陷覆盖率计算方法，通过将检测到的缺陷区域与单个果实掩码结合，基于可见果实面积计算缺陷百分比。（4）开发了一个基于专家经验和美国农业部（USDA）标准的规则决策层，将缺陷类别、估计可见覆盖率、果实可见度和关键缺陷信息转化为可解释的现场选择性收获建议。（5）实现了一个基于Web的界面，将图像输入、缺陷检测、果实分割、可见缺陷覆盖率估计和果实级选择输出整合为统一的原型工作流程。
各章节摘要
二维质量感知视觉系统概述
本研究设计了一种基于图像的两阶段流水线用于选择性苹果质量评估，如图1所示。RGB图像经过预训练的YOLOv9t检测器处理以检测可见表面缺陷。在第二阶段，利用检测-分割框架（YOLOv8用于果实定位，Segment Anything v2（SAM2）用于实例掩码）对果园内苹果果实图像进行分割，以生成果实掩码。然后将缺陷检测和果实分割结果
提示验证结果
视觉分割结果如图10所示。对于每张树上果实图像，经过训练的YOLOv8n检测器定位单个果实并生成边界框作为SAM2的提示。YOLOv8n检测器训练了100个epoch，批大小为8，输入图像尺寸为960×960像素。其余训练超参数沿用缺陷检测模型的设置。在推理过程中，置信度阈值为0.25，NMS IoU阈值为0.70，输入
讨论
本研究开发了一种视觉系统，用于选择性收获过程中的苹果质量评估，该方法结合了缺陷检测、果实分割、缺陷覆盖率估计和果实选择。与主要在实验室或包装车间条件下进行的以往苹果缺陷检测研究相比，本研究重点关注具有自然光照、遮挡和背景杂波的冠层级果园图像。这些条件更具挑战性，部分解释了为何
结论
本研究提出了一种基于图像的选择性苹果质量评估流水线，适用于树上果园图像，该流水线集成了缺陷检测、提示引导的果实分割和可见缺陷覆盖率估计，以支持选择性收获。使用YOLOv9t来定位和分类表面缺陷，同时将YOLOv8n边界框提示与轻量级SAM2模型结合以提取实例掩码并勾勒出可见果实表面。缺陷预测受到
CRediT作者贡献声明
Kangrui Han：撰写——初稿，方法论，形式化分析，数据管理，概念构思。Magni Hussain：方法论，撰写——审阅与编辑。Sara Serra：撰写——审阅与编辑，方法论。Long He：撰写——审阅与编辑，监督，资源，项目管理，方法论，概念构思。
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
致谢
本研究部分得到美国农业部（USDA）国家食品与农业研究所（NIFA）联邦拨款支持，项目编号PEN04822，拨款号7005925；以及项目编号PEN04973，拨款号7007530。此外，衷心感谢USDA NIFA特种作物研究计划（SCRI）项目资助，资助号2023-51181-41244，以及宾夕法尼亚州园艺协会（SHAP）的资助。
特别感谢
Kangrui Han|Kari Anne Peter|Magni Hussain|Sara Serra|Long He
