YOLOv9s-multi：基于方向的水果识别技术，用于机器人辅助的苹果疏果作业

《Computers and Electronics in Agriculture》：YOLOv9s-multi: orientation-based fruit selection for robotic apple thinning

精准检测与朝向估计对机器人苹果疏花疏果至关重要。本文提出YOLOv9s-Multi多任务模型，通过DW卷积模块减少11.4%参数量，实现实例分割与关键点检测，结合像素基选果方法，在FR和FV阶段分别获得71.6%和89.3%分割精度，72.59%和92.80%预测精度，较RGB-D方法提升计算效率。

　　

李梅薇|穆罕默德·希拉尔·卡比尔|赵张

中国农业大学信息与电气工程学院，北京100083，中国

摘要

准确检测和估计未成熟苹果的方向对于机器人苹果疏果过程中的有效决策至关重要。现有的研究要么依赖于计算成本高昂的RGB-D方法和3D几何拟合来估计方向和大小，要么需要多个独立的模型来进行疏果决策，这限制了它们在机器人平台上的实时性能。为了解决这些问题，提出了一种多任务模型YOLOv9s-Multi。首先，该模型整合了分割和关键点头，以执行未成熟苹果的实例分割并检测其萼片关键点的位置。其次，检测头采用了高效且轻量级的深度卷积模块（DWConv），在准确捕捉通道间空间特征的同时减少了模型参数。最后，方向是从分割中心和萼片关键点得出的，从而实现了基于像素的果实选择以进行疏果决策。该模型在一个自开发的数据集上进行了评估，该数据集根据发育阶段将未成熟苹果分为：花保留阶段（FR-Stage）和果实可见阶段（FV-Stage）。结果显示，FV-Stage的实例分割和关键点AP@0.5分别为89.3%和86.4%，而FR-Stage分别为71.6%和79.8%。该模型在可接受的30°误差范围内，进一步实现了92.80%（FV-Stage）和72.59%（FR-Stage）的预测准确率。基于像素的果实选择方法在测试数据集和另一个测量数据集上的选择准确率分别为74.00%和70.31%。与基线YOLOv9s-seg相比，参数数量减少了11.4%。与3D拟合方法相比，我们的方法提供了更低的计算复杂性、更快的推理速度和更高的准确率。这些结果表明，所提出的模型可以有效地估计未成熟苹果的方向，并在近距离场景和复杂光照环境中进行果实选择，而这些场景对深度相机来说具有挑战性。代码和数据集在GitHub上公开可用：https://github.com/DIANSLEE/YOLOv9s-Multi。

引言

苹果是全球最重要的经济作物之一，2024年的全球产量约为8398万吨（美国农业部外国农业服务局2024年数据）。苹果疏果作为果树管理的关键过程，直接影响果实质量、产量、果园的长期可持续性以及防止隔年结果。研究表明，仅保留大约7-8%的花朵就足以实现最佳产量（宾夕法尼亚州立大学扩展服务，2024年），这要求果农在开花后1-4周的短时间内去除超过90%的未成熟苹果（Jakopic等人，2015年）。由于在果实形成之前进行疏果，因此被认为是高效且节约资源的疏果方法（Racskó，2006年）。然而，疏果是在果实形成完全评估之前进行的，不可预测的因素如春季霜冻和授粉不良可能导致过度疏果和产量损失（Ru等人，2023年）。相比之下，果实疏果是在果实形成稳定且自然掉落大部分发生后进行的。通过基于观察到的果实数量而不是开花阶段的预测来做出疏果决策，可以避免过度疏果的风险——即有意去除和不可预见的自然损失的综合效应可能导致果实保留不足（Greene & Moran，2020年）。果实疏果确保了适当的果实负载，决定了果实的最终数量和空间分布，并允许选择性地去除在开花阶段无法识别的劣质、患病或受损的果实（Manfrini等人，2009年）。因此，果实疏果在商业苹果生产中仍然是不可或缺的管理实践。

手动疏果是目前果园管理中主要的疏果方法，具有高精度和更好的果实质量结果（Mhamed等人，2024年）。然而，它需要每公顷约82.5名工人（Feng等人，2023年），由于劳动力成本上升和劳动力短缺，在许多地区已经变得经济上不可持续。化学和机械疏果是非选择性的方法，最初在欧洲和美国的大规模农场得到广泛应用（Dorigoni和Lezzer，2007年；Wertheim，2000年；Schupp等人，2008年；Rosa等人，2008年；Wang等人，2024a年）。然而，化学药剂的效果因品种、果实大小和环境条件而异，其使用可能会导致土壤污染。传统的机械疏果设备缺乏精度，经常损坏剩余的果实和树枝，影响树木的寿命和苹果产量的可持续性。这些限制推动了集成RGB-D感知（Sapkota & Karkee，2024年）和配备灵活末端执行器的多自由度操纵器的机器人疏果系统的发展（Pawikhum等人，2023年；William等人，2024年；Jangali等人，2024年），从而能够选择性地去除目标果实，同时对相邻果实和树枝的损害最小。

准确检测未成熟苹果的方向和估计是有效机器人疏果操作的基础。检测定位目标果实，而方向估计则可以用于比较果实大小以进行疏果决策，并指导机器人末端执行器的移动方向。由于未成熟苹果呈现椭圆形几何形状，其估计的方向与主轴对齐，因此疏果决策可以直接简化为通过评估垂直于次轴方向的最大直径来比较果实大小。近年来，深度学习在复杂果园环境中显著提升了未成熟苹果的检测能力。Li等人（2021年）使用改进的U-Net显著提高了绿色果实边界分割的准确性。Sun等人（2022年）提出了一个专门用于夜间环境中未成熟苹果检测的GHFormer-Net模型，在NightFruit和Gala数据集上的AP得分分别为85.2%和61.0%。Wang等人（2025年）开发了NLDETR-YOLO，结合了高效混合编码器、NLBlock注意力机制和改进的损失函数，有效提高了遮挡环境下的实时检测能力。然而，缺乏果柄检测限制了它们在后续疏果决策中的适用性，因为有效的疏果需要准确识别果柄并在基部附近切割以防止木质化和生长空间的竞争。

为了估计机器人疏果操作的方向，Hussain等人（2023年）使用Mask R-CNN（He等人，2017年）对未成熟苹果和果柄进行实例分割。他们通过对未成熟苹果的分割果实掩模应用主成分分析（PCA）来估计2D方向，并结合萼片的锯齿边缘和Harris角检测来校正方向。他们进一步开发了一种果实-果柄配对算法和基于LSTM的聚类方法，将苹果分组到簇中，聚类成功率为68.4%（Hussain等人，2025年）。将未成熟苹果划分为单独的果实区域和果柄区域使得它们之间的关联变得复杂，导致处理时间延长。

最近的方法转向基于深度的方向估计方法来进行疏果决策中的大小估计。Qureshi等人（2023年）使用点云信息对Mask R-CNN分割的未成熟苹果进行球体拟合，以测量果树的实际作物负载。Sapkota等人（2024年）采用YOLOv8-seg对未成熟苹果进行分割，将椭球体拟合到相应的点云数据上，从而基于椭圆的主轴和次轴更准确地估计果实大小。Williams等人（2024年）开发了一种跨式自动化疏果机器人，扫描苹果树枝的两侧以获得45对3D点云和RGB数据。使用单独训练的Detectron2模型分割果实和萼片后，他们结合3D点云数据进行RANSAC拟合，将方向定义为从果实中心到萼片中心的向量。然而，现有方法面临三个关键限制：（1）大多数现有工作关注的是果实已经发育良好的后期阶段（直径>18毫米），而不是最佳的早期疏果窗口（直径7-12毫米）；（2）它们需要多个独立的模型来完成不同的任务（例如，单独的网络用于果实检测、果柄分割和果实-果柄配对），导致级联错误和计算开销增加；（3）RGB-D方法通常依赖于复杂的3D拟合或基于深度的方法，这些方法需要大量的计算，并且容易受到明亮阳光和风干扰等现场条件的影响。仍然迫切需要一个统一的、轻量级的模型，能够在单次前向传递中同时执行检测、方向估计和果实选择，从而实现实时机器人疏果。

为此，本文提出了一种仅使用RGB的轻量级方法来估计未成熟苹果的方向，以支持基于像素的果实选择进行疏果决策。主要贡献如下：

1)

构建了一个包含“富士”未成熟苹果的数据集，这些苹果位于疏果期的第一周，其中果实被分为两类：已经形成清晰果实形状的果实（FV-Stage）和保留花结构的果实（FR-Stage）。

2)

提出了一种多任务模型YOLOv9s-Multi，它结合了实例分割和关键点检测来估计未成熟苹果的2D方向。MultiHead结构结合了DWConv模块，以减少模型参数和大小，从而提高计算效率。

3)

提出了一种基于像素的果实选择方法，通过计算沿估计方向的垂直方向的相对果实直径来进行疏果决策，并在测量集上进行了验证。

部分摘录

数据集获取

本研究使用的数据集于2023年5月7日在北京市怀柔区的盛世国旺果园收集（116.71°E，40.35°N）。这个果园是一个传统种植的结构化果园，主要种植红富士苹果，行间距约为3米，树间距为1米，平均树高为3米，如图1所示。图像数据是在自然光照条件下使用Honor 70和华为Mate 50智能手机拍摄的。总共收集了1,060张未成熟苹果的RGB图像

消融实验

为了直观展示所提出改进方法的性能，使用YOLOv9s-seg模型作为基准设计了一系列消融实验。表3显示了在不同改进模块组合下YOLOv9s-seg的性能变化。引入DWConv模块将计算开销减少了4.7 GFLOPs，参数数量减少了100万，模型大小减少了2.0 MB，有效减轻了模型负担。关键点头仅

结论

本研究提出了YOLOv9s-Multi模型，用于未成熟苹果的方向估计和机器人疏果系统中的基于像素的果实选择。通过将MultiHead结构引入YOLOv9s-seg，该模型实现了未成熟苹果的联合实例分割和萼片关键点检测。DWConv模块的加入减少了11.4%的模型参数，同时保持了强大的空间特征表示。基于MultiHead生成的预测，2D方向和

CRediT作者贡献声明

李梅薇：撰写——原始草稿，可视化，验证，软件，方法论，调查，形式分析，数据管理，概念化。穆罕默德·希拉尔·卡比尔：撰写——审阅与编辑，可视化，验证。赵张：可视化，验证，项目管理，资金获取。

资助

本研究由中国农业大学的2115人才发展计划资助。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究由阿拉市第一分部科学技术计划资助，资助项目名称为“基于人工智能的苹果采摘机器人的开发与应用研究”（资助编号：2024ZB02）。本研究得到了中国农业大学2115人才发展计划和广西现代农业产业技术系统绿色循环发展创新团队项目的支持：nycytxgxcxtd-20-02。