荔枝实例分割：基于果实-枝条关联对主要结果枝进行实例分割，用于机器人荔枝采摘

《Biosystems Engineering》：LitchiInst: Instance segmentation of the main fruit-bearing branch via fruit-branch association for robotic litchi harvesting

　　

摘要

准确的采摘点定位是机器人采摘中的一个基本挑战。对于荔枝而言，这需要精确识别主结果枝（MFBB）。然而，现有方法依赖于隐式的结构关联，无法学习果实与枝条之间的显式空间相关性，从而导致了频繁的误识别。为解决这一问题，本文提出了LitchiInst，一个实时实例分割框架，它显式地建模了这种果实-枝条依赖性。LitchiInst的核心是结构关联引导（SAG）机制，该机制采用SAG查询和专用的SAG损失来强制空间相关性并实现结构感知判别。该框架还通过增强的特征金字塔网络（EFPN）来捕获精细的MFBB特征，以及通过Mask-to-3D头将分割掩膜转换为稳定的3D采摘点以供机器人执行。LitchiInst将MFBB平均精度相对于基线提高了31.06%，同时保持实时处理。在三种测试设置下的真实机器人实验中，LitchiInst实现了92.0%的MFBB检测成功率。这些结果进一步证明了其作为自动荔枝采摘视觉引导模块的实际潜力。

引言

随着农业自动化的进步，机器人采摘已成为解决水果生产中劳动力短缺和效率挑战的一个有前景的解决方案。成功采摘的一个关键前提条件是准确定位果实采摘点，这直接影响操作效率和果实完整性。在荔枝采摘中，果实以密集簇状生长，支撑这些簇的主结果枝（MFBB）是最佳采摘目标。因此，准确的MFBB识别已成为实现自然果园环境中自动化簇级采摘的关键要求。

现有的荔枝采摘视觉感知研究主要关注两个方面：果实检测和MFBB检测。果实检测研究已采用基于YOLO的检测器进行荔枝识别、产量估计和列式收获，并进一步探索了在环境扰动下的轻量级检测、簇级聚类、成熟度估计和动态果实轨迹预测。这些研究改进了果实定位和采摘目标感知。由于果实级检测主要提供单个果实或果实簇的位置，它不足以直接确定机器人执行时应切割的结果枝。对于像荔枝这样的簇生作物，将果实视为独立的采摘目标也可能导致低效的顺序采摘，从而推动了面向簇级采摘的MFBB感知。

对于MFBB检测，现有研究主要使用基于分割或基于几何的策略。早期基于图像的方法使用模糊聚类或基于阈值的分割来提取候选枝条区域。后续研究引入了语义分割模型来分类背景、果实和枝条像素，并进一步将分割输出与后处理流水线结合以定位结果枝或采摘点。除了基于RGB图像的方法外，基于几何的3D点云学习也被用于非结构化田间环境中的精确荔枝切割点检测。此外，Zhong等人将荔枝果实与MFBB之间的连接视为标注线索，使模型能够直接学习它们的相关性。尽管有这些进展，在自然果园条件下MFBB与普通枝条的相似性仍然使可靠的MFBB识别极具挑战性。

这一挑战主要源于现有研究对隐式结构关联的依赖。在这种设置中，果实与枝条之间的关系仅从标注中间接学习。虽然这种策略使模型能够大致将果实与其支撑茎连接起来，但它将两者视为独立目标而非统一结构。因此，这样的模型可能捕获表面的共现线索而非潜在物理依赖性，经常产生将普通枝条误识别为MFBB的错误检测。

为了解决这一核心限制，本研究提出了一种显式结构关联范式，主动推理果实与其支撑枝条之间的几何和语义依赖性。而非被动地从数据推断相关性，显式关联实现了相互推理：果实的存在限制了MFBB的潜在位置，而MFBB线索精化了果实簇的边界。这种显式推理产生了连贯且结构一致的注意力分布，使模型即使在复杂的果园环境中也能准确定位MFBB。

为了显式建模果实与MFBB之间的结构关联，本研究提出了LitchiInst，一个基于查询的实例分割框架。在相同的簇级标注设置下，该框架通过引入三个模块来共同增强显式果实-枝条建模，解决了隐式结构学习的限制。本研究的主要贡献如下：

• •
  LitchiInst是一个专为荔枝采摘中主结果枝（MFBB）准确检测而设计的基于查询的实例分割框架。该框架为机器人采摘提供了稳健的感知基础，并且相应的荔枝数据集已公开发布以支持未来研究。
• •
  引入了结构关联引导（SAG）机制，通过SAG查询和SAG损失显式建模果实-枝条结构相关性，实现了结构感知实例分割并减少了由视觉相似性引起的错误检测。
• •
  设计了增强的特征金字塔网络（EFPN）进行细粒度多尺度特征融合，以及与Mask-to-3D头将分割掩膜转换为3D采摘点。大量基准和真实机器人实验证明了LitchiInst的检测性能、实时效率和实际潜力。

章节片段

数据集与标注

图像采集。田间数据是在荔枝生产季从位于广州从化（北纬23°，东经113°）和惠州惠东（北纬23°，东经114°）的果园收集的，两地均位于广东省。图像是使用手持RGB相机在距荔枝果实簇0.2至1.2米的范围内拍摄的。收集的数据涵盖了典型的田间变化，包括光照变化、背景杂乱、部分遮挡以及单果和...

与代表性方法的基准比较

表2将LitchiInst与代表性实例分割方法在MFBB分割任务上进行比较。LitchiInst在MFBB分割精度和推理速度之间取得了最佳的整体平衡，表明其适用于实时机器人采摘。Mask2Former、SparseInst和FastInst等基于查询的方法分别获得了9.629%、8.136%和8.814%的较高MFBB AP，而LitchiInst进一步将MFBB AP提高到了11.552%。

这一改进可以...

机器人采摘的MFBB目标识别

在实际荔枝生产中，由于收获期短且采摘过程劳动密集型，高效采摘非常重要。对于像荔枝这样的簇生果实，通过其支撑枝条收获果实簇比将每个果实视为独立采摘目标更有效地实现高效收获。因此，机器人荔枝采摘不仅需要检测果实簇，还需要可靠地识别和...

结论

本研究提出了LitchiInst，一个面向机器人荔枝采摘的MFBB导向实例分割框架。通过显式建模荔枝簇与其主结果枝之间的结构关联，所提方法改进了复杂果园场景中可执行采摘目标的识别。此外，Mask-to-3D头将预测的MFBB掩膜转换为机器人坐标系的采摘点，从而将图像级感知与机器人采摘联系起来...

CRediT作者贡献声明

谯宇坤：写作 - 原稿，可视化，验证，软件，方法论，数据整理，概念构思。柴文昌：验证，调查，数据整理，概念构思。王海滔：写作 - 审阅与编辑，监督，资金获取。麦智阳：可视化，验证，数据整理。周良良：验证，资源。吴和君：监督，项目管理，资金获取。

AI在科学写作中的使用披露

在准备本工作期间，作者使用了ChatGPT来提高可读性和语言。在使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容承担全部责任。

利益冲突声明

作者声明他们没有已知的可能影响本文报告工作的竞争性经济利益或个人关系。

致谢

本工作得到了国家自然科学基金委员会（NSFC）（项目编号62272497，资助给吴和君）和中国博士后科学基金（项目编号2025M783535，资助给王海滔）的支持。

谯宇坤|柴文昌|王海滔|麦智阳|周良良|吴和君

中山大学计算机科学与工程学院，中国广州