基于多任务学习的杨桃果实检测与果柄分割方法

《Computers and Electronics in Agriculture》：Multi-task learning based approach for carambola fruits detection and stems segmentation

　　

• YOLO-MCM 在一个网络中统一实现了杨桃成熟度检测与果柄分割。
• DC-ELAN、EMA、WIoUv3 和 DySample 提升了果实与果柄的特征提取能力。
• 不确定性加权与 PCGrad 解决了损失不平衡与梯度冲突问题。
• 果柄掩膜引导果实与果柄的匹配以及基于形态的采摘点识别。
• 模型达到 90.2% 的 mAP50、80.3% 的 mIoU 和 90.8% 的采摘点准确率。

引言
杨桃（阳桃）是一种具有独特五角形横截面和清爽口感的热带水果，因其高营养价值和经济效益而具有重要的农业价值（Tuo 等，2024）。然而，当前的采收过程严重依赖人工劳动，导致效率低下且人工成本高企（Ingrid A de Moraes 等，2022；Ingrid Alves de Moraes 等，2024）。此外，杨桃果皮薄、棱边脆弱，使其在人工采摘过程中容易出现瘀伤、撞击损伤和果肉损伤（Lakmal 等，2021）。在此背景下，实现机械化与自动化采收对于杨桃产业的高质量发展十分必要。随着人工智能的快速发展，其在农业领域的应用不断拓展。将传感技术、图像识别和智能控制算法与传统机械相结合，为实现精准、高效、无损采收提供了可行的途径（J.-L. Li 等，2025；Xiao 等，2023）。因此，开发适用于杨桃的智能采收机器人是实现杨桃产业升级与智能化发展的重要手段。

对于采收机器人，准确识别杨桃果实和采摘点是在以复杂和非结构化条件为特征的果园环境中实现自动化果实获取的关键。作为自动化采收的主要前提，准确的杨桃果实识别使机器人能够在复杂果园中快速定位目标，避免漏采或误采。为判断果实是否满足采收标准，杨桃果实识别还应包含成熟度评估。此外，果柄的精确识别和采摘点的准确识别尤为关键，因为它们能有效防止采收过程中对果实的机械损伤，是实现高效自动化采摘的核心技术保障。

在果实识别方法方面，大多数传统果实检测方法依赖于对颜色、形状和纹理等人工设计目标的图像处理（Meshram 等，2021）。例如，Lee（2011）提出了一种整合颜色特征、Gabor 纹理特征和"特征果实"方法的策略，用于检测并计数冠层环境中的未成熟绿色柑橘。类似地，Hayashi 等（2014）提出了一种基于颜色阈值分割的算法，用于分割单个草莓目标。Septiarini 等（2021）通过机器学习算法分析颜色和纹理特征实现了油棕果识别，但检测速度仍然有限。与这些传统技术相比，基于深度学习的方法在从图像数据中提取复杂和层次化特征信息方面表现出更强的能力，在具有挑战性的条件下实现了更优越的果实检测性能。例如，Yu 等（2020）提出了一种基于 YOLO 架构的 R-YOLO 模型，用于温室环境中的草莓果实识别，该模型采用 MobileNet-V1 作为主干网络以提升效率。Fu 等（2021）改进了用于猕猴桃检测的 YOLOv3-mini 模型：他们将 3×3 和 1×1 卷积核集成到卷积层中，并在中间阶段添加多个 1×1 卷积层以减少计算量。该模型实现了每张图像 34 毫秒的推理时间，模型大小为 27 MB。进一步创新包括 Wang 等（2022）提出的 DSE-YOLO 网络，该网络使用细节语义增强（DSE）模块通过逐点和展开卷积提取多方向特征，从而识别不同生长阶段的草莓。最近，Sun 等（2023）开发了一种用于苹果检测的轻量化 YOLOv5-CS 模型，将标准 C3 模块替换为 C3-light，并嵌入 SimAM 注意力机制，在保持效率的同时增强特征表示能力。尽管这些方法为杨桃果实检测提供了可行的解决方案，但杨桃果实独特的星形横截面和复杂的果园环境带来了特殊挑战。

对于采摘点识别问题，准确的识别和定位是确保机器人成功完成采摘操作的关键。Yu 等（2019）提出了一种改进的 Mask R-CNN，采用 ResNet50 主干网络和基于 FPN 的金字塔特征融合，以提取成熟草莓掩膜，实现高精度的萼片定位。随后，C. Liang 等（2020）开发了一种荔枝夜间检测方法：使用 YOLOv3 进行果实检测，随后使用 U-Net 进行像素级果柄分割。S. Tong 等（2023）使用 SOLOv2 实例分割算法结合 RGB-D 相机对苹果树的树干、枝条和支撑结构进行分割，实现了枝条长度、直径和间距的测量，同时精确定位修剪点。Zhong 等（2021）使用 YOLACT 模型提取荔枝主果柄的掩膜信息，并将这些掩膜的重心确定为采摘位置。D. Li 等（2022）将改进的 YOLOv5s 模型与 DeepLabv3+ 和深度图像数据相结合，提出了一种复杂自然环境下龙眼枝条采收点的三维定位方法。类似地，Zhang 等（2021）开发了一种基于 RGB-D 信息融合和目标检测的番茄簇采收点识别与定位技术。Qi 等（2022）采用 YOLOv5 目标检测模型和 PSPNet 对荔枝簇主果柄的感兴趣区域图像进行语义分割，实现了采收点的精确定位。Zheng 等（2021）引入了一种端到端的 RGB 视觉网络架构，联合优化芒果果实实例分割和果柄采收点定位这两个任务，以实现精确的空间确定。尽管上述方法在采摘点识别方面表现出良好的性能，但仍存在一些局限性。例如，大多数研究聚焦于单一场景或特定水果类型，对于具有特殊形态且易受遮挡的杨桃果实的适用性尚未得到充分验证。同时，复杂果园环境中的光照变化、密集生长和枝条交错对采摘点识别算法提出了更高的要求。

如上述文献所示，现有研究通常将果实识别和采摘点识别视为两个独立的子任务。这种任务分离的方法可能导致系统集成的挑战和实际自动化采收应用中整体效率的降低。具体而言，果实检测算法主要负责输出成熟度、完整性和病害状态等关键指标。此外，采摘点识别算法专注于为机器人末端执行器提供可操作且精确的坐标信息。显然，实际的自动化采收操作需要协调利用上述多维感知信息，这超出了单一任务算法在满足此类集成决策需求方面的功能范围。因此，多任务学习框架通过共享特征表示和联合优化为协同完成相关任务提供了一种有效的解决方案。

近年来，多任务学习技术已广泛应用于自动驾驶、医学图像分析和面部分析等领域，取得了显著成果（X. Lian 等，2022；Nazir 等，2022；Xu 等，2019；Zhao 等，2023）。受 YOLOP 和 YOLOPv2 模型的启发（Han 等，2022；Wu 等，2022），这些模型成功实现了包括交通目标检测、可行驶区域分割和车道检测在内的多任务协同，本工作创新性地引入多任务学习框架到杨桃智能采收中。针对杨桃采收的实际需求，我们提出了一种基于多任务学习的检测方法，同时完成杨桃果实检测和果柄分割。

本研究的主要贡献总结如下：
(1) 我们提出了 YOLO-MCM，一种基于 YOLOv7 的多任务网络，以实现杨桃果实检测与果柄分割的一体化。通过仅引入一个分割分支，我们的模型同时实现目标检测、成熟度分类和果柄分割，在最小计算开销下达到高精度。据我们所知，目前尚无现有研究在杨桃采收中将上述任务统一在一个模型中，我们的工作相较于分离模型显著减少了推理时间。
(2) 为解决非结构化果园环境中杨桃果柄检测所面临的自适应特征提取不足、小目标检测困难以及分割细节丢失等挑战，我们对网络架构提出了若干改进。特别是，引入可变形卷积模块以增强主干网络的特征提取能力，集成高效多尺度注意力机制以提升特征聚焦效果，并优化损失函数以适应不同目标尺寸。这些改进有效提升了模型对不规则果实和果柄的特征提取与融合能力，实现了优越的检测与分割精度。
(3) 为解决多任务学习中损失函数融合冲突和梯度方向矛盾问题，我们提出了一种多任务优化策略，将权重不确定性优化策略与 PCGrad 梯度优化策略相结合。这些方法缓解了联合训练过程中损失权重分配不平衡和梯度冲突，从而提升了模型性能和训练稳定性。
(4) 基于杨桃的生长特性，我们提出了一种能够实现快速精确定位的采摘点识别策略。该策略首先利用 YOLO-MCM 模型输出的果柄分割结果，将分割的果柄结构与其对应果实进行精确关联和匹配，然后计算采摘位置，最终实现采摘点识别。

图像采集与数据集构建
杨桃图像采集实验在广西壮族自治区梧州市的一个杨桃种植园进行（北纬 23°28′，东经 111°19′）。栽培品种为大果甜杨桃 VI（马来西亚品种）。图像采集设备为索尼 IMX582 后置摄像头，分辨率为 4224×5632 像素。图像采集时间为 2023 年 10 月 22 日至 2023 年 10 月 30 日，每天上午 10:00 至 12:00 和下午 14:00 至 16:00。

实验细节
用于训练模型的实验计算机配备了 Windows 11 操作系统。使用的编程语言为 Python 3.7，开发平台为 PyCharm 2023 社区版。硬件配置包括 AMD Ryzen 7 7745HX 处理器和配备 24 GB 显存的 NVIDIA GeForce RTX 3060 显卡。深度学习框架采用 PyTorch 1.10.0，支持 CUDA 11.1 GPU 加速库和 cuDNN 8.0。网络训练的具体超参数如……

结论与未来工作
在本研究中，我们提出了 YOLO-MCM，一种用于非结构化果园环境中杨桃果实准确检测和果柄分割的多任务学习模型。通过引入可变形卷积、高效多尺度注意力模块和动态上采样扩展 YOLOv7，该模型显著增强了对不规则果实形状和遮挡果柄的适应性。此外，权重不确定性与 PCGrad 优化的结合有效解决了任务间的梯度冲突……

作者贡献声明
Jie Li：撰写初稿、验证、方法论、调查、数据整理、概念化。Licheng Yang：撰写——审阅与编辑、验证、监督、经费获取。Guiliang Gong：撰写——审阅与编辑、验证、监督、资源、项目管理、经费获取。Qian Jin：监督、概念化。Jun Zhang：可视化、验证、监督、资源、调查、数据整理、概念化。Xiahui Liu：撰写……

利益冲突声明
作者声明他们不存在已知的竞争性经济利益或个人关系，这些利益或关系可能被认为影响本文所报告的工作。

致谢
本研究得到以下基金资助：大坝除草机器人研究与示范应用项目（项目编号：XSRJ2025064-1）；湖南省教育厅项目（项目编号：23A0224）；湖南省自然科学基金（项目编号：2025JJ60371）。

作者名单：Jie Li | Licheng Yang | Guiliang Gong | Qian Jin | Jun Zhang | Xiahui Liu | Shuxia Jiang | Xizhi Wu