通过特征共享和交集筛选技术提高番茄采摘的精确度

《Engineering Applications of Artificial Intelligence》：Enhancing precision tomato harvesting with feature sharing and intersection screening

番茄采摘点定位方法及轻量级双任务模型研究。摘要：本研究提出一种双任务学习模型BiTaskNet-TSS，用于高效检测番茄果实和花瓣，并精确分割茎部。模型结合ADown模块和动态自适应拼接（SAAC）模块，提升特征融合能力。采用改进的匈牙利算法匹配果实与花瓣，并设计局部骨架线拟合和边界交点筛选方法定位采摘点，实验表明其检测精度达97.0%，召回率98.3%，IoU 96.2%，处理速度仅55.89ms/张。

　　番茄作为一种重要的经济作物，广泛种植于全球各地。快速且精确的采摘点定位是实现番茄采摘自动化过程的基础。为了解决这一问题，我们开发了一种轻量级的双任务网络，该网络基于YOLOv10（You Only Look Once）架构。网络主干采用了ADown模块以提高下采样效率，检测颈部使用了基于跨尺度特征融合的CCFM（Cross-Scale Feature Fusion Module），而分割颈部则采用了模拟退火自适应拼接（SAAC）以实现特征融合。此外，还使用了条件受限的匈牙利算法来匹配成熟番茄与其对应的花托。提出了两种定位技术：局部骨架线拟合和边界交点筛选。在局部骨架线拟合中，通过扩展花托检测框并利用该区域内的茎掩膜提取骨架线，从而找到交点。边界交点筛选则根据茎掩膜与花托框之间的交点数量决定是否直接计算交线的中点或采用骨架线拟合，从而通过缩小计算区域和利用番茄生长中茎与花托相对固定的空间关系来提高效率。所提出的模型在检测任务中的Precision和Recall分别为0.970和0.983，分割任务中的IoU（Intersection over Union）和MIoU（Mean Intersection over Union）分别为0.962和0.980。采摘点定位的Precision为0.922，识别率为0.988。该人工智能应用仅需每张图像平均55.89毫秒的处理时间，展现出优秀的效率和准确性，为自动化番茄采摘系统的进一步发展提供了良好的基础。

番茄采摘是季节性和劳动密集型的工作，主要依赖于人工采摘。由于农业人口老龄化和劳动力成本上升，研究高效、准确、可靠且低成本的智能采摘机器人已成为一种必然趋势。快速和准确的关键点定位对于实现机器人采摘至关重要，因为它提供了精确的目标位置信息，为非破坏性采摘奠定了基础。一种常见方法是通过分析果实的生长模式和形态特征来确定采摘点。例如，Bai等人提出了一种基于聚类番茄形状和生长特征的识别算法，使用支持向量机（SVM）算法识别果实，并结合霍夫圆检测、空间对称样条插值和几何分析方法来估计茎的位置，从而确定采摘点。另一种方法是将识别算法与硬件设计相结合。Zhu等人使用了Otsu算法和最大连通域来识别和分割葡萄串，并设计了一种基于红外传感器的采摘点定位装置，实现了0.61秒内90%的准确率。然而，上述方法受到时间、空间和成像噪声等因素的限制，普遍性较差，难以在实际场景中广泛应用。

近年来，深度学习技术的迅速发展使其在多个领域得到了广泛应用，特别是在采摘机器人研究中。卷积神经网络（CNN）适用于多种关键任务，如成熟度检测、采摘点识别和障碍物检测。Zeng等人利用MobileNetV3的bneck模块优化YOLOv5s的主干网络，并修剪了颈部层的通道，实现了番茄成熟度的快速检测。Wang等人引入了CIRKD（Cross-Image Relation Knowledge Distillation）方法，使用DeepLabV3_R101_O作为教师模型，DeepLabV3_MV2作为学生模型，最终葡萄分割的mIoU达到了83.71%。Coll-Ribes等人采用Mask R-CNN进行基于RGB-D信息的多种葡萄茎和串的实例检测和分割，并使用分割结果重建葡萄茎。Wang等人采用YOLOv8-seg模型检测荔枝果实和枝条，模型精度达到了88.1%。R. Zhao等人开发了轻量级的端到端模型YOLO-GP和YOLO-GP-Tiny，用于检测葡萄串和采摘点。葡萄检测的mAP0.5分别为93.27%和91.58%，预测采摘点在x轴和y轴上的距离误差均低于40像素。这些研究表明，基于CNN的识别和分割算法在性能和灵活性方面表现出色。深度学习技术的进展显著提高了目标检测和语义分割的效果，优于传统的图像识别技术。

尽管深度学习技术表现出色，但采摘点识别算法仍面临一些挑战。首先，准确识别果实和茎仍然是一个关键问题。Zhou等人应用YOLOv7定位和分类火龙果，并通过PSPNet生成分割图像，随后进行了一系列后处理。G. Zhang等人基于YOLOv8n引入了DySnakeConv和可变形大核注意力机制（DLKA），以检测樱桃番茄的主要茎。他们进一步使用SAM模型对主要茎进行分割，检测精度达到90.64%，分割精度达到89.95%。Rong等人提出了一种两步定位方法，使用YOLOv4-Tiny进行番茄串的初步检测，并使用YOLACT++对果实和茎进行分割，检测精度为92.7%，分割mAP@50为96.9%。单帧检测时间为0.0091秒，分割时间为0.109秒。对于输入相同但输出不同的任务，运行多个模型并行常常导致计算冗余。一种典型的解决方案是共享浅层特征以减少重复计算，并使用不同的深层结构来满足各自任务的需求，从而提高整体模型的效率和资源利用率。Li等人设计了一种多任务感知网络（MTA-YOLACT），用于番茄串的区域检测以及茎和主茎的分割。果实串检测的平均精度为95.4%，检测和分割速度可达13.3 FPS（每张图像约75.19毫秒）。Du等人引入了一种多任务网络YOLO-MCNN，该网络集成了多尺度特征，并采用了四种语义分割分支策略。该模型能够同时检测果实和分割茎，为机器人采摘过程中的障碍物规避提供了有价值的指导。此外，Zhang等人提出了名为YOLOMS的多任务学习方法，用于芒果采摘任务。该方法将茎分割分支整合到YOLOv5s中，以同时获取芒果茎的空间和语义信息。YOLOMS的检测mAP和召回率分别达到82.42%和85.64%，语义分割mIoU为82.26%，模型推理速度为39.73 FPS。这些研究突显了多任务学习在提高推理速度和减少计算开销方面的巨大潜力。

然而，上述研究主要关注了整个果实串或单个茎和个体果实的采摘，忽略了果实、花托和茎之间的空间关系。因此，这些方法不适用于番茄采摘点的精确定位。Zhaoxin等人使用YOLOv5检测番茄果实及其连接的茎。基于检测框的中心点位置，选择了茎区域的中心点作为潜在的采摘点，并结合深度信息进行进一步筛选。然而，当茎连接多个番茄时，这种方法显然无法满足要求。Gao等人使用YOLOv5x检测猕猴桃及其花托，通过限制检测框的大小进行配对，并最终使用配对花托矩形的中心作为采摘点的依据。Fujinaga首先分割了草莓果实、花托和束，然后提取了果实和花托的质心。通过分析这些质心之间的欧几里得距离，该方法基于花托的存在来判断有效采摘点的可能性。如果检测到花托，采摘点则假设位于其上方。同时，Jang和Hwang受到人类姿态估计的启发，将番茄中心、花托（指接近茎的脱落区）、脱落区和分支点设为关键点，使用远端茎作为切割点进行初步番茄姿态估计。然而，这种方法在主茎被遮挡时容易丢失关键点。Rong等人提出了一个改进的Swin Transformer V2模型，用于番茄果实、花托和茎的分割。该模型实现了82.5%的mIoU和89.79%的mPA，推理速度为0.12秒。通过整合图像精修和去毛刺算法，该模型提取了茎的骨架和端点，并通过花托位置约束筛选出采摘点。采摘点识别的精度和召回率分别为97.43%和86.04%，每张图像的识别时间为0.527秒。该方法展示了良好的效果，但其实时性能仍有优化空间。在此背景下，本文提出了一种创新策略，以提高实时性能，同时保持定位效率。主要贡献如下：

1) BiTaskNet-TSS（用于番茄和茎分割的双任务神经网络），一种轻量级的双任务模型，旨在实现番茄果实和花托的高精度检测，同时对茎进行精确分割。通过检测整个花托结构而非单个关键点，该模型提高了检测的鲁棒性。

2) 提出了一种针对番茄结构特征的花托-红果关联判断方法，使基于匈牙利算法的高效匹配成为可能。提出了两种采摘点定位方法——局部骨架线拟合和边界交点筛选，通过缩小计算区域并利用番茄生长中茎与花托相对固定的空间关系来提高效率。

本文提出的模型在检测任务中表现出色，其Precision和Recall分别为0.970和0.983，分割任务中的IoU和MIoU分别为0.962和0.980，采摘点定位的Precision为0.922，识别率为0.988。该模型在实际应用中展现了优秀的效率和准确性，为自动化番茄采摘系统的发展提供了坚实的基础。