基于结构约束与几何分析的葡萄多任务感知与三维采摘点定位方法研究

本文提出了一种结合SimAM注意力机制与Mish激活函数的改进PG-YOLACT++网络，实现了葡萄关键结构（结果枝、果梗、果簇）的同步识别（目标检测mAP 81.6%，分割mAP 74.3%）。通过隶属判定算法（准确率94.2%）和基于末端执行器结构的果梗RoI（EPWR）约束规则，将采摘点安全定位成功率提升67.1%，室内外深度测量中位误差分别为0.746 mm和-1.192 mm，为无结构环境下的簇状果实低损采收提供了新方案。

　　

Highlight

本研究通过整合SimAM注意力机制与Mish高效激活函数，开发了改进版PG-YOLACT++网络，可同步识别葡萄关键结构（结果枝、果梗、果簇区域）。针对相邻果穗紧密分布导致的采摘点定位难题，提出基于隶属判定与合并的果簇结构归并方法，并设计范围重选式果梗感兴趣区域（RoI）筛选机制。结合末端执行器结构与全果梗区域关键点（EPWR），建立了适用于不同果梗类型的三维采摘点约束规则与决策方案。

Experimental details

实验在Windows 10系统下基于PyTorch框架开展，硬件配置包含NVIDIA RTX 3060显卡。采用COCO数据集格式，所有模型训练参数保持一致。改进后的PG-YOLACT++在边界框检测和掩码分割的mAP分别达到81.6%和74.3%，较原版提升2.2和2.6个百分点。

Discussion on further improvement work

当前隶属判定方法依赖RGB图像交点分析，未来将融合二维与三维信息优化归并算法。同时需探索复杂田间环境下果梗骨架的稳定提取方法，并研究动态遮挡场景的适应性解决方案。

Conclusion

PG-YOLACT++通过注意力机制改进，在目标检测与分割任务中表现显著提升。所开发的隶属判定算法对完整关键结构果簇的归并准确率达94.2%。基于EPWR中点的垂直中点定位策略使安全定位成功率提高67.1%，室内外深度测量中位绝对偏差分别为0.6710 mm和0.9525 mm。