基于单目视觉与姿态估计的核桃振动采收夹持点确定方法

《Agriculture》：Monocular Vision-Based Clamping-Point Determination via Pose Estimation for Walnut Vibration Harvesting Ruichao Luo, Xiaopeng Yang, Leilei He, Wulan Mao, Rui Li, Spyros Fountas, Liling Yang and Longsheng Fu

　　

摘要

高效的振动采收核桃方法依赖于对树干上夹持点的准确定位。合理选择夹持点不仅能显著提升振动传递效率，还能减少对树木的机械损伤。然而，现有研究多致力于开发适用于多棵树的通用振动模型，往往忽视了单棵树在确定夹持点时的结构特性。本研究提出了一种基于单目视觉的核桃振动采收夹持点定位方法。通过引入三种具有不同结构约束水平的关键点标注策略，即5关键点标注（5-KAS）、2关键点标注（2-KAS）和1关键点标注（1-KAS），提升了该方法在复杂果园环境中的稳健性和适用性。研究还评估了基于YOLO架构的姿态估计模型，包括YOLOv8-pose、YOLO11-pose和YOLOv12-pose，以考察结构辅助标注的效果，结果表明，引入结构约束可提高检测精度、训练稳定性及方法的稳健性。其中，YOLOv12-pose模型结合5-KAS标注方式表现最佳，精确度达95.8%，平均精度均值（mAP）为95.5%。实地采收实验表明，结合结构信息的夹持点预测能够实现更高且更稳定的净采收率。总体而言，所提出的方法为利用单目RGB图像确定夹持点提供了一种可靠且可行的解决方案，有助于实现核桃果园的智能化振动采收。