基于关键点和有向边界框检测的草莓五自由度姿态估计方法及其在采摘机器人中的应用

本文提出一种融合RGB与深度信息的草莓5自由度（5 DoF）姿态估计方法，通过改进YOLOv8模型同步预测关键点与有向边界框（OBB），结合遮挡补全策略与点云拟合技术，实现α角误差1.88°±1.09°、β角误差6.97°±3.76°的高精度姿态估计，为农业机器人精准采摘提供实时视觉解决方案。

　　

Highlight

本研究创新性地将关键点检测与有向边界框（OBB）预测相结合，提出YOLOv8 OBB-Pose模型，实现草莓结构与空间朝向的同步感知。通过设计遮挡情况下的边界框补全策略，显著提升复杂环境下的检测鲁棒性。

Results

YOLOv8 OBB-Pose模型在自定义草莓数据集上表现卓越：精度（Precision）达92.33%，召回率（Recall）为95.02%，mAP@50达到97.89%，推理速度仅需20.7毫秒。5自由度姿态估计中，α角平均误差为1.88°±1.09°，β角为6.97°±3.76%。

Discussion

该模型首次将YOLOv8扩展为同时输出OBB与关键点的多任务框架，通过农学知识驱动的标注策略与两阶段姿态计算架构，在保持实时性的前提下有效应对遮挡挑战。相比纯RGB方法，融合深度信息显著提升空间角度估计准确性。

Conclusion

本研究提出的5自由度姿态估计方法为草莓采摘机器人提供了高精度、实时的视觉感知方案，通过结构关键点与边界框的协同计算，突破传统二维检测局限，为非结构化环境下的农业自动化操作奠定技术基础。