用于非接触式机器人授粉的YOLOv8-PnP融合架构：一种用于自主温室操作的6D姿态估计方法

《Frontiers in Plant Science》：YOLOv8-PnP fusion architecture for non-contact robotic pollination: a 6D pose estimation approach for autonomous greenhouse operations

　　

背景：自然授粉媒介的减少以及接触式机器人授粉方法存在的局限性（包括对花朵的损伤、病原体传播和作业效率降低），迫切需要为保护性园艺（设施园艺）提供创新的解决方案。 研究缺口：现有的机器人授粉器成功率有限（约66%），这主要是由于6D花朵姿态估计不准确，而当前基于气流的方法又缺乏精确定位能力。 贡献：本研究提出了一种新颖的YOLOv8-PnP混合框架，将实时物体检测与6自由度（6 DoF）姿态估计相结合，用于基于精准气流的授粉。该系统采用了定制设计的空气花粉喷射（Air Pollenmatic）末端执行器，该执行器通过基于ROS（机器人操作系统）的视觉伺服控制与Hello Robot公司的Stretch平台集成。 结果：在2,100张带注释的温室图像上进行的验证表明，在28.5帧/秒（11.1毫秒推理时间）下，达到了95.8%的精度、94.6%的召回率和97.7%的mAP@0.5（IoU阈值为0.5时的平均精度）。田间试验实现了92.5%的授粉尝试率和85.6%的成功率，得出79.2%的整体效能——比接触式方法提高了8.3个百分点。 影响：这种非接触式方法消除了对花朵的机械损伤，降低了疾病传播风险，并推进了全自动温室授粉系统的可行性。

论文解读：YOLOv8-PnP融合架构用于非接触式机器人授粉研究

一、 研究背景、问题与研究目的

番茄是全球最重要的经济蔬菜作物之一，其需求量持续增长。在保护地栽培，特别是温室生产中，实现高效授粉是获得高产、稳产的关键环节。番茄花是雌雄同花，具有特殊的孔裂花药结构，需要外部振动刺激（如风或熊蜂的“嗡嗡授粉”）才能释放花粉。在温室环境中，自然授粉媒介（如熊蜂）的获取受限，且面临种群衰退、成本高昂等问题。传统的人工辅助授粉方法（如振动器）劳动密集、效率低。因此，开发自主机器人授粉技术成为重要研究方向。

然而，现有的机器人授粉技术面临核心挑战：准确估计花朵的6D姿态。机器人授粉不仅需要检测花朵（2D定位），还需精确获取花朵在三维空间中的位置（3D平移：[tx, ty, tz]）和朝向（3D旋转：[roll, pitch, yaw]）。这是因为气流末端执行器需要精确对准花朵平面，并在合适的距离（例如3-5厘米）施加气流，才能有效诱导花粉释放。现有基于接触的机器人授粉成功率约为66%，而基于气流的方法则缺乏精确的定位能力，导致授粉效果不佳。本研究旨在解决这一难题，通过开发一种集成了先进物体检测与6D姿态估计的混合框架，实现高效、精准的非接触式温室番茄授粉，以提升授粉成功率、避免花朵损伤并减少病害传播风险。本项研究发表在《Frontiers in Plant Science》期刊。

二、 关键技术方法概述

本研究主要采用了以下几项关键技术方法：

1. 1.
   数据集构建与增强：研究人员从阿联酋的两个温室设施采集了1150对高分辨率RGB-D图像，并从公开数据集补充了150张图片。通过几何和光度学数据增强，将数据集扩展至2100张图像，以提高模型鲁棒性。图像采集使用集成了Intel RealSense D435深度相机和Jetson Nano的手持设备。
2. 2.
   YOLOv8-PnP混合架构：提出了一个创新的融合架构。首先，使用YOLOv8s模型（基于CSPDarknet53骨干网络，结合FPN+PANet颈部结构）对番茄花进行实时、高精度的2D边界框检测。然后，利用检测到的边界框的四个角点作为2D图像点，与一个预定义的简化3D花朵平面模型（100×100 mm）建立2D-3D点对应关系。最后，通过透视n点（Perspective-n-Point, PnP）算法，结合相机内参和深度信息，求解出每个被检测花朵的6自由度姿态（6D Pose）。
3. 3.
   Air Pollenmatic末端执行器设计与系统集成：设计并制造了名为“Air Pollenmatic”的紧凑型气流授粉末端执行器（200×200×50 mm，1.2 kg）。该装置由12V锂电池供电，通过PWM信号控制气泵产生气流。执行器集成了一个3自由度手腕机构以实现全方位覆盖。整个系统（包括YOLOv8-PnP感知模块、Air Pollenmatic执行器和导航规划）被部署在Hello Robot Stretch移动机器人平台上，通过ROS（机器人操作系统）和MoveIt进行运动规划与控制集成，实现全自主的温室导航与授粉作业。

三、 研究结果

本研究通过一系列实验验证了所提出方法的性能，主要结果如下：

4.6 性能比较

研究人员将提出的YOLOv8-PnP模型与多种基线模型进行了对比，包括SIFT+PnP、ResNet+PnP和YOLOv5+PnP。在检测与姿态估计的综合性能上，YOLOv8-PnP模型在所有关键指标上均表现最佳：精度达到95.8%，召回率为94.6%，mAP@0.5高达97.7%，F1分数为95.8%。相比之下，YOLOv5+PnP模型性能次之（精度92.2%，mAP 93.2%），但仍显著优于传统的SIFT+PnP方法。这证明了YOLOv8在花朵检测任务上的优越性，以及与PnP算法结合的有效性。

4.7 效率比较

尽管YOLOv8-PnP模型具有最多的参数量（56.15 M）和最高的计算复杂度（28.5 GFLOPs），模型体积也最大（111.4 MB），但其在推理速度上具有显著优势。在GPU上实现了28.5 FPS的实时处理速度，单帧推理时间仅需11.1毫秒，远快于YOLOv5+PnP的14.6毫秒和ResNet+PnP的23.7毫秒。这对于需要快速反应的实时机器人授粉应用至关重要，表明该模型在精度与速度之间取得了良好的平衡。

5. 机器人硬件部署与验证

设计的Air Pollenmatic末端执行器成功集成到Stretch机器人上。田间试验在温室环境中进行，用于评估端到端系统的整体授粉效能。

结果验证：在实际温室部署中，集成系统展现出了出色的性能。授粉尝试率（机器人成功定位并对准花朵并尝试授粉的比例）达到92.5%，授粉成功率（尝试授粉中最终导致成功授粉的比例）为85.6%。综合计算，整体授粉效能达到79.2%。与文献中报道的接触式机器人授粉方法（约66%成功率）相比，本研究的非接触式方法实现了8.3个百分点的显著提升。这验证了YOLOv8-PnP融合架构在实现精准、非接触授粉方面的有效性和实用性。

四、 讨论与结论

本研究成功开发并验证了一种用于非接触式机器人番茄授粉的YOLOv8-PnP混合架构。该方法的核心贡献在于将先进的深度学习目标检测模型（YOLOv8）与经典的几何视觉姿态估计算法（PnP）相融合，从而同时实现了高精度的花朵检测和实时的6D姿态估计。

研究结论（翻译自原文）：

本研究展示了一种新颖的YOLOv8-PnP混合框架，该框架集成了实时物体检测与6自由度姿态估计，用于基于精准气流的授粉。系统采用了一个定制设计的Air Pollenmatic末端执行器，并通过基于ROS的视觉伺服控制与Hello Robot Stretch平台集成。在2100张带注释的温室图像上进行的验证表明，其达到了95.8%的精度、94.6%的召回率和97.7%的mAP@0.5，处理速度为28.5 FPS（11.1毫秒推理时间）。田间试验取得了92.5%的授粉尝试率和85.6%的成功率，得出79.2%的整体效能——比接触式方法提高了8.3个百分点。这种非接触式方法消除了对花朵的机械损伤，降低了疾病传播风险，并推进了全自动温室授粉系统的可行性。

总之，这项工作为解决温室自动化授粉的精度瓶颈提供了一种高效、实用的解决方案。通过高精度的视觉感知引导非接触式气流刺激，不仅提高了授粉成功率，也保护了作物健康，对推动智慧农业和可持续农业发展具有重要意义。未来工作可进一步优化模型在更复杂环境下的鲁棒性，并探索该系统在其他需要精细操作的农业机器人任务中的应用。