基于双目视觉与几何边界细化的猕猴桃果园机器人选择性授粉结果枝直径估计方法

《European Journal of Agronomy》:Stereo-vision-based fruiting-shoot diameter estimation using geometric boundary refinement for robotic selective pollination in kiwifruit orchards

【字体: 大 中 小 】 时间:2026年09月10日 来源:European Journal of Agronomy 6.7

编辑推荐:

   •生物拓扑结构与骨架引导实现了定距枝条测量。•基于主成分分析的局部切线在弯曲结果枝上定义了正交横截面。•分割边缘处的细微噪声会导致显著的几何测量误差。•RGB波动分析优化了枝条边界的几何约束。•多视角估计减少了随机误差,而边界优化减少了系统偏差。引言授粉是决定猕猴桃生产花受精

  
  • •
    生物拓扑结构与骨架引导实现了定距枝条测量。
  • •
    基于主成分分析的局部切线在弯曲结果枝上定义了正交横截面。
  • •
    分割边缘处的细微噪声会导致显著的几何测量误差。
  • •
    RGB波动分析优化了枝条边界的几何约束。
  • •
    多视角估计减少了随机误差,而边界优化减少了系统偏差。

引言

授粉是决定猕猴桃生产花受精、产量形成和最终果实品质的关键生物过程。由于授粉昆虫活动有限以及环境条件不利,仅靠自然授粉往往无法满足商业化果园的需求,导致产量不稳定(Fornaciari等,2025,Ru等,2023,Broussard等,2023)。依靠人工操作的人工授粉方式(如毛笔和手持喷雾器)对维持盈利能力有所贡献,但这些方法日益受到劳动力短缺、成本上升和操作一致性有限的制约(He等,2025,Wu等,2022)。为此,机械化和自动化授粉系统作为提高效率和确保大规模果园稳定授粉的有前景解决方案,引起了越来越多的关注(Eyles等,2022,Tacconi等,2016)。随着传感、控制和计算能力的进步,机器人授粉作为实现高效、一致且可扩展授粉的有前景方向应运而生,将关注点从劳动力替代转向自主农业作业(Gao等,2023,Williams等,2020,Xie等,2025)。
机器人系统中的选择性授粉代表了猕猴桃授粉从均匀施粉向精准化和决策驱动操作的根本转变。这种方法的成功基于花朵质量不均匀的原理,具体而言,处于主导架构位置或表现出早期物候发育的花朵具有更强的汇势和更高的最终果实质量潜力(Asadi等,2024,Jakopic等,2015)。根据这些生物学需求,近期的机器人授粉系统将农学知识与工程技术相结合,实现了可靠的花朵检测(Li等,2022b,Pan等,2024)、花期阶段分类(Li等,2022a)和空间定位(Wei等,2026)。这些进展使选择性定位高产潜力花朵成为可能,提高了花粉利用效率。然而,有效的选择性授粉超越了目标识别的范畴,需要定量决策,具体而言是确定单个花序中应授粉多少朵花。
在结果枝水平上对果实负载进行定量调控是实现选择性授粉潜力的前提条件。园艺学证据表明,对弱势枝条的过度授粉会导致果实小而大小不均,并造成资源竞争;而均衡的授粉和果实分布可以提高果实大小、干物质含量和等级比例,从而实现增产(Patiyal等,2024,Lescourret等,1998)。在多个枝条活力指标中,花期结果枝直径被广泛认为是维管束运输能力和碳水化合物供应潜力的可靠代理指标(Kulczewski,2003,Richardson等,2021)。猕猴桃及其他多年生果树的前期研究表明,枝条直径与可持续挂果量、果实生长动态和最终品质属性之间存在强相关性(Ahmed等,2025,Deng等,2023)。因此,精确测量结果枝直径对于将选择性授粉从花朵级别的目标定位转变为机器人系统中的负载感知决策至关重要。
三维测量技术已被广泛研究作为田间环境下表征植物结构和枝条几何特征的手段。基于光探测和测距(LiDAR)扫描、运动恢复结构(SfM)和多视角立体(MVS)的重建方法已被广泛应用于植物建模,通过生成高分辨率点云来捕获复杂的树冠架构并支持各种表型分析任务(Wang等,2026,Shimbo等,2026,Fei等,2025,Sumnall等,2025)。Sun等(2024)通过LiDAR扫描结合PointNet++实例分割,估算了落叶期苹果树主枝的形态,实现了93.64%的枝条计数准确率和12.00%的平均绝对百分比误差的枝条长度误差。Mach等(2025)基于SfM-MVS摄影测量法开发了用于植物表型分析的三维重建平台(番茄、生菜和黄瓜),在受控实验室条件下报告了0.1–0.22像素的均方重投影误差和2.7分钟的扫描时间。尽管取得了诸多成果,但高昂的系统成本和密集数据处理所需的巨大计算需求限制了其在实际应用中的经济可行性。此外,这些方法在不规则田间条件下往往难以应对点云粘连现象和纹理缺失的问题(Song等,2025,Wang等,2025a,Wang等,2025b),在反光叶片和可变光照条件下可能降低细枝测量的精度。
结合目标分割与深度信息的视觉测量方法为枝条和结果枝表征提供了更轻量、更灵活的替代方案。单目红绿蓝(RGB)系统擅长实例分割和语义理解,但缺乏固有的尺度信息,在没有额外先验的情况下无法进行可靠的绝对测量(Shen等,2025,Wu等,2019)。具备深度功能的视觉系统通过主动感知方式(如飞行时间ToF和结构光SL)或被动立体视觉(SV)获取度量深度,从而克服了这一局限性(Condotta等,2020)。在这些方法中,立体视觉因其被动感知机制、相对低廉的硬件成本和对田间光照条件的适应性,特别适合果园部署(Tang等,2020)。近期的研究将立体深度与实例分割相结合,实现了植物几何测量,形成了分割、深度关联和尺寸估计的常见流程(Oh和Lee,2025)。然而,对于结果枝等细而可变形结构,直接从分割掩码进行基于边界的测量仍然存在问题。边界提取中的小误差和深度不连续性对大物体影响有限,但对毫米级结构会被显著放大(Ahmed等,2025,Yao等,2025)。这些局限性表明需要一种专门针对结果枝结构特性和局部几何稳定性的测量策略。
本研究提出了一种基于立体视觉的结果枝直径估计框架,该框架集成了实例分割、骨架引导的测量定位和边界优化,以支持机器人系统中的猕猴桃选择性授粉。对猕猴桃树冠中的结果枝(FC)和结果枝(FS)进行分割以区分实例及其属性,同时特别检测枝条节点(BJ)以增强结构判别。然后通过骨架化重建每根枝条的生长方向,并使用深度插值自适应确定具有生物学意义的测量点,以确保与基部之间保持一致的物理间距。初始直径边界从掩码约束交点获取,随后应用稳定性引导的优化策略来抑制分割噪声、边缘模糊和局部曲率的影响。通过实现复杂田间条件下可靠的精细尺度几何感知,该方法提供的枝条直径信息可作为选择性授粉中后续负载相关决策的感知输入。

章节片段

材料与方法

所提出的框架采用分层处理策略进行精细尺度FS直径估计。工作流程包括三个阶段:感知与重建、拓扑与定位、边界优化与估计。首先处理双目图像以获取枝条感知结果和深度信息。然后将这些输出整合以建立定向FS拓扑并确定局部测量横截面。最后,初始

枝条分割与节点检测性能

训练好的深度学习模型在田间猕猴桃果园中展现了强大的感知能力,有效地从复杂树冠中区分了精细尺度枝条和关键生长位点。YOLO11x-seg和YOLO11x的训练和验证损失快速下降后趋于稳定(如图6(a)和图6(c)所示),分别在346和216个epoch时触发早停,表明两个模型均实现了稳定收敛。两个模型的PR曲线表明

结论

本研究通过显式整合生物结构先验、几何建模和边界优化,对精细尺度FS的直径估计进行了探索,为猕猴桃机器人选择性授粉提供了几何信息。对实验结果的定量分析表明,所提出的由粗到细策略优于直接的基于掩码的方法。具体而言,DP由于过度分割伪影表现出显著的系统性正偏差,这

CRediT作者贡献声明

何磊磊:撰写——初稿、方法学、调查、数据整理。牛啸:方法学、数据整理、概念化。龚其霖:方法学、概念化。马晓宇:方法学、数据整理。荣俊科:方法学、数据整理。Bryan Gilbert Murengami:方法学、数据整理、概念化。李锐:撰写——审阅与编辑、方法学、资金获取、概念化。Shen Hin Lim:撰写——审阅与编辑、方法学、概念化。

撰写过程中生成式AI和AI辅助技术的声明

在本工作的准备过程中,作者使用ChatGPT和Gemini进行语法检查以提高文章的可读性。在使用这些服务后,作者对内容进行了审阅和必要的编辑,并对已发表文章的内容承担全部责任。

利益冲突声明

作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

致谢

本工作部分由国家自然科学基金(32371999, 32501786);中国国家外国专家项目,人力资源和社会保障部(H20240238, Y20240046);陕西省重点研发计划(2026NC-YBXM-386);陕西省重点研发计划(2024PT-ZCK-27);陕西省重点研发计划(2024NC-YBXM-195);中央级公益性科研机构基本科研业务费
何磊磊|牛啸|龚其霖|马晓宇|荣俊科|Bryan Gilbert Murengami|李锐|Shen Hin Lim|付龙生
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号