用于棚架式猕猴桃果园机器人授粉的双尺度花朵检测与单应性引导的聚类匹配技术

《Biosystems Engineering》：Dual-scale flower detection and homography-guided cluster matching for robotic pollination in trellised kiwifruit orchards

　　摘要：猕猴桃的异步开花为机器人授粉带来了巨大挑战，因为在复杂的果园环境中，需要精准识别花朵并进行细致的物候期分类。现有的感知系统通常受单一视野范围的限制，难以在覆盖整个树冠与详细观察单朵花之间取得平衡。为解决这一问题，本研究提出了一种双尺度感知框架，结合远距离扫描、近距离精细检测以及基于单应性变换的跨视角花簇匹配技术。针对两种视角，设计了不同的花朵标注策略：远距离检测根据花朵开放程度将其分为三类，而近距离检测则综合考虑物候期和授粉状态，将花朵细分为八类。实验评估了不同输入尺寸对YOLO26l检测性能的影响，结果显示，当输入尺寸为1280时，远距离和近距离花朵检测的平均精度分别达到0.902和0.935。此外，还通过结合来自单应性变换和颜色空间的位置及外观特征，开发出了跨视角花簇匹配方法。采用全局域检测进行匹配后，其准确率可达94.83%，相比局部域检测策略提高了7.89%。通过将大范围感知与精确的单朵花级分类相结合，该框架构建了一个多尺度感知体系，既能够分析整个树冠的花朵分布情况，又能实现跨视角的目标关联。这些功能为后续在猕猴桃架式果园中的机器人作业规划及选择性授粉提供了实用的感知基础。

引言：授粉对于确保猕猴桃的结实与正常发育至关重要。虽然昆虫和风等自然因素长期以来一直承担着作物授粉的任务，但随着授粉者数量的减少以及气候条件的不稳定，它们的可靠性日益下降（Garibaldi等人，2014；Millard等人，2023；Rodger等人，2021）。为弥补这一缺陷，人工授粉在商业果园中被广泛采用，显著提升了果实产量和市场价值（Mazinani等人，2023）。然而，这一过程高度依赖熟练的季节性劳动力，而在农业劳动力日益短缺的情况下，大规模开展人工授粉已变得愈发不可持续（Abbate等人，2021）。因此，人们对效率、精准度和可扩展性的需求不断上升，这凸显出发展机器人授粉系统的必要性。这类系统旨在用自动化的、基于感知的干预措施取代重复的手工操作，从而在结构复杂的作物种植环境及大规模生产体系中实现更为稳定的授粉效果（Xie等人，2025；Zhang等人，2025、2026）。

机器人授粉系统可根据其操作规模、对感知的依赖程度以及载体平台进行分类。那些通常部署在无人机或大型移动平台上的大范围系统，主要依靠气流辅助或喷雾方式传播花粉，从而快速覆盖整个树冠，而不必精确定位单朵花的位置（Zhang等人，2026）。这类系统的有效性在很大程度上取决于作物的繁殖特性和树冠结构。诸如核桃（Mazinani等人，2023）、梨（Xu等人，2023）和椰枣树（Alyafei等人，2022）这类作物通常具有相对开放的树冠结构，且授粉过程可部分依靠风力，而番茄等作物则需要对单朵花进行精准操作（Hiraguri等人，2023）。猕猴桃的情况则更为复杂，其花朵密集分布在架子支撑的树冠下，且开花阶段差异极大。这些生物学和结构上的差异使得人们越来越需要具备单朵花级感知能力并能精准输送花粉的机器人授粉系统。此外，即便是大范围授粉系统，也越来越依赖视觉感知来实现作业监控、开花密度估算以及动态调整花粉投放量（Pandey等人，2024）。因此，强大的视觉感知能力和对空间中花朵结构的理解，已成为基于视觉引导、以目标为导向的机器人授粉系统的重要前提条件。

农业机器人技术的进步正逐渐从单一的感知算法转向集成式的系统级解决方案，这类方案会综合考虑作物的形态特征、树冠结构、机器人感知能力以及田间作业效率。随着深度学习的快速发展，卷积神经网络已成为物体检测领域的主流技术，它在各种不同的田间条件下都展现出更强的稳定性和适应性（Uddin等人，2026；Williams等人，2020；Xiao等人，2025）。近期的一些研究取得了令人瞩目的成果，猕猴桃花朵检测的平均精度已超过90%，而且检测功能已从单纯的类别识别拓展到开花阶段分类以及作业状态评估，从而为更广泛的农业管理任务提供了支持（Li、Suo等人，2022；Li、Fu等人，2022；Liu & Li，2025；Pan等人，2024）。为了进一步提升田间作业的效率，一些新兴技术还将3D点云中的几何信息以及动态轨迹预测整合进来，以便在复杂的非结构化环境中实现更精准的目标定位与规划（Wang等人，2025a、2026）。尽管有了这些进展，大多数研究仍然仅聚焦于局部的空间物体检测和任务规划，这导致机器人无法感知整个树冠层面的花朵分布，也限制了其在树冠层面进行作业规划的能力（Gao等人，2023）。此外，有限的视野范围还会缩小可规划的作业空间，迫使机器人频繁调整位置，进而增加目标丢失的风险，降低其在大面积田地中的适用性（Gao等人，2025）。

扩大感知视野对于拓展可操作的作业空间以及实现协调一致的树冠级授粉规划至关重要。一种简单的解决方案是增加相机与树冠之间的距离，以便在单张图像中覆盖更大范围的区域。然而，这样做会降低单朵花的像素密度，影响检测的可靠性，同时也会降低深度估计的准确性，因为飞行时间法和使用立体视觉的方法在较远距离下的分辨率较低，且存在较大的不确定性（Wang等人，2022）。另一种获得更广阔视野的常见方法是让摄像机移动并依次拍摄多张重叠图像，然后进行拼接，这种方法在基于检测的物体计数领域已被广泛应用，它能够结合不同视角下的全局背景信息与局部细节（He等人，2022；Mirhaji等人，2021；Zhou等人，2022）。尽管这种分段式感知方法能够丰富环境信息，但由于田间果园中光照变化、遮挡现象以及树冠变形等问题的存在，很容易出现拼接错误（Du等人，2024；Zhu等人，2025）。此外，频繁获取图像还需要机器人反复移动机械臂，这会增加不必要的动作，延长作业时间，进而降低整体授粉效率。因此，开发一种既能实现大范围覆盖又能保证精准局部识别的综合感知策略，对于实现高效、可靠的机器人授粉至关重要。

多尺度视觉感知通过结合广角观测和近距离观察，为提升空间覆盖范围和检测稳定性提供了一种有效途径。主动感知是一种逐步从宏观概览过渡到微观精细检测的策略，有助于实现更精准的感知结果（Magalh?es等人，2022；Yang、Li等人，2024）。虽然这种方法能有效扩大可观测范围，但当仅依靠单个摄像机时，就很难在视野范围、检测精度和定位准确性之间找到平衡（Wang、Burusa等人，2025）。立体视觉虽然是用于田间目标定位的实用技术，但在远距离作业时需要较大的基线才能提高深度分辨率，而在近距离作业时则需较小的基线，以避免过大的视差和匹配点丢失问题（Diaz-Ramirez等人，2025）。为克服这些局限，集成远距离和近距离传感器的多摄像头系统应运而生，它们能够在不同的空间尺度上提供互补的视角，从而用于收获等农业作业中的物体检测（Rybak等人，2025；Villacrés & Vougioukas，2024；Yang、Noguchi & Hoshino，2024）。不过，现有研究对于从不同视角观察到的同一目标之间的身份关联问题关注较少。对于机器人授粉而言，这个问题尤为重要，因为否则的话，同一朵花可能会被反复授粉。

本研究针对架式猕猴桃果园的机器人授粉任务，提出了一种远近视角协同感知框架。利用宽视野的远距离图像来识别整个树冠上的花簇，而近距离图像则可用于对单朵花进行细致的分类，包括判断其物候期和授粉状态。为连接这两种不同的感知尺度，本研究还开发了一种跨传感器、跨视角的花簇匹配方法，该方法通过结合花朵的外观特征和位置相似性，来确保不同观测尺度下花朵身份的一致性。该框架实现了不同观测尺度下花朵簇身份的统一，有助于进行树冠层面的作业规划、选择性地对单朵花进行授粉，同时减少不必要的重复授粉现象。

图片采集：猕猴桃花朵的图像采集工作是在中国陕西省杨凌的国际猕猴桃创新果园内进行的（北纬34°17′，东经108°2′，海拔约504米）。该果园采用了标准化的棚架栽培系统，这种系统能够形成较为均匀的树冠结构，便于从树冠下方进行成像，从而实现花朵的精准识别与授粉操作。为确保所采集样本的形态代表性，共选取了三处广泛种植猕猴桃的区域作为数据采集地点。

YOLO26l在远距离花朵检测中的应用：本研究系统地评估了在不同训练策略和不同输入分辨率条件下，YOLO26l在远距离花朵检测方面的性能。如图4所示，远距离检测模型的训练损失曲线在稳定之前会出现大幅下降，由于提前停止机制的作用，模型并未完成500个训练周期。在所有测试配置中，当输入尺寸为1280时，模型的基准性能最优，且收敛速度最快。

结论：本研究提出了一种双尺度感知框架，用于花朵检测与空间匹配，以此克服单一视角方法在猕猴桃机器人授粉应用中的局限性。远距离检测虽然能够覆盖整个树冠，并提供有关花簇及主要开花阶段的初步信息，但由于目标尺寸较小、背景干扰以及遮挡现象的存在，其难以实现对花朵状态的精细判断。而近距离检测则弥补了这一不足，能够……

数据获取地址：相关数据可在https://github.com/Smart-Ag/Far-Near-kiwiflower-detection-matching-images adres获取。

关于写作过程中生成式人工智能及人工智能辅助技术的声明：在撰写本文时，作者们使用了ChatGPT和DeepSeek工具来进行语法检查，以提高文章的可读性。在使用这些工具之后，作者们对内容进行了必要的审阅和修改，并对最终发表的文章内容负全责。

CRediT作者贡献说明：何蕾蕾：数据整理、研究实施、方法设计、初稿撰写；贾博：概念构思、数据整理、方法设计、文章审阅与修改；黄俊才：概念构思、方法设计、文章审阅与修改；李睿：概念构思、方法设计、文章审阅与修改；Spyros Fountas：概念构思、方法设计、初稿撰写；傅龙生：概念构思、方法设计、监督指导、文章审阅与修改。

利益冲突声明：作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：本研究部分得到了以下项目的支持：中国国家自然科学基金（32371999、32501786）；中国高校科学基金（2452026021）；中国人力资源和社会保障部国家外国专家项目（H20240238、Y20240046）；陕西省重点研发计划（2024 PT-ZCK-27、2024NC-YBXM-195）；中国中央级公益性科研机构基本科研业务费。

作者名单：何蕾蕾|贾博|黄俊才|李睿|Spyros Fountas|傅龙生
单位：中国陕西省杨凌市西北农林科技大学机械电子工程学院，邮编712100