《Computers and Electronics in Agriculture》:Path planning for unmanned combined harvester edging operation based on UAV imagery
编辑推荐:
•一种基于无人机(UAV)和联合收割机的协同导航框架替代了基于全球导航卫星系统(GNSS)的稻田边缘作业中的手动驾驶。•提出了一种结合直线拟合和曲率约束曲线拟合的路径生成算法。•生成的导航路径完全满足自主联合收割机边缘作业的精度要求。•这项工作为大规模无人机农业提供了一种实用的解
- •
一种基于无人机(UAV)和联合收割机的协同导航框架替代了基于全球导航卫星系统(GNSS)的稻田边缘作业中的手动驾驶。
- •
提出了一种结合直线拟合和曲率约束曲线拟合的路径生成算法。
- •
生成的导航路径完全满足自主联合收割机边缘作业的精度要求。
- •
这项工作为大规模无人机农业提供了一种实用的解决方案。
引言
随着中国农业劳动力的减少和农村人口的老化,发展大规模智能农场变得日益紧迫(Yang等人,2021年;Liang等人,2026年)。智能联合收割机在自动化收割中发挥着关键作用,而自动导航是实现完全无人操作的关键技术(Luo等人,2025年)。导航地图的路径规划和电子围栏的区域定义是自主导航的关键组成部分,这两者都依赖于精确的田地边界信息。因此,精确的田地边界信息是实现自主导航的基础(Meng等人,2023年)。这一点在边缘作业中尤为重要,因为在边缘作业中,联合收割机需要沿着稻田的外围行驶以创建足够的转弯空间以便后续收割。由于计划路径必须紧密跟随田地边界,同时保持安全和可行的车辆运动,因此准确的边界感知和基于边界的路径生成对于自主边缘作业至关重要。
目前主流的联合收割机自动导航产品依赖于GNSS系统来获取田地边界数据。因此,在自主收割开始之前,边缘作业通常仍需要手动进行。这种方法严重依赖于操作员的经验,并且在处理大面积田地时存在数据采集效率低和经济效益差的问题。为了减少人工干预,研究人员转向使用机载传感器进行边界检测。Cui等人(2024年)使用机载视觉传感器和北斗RTK定位系统来引导车辆沿田地边界进行边缘作业导航。模拟植物被用来模拟稻田。使用该系统,在0.8米/秒的速度下,直线边界的平均跟踪误差小于5厘米。然而,这些实验并不是在真实的复杂田地环境中进行的,且适用场景仅限于直角梯形稻田。更重要的是,机载传感器的感知范围有限(Liu等人,2025年),这阻碍了全局边界数据的获取。当遇到具有凸角或凹角的复杂边界时,车辆往往会突然转弯或停止,严重影响作业的顺畅性和效率(Li等人,2023年;Zhang等人,2024年)。这种局部感知限制意味着车辆只能对其视线范围内的边界做出反应,缺乏主动决策的能力。
无人机遥感通过从空中视角获取全局田地边界信息,提供了一种克服机载传感器感知范围限制的有前景的方法(Fang等人,2019年)。Wang等人(2019年)结合预定义的边界类别和手工制定的规则以及经典的图像处理算法,从无人机图像中识别和提取田地作业区域边界。尽管该方法对三种预定义的边界类型实现了令人满意的精度,但其对更复杂和非结构化田地环境的泛化能力尚未进行系统的评估。Wang等人(2024年)提出了一种交互式分割方法,用于在高分辨率正射影像中感知七类农业对象,并进一步简化了提取的目标边界。然而,该方法要求用户在推理过程中提供正面和负面的点击,从而限制了工作流程的自动化程度。Lu等人(2023年)开发了AttMobile DeepLabV3+模型,并随后将最小二乘拟合应用于提取的农田边界。然而,拟合评估主要集中在直线边界上,对其适用于自然弯曲的稻田边界的适用性尚未进行研究。从手动边界采集和机载局部感知到基于无人机的全球边界提取,以往的研究逐步改进了农田边界的采集、分割和几何表示。然而,在建立一个完整的无人机-联合收割机协同导航框架之前,仍有三个关键差距:将视觉感知结果转换为满足联合收割机几何和运动约束的导航路径的问题尚未得到充分解决;现有的直线拟合模型无法充分表示稻田中常见的自然弯曲边界;提取的边界信息尚未有效整合到农业机械的导航决策和闭环控制中。这些差距表明,仅仅提高边界感知是不够的;需要一个无人机-地面协同架构,将基于无人机的全球感知与联合收割机的路径生成和运动控制连接起来。
在这种背景下,无人机-无人地面车辆(UGV)协同系统在精准农业中吸引了越来越多的关注(Ren等人,2024年)。Pak等人(2025年)提出了一个异构的无人机-UGV害虫管理框架,其中无人机进行大面积探索并提供全局指导,而UGV执行局部操作,包括实时检测、采样和干预。Katikaridis等人(2026年)开发了一个用于半结构化农业环境的集中式无人机-UGV协调框架,其中无人机执行空中障碍物检测并为主动UGV路径规划提供地理参考信息。这些研究表明了无人机-地面协同在农业场景中的可行性,并为将这种协同范式扩展到其他农业田地操作提供了技术基础。然而,现有的空中-地面协同系统主要是为UGV或一般移动平台设计的,其运动特性与履带式联合收割机有很大不同。因此,需要一个针对边缘作业特定运动要求的无人机-联合收割机协同框架。
受此需求的启发,构建了一个基于无人机图像和联合收割机GNSS系统的边缘作业融合导航框架,如图1所示。在这个框架中,无人机预先获取完整的田地边界信息。结合联合收割机的转向特性,该框架主动优化导航路径,以避免效率低下的操作,如急转弯和突然停止。此外,以这种方式生成的精确边缘作业路径还可以为田地内的自主导航作业提供可靠的电子围栏和空间参考。本研究的主要贡献如下:
章节片段
无人机和联合收割机协作系统
该协同系统由一台履带式联合收割机(PL60-4LZT-6Z,Zoomlion)和一台DJI Mavic 3 M无人机组成,如图2所示。整个工作流程分为离线田地信息准备和在线导航控制两个阶段。
在离线阶段,使用配备了RGB相机和RTK-GNSS模块的DJI Mavic 3 M无人机获取空中图像。无人机记录的图像位置信息通过DJI Terra进行处理,生成地理参考的正射拼接图像。
消融研究和计算效率分析
为了评估SPL和CA模块的贡献,在相同的数据集划分和实验条件下比较了四种模型:DeepLabV3+ MobileNetV2、DeepLabV3+ MobileNetV2+ SPL、DeepLabV3+ MobileNetV2+ CA和SCDeepLabV3+。这些模型在分割精度和计算效率方面进行了评估。分割精度使用mPA和mIoU进行测量,而计算效率则通过可训练参数的数量进行评估。
讨论
现有的田地边界检测方法一般可以分为基于地面的机器视觉、基于地面的主动感知和航空成像。基于地面的机器视觉方法使用安装在地面车辆上的相机在田间作业期间实时检测作物边缘或田地边界。He等人(2022年)采用MobileV2-UNet进行稻田区域分割,并结合了基于RANSAC的线拟合。考虑到报告的视场(FOV)大约为3米×3米,以及图像
结论
为了减少人工干预并提高联合收割机边缘作业的自动化程度,本研究开发了一个分阶段的无人机-联合收割机协同框架,用于稻田边缘路径规划。无人机图像被离线处理以获取全球田地边界信息,随后将其转换为联合收割机可执行的导航路径和跟踪控制参考。主要结论如下:
(1) 改进的SCDeepLabV3+模型实现了
CRediT作者贡献声明
Hongbo Jia:撰写 – 审稿与编辑,撰写 – 原稿,验证,概念化。Jun Zhou:撰写 – 审稿与编辑,监督,资金获取,形式分析。Jingwei Sun:撰写 – 审稿与编辑。Licun Yuan:方法论。Yongqiang He:数据管理。Muhammad Aurangzaib:数据管理。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
Hongbo Jia|Jun Zhou|Jingwei Sun|Licun Yuan|Yongqiang He|Muhammad Aurangzaib