《Computers and Electronics in Agriculture》:From sky to ground: Enabling autonomous vineyard traversal with UAV-derived navigation maps
编辑推荐:
研究人员提出一种端到端作业流水线,将重叠的俯仰(nadir)无人机(UAV)影像直接转换为无人地面车辆(UGV)可用的机器人占据(occupancy)与拓扑导航地图,绕开了计算昂贵的orthomosaic生成步骤。通过对单帧影像进行元数据驱动的投影与聚类,结合
研究人员提出一种端到端作业流水线,将重叠的俯仰(nadir)无人机(UAV)影像直接转换为无人地面车辆(UGV)可用的机器人占据(occupancy)与拓扑导航地图,绕开了计算昂贵的orthomosaic生成步骤。通过对单帧影像进行元数据驱动的投影与聚类,结合YOLO11分割与聚类方法,在RTK-GNSS(实时动态全球导航卫星系统)实测基准下达到0.242 m RMSE(均方根误差),最优配置下可达0.207 m RMSE。多季节训练使标准深度学习架构(YOLO与ResNet)能在冠层状态大幅变化下隔离出视觉上极小的葡萄园地标(立柱与树干)。生成的地图支持了500 m真实葡萄园行内自主遍历,MDBI(平均路径偏差指数)为161.4 m;相比机器人遥操作,无人机建图将田间时间最多缩短94%。研究人员发布了多季节UAV葡萄园数据集与开源代码,以填补空中结构感知与机器人可用葡萄园导航地图之间的作业缺口,并可接入AGRIDS框架实现持久化农业机器人数据管理。
研究背景方面,农业中自主机器人(robot)与无人机(UAV)的采用受频繁感知、减劳与精准作业驱动,但葡萄园窄行、强结构化空间使实用部署依赖对立柱、行与可通行廊道的准确空间表达。现有流程多仍依赖orthomosaic生成、人工测绘或孤立软件,空中特征检测与机器人可用导航地图之间的作业连接薄弱,且农业数据管理碎片化。为此,研究人员在《Computers and Electronics in Agriculture》发表该研究,构建从原始俯仰UAV影像到UGV导航地图的单一工作流,并对接AGRIDS(基于FIWARE Orion、Cygnus与MongoDB的农业机器人数据管理框架)以实现地图层与机器人观测的持久存储。
关键技术方法上,研究人员使用英国Riseholme Vineyard数据:DJI Matrice 300 RTK配Zenmuse H20相机于12 m、20 m、30 m(39、65、100 ft)三高度以80%航向、70%旁向重叠采集855张多季节(2024年8月、2025年3月、2025年7月)nadir影像;以Leica GS18T GNSS获取厘米级立柱真值。感知模型对比YOLO11x检测(OD)、YOLO11x-seg分割(Seg)与ResNet18/50/101嵌入U-Net式密集预测,训练含单季/三季池化与2×2、4×4、6×6分块消融。地理空间投影采用元数据驱动近nadir平面近似,由焦距f、传感器尺寸sw、sh、相对高度h与云台偏航ψ将像素(px,py)转全局GNSS(φ,λ),再经DBSCAN式聚类融合重叠帧观测生成占据栅格与拓扑图。
研究结果部分,引言指出可靠结构地图是导航前提与数字葡萄园工作流集成基础,主要贡献为端到端流水线、多季节感知分析、亚米级地图与机器人验证及数据集/代码发布。相关工作中,研究人员综述机器人建图(占据栅格、OctoMap、点云)、UAV农业感知、深度学习葡萄园定位及AGRIDS后,明确本文补入上游UAV至结构地图能力。方法部分分四块:数据收集中三高度GSD分别为0.41、0.67、1.01 cm/像素,标注40,215处(立柱12,639、树干22,615、行4,961);模型选择说明YOLO11作实时基线、ResNet测热图恢复被遮挡小目标,帧级切分致乐观上限故以地图级验证为主证;地理空间投影以Fig.4几何与Fig.5坐标系顺序参数将图像轴(px,py)经局部东Δe北Δn转全局E,N,近nadir假设不显式修正残差滚转俯仰;聚类与地图生成将投影点聚为立柱/树干节点,按行拓扑连成可通行廊道并栅格化。结果验证显示YOLO11 Seg配2×2分块、三季节训练获0.242 m RMSE(最优0.207 m);UGV实飞500 m行内遍历MDBI 161.4 m;相比遥操作田间时间降94%;多季节训练提升跨冠层状态泛化,高度升至30 m仍保持可用检测。讨论部分研究人员指出,绕过orthomosaic使计算与延迟大幅下降,近nadir平面近似在稳定云台下成立但强扰动或非nadir需扩展;帧级划分存数据泄漏故图像空间指标为乐观界,地图级RMSE与实飞为可行性主证;流水线补入AGRIDS上游使块-行-株层级可载机器人观测复用。结论为:该端到端UAV至UGV地图流水线可以亚米精度由原始nadir影像提取立柱/树干/行结构,支持真实葡萄园自主遍历,多季节训练是跨冠层鲁棒性的关键,开源数据与代码可降低空中-地面农业机器人研究门槛。