《Computers and Electronics in Agriculture》：A review of visual navigation for agricultural robots in open fields and controlled environments
编辑推荐：
本文系统综述了农业机器人视觉导航的核心技术，包括感知、定位建图与路径规划，分析其在开放农田和温室的应用现状与挑战，并提出融合多模态传感器、强化学习和大语言模型等未来方向。
王瑞峰|徐瑞|Peng W. Chee|王海华|李长英
佛罗里达大学食品与农业科学研究所农业与生物工程系生物传感、自动化与智能实验室，美国佛罗里达州盖恩斯维尔，32611
摘要
基于视觉的导航是实现农业机器人智能和自主操作的基础。本文综述了视觉导航的三个关键组成部分：视觉感知、定位与地图构建以及路径规划。文章讨论了在开放田野和受控环境农业（CEA）中的应用，因为这两种环境分别代表了非结构化的室外条件和无法使用全球导航卫星系统（GNSS）的室内环境。尽管深度学习算法、高分辨率成像传感器以及更高效的边缘计算硬件的最新进展提高了感知精度和处理速度，但仍存在一些重大挑战。这些挑战包括在动态和非结构化环境中运行的鲁棒性降低、由于计算限制导致的实时处理能力有限，以及缺乏用于训练和验证不同作物、生长阶段和环境条件模型的多样化高质量数据集。为了解决这些问题，本文提出了未来的研究方向，包括采用先进的传感技术、多模态传感器融合、强化学习，以及利用大型语言模型（LLMs）和大型视觉模型（LVMs）的推理能力来增强上下文理解和决策能力。同时，也强调了提升边缘计算能力，并利用合成数据集和仿真到现实（Sim-to-Real）迁移技术来增强模型的泛化能力和部署鲁棒性。本综述系统地总结了农业机器人中基于视觉的导航技术的进展与挑战，并指出了未来的研究方向，从而为下一代农业机器人的精度、自主性和智能化奠定了概念和方法论基础。
引言
数字农业的兴起推动了能够在开放田野和受控环境农业（CEA）等动态和非结构化环境中运行的自主农业机器人的快速发展（McBratney等人，2005年；Gao等人，2018年）。导航在确保农业机器人的运行效率、可靠性和适应性方面起着关键作用。常见的农业导航方法包括基于全球导航卫星系统（GNSS）的导航（Bechar和Vigneault，2017年；Rodriguez-Sanchez等人，2024年）、基于光探测与测距（LiDAR）的导航（Thanpattranon等人，2016年；Malavazi等人，2018年）、基于惯性传感器的导航（Zhang等人，2021年）以及基于视觉的导航（De Silva等人，2024b年；Ahmadi等人，2022年）。虽然实时运动学（RTK）-GNSS可以提供厘米级的精度，但它只能提供全局坐标，并且在植被覆盖下、温室中或靠近结构物导致多路径干扰的情况下信号会减弱（Rodriguez-Sanchez等人，2024年；Garrido等人，2019年）。LiDAR具有强大的障碍物检测能力，但对雾、阳光和灰尘等环境因素敏感，且许多应用的成本较高。惯性导航系统（INS）虽然成本效益高，但随着时间的推移会出现位置漂移，需要外部校正。
基于视觉的导航是指机器人利用摄像头或RGB-D（深度）传感器等视觉感知设备来感知周围环境并确定导航路径的方法，它作为一种灵活且成本效益高的解决方案，能够适应不同的作物和环境条件（De Silva等人，2024b年；Panda等人，2023年；Cheng等人，2025年）。与其他导航方法相比，视觉导航的优势在于能够对环境进行语义理解，从而实现跟随作物行、避障以及在卫星信号较弱或不可用时的任务级决策，同时保持低成本。
深度学习的进步进一步提高了视觉导航在面对光照变化、植被遮挡和环境复杂性时的鲁棒性，即使在具有挑战性的情况下也能准确检测作物行（Zhang等人，2026年；Z. Wang等人，2025年；Fu等人，2026年）。深度学习模型提供了对作物、杂草、土壤和可行性的语义理解，使得控制更加智能，而不仅仅是基于GNSS的坐标引导（Ahmadi等人，2022年；Sivakumar等人，2021年）。基于视觉的导航中的关键技术，如视觉里程计和视觉SLAM，也通过深度学习得到了改进，这些技术减少了尺度漂移，并提高了对光照变化和纹理稀疏性的适应能力（Kang等人，2025年；Chen等人，2023年；Xie等人，2025年；Xing等人，2025年）。然而，视觉导航仍面临重大挑战，包括易受恶劣天气影响、实时处理需要高计算资源，以及依赖大型标注数据集。此外，还存在着跨不同田地、品种和季节的领域转换问题，在严格的延迟和能耗预算下集成到嵌入式硬件中，以及在尘土飞扬和动态的农场环境中保持多传感器校准的难度。视觉导航的优势和局限性要求进行一次系统的回顾，该回顾（1）将视觉导航与其他导航方法进行比较，（2）综合行检测、视觉里程计、SLAM、学习驱动的感知和控制以及传感器融合的关键方法，（3）识别关键挑战并为下一代农业机器人指明未来的研究方向。
尽管已有几篇论文回顾了农业机器人中的导航技术（T. Zhang等人，2022年；Roshanianfard等人，2020年；Bai等人，2023年），但大多数论文要么没有专门关注视觉导航，要么没有对最新的基于深度学习的方法进行彻底分析。为了填补这一空白，本文不仅总结了农业机器人视觉感知、定位和路径规划的当前进展，还强调了基础模型、边缘推理、强化学习以及通过生成式AI和数字孪生技术生成合成数据等新兴方向，这些技术可能会塑造开放田野和受控环境农业中下一代视觉导航系统的发展。农业机器人运行在多种移动平台上，包括轮式、履带式和腿部机器人，每种平台的移动特性都会影响传感器的布置和性能。虽然平台设计会影响导航实现，但本综述主要关注适用于各种平台类型的视觉导航技术。使用以下关键词进行了全面的文献搜索：“视觉导航”、“作物行中心线检测”、“作物行识别、检测、提取”、“定位”、“农业机器人的自主导航”、“路径规划”、“地图构建”、“作物引导线”和“避障”。相关出版物来自过去五年内的主要数据库和出版商，包括Google Scholar、Web of Science、IEEE Xplore和Elsevier。总共选择了262个来源，包括来自67种不同期刊（包括arXiv）的189篇期刊文章、68篇会议论文和5个相关网站。
本文的其余部分结构如下：第2节回顾视觉导航技术；第3节描述仿真平台；第4节总结视觉导航在开放田野和CEA中的应用；第5节讨论当前的挑战和未来展望；第6节提供结论性意见。
章节片段
自主农业机器人视觉导航的关键技术
农业机器人的导航通常包括三个相互关联的组成部分：感知、定位与地图构建以及路径规划（Gao等人，2018年；Xu和Li，2022b年）（图1）。具体来说，感知使机器人能够语义上理解场景，例如作物行结构、田地边界以及动态元素，如生长中的植物或移动的农场工人。定位和地图构建通过估计机器人的位置并构建地图来提供空间意识
仿真
仿真是一种有效的方法，可以在不实际运行物理机器人的情况下研究系统行为并评估操作策略。它也是一种有价值的工具，用于生成合成数据，以增强数据驱动的机器人应用中的模型训练、验证和泛化，从而在受控的虚拟环境中实现安全、低成本且可重复的测试（Shannon，1998年；Thayananthan等人，2025年）。在农业机器人导航系统中
视觉导航的应用
农业机器人的操作环境可以大致分为开放田野（包括行作物和果园）和受控环境农业（CEA）（包括温室、多隧道和集装箱农场）（Shi等人，2023年；Bechar和Vigneault，2016年）。基于视觉的自主农业机器人需要定制的导航策略来应对开放田野和温室的独特结构和环境特征。以下部分将讨论基于视觉的
挑战
环境变化：环境变化显著影响自主农业机器人在开放田野和受控环境中的视觉导航性能。在开放田野中，动态元素如人类工人、杂草、阴影、不平整的地形和不连续的作物行会引入不确定性，降低导航精度并增加作物受损的风险（Ahmadi等人，2022年；Ma等人，2022年）。光照变化和恶劣天气会复杂化作物行的识别
结论
本文全面回顾了农业机器人视觉导航的关键技术组成部分，分析了它们在开放田野和受控环境中的当前应用、性能限制和研究趋势。通过综合最新的进展，本文指出了几个阻碍其在实际条件下可靠部署的关键挑战——即在变化的光照和天气条件下的性能下降
作者贡献声明
王瑞峰：撰写——原始草稿、可视化、验证、方法论、调查、正式分析。徐瑞：撰写——审阅与编辑、监督、项目管理、概念化。Peng W. Chee：撰写——审阅与编辑、概念化。王海华：撰写——审阅与编辑、监督、项目管理、概念化。李长英：撰写——审阅与编辑、监督、资源管理、项目管理、方法论、资金获取
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本项工作得到了美国农业部国家食品与农业研究所（奖项编号：2023-67021-40646）的支持。
