《Smart Agricultural Technology》：AGRI-BT Robot: LLM-Driven Behaviour Trees and VLM Perception for Intelligent Autonomous Greenhouse Operations
编辑推荐：
摘要：温室与精准农业中自主机器人的日益普及凸显了一个关键挑战——使非专业用户（如农民与田间操作人员）能够直观地指定复杂任务，同时确保机器人在动态环境中的可靠执行。现有大多数农业机器人解决方案依赖预编程例程或手工编写的任务逻辑，限制了其适应变化作物与环境条件的灵
摘要：温室与精准农业中自主机器人的日益普及凸显了一个关键挑战——使非专业用户（如农民与田间操作人员）能够直观地指定复杂任务，同时确保机器人在动态环境中的可靠执行。现有大多数农业机器人解决方案依赖预编程例程或手工编写的任务逻辑，限制了其适应变化作物与环境条件的灵活性与适应性；此外许多基于学习的规划方法缺乏显式结构与感知基础，降低了其在长时域农业作业中的适用性。本文通过提出一种统一的语言与视觉驱动的任务规划框架以解决上述局限，适用于自主温室机器人。研究人员采用领域自适应的LLM（CodeLlama-7B），使用低秩适配(Low-Rank Adaptation, LoRA)微调，将自然语言农业指令翻译为可执行的基于XML的行为树(Behaviour Tree, BT)。该规划器集成了基于CLIP的视觉语言模型(Vision-Language Model, VLM)，以在任务执行期间实现感知感知决策。研究人员构建了一个新的数据集，包含1,187对任务描述与专家验证的行为树，通过在现有机器人数据集基础上扩展至农业领域获得，涵盖导航、作物巡检、灌溉、采收及病害检测，其中导航、巡检与病害检测经实验验证。该框架在基于ROS 2的模拟温室中于三类任务上评估：优化导航、选择性巡检及基于视觉的病害检测。结果显示100%结构化（XML）有效性、87.5%语义正确性与82.0%任务对齐度，得出加权验证总分91.4%。较简单任务观测到较高准确率，复杂感知-动作序列仍具挑战性，表明在多阶段任务分解方面有改进空间。指令特定规划使导航跟踪误差降低35.1%（从0.208 m降至0.135 m），证明语言精度直接提升机器人执行质量。所提方法为灵活可靠的农业自动化提供了一个实用、可扩展的接口。
论文解读：《Smart Agricultural Technology》刊载的"AGRI-BT Robot: LLM-Driven Behaviour Trees and VLM Perception for Intelligent Autonomous Greenhouse Operations"一文，针对温室与精准农业中自主机器人依赖预编程脚本或手工控制逻辑、缺乏灵活性，以及基于学习的规划方法缺少显式结构和感知基础、难以适应动态农业环境的问题，提出将大语言模型(LLM)驱动的行为树(BT)生成方法与视觉语言模型(VLM)感知相结合，使非专业农民可通过自然语言下达任务指令，由微调后的LLM将指令转化为可执行的XML格式BT并在ROS 2环境下运行，同时嵌入CLIP-based VLM节点实现作物病害等感知驱动决策。研究人员通过构建农业领域专属的1,187组自然语言任务描述—BT配对数据集，对CodeLlama-7B-Instruct模型进行LoRA微调，并在Gazebo模拟温室中使用TiAGo PRO全向移动机器人平台验证了导航、选择性植物巡检和CLIP病害检测三类任务。结论表明该方法实现100% XML结构有效性、87.5%语义正确性、82.0%任务对齐及91.4%综合验证分数，指令精确性能使导航跟踪误差降低35.1%，为温室自动化提供了可扩展的自然语言接口。
关键技术方法：研究人员以扩展BTGenBot数据集的方式构建了农业领域首个人机任务—XML行为树配对数据集（1,187条，含原593条通用条目与594条新增农业条目，覆盖导航、巡检、灌溉、采收、病害检测），使用GPT-5.0少样本生成BT并由Groot2语法校验与农业机器人专家语义审核；选用CodeLlama-7B-Instruct作为基座模型，采用LoRA（秩r=8，缩放因子α=16，仅训练约28 M即0.4%参数）在单张NVIDIA RTX 4090上进行领域自适应微调，以Alpaca模板组织指令—输入—输出三元组，优化器为AdamW，学习率3×10-4，3轮训练；推理阶段通过超参数调优确定最优生成配置（temperature=0.07，top-p=0.92等）并配套XML校正引擎修复字符级损坏；VLM模块选用ViT-B/32图像编码器与Transformer文本编码器的CLIP架构，以番茄叶病害公开数据集（约1,200幅图像，五类病害+健康）进行对比学习训练获得病害分类能力；系统集成于ROS 2，BT运行时基于BehaviorTree.CPP，导航栈为Nav2，仿真环境为Gazebo，机器人平台为带SICK激光雷达与RGBD相机的TiAGo PRO麦卡纳姆轮底盘，SLAM用sync_slam_toolbox_node，定位用AMCL(Adaptive Monte Carlo Localization)。
研究结果：
- 6.
Evaluation of the Behaviour Tree（行为树评估）：在六类温室自动化任务（基本导航、植物巡检、采收、灌溉、复杂多任务、CLIP病害检测）上对比AGRI-BT与未微调BTGenBot，AGRI-BT平均加权验证分为91.4% vs BTGenBot 52.7%，简单任务达满分而复杂多阶段任务语义正确性与任务对齐略有下降。XML结构完整性两者均100%；语义正确性AGRI-BT为95.2%而BTGenBot仅约10–15%；任务对齐AGRI-BT为89.7%而BTGenBot仅2–8%；CLIP集成任务AGRI-BT 88.7% vs BTGenBot 45.0%。对比GPT-5、Gemini Flash 2.5、Claude Sonnet 4等云端大模型，AGRI-BT本地部署正确性均值91.4%与之相当或更优，推理时延12.3 s可接受。说明领域微调使LLM掌握农业语义与约束感知规划能力。
8.1. Task 1: Navigation（任务1：导航）：提供含"最短距离"优化指令生成距离优化BT，机器人平均跟踪误差0.135 m（±0.168 m），最大0.40 m；提供无优化泛化指令则生成顺序遍历BT，平均误差升至0.208 m（±0.277 m），最大0.80 m。指令特异性使跟踪误差降35.1%，证明LLM可将高层优化语义编码入BT控制逻辑并改善Nav2执行质量。
8.2. Task 2: Navigation and Inspection（任务2：导航与巡检）：指令要求巡检第1、3行番茄植株并拍照保存，生成BT含GoToPose→InspectPlants→CaptureImage/SaveImage层级序列及存在性检查节点。机器人成功非连续行间导航，平均跟踪误差0.136 m（±0.180 m），捕获并保存4张带时间戳图像，BT通过全部三项验证。表明模型能合成含导航、感知、I/O的多阶段农业任务BT并能灵活指定目标行。
8.3. Task 6: Clip Model for disease detection（任务6：CLIP模型病害检测）：指令要求遍历各行并用CLIP识别、分类病害。生成BT嵌入ClipDetection动作节点与CheckDisease条件节点，触发预训练CLIP零样本分类，相似度超阈值则标记染病植株并记录日志。模拟环境中6个检测点中4个阳性识别，CLIP推理约1 s/帧，BT—VLM协调执行完整感知—动作环路，验证LLM生成BT可有效整合VLM进行实时农业病害感知决策。
8.4. Overall Validation Results（整体验证结果）：30次独立运行汇总显示XML结构完整性100%，语义正确性均值87.5%（σ=6.3%），任务对齐均值82.0%（σ=9.5%），加权总分91.4%（σ=2.8%，95% CI [88.6%, 94.2%]）。复杂度升高时语义与对齐分数略降，但总体满足受控农业环境可靠性要求。
讨论与结论翻译：本研究成功将LLM驱动的行为树(BT)生成扩展至农业机器人领域，提出结合CodeLlama-7B与LoRA领域自适应及CLIP-based VLM感知的框架。结果表明LLM可在复杂操作场景中有效地将农业语义编码为可执行的多阶段任务计划。在经实验验证的三类任务（导航、巡检、病害检测）中，系统获91.4%综合验证性能——含100% XML结构完整性、87.5%语义正确性及82.0%任务对齐。复杂多阶段操作的任务对齐（82.0%）仍有待提升，但高结构与语义得分表明对核心温室任务具生产级可靠性。低跟踪误差（0.135–0.136 m）证实LLM生成航点序列可在机器人平台上高精度执行。指令语言学特性比较（优化指令0.135 m vs 泛化指令0.208 m，降幅35.1%）提供经验证据：任务描述质量直接影响BT生成，这对农业人机交互有重要意义。CLIP病害检测无缝集成LLM生成BT证明VLM可有效嵌入符号任务规划结构，使感知驱动自主决策服务于实际温室操作。本研究填补了LLM-BT规划器在农业与田间机器人领域的空白，构建的首个农业BT数据集（1,187对）为后续语言驱动农业自动化研究奠定基础；未来工作将在真实商业温室内部署验证并扩展至采收、灌溉等多机器人与多任务场景。
