《Robotica》:Design and evaluation of a data collector robot for plant-level strawberry monitoring and harvesting support in greenhouse environments
编辑推荐:
温室作物监测系统主要依赖基于传感器的环境条件测量,如温度和湿度,而在很大程度上忽略了植株和果实特定的信息。对于草莓等精细作物,这种植株级感知的缺乏限制了对成熟度、空间分布和局部生长条件的评估,而这些对于明智的作物管理至关重要。因此,实现频繁的、植株特定的视觉与
温室作物监测系统主要依赖基于传感器的环境条件测量,如温度和湿度,而在很大程度上忽略了植株和果实特定的信息。对于草莓等精细作物,这种植株级感知的缺乏限制了对成熟度、空间分布和局部生长条件的评估,而这些对于明智的作物管理至关重要。因此,实现频繁的、植株特定的视觉与空间监测,为收获规划和自动采摘等下游任务提供了必要的基础。为弥补这一空白,本研究提出了一种数据采集机器人(data collector robot, DCR),通过解耦的感知-行动工作流程实现植株特定的监测。所提出的DCR集成了红绿蓝-深度(red-green-blue-depth, RGB-D)相机、机械臂和轨道引导移动平台,以在温室环境中执行可重复的多视角图像采集。采集到的数据传输至云服务器,在服务器端使用基于“你只看一次”(you-only-look-once, YOLO)的模型进行草莓检测与定位,处理结果存储以供远程访问和下游使用。该架构在避免高性能机载计算需求的同时,实现了精确的植株级感知。实验评估考察了定位重复性、可变网络条件下云处理鲁棒性以及连续多植株操作性能。结果表明,定位均方根(root-mean-square, RMS)误差为0.39 mm,在模拟网络损伤下云辅助推理稳定且无检测丢失,并在100个完整数据采集周期中表现出可靠性能。对比分析进一步表明,与本地图形处理单元(graphical processing unit, GPU)推理相比,云处理为可扩展部署提供了一种成本效益更优的替代方案。总体而言,所提出的DCR为植株级温室监测提供了一种轻量级、模块化的解决方案,并为未来自主草莓采收系统奠定了实践基础。
**温室草莓植株级监测与采收支持:一种解耦感知-行动架构的数据采集机器人**
**一、研究背景与问题提出**
联合国经济和社会事务部人口司于2019年发布的《世界人口展望》报告指出,到2050年全球人口将接近97亿,这给世界粮食生产系统带来了巨大压力。在传统耕作模式下,增加粮食产出需要相应增加农业劳动力。然而,由于农村人口向城市迁移以及许多国家的人口结构变化,农业部门正面临持续劳动力短缺的困境。为应对这些挑战,精准农业被越来越多地应用于提高生产力和资源利用效率,尤其是在温室等可控环境中。中国是世界最大的草莓生产国之一,年产量约为6亿至8亿公斤,且生产主要在温室环境中进行。草莓种植属于高度劳动密集型产业,温室工作条件对人工操作者而言往往体力消耗较大,降低了人工作物监测和收获的效率。此外,草莓成熟周期短且易受病害影响,采收时机成为决定最终产量的关键因素。实地调查数据显示,某些地区每年近64%的草莓被浪费,其中约35%–40%的损失归因于采收过晚或采收效率低下。
然而,现有的农业监测方法,特别是温室环境中的应用,主要依赖测量温度、湿度等环境参数的传感器系统。这类系统虽对气候调节有价值,但缺乏作物级感知能力,包括草莓检测、成熟度分类和空间定位,难以为采收决策或植株特定管理提供有效支持。与此同时,自动化草莓采收机器人已被广泛研究,但大多数现有机器人方案面向实时采收设计,由单一机器人顺序完成导航、数据采集、感知和采摘任务。此类系统将全部任务集成于单一平台,导致采收周期长,并对感知提出严格实时性约束。这种对实时数据处理的依赖往往需要高性能机载计算硬件,如GPU,从而增加了系统成本并限制了可扩展性。
综上,现有温室监测和机器人系统存在三个关键缺陷:其一,基于物联网(IoT)的常规监测方案主要提供环境级测量,如温度、湿度和光照强度,缺乏具有空间分辨率的植株级信息;其二,现有机器人系统将感知和行动紧密耦合,限制了植株级数据的复用及其在连续监测和多阶段农业工作流程中的适用性;其三,现有的云连接农业系统很少提供支持可靠复用远端感知数据进行下游操作所需的空间精度、重复性和鲁棒性。因此,当前方法无法提供收集、存储并在后续复用空间一致的植株级信息的机制。基于此,研究人员提出了一种数据采集机器人(DCR),引入解耦的感知-行动工作流程,为温室监测提供支撑,同时支持采收等下游应用。
**二、研究内容与核心结论**
研究人员设计并评估了一种面向温室环境下植株级草莓监测的数据采集机器人(DCR)。该系统采用解耦的感知-行动架构,通过轨道引导移动平台和多视角机器人传感单元执行可重复的植株级数据采集,并将感知任务卸载至云端处理框架。系统集成了Intel RealSense D435i深度相机、具备6自由度(6-DoF)的Mycobot 320 M5机械臂(Elephant Robotics)以及轨道引导车辆(RGV)平台。Raspberry Pi 4作为主控制器执行基于机器人操作系统2(ROS2)的协调控制,NodeMCU 32S负责低层电机控制与接近传感。该架构实现了感知与行动在时间和功能上的分离,支持连续植株级监测、多阶段农业工作流程,并允许感知数据独立于实时操作进行存储和复用。
实验评估涵盖四个方面:定位重复性、云延迟与鲁棒性、多植株连续数据采集性能,以及本地与云推理的成本-性能对比。结果表明,在50次重复试验中,感知-定位管线的整体定位均方根(RMS)误差为0.39 mm(X、Y、Z轴标准差分别为0.19 mm、0.30 mm和0.19 mm)。在模拟不同网络损伤条件下(包括正常带宽、中等延迟抖动、严重延迟丢包、极极端延迟高丢包),云推理在900次传输中实现了零检测丢失;即使在最极端条件下(1.8 s延迟、±0.05 s抖动、5%丢包),云推理时间保持稳定,最大总周期时间为11.89 s。在100个完整数据采集周期中(涵盖9株植物,每株2至6个草莓),系统在每个试验中均检测到正确数量的草莓,误检率和漏检率均为0,数据采集成功率为100%。成本对比分析表明,云服务器(ACECS)以每年176美元的费用实现每图像0.69 s的推理时间,避免了本地GPU硬件的高昂投资(Jetson Orin NX为1400美元,笔记本电脑为600美元),在保证可接受推理性能的同时显著降低部署成本。该研究的重要意义在于验证了将感知与行动解耦的系统级方法在植株级监测中的有效性,支持生成可复用且时间一致的作物数据,为可扩展的温室机器人系统及未来的自主草莓采收系统奠定了实践基础。
**三、关键技术方法**
研究人员在开展该研究时主要采用了以下几项关键技术方法:
1. **多视角机器人感知平台**:集成RGB-D相机(Intel RealSense D435i)与6自由度机械臂(Mycobot 320 M5),通过预设运动轨迹实现可重复的多视角图像采集(含前视和侧视),在保证几何一致性的同时提高果实可见性。
2. **轨道引导移动平台(RGV)**:采用位置导引板(PGP)结合接近传感器实现精确定位,通过加速度限制为300 mm/s2的三角形速度剖面和35 mm/s低速蠕动阶段确保停止精度,消除了累积导航漂移。
3. **基于YOLOv11s的云辅助检测与定位**:使用3207张人工标注的RGB-D图像训练YOLOv11s(small)草莓检测模型,图像涵盖自然光(35%)、LED照明(45%)和混合/局部遮光(20%)条件;通过相机内参去畸变(Brown-Conrady模型)和深度图反投影,结合手眼标定矩阵和Denavit-Hartenberg正运动学变换,完成从相机坐标系到世界坐标系的3D定位。
4. **云服务器部署与网络鲁棒性测试**:将感知处理部署于阿里云弹性计算服务(ACECS),并使用Linux NetEm和令牌桶过滤器(TBF)模拟温室网络干扰条件(正常α、中等β、严重γ、极端δ四类),评估端到端延迟、云处理时间和丢包率。
5. **误差传播理论分析**:通过一阶摄动分析量化像素定位、深度测量、手眼标定、机械臂运动学和RGV停止精度各误差源对最终世界坐标估计的贡献。
实验在3 m台式栽培装置上进行,包含9株草莓植株,株间距250 mm,使用真实温室种植的草莓植株作为感知对象。
**四、主要研究结果**
**4.1 草莓定位重复性实验**
研究人员进行了50次重复定位试验,将DCR从初始位置移动至第一株植物,捕获RGB-D数据并传输至ACECS处理。结果表明,重建3D坐标的标准偏差在X轴为0.19 mm、Y轴为0.30 mm、Z轴为0.19 mm,对应整体定位RMS误差为0.39 mm,95%置信区间为±0.089 mm(X)、±0.141 mm(Y)和±0.089 mm(Z)。该亚毫米级重复性表明,感知-定位管线中主导噪声源来自深度传感器固有波动,而机械漂移、外参标定不稳定和RGV停止变异性可忽略不计。
**4.2 云延迟与鲁棒性评估**
通过NetEm和TBF模块模拟四类温室网络干扰条件,研究人员对每种条件进行了100次RGB-D图像传输测试。在理想网络条件下,平均端到端周期时间为0.88 s(通信延迟0.19 s,云处理0.69 s);带宽降至1 Mbps时总周期时间增至1.58 s;在0.5 s延迟、±0.05 s抖动和3%丢包条件下,总周期时间为3.14至4.74 s;最极端δ条件下(1.8 s延迟、5%丢包)最大总周期时间达11.89 s。在所有900次传输中,云推理时间保持稳定(0.68至1.99 s之间),且无图片上传或推理结果丢失,验证了系统在现实通信波动下的容错能力和优雅降级特性。
**4.3 植物数据采集实验**
在100个完整数据采集周期中,DCR沿九株植物连续移动,在每个植物位置暂停并采集RGB-D图像传输至云服务器。实验覆盖每株2至6个草莓的不同测试案例,每个案例进行20个周期。所有案例中,DCR均检测到准确数量的草莓(置信度阈值0.75),误检率和漏检率均为零,数据收集成功率100%。平均上传负载约400 KB/株,图像采集约需3.0 s,云处理额外0.8 s,展示了系统在长时间持续监测中的稳定性和可靠性。
**4.4 本地与云处理成本-性能比较**
研究人员将YOLOv11s模型分别部署于Raspberry Pi 4、Jetson Orin NX(16 GB)、笔记本电脑(Intel Core i5-9300H + GTX 1660Ti)和ACECS云服务器进行基准测试。Raspberry Pi 4推理时间2.94 s(功耗7 W,成本109美元),低于实时要求;Jetson Orin NX推理最快0.021 s(功耗30 W,成本1400美元);笔记本电脑推理0.036 s(功耗125 W,成本600美元);ACECS每图像0.69 s,年订阅成本176美元。尽管云推理速度慢于Jetson和笔记本,但消除了高昂的机载硬件投资和功耗负担,在多DCR部署场景下具有更优的规模经济性。
**五、总结讨论与结论**
讨论部分指出,DCR通过可复用的空间一致几何信息实现了连续植株级监测,草莓位置在统一世界坐标系中计算并存储,支持重复观测和纵向分析。相较于草莓采收文献中报道的±3–5 mm操作容差,DCR的亚毫米级重复性仅占所需定位精度的一小部分,验证了解耦感知-操作框架的可行性。系统级设计方案(如PGP消除累积位姿漂移、机械臂受控轨迹保障视角一致性、短距一致工作范围抑制深度噪声)有效缓解了感知-定位管线中的关键误差源。云连接架构在温室相关网络条件下可行,无丢失检测表明其可容忍现实通信变异性。云推理的成本优势使其成为可扩展部署的更优选择。草莓作为极易腐烂商品,总损失率可达60–70%,其中约35–45%归因于采收不及时,DCR通过在单株水平上频繁识别成熟度,可支持更接近最佳成熟窗口的采收决策,减少过熟和质量退化造成的损失。高精度成熟与未成熟果实分类能力对选择性采收策略尤为关键。研究亦指出了部署中需考虑的因素:光照变化、叶片遮挡增加、植株运动、轨道和PGP安装精度、基础设施可用性,以及草莓成熟过程中的持续形态变化等生物生长动态。对于后续采收操作,切断式末端执行器因对周围果实簇的干扰最小而被推荐。
研究结论可翻译为:本研究提出了一种DCR,旨在为温室草莓栽培提供植株特定感知,弥补仅依赖环境监测系统的不足。通过集成RGB-D感知模块、轻量级机械臂和轨道引导车辆与云辅助处理,该系统实现了可重复的植株级监测和空间一致的数据采集,并通过解耦的感知-行动工作流程支持下游应用。四项针对性实验评估了DCR在定位重复性、云延迟、连续多植株操作和成本-性能权衡方面的表现。结果表明,感知-定位管线具有亚毫米级重复性,表明相机-机器人标定稳定且RGV定位一致;云推理在广泛的网络条件下保持鲁棒,900次试验无检测丢失;连续多植株操作在100个完整周期中表现出可靠性能。本地与云处理的对比进一步凸显了云推理在可扩展性、成本效益和降低机载功耗方面的优势,同时保持了适合温室部署的推理时间。这些结果验证了基于感知-行动解耦的植株级监测系统级方法的有效性,能够生成可复用和时间一致的作物数据,为可扩展温室机器人系统奠定基础。DCR提供及时的植株级数据,可辅助种植者做出作物管理、收获调度和产量估算相关的明智决策。未来工作将侧重于通过时间跟踪、多视角融合和自适应采集策略等先进感知方法扩展DCR的监测能力,并在商业温室环境中进行更广泛的验证,同时探索与下游采收机器人的集成。