《Computers and Electronics in Agriculture》:LARIS: a local-state active reasoning and integrated switching framework for robotic harvesting under partial observability
编辑推荐:
•提出了一种适用于部分可观测场景下机器人采番茄的框架。•一种集成式的局部执行状态表示方法,有助于以执行为导向的决策制定。•一种基于可行性的规则,用于决定是进行补充观测还是立即采摘。•室内实验结果显示,成功率为84.1%,每个周期时间为7.9秒,每次尝试需要1.5次补充观测。•野外
- •
提出了一种适用于部分可观测场景下机器人采番茄的框架。
- •
一种集成式的局部执行状态表示方法,有助于以执行为导向的决策制定。
- •
一种基于可行性的规则,用于决定是进行补充观测还是立即采摘。
- •
室内实验结果显示,成功率为84.1%,每个周期时间为7.9秒,每次尝试需要1.5次补充观测。
- •
野外试验结果显示,成功率为79.6%,每个周期时间为8.7秒,每次尝试需要1.6次补充观测。
引言
温室番茄种植是智能农业机器人应用的重要领域。选择性采摘有望在保持采摘效率与果实品质的同时减少对劳动力的依赖。然而,在实际操作中,由于温室顶部植被密集、局部遮挡频繁,且目标果实周围的作业空间往往极为受限,因此实现可靠的机器人采摘仍然十分困难(Droukas等人,2023;Kootstra等人,2021;Rajendran等人,2024)。
以往的研究从感知和执行两个层面提升了机器人采摘的性能。在感知方面,相关研究提升了在复杂温室环境中的果实检测、成熟度评估、定位以及姿态估计能力(Kim等人,2022;Tang等人,2023)。在执行方面,相关研究则改进了在受限空间中的运动规划、抓取机制、机械臂设计以及末端执行器与果实的交互方式(Liu等人,2023)。这些研究为采摘机器人提供了重要的组成部分,但感知结果与执行决策仍常常被视为相互独立的环节。
目前,针对番茄采摘的目标级感知技术已涵盖果实姿态识别、2D姿态估计、考虑遮挡的检测方法、果实与茎干的分割技术、多模态传感技术以及轻量级部署策略(Kim等人,2023;Zhang等人,2024;Jang和Hwang,2024;Chen等人,2024)。这些技术的应用提升了目标的可见性以及以目标为中心的场景理解能力。不过,在果实密集生长的环境中实现可靠采摘,还取决于周围空间是否有利于机器人的接近、接触以及后退操作。因此,仅依靠目标级感知并不足以判断局部执行条件是否充足。
为减少叶片干扰、果实重叠以及视野受限带来的信息损失,人们采用了主动感知与补充视角规划技术。相关研究选择了合适的视角,用于搜索与任务相关的植物部位、重建被遮挡的果实、实现多视角跟踪、重建植物结构以及提升果实的可见度(Magalh?es等人,2022;Wang等人,2025;Gong等人,2022;Villacrés和Vougioukas,2024)。在这些方法中,视角通常是根据视觉完整性、重建质量、信息增益或检测置信度来评估的。但对于采摘任务而言,额外视角的实际价值还取决于它能否改善机器人接近、接触或后退时的局部条件。
在执行层面,相关研究聚焦于抓取策略的优化、运动规划以及局部交互的稳定性。典型的研究成果包括基于强化学习的无碰撞果柄抓取方法、双臂机器人的停止-移动规划、多果实簇环境下的顺序多视角采摘规划,以及端到端的果柄抓取-姿态预测方法(Li等人,2024a;Li等人,2024b;Dai等人,2024;Gao等人,2026)。还有研究着眼于柑橘、苹果以及多臂采摘系统(Choi等人,2025;Wang等人,2023;Li等人,2023)。这些方法提升了机器人对选定目标的抓取、规划及执行能力。但在果实高度密集的环境中,插入路径、接触面以及后退路径周围的不确定性可能对执行过程产生不同影响,因此在做出最终采摘决策之前,有必要对这些不确定性进行建模。
因此,剩余的问题就是在部分可观测条件下如何做出观测-执行决策:即当前观测到的局部场景是否足以支持可靠采摘。有时虽然能够高置信度地检测到果实,但由于其接触面存在部分遮挡、插入路径不明确,或是采摘后的后退空间存在不确定性,仍然无法安全地进行采摘。Fujinaga(2025)的最新分析也表明,采摘的成功率在很大程度上受当地作物结构以及接近方向的影响。在以感知优先或固定视角为原则的系统中,观测通常会在预定的处理阶段或视角预算达到后停止,而非根据实时的局部执行状态来决定。这在简单情况下可能导致不必要的重复观测,而在局部几何结构仍未明确的情况下则可能导致采摘失败。
以往针对农作物采摘机器人的系统级研究也得出了类似结论:感知、接近路径规划以及末端执行器设计必须综合考虑。CROPS和SWEEPER项目展示了完整的甜椒采摘平台,并指出可见性、接近方向、遮挡情况以及局部碰撞约束共同决定了是否可以进行采摘(Bontsema等人,2015;Bac等人,2017;Arad等人,2020)。眼手协同视觉伺服以及接近策略相关研究也表明,近距离传感有助于提升机器人在局部环境中的交互能力(Barth等人,2016;Ringdahl等人,2019)。不过,即便存在可行的视角或接近方向,也不一定能确保机器人在密集植被中能够安全地完成接触和后退操作。
这种系统级的相互依赖关系也影响了如何将LARIS与以往的采摘研究进行比较。不同研究中报道的采摘性能会受到作物类型、末端执行器设计、遮挡程度以及视角选择策略的显著影响,这就使得直接跨研究比较变得困难。因此,本次评估侧重于执行可靠性与视角成本之间的平衡。相比以感知优先的方式,固定的三视角NBV虽然提升了可靠性,但每次尝试需要3次补充观测,且周期时间最长。而LARIS则着眼于判断当前观测到的局部状态是否足以支持执行操作,而非判断是否还能获取更多视觉信息。补充表S2给出了代表性主动感知研究与机器人采摘研究之间的定量对比。由于不同研究在作物形态、机器人平台、末端执行器、观测策略、成果定义以及时间范围等方面存在差异,所报告的数值主要用于提供参考,而非直接用于性能排名。
为解决这一观测-执行决策问题,本研究提出了LARIS——一种专为在密集生长、部分可观测的温室环境中采摘番茄而设计的、基于局部状态的全局主动推理与集成切换框架。LARIS旨在在降低冗余观测的同时提升采摘的可靠性。该框架由三个相互关联的组件构成:用于表示目标几何形状、局部结构特征、自由空间信息以及剩余不确定性的局部执行状态;用于判断是否还需要进行补充观测的切换规则;以及将剩余不确定性传递到接近、接触和后退操作阶段的执行层。
主要贡献如下:
- (1)
建立了一种以执行为导向的局部场景表示方法。这种集成式的局部执行状态表示方法能够描述目标几何形状、局部结构特征、自由空间信息以及由遮挡带来的不确定性,为后续决策提供依据。
- (2)
提出了一种基于可行性的观测-采摘切换机制,可用于区分那些执行条件已满足的状态与仍需补充观测的状态。与基于视觉完整性或信息增益的主动感知方法不同,该切换标准与采摘的可行性以及剩余的执行风险直接相关。
- (3)
开发了一种考虑剩余不确定性的采摘执行策略,将该策略融入接近、接触和后退操作过程中,从而提升机器人在狭窄局部空间中的执行稳定性。
章节摘要
材料与方法
LARIS是在一款自行研发的、配备双摄像头感知系统的番茄采摘机器人上实现的。其中,安装在机器人肩部的Intel RealSense D435i用于对整行番茄进行观测并定位潜在的采摘目标,而安装在机器人手部的Intel RealSense D405则用于在靠近番茄时进行近距离观测。完整的硬件配置详见2.5.1节。LARIS整体框架整合了场景感知、执行状态估计以及观测或采摘的决策功能
田间试验
所提出的方法主要在商业温室环境中进行了验证。在2025年12月的测试中,相同平台和场景配置下,每种方法均进行了167次采摘尝试,这些尝试涵盖了在指定温室种植行中遇到的所有成熟期及即将成熟的番茄。田间试验的结果总结在表5中。
在比较不同方法的采摘效果之前,首先分析了初始的遮挡程度情况
结论与未来工作
在果实密集生长的环境中,部分可观测性会限制机器人高效采摘,这就在获取更多观测数据与保持执行效率之间造成了实际矛盾。本文提出了LARIS,这是一种以执行为导向的框架,它将局部执行状态推理、基于可行性的观测或采摘决策以及考虑剩余不确定性的执行策略相结合。主要研究结果如下。
(1) 在室内重建的果实簇环境以及真实温室环境中
CRediT作者贡献说明
戴念祖:论文撰写——初稿撰写、验证、方法设计、实验分析、数据整理。方嘉明:验证、方法设计、数据整理。袁津:论文撰写——审阅与编辑、项目监督、方法设计、资金申请、概念构思。刘雪梅:论文撰写——审阅与编辑、资源协调、项目管理、资金申请。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢
本研究得到了国家自然科学基金(项目编号:52275262)以及山东省现代农业产业技术体系的支持(项目编号:SDAIT-03-09)。
戴念祖|方嘉明|袁津|刘雪梅