面向自主多用途农业机器人的基于场景图的视觉-语言推理到行动

《Computers and Electronics in Agriculture》：Scene-graph-grounded vision–language reasoning to action for autonomous multipurpose agricultural robots

　　

•场景图事实为基于语言的机器人推理在温室操作中提供了接地依据。
•接地推理在规划期间阻止了缺乏支持的视觉声明。
•经过验证的计划被映射为可执行的访问和遮挡管理基元。
•田间试验将计划的合法性与物理执行的鲁棒性分开。
•田间日志归因将 SGG 关系错误与合作决策联系起来。

引言
农业生产日益采用传感、人工智能、数据分析和自主控制来应对持续的人手短缺并提高运营一致性 (Ryan, 2023, Abbasi et al., 2022)。最近的评论指出，智能感知、决策、灵巧操作和可重构控制是农业机器人的核心使能技术 (Liu et al., 2024, Hernández et al., 2025)。然而，温室部署仍然困难，因为生物变异性、密集的冠层和依赖任务的操作限制了特定任务解决方案在不同农业操作之间的迁移 (Sánchez-Molina et al., 2024)。

为了在这样的环境中稳健运行，农业机器人必须超越预编程的任务执行，转向场景感知和上下文感知的自主性 (Sánchez-Molina et al., 2024)。当生物对象重叠或相互遮挡时，例如叶子覆盖目标果实，传统系统往往难以在线调整其操作策略 (Park et al., 2025)。作为孤立实例检测对象的机器人可能识别出存在什么以及它在哪里，但仍然无法确定在上下文中应该如何操作这些对象。这种局限性使得结构化场景理解和接地推理成为自适应多用途农业操作的核心要求。

因此，本研究的动机并非作为一般趋势将语言模型应用于农业，而是解决温室操作中的特定部署差距。在密集的番茄冠层中，同一检测到的对象可能根据其相对于目标的关系需要不同的动作：叶子可能被忽略、避开或主动推开；茎可能被当作刚性障碍物处理；未成熟的果实可能仅在疏果任务下成为目标。仅靠对象级感知无法解决这些依赖动作的含义。同时，当存在多种合理操作策略时，固定的规则表可能过于脆弱，而不受约束的基于语言的规划可能会引入缺乏支持的视觉声明。这种关系模糊性、物理可行性和安全风险相结合，激发了基于明确场景证据的验证推理到动作框架。

基于学习的感知和三维传感的最新进展提高了农业操作中的目标定位、姿态估计和视觉伺服性能 (Park et al., 2024, Park et al., 2025)。然而，对象级感知主要解释存在什么以及它在哪里，但它并不明确表示确定机器人应如何与周围植物器官交互所需的关联和功能上下文。因此，需要场景级表示来编码遮挡、附着、邻近和其他依赖任务的关系，以实现面向动作的推理 (Krishna et al., 2017, H. Li et al., 2024)。

基于语言的推理在此环境中仅当它严格基于当前的视觉证据时才有用。我们并不将语言模型作为在原始图像或先前知识上自由推理的通用任务规划器。相反，规划器被限制在源自 SGG 输出的特定场景事实集上。这种限制是必要的，因为不受约束的语言生成可能会产生缺乏支持的物体、属性或关系声明，这可能导致具身系统中不安全或物理上不可行的动作。因此，语言模型在本研究中的作用是有限且操作性的：它在明确场景事实上解决任务和动作选择，而模式验证、事实一致性检查和可行性门控决定生成的计划是否能到达机器人。

场景图为这一目的提供了自然的表示，因为它们将对象、属性和关系作为结构化视觉证据进行编码 (Krishna et al., 2017, Zellers et al., 2018)。更广泛地，机器人学研究已经开始将语言推理基于结构化场景表示，以提高可控性并支持空间约束下的多步规划 (H. Li et al., 2024)。对于温室操作而言，这意味着规划模块不应在原始像素上推理，而应在保留遮挡、附着、邻近和其他与任务相关的关系的机器可读场景证据上推理。

基于这一研究路线，先前的工作引入了一种视觉场景理解和任务规划框架，该框架应用场景图生成 (SGG) 来编码农业操作中的对象间关系和物理属性 (Park and Son, 2025)。该系统使用确定性规则来区分收获、叶片去除/修剪和疏果任务，并根据推断的遮挡对象的刚性协调双臂执行。尽管这种基于规则的框架证明了关系意识在任务选择和合作操作中的价值，但其对固定逻辑的依赖限制了在不可预见或模糊冠层配置中的适应性。本研究通过用接地基于语言的推理取代确定性规则映射，同时保留明确的场景证据和执行验证来解决这一局限性。

这一区别确立了本研究的位置：目标是保留基于场景图的规划的可审查性，同时允许对模糊冠层状态进行更灵活的推理。本研究的核心技术进展是结构化感知与可执行双臂动作之间具有验证意识的接口。现有组件的简单组合会将 SGG 输出传递给 VLM 规划器，然后执行生成的动作序列。这样的管道仍然脆弱，因为错误可能发生在所有接口上：SGG 输出可能不完整或不正确，VLM 规划器可能引用场景中不存在的对象或关系，机器人控制器可能接收到语法有效但物理上不可行的动作参数。所提出的框架通过将场景图输出视为一个封闭的证据集，将其确定性地序列化为具有持久对象标识符的接地事实，将规划器限制在预定义的决策模式上，将每个生成的对象、属性和关系与事实集进行检查，使用明确的违规消息修复无效候选，并将仅经过可行性筛选的基元传递给双臂控制器，从而解决了这些接口故障。因此，贡献并非 SGG、VLM 提示和机器人控制的松散聚合，而是一个可审计的感知–推理–动作契约，可以在物理执行前接受、拒绝或修复计划。

为防止误解，明确说明主张的范围。本研究贡献了四个要素：(i) 一种推理到动作公式，其中 SGG 输出被用作规划时的封闭事实证据集；(ii) 一个推理时验证和修复层，在执行前强制模式有效性、事实一致性和动作可行性；(iii) 一个基于接近和推送基元的最小、可审计的双臂推理到动作接口；(iv) 具有合法性感知评估协议的闭环田间验证。它不声称新的 SGG 架构或最先进的关系预测、对基于规则的规划器的无条件优越性、端到端学习的 VLA 策略，或超出面向访问基元的完全作物处理自动化。经验贡献是有条件的：鉴于不完美的关系感知，验证层使基于语言的规划可审计，并在执行前阻止缺乏支持或不可行的计划。

尽管基于语言的推理前景广阔，但在确保高级计划能转化为物理平台上安全可靠的动作序列方面仍存在巨大差距，特别是在密集温室冠层的严重遮挡下 (Park et al., 2023)。仅靠灵活的推理是不够的，如果规划器忽略运动学限制、可达性、碰撞风险或即时场景上下文。同样，如果没有明确的接地，VLM 规划器可能会生成缺乏支持的视觉假设，损害决策有效性和执行安全性。因此，从概念验证推理转向实际的温室部署需要对将结构化语义推理与物理可执行交互联系起来的端到端过程进行田间验证 (Seol et al., 2024)。

为了满足这些部署驱动的要求，本研究提出了一种面向自主多用途农业机器人的事实接地推理到动作框架。该框架围绕一个保守原则设计：机器人动作应仅从明确的场景证据中生成，并且在证据或可行性约束不足时应被拒绝。因此，所提出的方法通过三个阶段从原始视觉输入转向具身物理交互。首先，SGG 将冠层分解为结构化对象–关系–属性证据，并将其序列化为接地事实。其次，VLM 推理模块在模式和事实一致性约束下选择任务、目标、合作模式和动作序列。第三，推理到动作接口将仅经过验证的符号计划映射为可执行的接近和推送基元，用于双臂操作。因此，新颖之处不在于为农业机器人采用语言模型，而在于形式化并田间验证一个可审计的接口，该接口连接不完美的关系感知、受约束的符号推理和可执行的双臂动作。

重要的是，该研究被评估为一个闭环机器人系统，而不是作为离线数据处理管道。每次田间试验始于温室观察，经过基于 SGG 的事实提取、基于语言的推理、验证和推理到动作转换，并以物理双臂执行或明确的 安全/可行性中止而终止。这种设计允许评估区分三个层面的性能：关系感知质量、计划级有效性和物理执行成功。

本研究的主要贡献如下：
•本研究提出了一种事实接地推理到动作框架，用于在密集温室冠层的关系模糊性下解决动作选择，将 SGG 输出视为规划时的封闭证据集（第 3.1 节 整体系统架构与符号说明，3.2 基于场景图的视觉事实提取）。
•本研究引入了一个验证和修复层，在任何生成的计划到达机器人控制器之前强制模式有效性、事实一致性和动作可行性（第 3.3 节）。
•本研究定义了一个最小双臂动作接口，将经过验证的符号决策转换为可执行的接近和推送基元，用于合作遮挡管理（第 3.4 节）。
•本研究在商业温室中提供了田间验证，与基于规则的参考规划器进行对比，重点关注逻辑有效性、决策一致性、幻觉控制和执行结果，以及将 SGG 关系错误与合作决策错误联系起来的关系错误归因分析（第 4 节 实验与结果，4.7 关系错误归因结果）。

节选片段
相关工作
本节将所提出的框架与农业机器人感知、场景图生成和基于语言的机器人规划方面的先前研究进行定位。

整体系统架构与符号说明
所提出的框架将基于视觉的证据与语言推理分离，并将经过验证的计划映射为可执行的访问和遮挡管理基元（图 1）。该框架遵循感知–认知–动作管道，其中从视觉观察中提取场景图，并确定性地转换为接地事实。基于场景图的 VLM 推理模块在模式和事实一致性约束下生成符号计划，然后将其翻译为

实验与结果
本节以统一的流程呈现实验设置、评估协议和结果，并概述用于验证所提出的基于 SGG 的 VLM 推理过程的田间实验协议，强调可重复性。该协议包括 (i) 定义和记录一次试验 (回合)，(ii) 评估作为结构化三元组/事实的感知，(iii) 评估计划动作的逻辑有效性和决策质量，以及 (iv) 测量物理动作结果

讨论
结果表明，所提出的框架在计划有效性层面最有效，而感知质量和物理执行仍然是两个主要瓶颈。这种解释很重要，因为所提出的系统不应被评估为通用的 SGG 模型、端到端 VLA 策略或纯粹的基于规则的农业规划器。相反，它应被评估为一个模块化的推理到动作框架，该框架使用源自场景图的事实来约束基于语言的

结论
本研究证明，源自场景图的事实可以在关系感知和动作规划之间提供可审计的桥梁，用于多用途温室机器人。通过将基于语言的推理限制在明确的对象、属性和关系证据上，并筛选候选计划以符合模式合规性、事实一致性和执行可行性，该框架支持任务和合作动作选择，同时防止缺乏支持的计划到达机器人。该

CRediT 作者贡献声明
Yonghyun Park: 写作 – 审查与编辑，写作 – 原稿，可视化，验证，软件，方法论，调查，数据整理，概念化。Changjo Kim: 写作 – 原稿，验证，软件，方法论，调查，概念化。Gangmin Kim: 写作 – 原稿，验证，软件，方法论，调查，概念化。Hyoung Il Son: 写作 – 审查与编辑，监督，项目管理，资金获取，

生成式人工智能使用声明
在准备本手稿期间，生成式语言工具被用于有限的语言润色。

所有技术内容、实验设计及结论均由作者制定并验证。
利益冲突声明
作者声明，他们没有已知的竞争性财务利益或可能影响本文报告工作的个人关系。
致谢
本研究得到了韩国政府（MSIT）资助的韩国国家研究基金会（NRF）赠款（RS-2025-02216206）的支持；得到了韩国政府（MOTIR）资助的韩国技术促进研究所（KIAT）赠款（RS-2024-00406796，工业创新人力资源开发计划）的支持；以及得到了通过光州 RISE 中心实施的区域创新系统和教育（RISE）全球大学 30 计划的支持，该计划由教育部（MOE）和光州市资助。
朴永勋 | 金章祚 | 金康民 | 孙亨一