面向异质性食材的具过程感知能力的机器人食品组装：基于闭环视觉监控的方法

《Journal of Agriculture and Food Research》：Process-aware robotic food assembly: Closed-loop visual monitoring across heterogeneous ingredients

　　

在本研究中，过程认知（process cognition）指的是监测当前食品放置子任务状态并在无需人工干预的情况下自主推进预定义装配序列的能力。当前的机器人系统能够处理孤立操作，但无法应对每一步都依赖于前一步成功完成的顺序流程。在此，研究人员提出并评估了一个基于π0构建的具过程感知能力的视觉-语言-动作模型（VLA），该模型结合了分步特定语言指令、预定义的顺序控制器以及用于自动步骤转换的学习型视觉监控。在一个七步沙拉包装任务的系统级比较中，具过程感知能力的VLA完成了10次试验中的10次，而未增强的端到端π0基线模型仅完成了10次试验中的3次。运行级别的二元预测熵（binary predictive entropy）在七个不同子任务间有所变化，表明监控不确定性存在任务依赖性差异，而各子任务与单个食材属性的关联主要是描述性的。在十次具过程感知能力的VLA试验中未观察到序列错误，表明在所评估的设置下程序一致性得到了改善，同时生成的时间戳步骤级别记录可能有助于未来符合危害分析与关键控制点（HACCP）的过程监控。这些结果为开发具备自主序列执行能力和步骤级别可追溯性的具过程感知能力的VLA系统提供了基础。

论文解读：面向异质性食材的具过程感知能力的机器人食品组装

一、研究背景与问题

食品自动化装配的核心瓶颈并非机械能力，而是认知能力。尽管现代机器人手臂具备完成食品服务任务所需的物理灵活性，但它们缺乏追踪多步骤制备过程动态状态的感知智能。这种物理能力与状态感知之间的差距构成了“认知瓶颈”，将自动化局限于孤立的单步操作，而复杂的序列化装配仍需依赖人工。人类工人通过“回看验证”来克服这一局限，即在放置物体后迅速且近乎自动地将目光固定于目标位置以确认操作成功，从而闭合感知到行动的循环。

此外，食品食材固有的材料异质性进一步加剧了这一认知瓶颈。在同一装配任务中，系统必须应对广泛的力学行为：叶菜类蔬菜的粘弹性变形、蛋白质类食材的不规则几何形状、番茄等脆弱组织对机械损伤及后续酶促褐变的高度敏感性，以及酱料杯等含液体物品必须保持直立的要求。这种多样性造成了“抓取悖论”：足以固定刚性肉丸的力会导致脆嫩菠菜的组织破坏，而足够轻柔以抓取菠菜的力又无法可靠地夹持肉丸。更重要的是，材料异质性放大了序列错误的后果——一个错序的步骤不仅降低效率，还可能对已放置的脆弱食材造成不可逆的物理损伤，或产生取决于操作顺序的交叉污染路径。当前的机器人范式通过高度专门化的末端执行器设计或将操作范围限制于狭窄的物品集合来解决抓取权衡问题，但这两种策略均无法提供防止序列层面失败所需的状态感知能力。

视觉-语言-动作模型（VLA）为解决材料异质性挑战提供了原则性基础。作为在大规模操作数据集上预训练的基础模型，VLA能够发展出隐式捕捉物体属性（如材料柔顺性、可变形性和可供性）的通用化视觉运动表征。然而，当前的VLA模型主要聚焦于单任务执行，缺乏人类本能进行的闭环视觉验证机制。当VLA被简单地链接用于序列任务时，容易发生“过程认知”失败：重复已完成步骤、乱序执行动作或无法识别装配何时完成。因此，仅解决材料多样性而不解决序列认知问题不足以实现可靠的食品装配自动化。

二、研究目的

针对上述问题，研究人员提出通过将闭环视觉状态验证引入VLA框架来弥补机器人食品处理的空白。基于可靠序列执行需要在每一步进行感官确认的原则，研究人员开发了一个基于π₀构建的具过程感知能力的VLA，包含分步特定语言指令、预定义的顺序控制器以及与动作通路共享表征的轻量级监控头。该监控输出提供一个学习得到的视觉信号，用于在预设序列内门控步骤转换，使系统能够在执行过程中无需人工干预即可在子任务间推进。

三、关键技术方法

1. 1.
   机器人平台：实验采用双14自由度ALOHA双臂机器人平台，配备三个RGB摄像头（一个中央俯视摄像头和两个腕部摄像头），工作区布局包括指定食材放置区和中央目标容器。
2. 2.
   过程感知VLA架构：在π₀框架基础上扩展一个过程感知监控头，该监控头将来自动作专家的1024维特征向量转换为活跃执行概率，总训练损失结合动作预测损失（流匹配）和二值交叉熵过程监控损失。
3. 3.
   数据收集与标注：通过遥操作收集分步演示，每个子任务50次演示（共350个回合）。每帧视频标注二值过程状态标签（1表示活跃食品处理阶段，0表示完成状态）。
4. 4.
   食材物性表征：对六种食材进行CIELAB色坐标测量和机械柔顺性测定，并进行主成分分析（PCA）和皮尔逊相关性分析。

四、研究结果

2.1 面向多步食品装配的过程感知监控

通过比较具过程感知能力的VLA与未增强π₀基线的十次沙拉包装试验，研究人员发现未增强基线仅完成3/10次试验，而具过程感知能力的VLA完成了全部10次试验。基线失败的7次试验均涉及序列级错误（3次步骤重复，4次步骤错序），未观察到物理抓取失败。这表明观察到的基线失败主要与序列状态跟踪相关，而非物体操作不成功。具过程感知能力的VLA实现了零序列错误。

2.2 闭环视觉验证

过程感知监控头实现了功能上与人类基于注视的动作验证平行的闭环视觉验证。在每个推理步骤，监控头通过模型的注意力层处理视觉场景，这些注意力层已学会基于视觉显著性和任务条件期望来加权相关图像区域。训练过程使模型学会了每种食材成功完成的视觉特征，从而在推进前整合整体视觉证据确认预期的状态变化已发生。

2.3 监控不确定性的任务依赖性模式

运行级别的二值预测熵在七个食品装配子任务间存在差异。番茄放置显示出最高熵值，而容器关闭显示最低熵值。虽然熵值在不同子任务间存在差异，但多数成对比较经Tukey校正后不显著。这种异质性支持监控不确定性存在任务依赖性变化，但不能建立与单一材料类别或物理属性的系统性因果关系。

2.4 通过食品科学描述符的定量分析

研究人员使用五个食品科学描述符对六种食材进行表征，PCA分析显示前两个主成分解释了84.7%的总方差。探索性相关性分析显示，运行级别预测熵与L值呈描述性负相关（r=-0.81），与b值呈正相关（r=0.76），但由于食材类别数量有限，这些关联被报告为描述性趋势而非推论性证据。

2.5 通过学习型操作先验处理材料多样性

沙拉包装任务要求系统在单个装配序列中处理涵盖四种不同流变学类别的食材，每个子任务仅需50次遥操作演示进行适配。这暗示了基础模型预训练的潜在优势：预训练的视觉运动表征可能支持使用相对有限的特定任务数据来适配不同柔顺性、摩擦力和几何形状的食材。

2.6 对食品质量保存的潜在意义

π₀使用的流匹配策略生成连续动作轨迹，这可能有助于减少机器人运动的突变，对处理叶菜类等易损产品具有潜在意义。然而，由于本研究未量化急动度、施加力、瘀伤、褐变等指标，因此不能证明基于VLA的处理能保存食品质量。

2.7 对过程完整性和HACCP对齐监控的潜在意义

过程感知VLA的预定义顺序控制器维护步骤顺序，而学习得到的监控信号决定当前子任务何时过渡到下一步。这些组件共同提供步骤级别的序列记录，可能支持未来符合HACCP的过程监控。但本研究未直接评估食品安全结果。

五、讨论与结论

局限性： 实验在受控光照和温度条件下进行，使用预分份食材；卫生设计考量尚未解决；当前系统操作速度慢于熟练人工（完整七步沙拉序列约需3-4分钟，而经验丰富的工人不到60秒）；系统依赖标准RGB摄像头，固定转换阈值仅在当前实验室条件下评估过；系统仅执行预定义的线性装配序列，尚不支持分支逻辑。

研究结论翻译： 本研究展示了一个用于自主多步食品装配的具过程感知能力的视觉-语言-动作框架。通过结合分步特定语言指令、学习型视觉监控和预定义的顺序控制器，该系统完成了所有十次七步沙拉包装试验（相比之下未增强π₀基线仅完成三次），且在所评估的实验室条件下未观察到序列错误。预测熵在各子任务间存在差异，表明监控不确定性存在任务依赖性差异；然而，由于食材类别数量有限，与食品颜色、柔顺性和质量的关联仍属描述性。这些发现表明，闭环状态验证可以改善程序一致性，同时产生可能支持未来可追溯性和HACCP对齐监控的步骤级别记录。当前系统仍限于预定义的线性序列和受控环境。未来工作应评估更大规模和更多变的部署环境，量化食品质量和安全结果，并开发条件规划、恢复和危害特异性验证机制。