《AgriEngineering》：Vision–Language–Action Model for Agricultural Fresh Produce Handling with a Humanoid Robot
编辑推荐：
：在农业生产中，对易损鲜品进行抓取、拾取和放置是最耗费劳动力的作业之一，然而大多数机器人解决方案仍是针对特定任务、单一作物的系统，难以在形态多样的鲜品之间实现良好泛化。本研究探讨是否能够仅利用适度的示范数据，对大规模预训练的视觉-语言-动作（Vision–La
：在农业生产中，对易损鲜品进行抓取、拾取和放置是最耗费劳动力的作业之一，然而大多数机器人解决方案仍是针对特定任务、单一作物的系统，难以在形态多样的鲜品之间实现良好泛化。本研究探讨是否能够仅利用适度的示范数据，对大规模预训练的视觉-语言-动作（Vision–Language–Action, VLA）模型进行微调，使其在人形机器人平台上充当灵活的语言条件化鲜品处理策略。研究人员对NVIDIA GR00T N1.7-3B基础模型进行了微调，应用于一台标准的23自由度Unitree G1人形机器人，该机器人配备两只Dex3-1三指灵巧手，其手臂与手部关节流共同构成24维组合操控指令空间。本研究还对比了π0.5 VLA模型。示范数据通过Meta Quest 3扩展现实遥操作管线采集，并辅以多标签记录模式，在每个回合中嵌入自然语言目标，最终获得605条语言条件化示范（261,724帧同步图像），覆盖四类农产品（柠檬、桃、梨和番茄）。双相机设计将用于全局场景感知的广角头部相机与用于近距离抓取反馈的腕部相机相结合。结果表明，微调后的策略在单物品试验中达到96.25%的成功率，在需要拾取语言指定物品的混合场景试验中达到85%的成功率。然而，将π0.5 VLA模型适配到相同数据后，单物品试验成功率仅为68.75%。此外，一项受控消融实验分离了近距离感知的作用。在无腕部相机输入的情况下，策略在单物品试验中能够到达每个目标，但未能完成一次成功抓取，导致拾放成功率为0%，尽管训练损失相当。因此，近距离腕部感知是该场景中实现接触的先决条件。综合来看，这些结果表明，VLA微调能够将预训练的人形机器人基础模型转化为可靠、数据高效的多种类鲜品处理策略。本研究为农业拾放、分拣及采后自动化中灵活人形机器人系统的实现提供了切实可行的一步。
论文解读：
一、研究背景与问题
在农业生产中，鲜品（fresh produce）的采摘与处理是最耗费体力且劳动强度最大的环节之一，工人需要在时间压力下反复完成抓取、提升、分拣和放置等动作，且常处于不便的姿势中。随着劳动力短缺、生产成本上升以及对农产品品质一致性要求的提高，灵活的机器人处理系统在现代农业中的重要性日益凸显。然而，尽管农业机器人领域已发展数十年，大多数现有系统仍针对特定作物、特定任务或特定作业条件进行窄化设计，难以应对真实农业环境中形态的多样性。其核心挑战在于，泛化要求机器人能够处理在形状、大小、颜色、质地、刚度、表面状况以及对损伤敏感度等方面差异巨大的农产品。因此，针对单一作物设计的机器人，例如番茄，往往难以处理形态差异显著的其他物品，如桃、梨或柠檬。这一差距凸显了开发能够感知并操控多种农产品类别、且无需大量任务特定重新设计的自适应机器人系统的必要性。
机器人基础模型，尤其是视觉-语言-动作（Vision–Language–Action, VLA）模型，为实现这种泛化提供了有前景的路径。在大规模、多样化、多任务数据集上预训练的模型，能够以相对较少的示范数据适应新的操控场景，因此非常适合灵活的鲜品处理任务。GR00T N1.7、π0和OpenVLA等VLA模型从大型数据集中学习联合视觉与语言表征，并暴露可通过模仿学习在任务特定示范上进行特化的动作头。然而，大多数已报道的应用涉及研究实验室中使用传统机械臂的桌面操控，很少有研究涉及具有形态多样自然物体的农业场景。近期综述将基础模型确定为智能农业的有前景方向，同时指出机器人操控仍是探索不足的应用领域。
人形机器人非常适合农业环境，因为它们可以在原本为人类工人设计的空间中作业，包括作物行间通道、包装线工位、分拣台、家禽舍、猪舍等商业农场设施，无需对现有基础设施进行重大改造。在涌现的人形平台中，Unitree G1提供了商业化、稳定且易获取的选项，用于评估真实农业操控，配置最高可达43自由度（DOF）。然而，在此类平台上使用VLA进行鲜品处理仍具挑战性，因为现有机器人基础模型工具链无法直接跨不同机器人形态和自由度配置迁移。大多数工业级研究在29自由度Unitree G1上进行，从数据采集到示范均如此。特别是，将VLA管线适配到配备两只Dex3-1三指灵巧手的23自由度Unitree G1，需要仔细对齐机器人规格、遥操作数据和操控指令空间，这凸显了通用人形模型与农业实际部署之间的重要差距。
二、研究内容与意义
本研究将人形VLA基础模型应用于跨多种鲜品类别的农业拾放任务。虽然近期工作已探索使用传统机械臂适配VLA策略用于农业操控，但本研究将该方向扩展到配备灵巧手、多类别鲜品处理以及语言条件化目标选择的人形平台。当前实验限于受控条件下的四类鲜品，因此更广泛的部署仍是未来目标。长期来看，该方法可扩展到更易损、可变形的农业物品，如农场或包装线上的鸡蛋，但研究人员将这些应用作为动机而非对当前系统的声明。
研究主要目标包括：开发用于人形机器人多类别鲜品处理的统一VLA策略；将Unitree G1和NVIDIA GR00T配置适配为23自由度灵巧操控，并发布配置和数据转换文件以供复用；引入多标签遥操作以高效采集语言条件化示范；评估双相机感知并确定腕部相机在可靠拾放中的作用；在单物品和混合场景鲜品处理任务中验证真实机器人性能。实现这些目标将推进无需依赖作物特定系统的多样化鲜品灵活机器人处理。在农业应用中，该方法可减少对体力劳动的需求，提高处理一致性，并支持人形机器人用于收获、分拣和采后作业。
三、关键技术方法
研究人员采用的技术路线包括：以23自由度Unitree G1人形机器人（配备两只Dex3-1三指灵巧手）为实验平台，构建24维组合操控指令空间；采用Meta Quest 3扩展现实（XR）遥操作框架采集示范数据，并新增多标签记录模式，使操作员可在每个回合开始前通过单次按键为回合分配语言目标；采用双相机感知系统，包括头部安装的Intel RealSense D455广角相机和腕部安装的Intel RealSense D405近距离相机，两者均以640×480分辨率RGB流在30 Hz同步采样；数据集共605条单右臂拾放示范（261,724帧），覆盖柠檬、桃、梨和番茄四类，原始数据以Unitree episode JSON格式存储并转换为LeRobot v2.0格式；GR00T N1.7-3B模型采用部分微调策略，冻结视觉-语言骨干，训练自注意力模块、动作头和投影层，共10,000步，在单张NVIDIA RTX Pro 5000 Blackwell 24 GB GPU上约5小时完成；对比模型π0.5采用低秩适配（LoRA rank 16），在单张NVIDIA RTX Pro 6000 96 GB GPU上22,000步（约23小时）达到停止标准；部署时将推理与控制解耦为策略服务器和独立控制客户端，以30 Hz闭环发布指令；手臂采用重力补偿模式并附加前馈力矩，Dex3-1手指以低位置控制刚度运行以避免过流保护触发。数据、配置文件和转换管线已公开于GitHub仓库（
https://github.com/bae-air-lab/G1_Dex3_PickVeggis_605ep）。
四、研究结果
4.1 训练收敛
扩散训练损失在前几百步内急剧下降（第500步为0.170），表明动作头快速适应鲜品处理分布，随后逐步下降（第2000步为0.050），至第10,000步稳定在约0.019，满足停止标准。微调在单GPU上约5小时完成，表明完全适配可在单台工作站而非训练集群上实现。
4.2 跨鲜品类别的拾放性能
按类别报告的结果显示，策略在80/80次试验中到达所有目标，79/80次成功抓取，最终77/80次成功放置。总体单物品试验成功率为96.25%（95% Wilson置信区间：89.5–98.7%），其中柠檬和梨为100%，番茄为95%，桃为90%。在混合场景试验中，最多四种鲜品同时存在且仅需拾取指定物品，成功率为85%（17/20）。经Fisher精确检验，单物品与混合场景成功率差异不显著（p = 0.09），因此视为趋势。近乎完美的到达和抓取率表明策略能够准确定位并接近具有不同形状和表面特性的鲜品。低刚度抓取配置也实现了从坚硬光滑的柠檬到较软、不规则且颜色多变的桃的广泛鲜品特性的安全处理。失败主要集中在放置阶段，而混合场景中的较大性能下降表明场景理解而非底层电机执行是主要限制因素。
4.3 腕部相机的作用
通过受控消融实验隔离腕部相机贡献。第二策略在相同605回合数据集上微调，但移除腕部流，仅保留头部相机作为唯一视觉输入。两种配置收敛到相似损失（头部仅用最终1000步为0.0203，双相机为0.0191），优化未将两者分离，行为差异出现在部署阶段。移除第二流还将微调时间从约5小时缩短至2.7小时。头部仅用策略未完成任何试验。单物品场景中到达与双相机配置完全一致，80次试验中末端执行器均接近并稳定在目标上方，但抓取全部失败。闭合高度在不同尝试间变化，有时明显高于物品，有时擦过或捏住其上表面，但均未牢固握住物品以提起。执行仍继续：手臂抬起、将空手带至托盘、释放、返回并重复循环。混合场景进一步恶化，到达成功率从20次中的18次降至8次，且无成功抓取。失败发生在接近的最后几厘米，策略无法足够准确地解析垂直偏移以使手指闭合。头部相机从固定姿势斜视工作空间，在该间隔内逐渐被前臂遮挡，而腕部相机从近距离观察，几厘米偏移即可产生大幅图像变化。由于未发生成功抓取，该阶段不进行成功率比较；近距离视野在此处是接触的先决条件。两种配置均仅使用RGB流，因此头部姿势的深度感知是否能提供相同信息仍不清楚。
4.4 失败模式分析
四种失败模式解释了未成功的试验。抓取失败发生两次，均为桃：一次单物品试验中手指反复捏住果实但未固定，一次混合场景试验中夹持器悬停在果实上方未闭合，与低估接触高度一致。跨类别混淆造成另外两次混合场景失败，策略选择了错误物品（指定番茄时选桃，指定桃时选梨），发生在目标部分遮挡或与视觉相似物品相邻时。指定柠檬（四次）或梨（五次）的试验未发生混淆，而番茄和桃分别在五次和六次试验中被指定。在五次以上无语言指令的探索性混合场景试验中，策略以无一致顺序拾取物品，有时选择离手臂最近的物品，直至桌面清空；有指令时，20次试验中18次接近指定物品。这表明指令而非位置或视觉显著性单独引导目标选择。放置失误发生一次，物品在托盘边缘释放，一个番茄在运输中掉落且未恢复。在若干试验中，策略还表现出自主恢复：初始滑落或掉落后的物品被重新接近并重新抓取，无需干预。该行为未被显式编程，似乎从多模态扩散动作分布中涌现。
4.5 与替代VLA模型的比较
相同605回合数据集用于适配π0.5，该模型采用流匹配动作头，规模相当。π0.5以低秩适配方式在22k步检查点评估，而GR00T策略为部分微调，两者在适配方法、训练预算、试验次数和架构上不同，因此比较的是两条完整适配管线。适配后的π0.5策略完成68.75%单物品试验和66.67%混合场景试验，而GR00T为96.25%和85%。单物品差异经Fisher精确检验显著（p < 0.001），混合场景差异不显著（p = 0.38）。π0.5的到达可靠，48次单物品试验中47次成功，损耗集中在抓取阶段，仅固定33/48件物品。两个系统对四类物品的排序相同，柠檬和梨处理最可靠，桃最差（π0.5为50%，GR00T为90%）。这一致性表明农产品形态是与策略无关的难度来源。π0.5记录的失败模式与头部仅用消融相似：手在物品上方闭合，拇指和食指捏住但未固定，继续到托盘释放空手。混合场景失败涉及接近非目标物品，指定桃时最常选择番茄。
五、讨论总结
结果表明，在多任务操控数据上预训练的VLA模型可通过适度数据集（605回合）和数小时单GPU微调实现鲜品处理特化。跨四个形态多样类别的高单物品成功率表明预训练视觉表征能很好地迁移到自然鲜品的外观和形状变化，这是单作物管线通常缺乏的特性。单物品（96.25%）与混合场景（85%）之间的差距主要归因于跨类别混淆。这似乎不反映多物体训练数据不足，因为约357条示范在包含全部四类鲜品的混合场景中记录，每回合拾取单一目标。混合场景中的跨类别错误最可能由细粒度视觉-语言接地而非到达、抓取或底层电机执行失败驱动。这是VLA策略特别苛刻的设置，因为语言标签在回合级别而非显式物体级别注释提供，模型必须推断指令所指的视觉对象。番茄和某些桃共享重叠的红橙色区域和圆形轮廓，尤其在可变光照和机器人相机视角下。桃和番茄在两个系统中均被混淆：GR00T在指定番茄时选桃，π0.5在指定桃时最常选番茄。这表明指令与视觉相似物体关联而非一致地接地到正确鲜品类别。该行为与ColorBench证据一致，即当前视觉-语言模型在颜色感知、颜色推理和颜色变换鲁棒性方面仍有限，且有助于识别的颜色线索也可能误导模型。这也与视觉-语言模型报道的编码-接地分离一致，即模型编码了正确视觉证据但仍产生错误答案，因为语言先验在内部仲裁中胜过视觉信号。腕部相机消融仅变化相机集，因此其结果可归因于该因素。π0.5比较共享数据集、评估协议和机器人，但也存在架构、适配方法和训练预算差异，因此比较的是两条适配管线。外部比较更难解释。HarvestFlex在传统机械臂上以相当示范数报告74%单作物草莓收获成功率，但任务、具身和设置不同，数字不可直接比较，仅作背景参考。人形平台并非旨在隔离桌面任务上超越传统机械臂，而是测试可在为人类设计空间中工作的具身上的VLA操控。三指手以单一低刚度抓取设置处理四种不同形状鲜品，无需作物特定夹持器。相机比较传达超越准确率的实际信息：腕部相机不是边际增强而是可靠抓取的要求，直接影响农业部署的传感器预算。
六、结论翻译
本研究展示了使用微调NVIDIA GR00T N1.7-3B视觉-语言-动作模型的完整人形机器人鲜品处理系统。通过结合语言条件化XR遥操作示范、23自由度Unitree G1人形平台、Dex3-1灵巧手和双相机感知系统，所提方法实现了跨多种鲜品类别的可靠拾放操作。结果表明，单一VLA策略可处理形态多样物品并在混合场景中执行目标特定选择，减少对作物特定机器人模型的需求。受控消融表明腕部相机决定接触是否发生。在相同示范上训练并收敛到等效损失的情况下，头部仅用策略在单物品场景中到达每个目标但未抓取任何物品。近距离感知因此直接关系到农业部署的传感器规格。总体而言，这些发现将VLA微调定位为灵活人形机器人在农业处理、分拣和采后自动化中的实用、数据高效路径。公开可用的23自由度机器人适配、配置文件和转换管线将为未来人形农业机器人研究提供可复用基础。
