基于虚拟现实主动视觉遥操作的遮挡环境下甜椒果柄检测

《Agriculture》：Virtual Reality-Based Active Vision Teleoperation for Sweet Pepper Inspection in Occluded Environments

　　

在农业环境中，叶片遮挡对作物巡检构成了重大挑战。尽管全自主系统通常难以在遮挡条件下实现泛化，但人类操作者具备固有的认知与视觉适应性，为应对此类复杂性提供了一种有价值的替代方案。本研究提出了一种将虚拟现实（Virtual Reality, VR）遥操作与主动视觉（Active Vision）策略相结合的作物巡检方法，以解决农业环境中的遮挡限制问题。这种利用人类驱动的主动视觉进行精细作物巡检的具体配置此前尚未被广泛探索。该系统使用户能够通过自然的身体和头部运动远程探索模拟作物植株，而配备RGB相机的机械臂则实时复现这些运动。研究人员在受控实验室环境中使用真实甜椒和人工叶片对所提系统进行了实验验证，30名对该系统无先前了解的被试执行了果柄（peduncle）定位任务。研究评估了循环完成时间、果柄检测交互（Peduncle Detection Interaction, PDI）召回率与精确率，以及主观任务负荷（NASA-TLX）。结果表明，每个甜椒果柄的平均循环完成时间为12秒，PDI召回率为96.7%，PDI精确率为92.1%，平均NASA-TLX得分为32.7。总体而言，研究结果表明，所提出的基于虚拟现实的主动视觉框架提供了一种直观且高效的视点控制手段，展现了其作为农业巡检任务中人机交互解决方案的潜力。

虚拟现实主动视觉遥操作：遮挡环境下甜椒果柄巡检的人机交互新范式

一、研究背景与问题提出

全球气候变化、人口持续增长以及农业劳动力不断缩减，使农业部门面临严峻挑战。精准农业（Precision Agriculture）作为应对上述挑战的新兴范式，依赖机器人系统执行收获、播种、种植与监测等任务，以期提升生产效率并降低资源消耗。计算机视觉作为机器人系统的核心模块，承担着图像特征分割与提取的关键职能。尽管机器学习和深度学习算法在害虫检测、产量估算、果实计数、质量评估及精准喷洒等农业任务中展现出强劲性能，但在遮挡、光照变化及延迟等复杂条件下，其性能显著下降，往往需要更复杂且计算量更大的模型。其中，作物检测及果柄（peduncle）等关键特征的定位，尤其易受叶片、枝条及其他果实遮挡的严重干扰。

主动视觉（Active Vision, AV）系统通过灵活的视点控制应对遮挡问题，其核心在于主动调整相机的几何参数以获得更优的感知结果。然而，现有基于自主下一最佳视点（Next Best View, NBV）规划的主动视觉系统存在精确率偏低、计算复杂度高等局限性。与此同时，近年来的技术趋势逐渐转向将人类智能纳入控制回路。工业4.0与工业5.0范式推动了人机协作（Human-Robot Collaboration）的发展，人机交互（Human-Robot Interaction, HRI）系统能够消除时空限制、支持远程协作，并可在危险环境中作业。基于虚拟现实（Virtual Reality, VR）的遥操作凭借操作者的经验与决策能力，提供了比传统2D界面更直观、认知负荷更低的交互方式。尽管VR遥操作与主动视觉已在不同领域被分别探索，但将二者整合为统一的人类驱动框架仍鲜有研究，这构成了本研究的核心切入点。

二、研究内容与核心结论

针对上述研究空白，本研究提出了一种将VR遥操作与主动视觉策略相结合的作物巡检方法，旨在应对农业环境中的遮挡挑战。该系统的创新之处在于将操作者的自然空间感知转化为机器人主动视觉框架：操作者通过VR头显的自然头部和身体运动，控制配备RGB相机的机械臂视点，从而以沉浸式、直观的方式从多角度探索场景并揭示被遮挡区域。

研究在受控实验室环境中使用真实甜椒和人工叶片进行了实验验证，30名参与者执行了果柄定位任务。结果表明，系统实现了平均12秒的循环完成时间、96.7%的果柄检测交互（PDI）召回率、92.1%的精确率，以及32.7的平均NASA-TLX负荷得分。该研究证明了所提出的基于VR的主动视觉框架能够提供直观且高效的视点控制，展现了其作为农业巡检人机交互解决方案的潜力，为遮挡环境下依赖人类认知适应性的作物精细巡检提供了可行路径。

三、关键技术方法概述

研究人员构建了基于远程人机交互（HRI）架构的遥操作系统，分为本地空间（操作者环境，配备Meta Quest 3头显）与远程空间（农业环境，配备Lite6六自由度协作机械臂与Intel RealSense D405 RGB相机）。系统通过ROS-Unity通信桥接实现双向数据传输，采用ROS-TCP Connector与Endpoint实现Unity与ROS2之间的消息序列化与发布。控制管线中，头显的6自由度（6-DoF）位姿以约35Hz频率获取，从Unity的RUF坐标系转换为ROS2的FLU约定后发布至/headset_pose话题。坐标空间映射方面，研究采用齐次变换矩阵（Homogeneous Transformation Matrices）关联各坐标系，将头显相对初始位姿的运动通过比例增益（gain）缩放后映射至机械臂工具中心点（TCP）。为抑制头显追踪数据的高频抖动，系统采用线性插值（LERP）方法对机器人控制轨迹进行平滑处理，插值频率设定为200Hz。实验评估采用循环完成时间（CCT）、PDI召回率与精确率作为性能指标，并使用NASA-TLX量表评估操作者的心理与生理工作负荷。研究开展了两次用户实验（各15名参与者），第二次实验调整了相机初始位姿与映射增益参数以改善人体工效学。

四、研究结果

4.1 测试1（Test 1）

首次用户评估包含15名平均年龄22.4±5.4岁的参与者。结果显示，参与者实现了平均11.8秒的CCT，PDI召回率为94.7%，精确率为91.9%。NASA-TLX平均总分为30.7，其中各分量均值为：心理需求29、生理需求36、时间需求30、努力程度32、挫败感17。参与者报告的生理需求显著高于心理和时间需求，主要归因于基线配置中需要过度的向上仰头动作，部分参与者出现失衡或轻微晕动症。

4.2 测试2（Test 2）

基于测试1的反馈，研究人员调整了相机初始垂直位置（Z轴）并修改了映射增益，以提高水平运动的响应性。第二次研究包含15名平均年龄26.2±12.2岁的参与者。结果显示，平均CCT为12.3秒，PDI召回率提升至98.7%，精确率为92.3%。NASA-TLX平均总分为35.8，各分量均值为：心理需求28.7、生理需求34.7、时间需求36、努力程度36、挫败感27.3。虽然心理与生理需求与测试1相近，但挫败感和时间需求有所增加。新配置虽消除了仰头需求，但增加了向下低头动作，部分用户报告短暂失衡或轻微晕动不适。

4.3 测试对比（Tests Comparison）

独立样本双尾t检验表明，两次测试的CCT（p=0.816）和NASA-TLX总分（p=0.42）均无显著差异。合并后总体指标为：平均CCT 12.05±6.3秒，平均NASA-TLX得分33.2±17.0。值得注意的是，两次测试中生理需求均持续高于心理需求，表明操作该系统在体力消耗上大于脑力消耗。按用户经验水平分类的NASA-TLX分析显示，不同经验水平参与者的总体负荷得分非常接近（32.4至33.6之间），表明操作者体验到的总体工作负荷与其先前背景无关。

五、讨论与结论

讨论部分指出，心理需求持续低于生理需求可能表明主动视觉方法有助于降低相机操控的认知复杂性，但连续头部运动带来了更高的生理消耗，未来可通过进一步优化系统参数加以缓解。与相关研究对比，本系统的CCT（11.8秒和12.3秒）优于VR控制叶片巡检研究的约26秒，高于草莓产量监测研究的约14秒；PDI召回率（94%以上）优于草莓监测研究的63%至74%，但需注意后者在真实温室环境中面对更小果实和更复杂遮挡条件。NASA-TLX得分（30.7和35.8）与移动机械臂VR界面研究的40.25相比处于较低范围。与全自主MOT-MAV系统（约24秒检测周期）相比，人类在环方法避免了计算开销和精确率限制，但以人工操作为代价。研究也承认了模拟环境的局限性，真实温室中的动态叶片、光照变化和网络延迟等因素尚未被纳入评估。

研究结论翻译：本研究开发了一种集成主动视觉的基于虚拟现实的遥操作系统，用于遮挡环境下的甜椒果柄巡检。该系统使用户能够通过自然的身体和头部运动远程探索模拟作物植株，而配备RGB相机的机械臂实时复现这些运动。30名参与者通过果柄巡检任务评估了该系统，测量了循环完成时间及PDI召回率和精确率。结果表明，平均循环完成时间为12秒，PDI召回率为96.7%，PDI精确率为92.1%，表明该系统能够实现高效的视点操控和遮挡条件下的可靠果柄定位。这些结果显示出与其他基于虚拟现实的遥操作系统相当的性能。未来工作将侧重于在真实农业环境中验证该系统，以全面评估其应对动态叶片、光照变化和网络延迟等自然干扰的鲁棒性，并纳入标准化的晕动症和用户不适评估以优化人体工效学设计。