利用频域转向分析技术，对外场农业车辆远程操作中视频反馈延迟效应进行现场验证

《Computers and Electronics in Agriculture》：Field validation of video feedback delay effects in open-field agricultural vehicle teleoperation using frequency-domain steering analysis

　　•在农业机器人拖拉机上对受控制的视频延迟遥操作进行了实地测试。
•八名参与者在四种延迟条件下完成了实际车辆驾驶试验。
•横向跟踪误差随延迟增加而增加，操作员之间的变异性较大，且无明显影响。
•转向频谱中心和衰减频率随延迟显著下降。
•频域指标能够捕捉到仅通过均方根误差（RMSE）无法体现的延迟效应。

**引言**
近年来，农业领域在农业机械自动化方面取得了快速进展，这主要是由劳动力短缺推动的。各种用于自主操作和精准农业作业的机器人系统得到了积极的研究和开发（Duckett等人，2018年；Vougioukas，2019年）。关于田间机器人的综合评价指出，尽管取得了显著进展，但农业机器人仍然属于复杂的集成系统，在非结构化环境中的可靠安全运行依然是其更广泛应用的关键挑战（Bechar和Vigneault，2016年）。然而，这些农业机器的监督和控制方式在不同地区和应用中存在很大差异，现有的监管框架可能成为其部署的主要限制因素（Lowenberg-DeBoer等人，2022年）。在依赖持续现场视觉监控的监督模式下，难以同时增加可操作的机器数量，从而限制了潜在的效率提升。相比之下，取消现场视觉监控要求并实现农业机械的远程监控，可以增加单个操作员能够管理的机器人数量，从而提高作业效率。许多研究机构正在积极探讨这种监督控制的概念（Johnson等人，2009年；Ishibashi等人，2013年；Ospina和Noguchi，2025年）。虽然自主拖拉机及其类似车辆支持节省劳动力的田间作业，但在非标准化环境（如农田、农业道路以及进出区域）以及传感器数据不完整或不可靠的情况下，仍存在挑战。先前的研究强调了在这种环境中保持工作质量以及建立标准化性能指标和评估方法的必要性（Bechar和Vigneault，2017年）。安全性和人体工程学在交互式农业作业中也是核心问题，需要技术保障和关注人类因素（Benos等人，2020年）。在无人远程监控的场景中，一旦自主性受损，立即停止操作可以大幅降低系统的可用性。因此，必须确保安全性而不依赖于即时现场干预。最近的人机协作（HRC）研究表明，适当的人类参与可以通过及时的干预和角色分配，在复杂环境中同时维持安全性和生产力（Adamides和Edan，2023年）。

鉴于此，我们提出了一种结合远程监控和远程操作的运营概念。在远程监控中心，一名操作员可以同时监控多台自主农业机械。在正常情况下，机器继续自主运行，操作员仅进行监督。只有当机器遇到自主运行无法可靠处理的情况时，才会选择性地启动远程操作，而其他机器则继续在自主监督下运行。我们之前已经实现了这种遥操作功能，并将其与自主机器人拖拉机进行了集成（Morita等人，即将发表）。这使得人类操作员能够在自主运行不可行时，无需前往现场即可提供专家判断。换句话说，遥操作是远程监控过程中的干预手段，而不仅仅是独立的驾驶模式。

然而，当视频流和控制命令通过网络传输时，不可避免地会出现延迟。这种操作员感知-行动循环中的通信延迟会降低驾驶性能并增加工作负担。关于遥操作的全面评估已记录了通信延迟如何影响操作员性能和情境意识（J. Y. C. Chen等人，2007年）。相比之下，在农业机器人遥操作中，将通信延迟与驾驶性能（如路径跟踪误差）联系起来的定量证据仍然有限。

在遥操作系统中，操作员输入与机器人响应之间的网络通信必然会引入延迟。这种延迟进入操作员的感知-行动循环，可能会降低稳定性、跟踪性能、情境意识和工作负担（J. Y. C. Chen等人，2007年）。传统的研究表明，传输延迟会显著影响人类操作员的性能（Sheridan和Ferrell，1963年）。从建模的角度来看，人类操作员和驾驶员通常被视作闭环控制系统的一部分（Weir和McRuer，1970年；McRuer等人，1977年）。在这种框架下，视觉反馈延迟可以解释为人车循环中的纯输出延迟时间，其单位增益为1，但会引入随频率线性增加的相位滞后。

随着通信延迟的增加，持续直接控制变得不切实际。在空间遥操作中，较大的通信延迟使得持续直接控制变得困难，通常需要引入监督控制或共享自主性（Sheridan，1993年）。相比之下，通过现代无线网络的遥操作通常可以支持更连续的直接操作，尤其是在延迟相对较短的情况下。然而，残余延迟仍可能影响操作员行为，因为操作员仍然处于闭合控制循环之内。本研究关注使用5G技术的农业车辆遥操作中的短延迟直接控制。已经提出多种方法来缓解通信延迟的影响，包括预测显示、输入整形和用户界面设计（Moniruzzaman等人，2022b）。一种代表性的方法是预测显示，向操作员展示基于模型的预测状态或虚拟图像，以补偿延迟的视觉反馈（Bejczy等人，1990年）。这一概念与Smith预测型延迟补偿密切相关，后者利用过程模型在具有延迟时间的控制系统中提供几乎无延迟的反馈（Smith，1957年）。

远程驾驶和地面车辆遥操作越来越被研究作为自主车辆和移动机器人的支持或备用技术。在道路车辆远程驾驶中，延迟、反馈设计、支持控制和实际部署已被确定为核心研究问题，表明通信延迟不仅应被视为网络性能问题，也应视为人车控制问题（Zhao等人，2024年）。实验研究表明，延迟会影响远程驾驶性能，表现为反应时间、感知可控性、任务完成度、过度纠正、振荡行为和转向稳定性的变化。这些效应已在道路车辆模拟器研究（Jernberg等人，2024年）、高延迟无人地面车辆遥操作（Moniruzzaman等人，2022a）以及使用预测显示的实际车辆远程驾驶研究（Prakash等人，2023年；Tazaki等人，2024年）中得到报道。尽管这些研究主要针对道路车辆或通用地面机器人进行，但它们共同表明通信延迟可以影响操作员行为和车辆级控制性能。因此，先前的研究已将延迟确定为地面车辆遥操作中的一个重要因素。

在农业机器人远程监控的背景下，延迟也被认为是一个重要的实际问题。由于人类监督员必须监控远距离操作的农业机械，及时的视觉反馈对于维持情境意识至关重要。先前的研究表明，在实时无线传输过程中，视频延迟是农业远程监控中的一个实际通信挑战（Green等人，2021年）。在一项早期关于农业车辆遥操作的研究中，使用了广域IP通信从1公里的距离远程操作机器人化的肥料撒布机（Murakami等人，2008年）。该研究展示了基于视频的远距离农业车辆遥操作。然而，演示中报告的视频帧率仅为每秒0.2-0.5帧，并且报告称在180°转弯时直接遥操作很困难。远程操作也被应用于步行式水稻移植机。一种用于双轮步行式水稻移植机的远程控制系统减轻了操作员的劳动强度和疲劳，同时允许从田外安全舒适的位置进行操作（Lohan等人，2022年）。然而，该系统基于直接视觉观察下的短距离无线远程控制，而非长距离网络视频遥操作。一种结合自动驾驶和远程驾驶的双模拖拉机系统已被提出，以在复杂或不可靠的自动驾驶条件下提高操作可靠性。在该系统中，当自主运行不可靠时（例如在GNSS信号丢失或其他特殊田间条件下），使用远程驾驶作为干预模式（Lu等人，2023年）。研究还指出，远程驾驶的控制精度可能受到驾驶员经验、路况、操作环境、操纵类型和信号传输等因素的影响。因此，尽管该工作展示了远程驾驶作为备用模式的实用价值，但其主要关注点是双模切换控制和可靠性。在拖拉机遥操作中也研究了用户界面设计，表明适当的界面可以影响控制精度，并且许多操作员在提供合适界面的情况下能够在一定跟踪容忍范围内执行农业驾驶任务（Amagai等人，2023年）。

与车辆级遥操作和远程监控并行，农业机器人研究越来越多地探索更丰富的、考虑延迟的视觉反馈功能，用于未来的遥操作界面。使用RGB-D相机进行实时3D重建和可视化已被用于农业领域机器人，展示了在非结构化环境中基于VR或沉浸式遥操作的丰富空间表示的潜力（Y. Chen等人，2020年）。最近，还研究了用于户外移动机器人遥操作的延迟补偿视频反馈，采用基于学习的视觉流程，结合单目深度估计、机器人姿态预测、点云渲染和图像修复（Chakraborty等人，2025年）。这些研究表明，农业和户外遥操作正朝着更丰富的视觉表示和延迟感知反馈方向发展，特别是在单目视频不足以应对或存在延迟的环境中。

除了车辆级驾驶外，农业遥操作还在探索任务级操作、人机交互和操纵方面。例如，通过面向遥操作的用户界面设计和传感器支持的环境感知（包括多摄像头和2D LiDAR）研究了半自动葡萄园喷洒（Adamides等人，2017年）。基于VR的远程人机交互也被应用于温室草莓种植，使用UGV安装的操纵器和RGB-D传感技术，展示了远程操作和多模态反馈在操作导向的作物监测任务中的相关性（Udekwe和Seyyedhasani，2025年）。农业遥操作正在向远程监控、自主性备份、先进用户界面、延迟感知视觉反馈、任务级操作和多模态反馈方向发展。然而，引入额外的感官模式会同时改变多个因素，包括反馈数据量、同步要求、界面设计和操作员感知。这些因素使得难以单独分析视频反馈延迟的影响。因此，必要的第一步是在受控制的视频延迟条件下评估基于视频的农业车辆遥操作，作为最基本的基准。

尽管这一点很重要，但在农业车辆遥操作中对此基准的评估还不够充分。特别是，将受控制的玻璃到玻璃视频延迟与车辆级驾驶性能和操作员转向行为联系起来的基于实地证据仍然有限。在我们之前的工作中，我们测量了农业机器人遥操作系统中的玻璃到玻璃延迟，并在不同延迟条件下评估了横向跟踪误差（Morita等人，即将发表）。通过将遥操作驾驶与车载手动驾驶进行比较，我们确定了一个延迟阈值，超过该阈值后，遥操作跟踪误差显著增加。然而，仅依靠时域误差测量无法充分描述通信延迟增加时操作员转向行为的变化。

因此，本研究专注于在受控制的玻璃到玻璃视频延迟条件下的基于视频的农业车辆遥操作。通过明确受控现场条件下视频反馈延迟与操作员转向行为之间的关系，本研究为未来评估更复杂的农业遥操作系统提供了基础。作为远程干预的一个代表性案例，本研究探讨了开放式田间农业遥操作，假设在农业道路上的田间间旅行场景。驾驶任务模拟了典型的干预，其中操作员执行避障操作，在这里表现为横向路径偏移。

本研究的目标是定量评估受控制的玻璃到玻璃视频延迟如何影响基于视频的农业车辆遥操作期间的操作员转向行为，特别关注转向输入的频域特性。本文通过增加转向输入的频域分析，扩展了我们之前的工作，以表征依赖延迟的操作员控制行为变化。

基于相同的遥操作平台和实验框架，本研究有两个主要目标。首先，它量化了受控制的玻璃到玻璃视频延迟如何改变遥操作期间操作员转向输入的频域特性。其次，它评估了这些频域变化与时间域中的横向跟踪误差之间的关联。

**硬件配置**
遥操作系统的概述如图1所示。系统由两个部分组成：AGV单元和远程监控及控制单元。测试车辆为Kubota MR1000A AGV。该车辆配备了全球导航卫星系统（GNSS）接收器、惯性测量单元（IMU）、摄像头、导航PC和遥操作PC。该测试用的GNSS系统支持实时运动学（RTK）定位技术，能够实现优于3厘米的定位精度。我们通过计算50个样本来视觉测量端到端的视频延迟，平均延迟为0.118秒，标准差为0.012秒。因此，在所有后续结果中，我们将τsystem设置为0.118秒。对于后续实验中τnetem分别设置为0、0.100、0.200和0.300秒的情况（如公式（1）所示），相应的τg2g值分别为0.118、0.218、0.318和0.418秒。

统计分析的结果如下所示。我们计算了各种指标的描述性摘要和统计分析结果。

**结论**
本研究探讨了受控视频反馈延迟如何影响操作员在开放场地基于视频的农业拖拉机远程操控过程中的转向行为。我们开发了一个网络仿真环境，能够人为地向视频流中添加额外的单向延迟，并在四种不同玻璃到玻璃延迟条件下使用真实的农业车辆进行了实地试验。除了基于横向RMSE的时间域跟踪性能外，我们还分析了转向率等其他指标。

**CRediT作者贡献声明**
Morita Tsuyoshi：撰写原始稿件、可视化处理、验证、软件开发、方法论设计、研究实施、正式分析。
Sonoki Takahide：软件开发、研究实施、数据整理。
Yamauchi Tomoya：方法论设计、研究实施。
Yokota Masahiro：方法论设计、研究实施。
Yamagishi Kazuhisa：研究指导、方法论设计。
Noguchi Noboru：撰写稿件并进行修订与编辑、研究指导、资源协调、资金筹措、概念化设计。

**利益冲突声明**
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所述的研究工作。

Morita Tsuyoshi
Sonoki Takahide
Yamauchi Tomoya
Yokota Masahiro
Yamagishi Kazuhisa
Noguchi Noboru