基于 MQTT 和 WebRTC 的低延迟人在回路机器人遥操作：控制与媒体分离

《IEEE Journal of Selected Areas in Sensors》：Low-Latency Human-in-the-Loop Robotic Teleoperation with Control-Media Separation using MQTT and WebRTC

　　摘要：低延迟遥操作是人工智能物联网（AIoT）机器人的核心需求，然而在地域分散的网络环境下，一边实时流式传输视频、一边即时运行视觉推理以实现响应式的闭环操作仍然极具挑战。本文提出了一种面向人在回路中机器人操作的模块化 AIoT 遥操作框架，该框架通过 MQTT 实现实时指令传输、通过 WebRTC（经由 LiveKit）实现低延迟视频流，从而将控制流水线与媒体流水线分离。轻量级视觉感知由一个基于 YOLOv11-nano 的概念验证辅助视觉叠加层实现，该叠加层在遥操作过程中为跨平台 Flutter 移动端界面提供实时的目标级标注。在执行端，控制指令被传输至基于 ESP8266 的通信节点，并由 Arduino Mega2560 控制器执行，以协调多轴机械臂的运动。后端服务部署于云基础设施之上，以支持跨地区的可扩展访问。感知模型在 32 GB 工作站上完成训练，实现了毫秒级推理性能（纯推理仅 1.5 毫秒，端到端每帧约 11.5 毫秒）。训练后的模型进一步在启用 VPN 的跨境条件下、于轻量级 8 GB 内存节点上进行了评估，涵盖通往香港、日本和比利时的路由。实验结果表明，本地网络中的执行器响应延迟低至 0.2 秒，跨境场景下低于 0.7 秒，证实了所提出的框架即使在资源受限的硬件上也能维持实时响应性。除基线系统基准测试之外，我们还通过在有控制的光照变化条件下报告多次训练稳定性（使用精确率-召回率曲线和归一化混淆矩阵）来增强期刊级别的复现性。此外，该框架支持非侵入式扩展性，例如一个可选的红外（IR）手势控制模块，该模块可以嵌入……