《Automation》:Symmetry-Based Decoupled Extended Reality and Digital Twin Framework for Robotic Manipulators
编辑推荐:
本文提出了一种用于机器人操纵器的解耦式扩展现实(Extended Reality, XR)与数字孪生(Digital Twin, DT)框架,利用数学、物理和拓扑对称性实现稳定的信息物理同步。传统的机器人遥操作架构受限于底层控制、通信和可视化界面之间的紧耦合,
本文提出了一种用于机器人操纵器的解耦式扩展现实(Extended Reality, XR)与数字孪生(Digital Twin, DT)框架,利用数学、物理和拓扑对称性实现稳定的信息物理同步。传统的机器人遥操作架构受限于底层控制、通信和可视化界面之间的紧耦合,使其易受网络延迟和平台依赖性的影响。研究人员提出了一种开放、模块化的框架,从结构上解耦物理对象与虚拟对象。通过建立数字孪生对称性的系统理论表述,将虚拟机器人表示为物理操纵器的同构状态空间镜像。通信由采用轻量级消息队列遥测传输(Message Queuing Telemetry Transport, MQTT)代理的异步网络拓扑中介,确保基于主题的通信对称性。这种解耦结构实现了高度灵活的多对多评估范式,使研究人员能够将单个物理机器人与不同的用户界面(User Interface, UI)互换配对,或使用单一虚拟界面控制多个异构机器人(物理与仿真)。在7自由度(7-Degree-of-Freedom, 7-DOF)Franka Emika Panda机器人及统一数据采集器上进行的实验验证证实了高保真跟踪,对称的有线和无线往返时间(Round-Trip Time, RTT)均值为47 ms。最后,研究人员讨论了将该实验室规模架构过渡到高并发工业环境所面临的挑战,涉及单代理漏洞、网络抖动和动态校准漂移等问题。
机器人遥操作和数字孪生技术是现代制造、远程手术、空间探索和机器人示教学习的关键基础。传统人机交互系统通常采用紧耦合管线,将虚拟用户界面的更新率直接绑定到物理硬件的实时控制回路,导致系统对网络延迟、丢包和平台特定依赖高度敏感,严重限制其可扩展性与可移植性。为解决这一问题,研究人员提出了一种将机电系统完全解耦为可视化、通信和物理执行三个独立域的架构,并引入数学、物理和拓扑对称性,使虚拟数字孪生成为物理操纵器的同构状态空间镜像。该架构利用轻量级MQTT代理实现异步通信,从而建立了对称的“多对多”评估范式:同一物理机器人可互换搭配不同用户界面,同一虚拟界面也可控制多个异构物理或仿真机器人。实验证明,在7-DOF Franka Emika Panda机器人上,有线和无线RTT均值为47 ms,跟踪误差渐近收敛到零,验证了框架的同步保真度和模块化能力。
在系统理论层面,研究人员将数字孪生定义为与物理资产并行运行的动态状态空间镜像,通过定义广义关节变量、速度和操作参数构成的状态向量,建立物理状态空间到虚拟坐标空间的同构映射,并要求跟踪误差向量的欧氏范数随时间渐近收敛到零。在坐标变换方面,针对Unity左手坐标系与机器人右手坐标系之间的手性差异,研究人员采用空间反射矩阵和四元数映射,实现了虚拟环境与物理工作空间之间的位姿一致性。在通信网络设计上,采用Aedes MQTT代理作为异步消息总线,所有端对等连接,发布方与订阅方完全解耦,从而隔离了物理控制回路与虚拟渲染回路。实验在保加利亚科学院机器人研究所进行,物理层为7-DOF Franka Emika Panda机械臂,中间层为运行在Node-RED环境中的Aedes MQTT代理,前端为Meta Quest 3头戴显示器上的Unity虚拟环境。研究人员分别在千兆有线和Wi-Fi 6(5 GHz)无线拓扑下,使用Wireshark进行数据包捕获与分析,固定MQTT协议、服务质量(Quality of Service, QoS)0、发布频率100 Hz,每个测试会话持续250.0 s,传输25000个大小为1228字节的JSON数据包。
在“UI评估(同一机器人,不同UI)”方面,由于机器人控制节点仅监听标准化MQTT主题,不同前端界面可在不修改底层控制代码的情况下执行相同操作任务,从而将实验变量严格限制在界面层,支持NASA任务负荷指数(NASA-TLX)和系统可用性量表(System Usability Scale, SUS)等严格工效学评估。在“机器人评估(同一UI,不同机器人)”方面,虚拟客户端与硬件无关,通过适配器节点即可切换不同机器人或仿真模型,实现统一的跨平台性能对比,并为仿真到真实迁移提供零前端修改的验证管线。在“实验设置”方面,研究人员搭建了物理驱动层、代理中间层和可视化前端层三层实验平台,并对有线和无线网络进行了对比测试。在“RTT测量与结果”方面,实测有线和无线平均往返时间均为47 ms,有线丢包率0.036%,无线丢包率0.068%;有线平均延迟22.84 ms,无线平均延迟23.58 ms,最大峰值约97–98 ms。尽管无线环境出现瞬时峰值延迟,但状态复制误差仍渐近收敛到零,说明虚拟笛卡尔阻抗控制器的低通滤波特性有效吸收了网络抖动。整体而言,延迟远低于实时遥操作通常要求的100 ms阈值。
讨论部分指出,该框架目前主要面向实验室环境。集中式代理是单点故障,工业部署需采用HiveMQ、EMQX等分布式高可用集群代理,并配合负载均衡器实现快速故障转移。高并发工厂环境中,大量设备共享无线频谱会导致非确定性抖动和超过100 ms的延迟峰值,需借助专用5G非公共网络或Wi-Fi 6E/7频道隔离通信。由于底层控制器需要1 kHz确定性更新率,而代理异步传输通常只有50–200 Hz,必须部署本地安全观察器,在命令到达间隔超过安全阈值时切换至高阻尼笛卡尔保持状态。此外,数字孪生包含高价值空间与关节遥测数据,但目前未强制用户认证或TLS加密,存在命令注入风险,工业应用需端到端加密、访问控制列表和安全审计日志。当前研究局限包括仅使用单一协作机器人、未在广域网或多机器人场景下验证,以及人机交互相关用户研究仍在进行中。结论部分可概括为:该研究成功将数学和拓扑对称性原理融入解耦数字孪生框架,通过空间反射矩阵解决坐标系手性差异,保持虚拟Unity客户端与物理Franka Emika Panda机器人的结构与行为等价;利用轻量级MQTT代理实现了高度解耦的网络拓扑,将物理控制器与较慢的VR/XR渲染回路完全隔离;同时建立了对称的多对多评估范式,支持同一机器人搭配不同UI或同一UI控制异构机器人。实验确认本地代理配置可实现平均47 ms的有线和无线RTT,并保持适度跟踪精度。尽管该框架在实验室规模下高效,但向工业环境扩展仍需解决网络安全、单代理可靠性、拥塞下的延迟确定性和动态校准漂移等关键挑战。