基于虚拟现实的多旋翼飞行器操作控制

《IEEE Aerospace and Electronic Systems Magazine》：VR-Based Control of Multi-Copter Operation

VR远程操控系统实现多旋翼飞行第三人称视角与实时3D环境重建，基于Jetson Orin NX嵌入式GPU和ROS2/WebXR集成，通过头显实现闭环控制。对比试验表明TPV模式在任务效率相当情况下，障碍物感知距离提升0.20米且接触率降低，证明其在未知环境中提升安全性的有效性。

　　

摘要：

我们提出了一种基于虚拟现实的远程操控系统，用于多旋翼飞行。该系统能够呈现车辆的三人称视角（TPV），同时实时显示其周围环境的3D重建效果。该系统运行在嵌入式GPU（Jetson Orin NX）上，集成了ROS2/WebXR技术，将几何数据及视频流传输到头显设备，从而实现之前未测绘空间中的闭环控制。我们首先实现了第一人称视角（FPV）作为基准方案，并在未测绘的室内环境中对两名飞行员进行了对比测试。通过对一名飞行员进行的多次测试（N = 8），发现TPV下的任务完成时间与FPV相当，同时显著提升了近距离障碍物的感知能力（最小障碍物距离增加了0.20米），并减少了碰撞次数。这些结果表明，TPV在保持操控质量的同时，能够更清晰地显示FPV中难以察觉的危险，从而支持在未知环境中的更安全远程操控。