编辑推荐：
为解决室内无人机 3D 追踪难题，研究人员开展了多模态数据集（DPJAIT）用于室内 3D 无人机追踪的研究。他们构建含真实与模拟数据的数据集，验证多种追踪技术，为相关算法研发提供支撑，推动无人机在多领域应用。
在如今科技飞速发展的时代，无人机的身影越来越频繁地出现在人们的生活中。从精彩刺激的无人机竞技比赛，到工业领域高效的数据采集，再到维护安全的重要防线，无人机都发挥着不可或缺的作用。然而，当无人机进入室内环境时，却遭遇了诸多挑战。室内空间环境复杂，GPS 信号微弱甚至完全消失，这使得传统依赖 GPS 的定位追踪技术瞬间 “失灵”。在这种情况下，如何精准地追踪无人机的位置，确保其在室内安全、高效地运行，成为了亟待解决的难题。
为了攻克这一难题，波兰 - 日本信息技术学院（Polish-Japanese Academy of Information Technology）等机构的研究人员展开了深入研究。他们致力于构建一个多模态数据集（DPJAIT），以此为基础探索更有效的室内 3D 无人机追踪方法。最终，研究人员成功创建了包含真实测量数据和模拟数据的 DPJAIT 数据集，并通过实验验证了多种 3D 追踪技术的可行性。这一研究成果发表在《Scientific Data》上，为室内 3D 无人机追踪领域带来了新的曙光。
在研究过程中，研究人员运用了多种关键技术方法。首先，利用 Vicon 运动捕捉系统采集真实数据，该系统能够精确获取无人机的位置和姿态信息。其次，借助 Unreal Engine 和 AirSim 模拟器生成模拟数据，为研究提供了丰富多样的场景。此外，还运用了基于 OpenCV 库的相机校准技术、粒子群优化（PSO）算法以及基于 ArUco 标记的定位技术等，这些技术相互配合，为实现室内 3D 无人机的精准追踪奠定了坚实基础。
数据记录
- 模拟数据：数据集包含 13 个模拟序列，使用 Unreal Engine 和 AirSim 插件构建场景，设置不同数量的无人机和飞行模式。每个序列包含多个视频文件、无人机位置姿态信息、相机参数等。例如，S01_D2_A 序列有 2 架无人机，飞行模式为自由跟随，还包含 ArUco 标记和第一人称视角（FPV）数据。
- 真实数据：由熟练操作人员手动控制无人机，通过多模态采集系统记录。使用 4 个 RGB 相机（cam_1 - cam_4）录制视频，分辨率为 1924×1082。通过追踪无人机上的 4 个标记（A、B、C、D）形成的不对称十字获取参考位置和方向，利用 Vicon 系统采集地面真实数据。
3D 定位方法
- Outside-In 多相机系统：基于相机投影原理，已知相机内外参数和无人机在图像中的位置，通过计算投影线的交点确定无人机的 3D 坐标。对于多无人机情况，利用极线几何进行匹配。同时，也可采用粒子群优化（PSO）算法，通过优化粒子在 3D 空间的位置，使算法预测的无人机位置与实际位置的相似度最高，以此获取无人机的 3D 位置。
- Inside-Out 相机 - ArUco 标记：通过检测和识别固定在实验室墙壁上的 ArUco 标记，计算相机的外部参数，进而确定无人机的位置和方向。实验中使用 “4×4_1000” 字典中的标记，利用 OpenCV 库中的函数进行标记检测和识别。
技术验证
- 深度神经网络训练：利用 Vicon 运动捕捉系统自动标注数据，计算 3D 边界框并投影到 2D，生成训练神经网络的数据集。
- 基于投影线的三角测量：使用训练好的 YOLOv5 网络检测视频序列中的无人机，通过与地面真实数据对比评估 3D 重建性能。部分序列存在平均误差较大的情况，可能是由于无人机位置匹配错误，但中位数误差相对稳定。
- 粒子群优化：在不同数量无人机的模拟序列上测试 PSO 算法，结果表明，粒子数量和迭代次数越多，跟踪误差越小。如 S02_D4_A 序列在特定配置下可获得最小误差 0.068m。
- ArUco 标记：对于含 FPV 记录的序列，通过放置已知 3D 坐标的 ArUco 标记，确定无人机的飞行轨迹。对比重建轨迹和参考轨迹，计算距离和角度差异评估精度。
研究人员成功构建了 DPJAIT 数据集，该数据集具有多无人机序列、真实与模拟数据结合、包含外部系统和无人机机载相机记录以及 ArUco 标记等独特优势。通过对多种 3D 追踪技术的验证，为室内 3D 无人机追踪算法的研究和发展提供了重要的数据支持和技术参考。这一研究成果不仅有助于提升无人机在室内环境中的导航精度和安全性，还将推动其在增强现实游戏、工业数据采集等多个领域的广泛应用，具有重要的理论意义和实际应用价值。
