DOM映射：基于多架无人机的实时DOM映射技术，实现从局部到全局的优化

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：DOMapping: Multi-UAV real-time DOM mapping with local-to-global optimization

多无人机协作实时DOM映射框架提出基于内-外无人机交互优化的在线策略，通过GPS-图像联合优化抑制单机轨迹漂移，实现亚米级精度、60%计算效率的全球一致DOM融合。

　　

李唐|金洪祺|周燕|刘晓萍

中山大学地理与规划学院，中国广州510275

摘要

在自然灾害或人为引发的灾难中，快速可靠的环境感知至关重要。在这种时间紧迫的情况下，基于无人机的（UAV）测绘框架因其实时响应能力而变得不可或缺。特别是快速生成的区域级数字正射影像地图（DOM），它们为紧急响应和决策提供了最新的地理空间信息。同时定位与映射（SLAM）技术可以实现实时的姿态估计和映射，但在长时间连续飞行的无人机中存在轨迹漂移的问题。为了实现快速准确的实时DOM映射，我们提出了一种在线多无人机协作DOM映射框架，有效解决了两个主要挑战。首先，在线轨迹漂移和光照变化会导致图像正射校正的不连续性，从而影响单次飞行DOM映射的视觉连续性；其次，在多无人机融合过程中难以保持全局空间一致性，因为GPS误差和SLAM漂移会在异步配置下累积。为了解决这些问题，我们提出了一种基于无人机间和无人机内交互优化策略的在线多无人机协作DOM映射框架。在无人机内部，我们提出了一种地理对齐的在线正射校正方法，该方法结合了GPS和图像的联合优化模型，利用SLAM得到的姿态信息来抑制漂移引起的畸变，从而在单次飞行中实现无缝的地图拼接。在无人机之间，进行在线的局部到全局的姿态优化，以迭代地改进跨飞行对齐并补偿系统性的不一致性。无人机内部和之间的优化过程同时进行，并相互增强，确保了在线DOM融合过程中的实时性能和全局几何一致性。在多无人机数据集上的广泛实验表明，我们的方法实现了亚米级的绝对精度，同时计算时间仅为主流方法的60%。所提出的框架为区域尺度的近实时多无人机DOM映射提供了一个稳健且可扩展的解决方案，对快速灾难评估、数字孪生重建等地理空间应用具有宝贵价值。代码和数据已发布：https://github.com/leemraz-hub/DoMapping

引言

在灾难响应等时间紧迫的场景中，基于无人机的（UAV）测绘框架因其快速的环境感知能力而变得不可或缺，能够提供增强的态势感知、高频数据更新和及时的信息传递（Wei等人，2017；Kucharczyk和Hugenholtz，2019；Greenwood等人，2020；Martinez-Alpiste等人，2021；Masroor等人，2021；Mohd Daud等人，2022）。通过在不同高度和路径上捕捉高分辨率图像，无人机能够生成各种地理空间映射产品，支持紧急评估和决策制定。其中，数字正射影像地图（DOM）特别有价值，因为它们提供了直观的表面覆盖、高空间分辨率以及有限的计算成本，支持动态的映射和更新。然而，大多数现有的映射方法不支持实时DOM映射（Mistry和Patel，无日期）。

现有的基于UAV的DOM映射方法可以分为离线和在线两种框架。离线方法（如OpenDroneMap（Vacca，2020）通常会进行完整的3D重建以生成全局网格模型，然后重新投影以生成正射影像。虽然这种方法实现了高几何精度和全局一致性，但其计算复杂性限制了其实时应用。相比之下，在线DOM映射框架结合了基于SLAM的姿态估计（Taheri和Xia，2021）与即时图像校正和融合技术，实现了无人机飞行中的实时DOM映射。这些系统逐步估计相机姿态，校正传入的帧，并逐步将它们融合到DOM拼接图中。然而，基于SLAM的系统对长时间大规模无人机飞行中的累积轨迹漂移仍然敏感，导致几何错位、伪影和生成的DOM中的不连续性。此外，区域尺度图像跟踪和对齐的计算负担显著限制了处理效率，使得难以在实时灾难响应场景中实现低延迟和频繁更新。

为了克服区域尺度场景中实时DOM映射的效率瓶颈，最近的研究探索了多无人机协作映射框架。这些方法旨在将映射工作负载分布在多架无人机之间，以提高可扩展性和减少延迟。例如，ClusterFusion（Dong等人，2023）将调查区域划分为多个子区域，每架无人机独立进行局部实时DOM映射，然后进行全局图像融合以生成全局正射影像。其他研究（如MGRAPH（Ruiz等人，2018）采用多模态图表示来增强多个子区域之间的几何和视觉一致性。DenseFusion（Chen等人，2020）利用深度特征来改进姿态估计并减轻局部错位。然而，这些方法主要关注局部一致性或额外的离线全局优化，而不是多无人机映射所需的在线全局空间一致性。实际上，每架无人机都在独立的局部坐标系中重建DOM，这在将局部DOM合并成全局拼接图时不可避免地会导致不一致性。因此，在这种条件下直接融合通常会产生明显的接缝和在几何和纹理边界处的结构不一致性，阻碍了生成全局一致且视觉上无缝的DOM。

尽管基于UAV的实时DOM映射取得了最新进展，但将这些系统从单无人机扩展到多无人机场景仍然是一个未解决的挑战。具体来说，两个主要瓶颈阻碍了实时、全局一致的多无人机DOM映射的实现。首先，由轨迹漂移和光照变化引起的局部不连续性导致单次飞行中的图像拼接图不一致，表现为颜色跳跃、纹理错位和结构畸变，严重影响了局部DOM映射的视觉连续性。其次，多无人机融合中的全局错位问题尚未解决。当前系统要么依赖仅使用GPS的对齐方式，这在GPS噪声和时钟不同步的情况下无法保证几何一致性；要么依赖离线的全局捆绑调整，这在实时应用中计算成本过高。

为了解决这些挑战，我们提出了一种用于快速区域尺度户外环境感知的实时多无人机协作DOM映射框架。每架无人机执行局部重建，并以低延迟将轻量级的中间结果传输给中央无人机进行在线全局融合和优化。我们的贡献可以总结为：

(1)

我们提出了一种在线局部到全局的空间优化策略，以确保异步多无人机任务中的跨飞行一致性。通过迭代改进跨飞行对齐并补偿累积的漂移，该策略实现了飞行中的全局一致DOM映射，从根本上消除了飞行间的DOM接缝并保持了无人机间的结构连续性。

(2)

我们提出了一种耦合的无人机内和无人机间优化范式，用于近实时的多无人机DOM映射。该框架同时运行无人机内优化循环和无人机间优化循环，前者结合GPS测量、基于SLAM的姿态估计和在线正射校正来生成每架无人机的DOM，后者执行轻量级的姿态图优化，以快速纠正跨无人机的几何不一致性。这两个优化过程同时进行并相互增强，实现了多无人机映射中的实时性能和全局几何一致性。

(3)

广泛的真实世界实验验证了所提出的方法实现了实时、全局一致的DOM映射，绝对精度达到亚米级，同时计算时间比现有方法减少了40%以上。这些结果突显了该系统在灾难响应和动态环境监测等时间紧迫应用中的潜力。

部分摘录

单无人机实时DOM映射

早期的基于UAV的DOM映射主要依赖于结构从运动（SfM）流程，例如OpenMVG（Moulon等人，2017）和COLMAP（Sch?nberger等人，2016；Schonberger和Frahm，2016）等系统。这些方法进行离线摄影测量，通常需要数小时才能生成映射产品。相比之下，实时DOM生成通过一个包含前端姿态估计和后端图像校正的两阶段流程实现即时映射。

方法

为了实现实时和全局一致的DOM映射，我们提出了一个模块化的多无人机协作映射框架，如图1所示。从每次飞行中的实时局部正射影像生成开始，该框架通过在线局部到全局优化逐步将多个局部DOM整合成无缝的全局地图。具体来说，所提出的框架包括三个组成部分：（1）多无人机路径规划和图像采集（第3.1节）。

实验

系统实现。多架无人机被部署在配备有Intel Xeon Gold 6266C CPU（24核@ 3.0 GHz）、64 GB RAM和NVIDIA Tesla T4 GPU（16 GB）的服务器上，每个过程作为多线程管道执行。GPU仅用于视频流解码。数据负载包括压缩图像流和元数据（1080p）。系统以10 Hz的更新频率运行，带宽需求为15 Mbps。SLAM、优化等过程在此框架中执行。

局限性

尽管该方法在多无人机场景中的在线DOM生成方面非常有效，但其仍存在一些局限性，这些局限性源于其底层的建模假设和系统设计。

平面单应性假设。所提出的正射校正框架基于在局部主导地面平面假设下的单应性变形。虽然这种近似对于中等地形起伏和典型的无人机飞行高度来说足够准确，但在地形陡峭的场景中精度会降低。

结论

在本文中，我们提出了一种用于区域尺度户外环境的协作多无人机实时DOM映射框架，能够生成即时地理参考和一致的DOM产品。该框架首先将GPS-图像联合优化模型集成到在线图像正射校正和融合流程中，获得了空间精度更高、几何畸变更小的飞行内DOM。其次，为了从多无人机融合中获得无缝的全局DOM，采用了实时局部到全局的

CRediT作者贡献声明

李唐：撰写——原始草稿、可视化、方法论、调查。金洪祺：可视化、验证、软件、方法论。周燕：撰写——审阅与编辑、方法论、调查、资金获取、概念化。刘晓萍：监督、资源管理、项目管理、调查、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了中国国家杰出青年科学基金（项目编号42225107）和中国国家青年科学基金（项目编号42501550）的支持。