《Remote Sensing Applications: Society and Environment》：A Lightweight Georeferencing Workflow for Dynamic UAV footage using Feature-matching and Minimal Drone Metadata
编辑推荐：
无人机航拍自动地理参考方法研究|结合SIFT特征匹配与无人机遥测数据|模块化设计|移动块自助法|精度评估|均方根误差|ORB算法|遥感数据校正|航拍影像地理参考
穆罕默德·瓦卡斯·艾哈迈德（Muhammad Waqas Ahmed）| 穆罕默德·阿德南（Muhammad Adnan）| 穆罕默德·艾哈迈德（Muhammad Ahmed）| 戴维·詹森斯（Davy Janssens）| 格尔特·韦茨（Geert Wets）| 阿夫扎尔·艾哈迈德（Afzal Ahmed）| 温姆·埃克托斯（Wim Ectors）
比利时哈瑟尔特大学（UHasselt）交通研究所（IMOB），地址：Martelarenlaan 42，3500 Hasselt
摘要
无人驾驶飞行器（UAV），通常称为无人机，的出现彻底改变了航空成像和摄影测量技术，为传统方法提供了一种成本效益高且灵活的替代方案。虽然市面上销售的无人机既实用又价格合理，但飞行日志中提供的元数据往往无法满足高精度摄影测量的需求。为了解决这一问题，我们提出了一种新的自动化地理配准方法，该方法结合了特征匹配算法（Scale Invariant Feature Transform，简称SIFT）和遥测数据。系统首先通过将输入帧与已知空间投影的参考正射影像进行匹配来初始化单应性矩阵。随后，利用无人机遥测数据估算的平移分量来调整后续帧的单应性矩阵。对于无人机的旋转，采用了Oriented FAST和Rotated BRIEF（ORB）算法来检测连续帧之间的变化，必要时可以重新初始化单应性矩阵。为了量化不确定性并评估帧级精度的时序依赖性，我们采用了移动块自举（Moving-block Bootstrap，简称MBB）方法来估计置信区间。所提出的工作流程具有模块化设计，可以根据数据和条件灵活更换相关算法。实验结果表明，该方法能够达到亚米级的精度，平均均方根误差（RMSE）在54.9至95.9厘米之间。
引言
无人驾驶飞行器（UAV）或无人机的出现标志着航空成像和摄影测量的重大变革，为传统航空成像方法提供了一种低成本且可扩展的替代方案。无人机具有出色的机动性，并能够进入难以到达的区域，这使它们在农业技术、地球观测、地质勘探和气候相关应用等领域得到了广泛应用[1]。在摄影测量中，无人机能够以较低的运营成本提供高分辨率图像。无人机技术的发展催生了多种类型的无人机，包括固定翼无人机、单旋翼无人机、多旋翼无人机（四旋翼、六旋翼和八旋翼）以及垂直起降（VTOL）无人机系统[2]。无人机的垂直起降能力减少了基础设施的需求，同时具备与多旋翼无人机相当的可操控性[3]。
基于无人机的航空图像的精确地理配准对于摄影测量应用至关重要。这一技术应用于3D场景重建[4]、土地利用规划[5]和精准农业[6]等多个领域。在当今人工智能（AI）时代，地理配准的准确性还有助于在现实世界中准确定位物体，例如道路交通监测和车辆运动跟踪[7]。
摄影测量应用不仅限于传统的测量任务。图像地理配准是变化检测、特征提取、目标检测和定位等后续处理的基础步骤[8]。这些应用得益于正确地理配准的图像。然而，市面上销售的无人机提供的标准遥测数据仅包含中心坐标，缺乏将捕获图像映射到真实地理空间所需的参数。为了实现自动化地理配准，基于视觉的特征匹配算法非常有效[9]。然而，由于计算成本高昂，实际上无法对每一帧图像都应用这些算法。此外，随着无人机的移动，不同位置的关键点可能会发生变化，从而导致性能不稳定。
逐帧进行SIFT匹配计算量巨大，因此后续处理变得难以实现，这一点在作者之前的研究中已有体现[7]。为避免逐帧匹配，本文提出了一种混合方法，将无人机的位置数据与SIFT特征匹配相结合。该系统仅需无人机遥测提供的纬度、经度和高度信息，简化了自动化地理配准的要求，同时保证了处理速度和精度。在提出的方法中，首先初始化第一个视频帧的单应性矩阵。然后根据相对于固定参考点的测地位移（, ）更新平移参数，利用无人机遥测数据跟踪随时间的位置变化。这些变化被转换为像素位移，从而调整图像的位置，同时保持其方向和比例不变。系统通过ORB（Oriented FAST and Rotated BRIEF）算法来检测旋转，以解决无人机遥测数据中方向信息缺失的问题。
相关研究
相关研究
传统的无人机系统配备轻量级的GNSS和IMU系统，但不同硬件的效率可能存在显著差异[10]。Chiabrando和Lingua[11]评估了机载GNSS/INS系统在直接地理配准中的性能。在这项研究中，作者使用了三种不同的无人机硬件，并通过使用块捆绑调整（Block Bundle Adjustment，简称BBA）方法对预先测量的地面控制点进行正射影像生成，比较了它们的配准精度。
数据与方法
本研究采用了一套来自商用无人机（具体为DJI Mini 3 Pro）的最低限度遥测参数。遥测数据来自无人机内置的.SRT文件，其中包含纬度、经度、高度、焦距和缩放比例，数据采集率为每秒29.97帧（FPS）。我们使用基于Python的解析器从SRT文件中提取了纬度、经度和高度信息，该解析器使用了标准库“re”。
采样与验证指标
在本实验中，对来自两个不同视频的4,200帧图像进行了地理配准。为了评估这些配准帧的精度，在每个采样帧的四个角点至少手动标记了四个地面控制点（GCP）。采样方法结合了系统化采样（每50帧选取一帧进行RMSE计算）和有目的采样（每当发生SIFT校正时选取最近的校正后图像，见公式4）。
结论
本文提出了一种混合地理配准方法，该方法结合了特征匹配算法SIFT和来自商用无人机的最少遥测数据。该方法首先通过将输入帧的特征与已配准的航空图像进行匹配来初始化单应性矩阵，然后利用无人机遥测数据根据无人机的运动更新该单应性矩阵。此外，该方法还弥补了无人机数据中信息不足的问题。
作者贡献声明
穆罕默德·瓦卡斯·艾哈迈德（Muhammad Waqas Ahmed）：撰写 – 审稿与编辑、初稿撰写、可视化处理、验证、软件开发、方法设计、数据分析、概念构思。温姆·埃克托斯（Wim Ectors）：撰写 – 审稿与编辑、验证、项目监督、方法设计、数据分析、资金获取、数据管理、概念构思。阿夫扎尔·艾哈迈德（Afzal Ahmed）：项目管理。格尔特·韦茨（Geert Wets）：资源调配、项目管理、资金获取。戴维·詹森斯（Davy Janssens）：资源支持。
数据获取声明
出于隐私考虑，本研究中的数据可向通讯作者索取。
资助
本研究得到了哈瑟尔特大学BOF-BILA项目的资助，项目编号为14406（BOF24BL02）。
利益冲突声明
? 作者声明没有已知的可能影响本文研究结果的财务利益冲突或个人关系。
致谢
作者衷心感谢哈瑟尔特大学BOF/BILA项目对本研究的共同资助。同时，我们也感谢同事邱先生在无人机数据收集方面提供的帮助。
