基于深度感知的Transformer模型在航空定位中的应用

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Depth-Aware Transformer for Aerial Localization

空中场景定位中提出深度感知Transformer模型DALTR，通过多级深度嵌入模块和深度引导的平滑约束提升场景坐标回归精度。实验证明优于现有方法。

　　

摘要

近年来，基于深度学习的视觉定位技术受到了广泛关注，并取得了显著进展。尽管之前的视觉定位方法在室内或室外街道场景中表现良好，但在航空场景中的研究还相对较少。本文提出了一种基于深度感知的航空场景定位变换器（DALTR），该变换器在深度图的辅助下学习真实世界航空场景中的相机姿态。为了提升网络在航空场景中的感知能力，设计了一种多层次深度嵌入变换器模块，通过将深度信息自适应地融入到变换器的多个层级中。此外，为了体现场景坐标的连续性和平滑性，还引入了基于深度的平滑性约束机制，为场景坐标回归提供额外的监督信息。在多个航空场景定位基准数据集上的实验结果表明，所提出的DALTR在定位性能上具有显著优势。