一种持续演进的视觉-惯性里程计技术，适用于飞行中的无人机

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：A continual evolving Visual-Inertial Odometry for drones in flight

针对固定模型VIO在动态环境中的精度不足问题，本文提出E-VIO方法，结合双回放记忆持续学习策略和轻量级CNN-Transformer架构，实现实时在线训练与推理，实验表明定位精度提升84.6%，并保持21.2帧/秒的实时性能。

　　

周洋帆|魏文辉|李仁树|刘欣|李家东

中国科学院苏州纳米技术与纳米生物研究所（SINANO），中国苏州，215123

摘要

基于深度学习的无人机视觉-惯性测距（VIO）算法具有巨大的应用潜力，但其模型参数通常是固定的，在飞行过程中无法在线优化。这些固定模型缺乏根据无人机飞行场景变化自我进化能力，导致定位精度出现显著波动。为了解决这一限制，我们提出了可进化VIO（E-VIO），这是一种能够在飞行中的无人机上进行实时在线训练和推理的新方法。我们的方法利用了一种强大的双重回放记忆持续学习策略来促进高效的在线适应，同时采用极简的卷积神经网络（CNN）-Transformer级联架构来保证低计算复杂度。广泛的实验结果表明，在变化的环境条件下，与固定模型VIO相比，E-VIO将平均定位精度提高了84.60%。此外，在边缘计算平台上，E-VIO的推理速度为21.2 fps，在线训练速度为5.0 fps。为了造福社区，我们公开了源代码。

引言

当卫星信号不可用时，无人机通过融合来自摄像头和惯性测量单元（IMU）的信号来实现自主定位（Yang等人，2018年；Lin等人，2024年）。这种方法利用了一套紧凑的传感器，最小化了尺寸、重量和功耗（Foehn等人，2022年），使其成为各种无人机定位应用的成本效益解决方案（Zhou等人，2022年；Kaufmann等人，2023年）。使用摄像头和IMU的数据进行定位通常被称为视觉-惯性测距（VIO）（Cadena等人，2016年），该方法一般可以分为两类：基于几何的VIO和基于学习的VIO方法。

传统的基于几何的VIO方法（Qin等人，2018年；Bloesch等人，2017年；Campos等人，2021年）依赖于显式的数学模型和手工设计的特征提取来建立连续观测值之间的几何关系。尽管这些方法被广泛研究，但它们通常需要针对特定场景手动调整参数，这在条件多变的真实世界无人机中实施起来非常复杂。相比之下，随着深度学习的发展（Wang等人，2025年），基于学习的VIO方法（Clark等人，2017年；Almalioglu等人，2022a年；Wang等人，2024年）通过在大规模数据集上的全面训练实现了精确定位。这些方法消除了手动调整参数的需要，提供了更自动化和可扩展的解决方案。然而，它们对特定场景训练数据的依赖限制了其在未见环境中的泛化能力。

如图1(a)所示，基于学习的VIO方法在推理过程中通常使用固定的模型参数，这限制了它们实时适应动态变化的能力。迁移学习可以缓解这一问题，但需要大量的计算资源和数据来进行领域适应，这对于资源有限的无人机来说是一个挑战。此外，如图1(b)所示，现有的主要基于深度卷积神经网络（CNN）的VIO方法的高计算需求加剧了这一挑战。因此，实现计算效率仍然是部署在线优化VIO方法时最关键的障碍之一。解决这一挑战对于确保无人机在复杂和动态的真实世界环境中的可靠定位至关重要（van Dijk等人，2024年）。

在现实世界场景中，无人机会遇到不同的场景结构和光照条件（Almalioglu等人，2022b），这对固定VIO方法构成了挑战。最近的研究（V?disch等人，2023b；Pan等人，2024年）将持续学习技术融入基于学习的VIO中，解决了单一场景应用所带来的限制。虽然这些方法使用回放或元学习策略来减轻灾难性遗忘并提高在线数据有限的精度，但它们往往忽略了计算效率。具体来说，回放机制需要频繁访问内存，而元学习策略涉及迭代微调和梯度反向传播。持续VIO方法中对训练效率的探索不足限制了它们在资源受限环境中的部署。

尽管基于学习的VIO方法在提高定位精度方面很有前景，但由于依赖于深度神经网络，它们在计算上非常密集，从而限制了它们在资源受限平台上的部署。特别是，主干网络是主要的瓶颈，因为它占据了大部分参数数量并编码了场景结构。当前的主干网络，如ResNet（He等人，2016年）和Vision Transformer（ViT）（Dosovitskiy等人，2020年），由于其深度架构和庞大的参数集，在处理能力和内存方面要求很高。

为了解决这些挑战，我们引入了E-VIO，一种可进化的VIO。E-VIO被设计为一种实时训练和推理导向的VIO，以适应新环境。具体来说，E-VIO采用了一种新颖的双重回放记忆持续学习策略，该策略在管理内存访问和计算负载的同时增强了在不同场景下的泛化能力。此外，E-VIO使用极简的浅层CNN-Transformer级联架构来表示空间结构，从而降低了计算复杂度。广泛的评估表明，E-VIO在动态无人机环境中提高了定位精度，同时保持了实时性能。E-VIO的源代码是公开可用的。

总结来说，本工作的主要贡献如下。

• •
  我们设计了一种双重回放记忆持续学习策略，通过维护独立的短期和长期特征缓冲区来管理内存访问和权重更新，从而增强了在不同场景下的泛化能力。
• •
  我们提出了一种浅层CNN-Transformer级联架构，结合了门控扩张卷积进行多尺度特征选择和单层Transformer进行全局上下文建模，从而实现了更高效的架构。
• •
  我们进行了机载飞行实验，以验证其在各种场景和光照条件下的性能。

部分内容摘要

持续学习VO/VIO方法

基于学习的VO/VIO方法中的持续学习旨在提高定位性能，使机器人系统能够在未见环境中可靠运行。

基于学习的VO方法通常结合单目深度估计作为辅助任务，促进深度网络和姿态网络的联合自监督训练（Godard等人，2019年）。Luo等人（2019年）设计了一种强大的训练样本选择机制和分阶段的随机梯度下降（SGD）方法

系统概述

开发一种能够适应动态环境的机器人定位方法仍然是一个基本且未解决的挑战。为此，E-VIO支持在无人机飞行过程中的在线训练和推理，使其能够持续适应未见环境。我们将E-VIO集成到配备边缘计算平台的无人机上，并进行实际飞行实验以验证其有效性。

图2(a)展示了E-VIO的持续学习工作流程概览。

数据集

为了评估，我们使用了四个成熟的基准数据集和一个实际的飞行测试，如表1所总结的。这些数据集涵盖了多种环境和运动模式，使得E-VIO的评估更加全面。

结论

我们提出了E-VIO，这是一种为无人机量身定制的持续进化VIO方法，实现了实际应用。E-VIO利用了高效的双重回放记忆持续学习策略和轻量级的CNN-Transformer架构。这一设计解决了实现自适应定位这一关键挑战，而现有方法在这一领域经常表现不佳。E-VIO在大型、具有挑战性的数据集以及复杂环境下的真实世界无人机平台上进行了广泛评估

CRediT作者贡献声明

周洋帆：撰写——审稿与编辑、监督、方法论、资金获取。魏文辉：撰写——原始草稿、可视化、验证、软件、方法论。李仁树：验证、数据管理。刘欣：监督、资源管理、项目管理。李家东：监督、资源管理、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了广东省基础与应用基础研究基金（项目编号：2023A1515110063）、江苏省优秀博士后人才资助计划（项目编号：2023ZB547）、江苏省基础研究计划（项目编号：BK20250514）以及苏州市基础研究科学技术项目（项目编号：SSD2025006）的支持。