基于排名意识的持续学习方法在激光雷达场景识别中的应用

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Ranking-aware continual learning for LiDAR place recognition

基于点云的地方识别在SLAM和自动驾驶中至关重要，但现有深度学习方法易因灾难性遗忘导致性能退化。本文提出KDF框架，通过排名意识的知识蒸馏损失函数保留高阶识别知识，并设计知识融合模块整合新旧模型信息，有效缓解遗忘问题。实验表明KDF在Recall@1和遗忘分数上优于SOTA方法。

　　

Xufei Wang|Gengxuan Tian|Junqiao Zhao|Siyue Tao|Qiwen Gu|Qiankun Yu|Tiantian Feng

中国上海同济大学智能自主系统研究院

摘要

基于点云（LiDAR）的地点识别在SLAM、机器人导航和自动驾驶应用中起着重要作用。得益于深度学习，LiDAR地点识别（LPR）的性能得到了显著提升。然而，许多现有的基于学习的LPR方法存在灾难性遗忘问题，这在新环境训练后严重影响了LPR在之前训练过的地点上的性能。在本文中，我们引入了一种通过知识蒸馏和融合（KDF）实现LPR的持续学习框架来缓解遗忘问题。受到地点识别检索排序过程的启发，我们提出了一种具有排序意识的知识蒸馏损失函数，该函数鼓励网络保留高层次的地点识别知识。我们还引入了一个知识融合模块，以整合旧模型和新模型的知识，用于LiDAR地点识别。我们的广泛实验表明，KDF可以应用于不同的网络，以克服灾难性遗忘问题，在平均召回率@1和遗忘分数方面超越了现有最先进的方法。

引言

地点识别（PR）旨在通过将机器人的当前观测结果与之前访问过的地点数据库进行匹配来确定机器人的位置。它在SLAM、机器人导航和自动驾驶应用中发挥着重要作用（H. Yin等人，2024年；P. Yin等人，2024年；Shi等人，2023年）。利用深度学习的强大表示学习能力，高性能的基于学习的LiDAR地点识别（LPR）方法已经显示出对地点外观变化的鲁棒性（Uy和Lee，2018年；Komorowski，2021年；Vidanapathirana等人，2022年；Komorowski，2022年；Liu等人，2019年；Chen等人，2022年；Xu等人，2023年；Xia等人，2023年）（图1（a））。

最近，人们认识到PR系统必须不断从多样化的环境中学习（Yin等人，2023年）。在城市之间切换时，PR系统的能力应该逐步更新。然而，随着新数据的不断流入，重新训练模型会变得计算成本高昂。此外，神经网络容易对新环境的数据分布产生过拟合，导致灾难性遗忘（Wang等人，2024年），即在前学习的环境上的性能下降，如图1（b）所示。

为了解决这些挑战，最近的研究（Knights等人，2022年；Cui和Chen，2023年）引入了持续学习方法，以在最小化存储需求的同时保持LPR系统的性能。为了减轻灾难性遗忘，InCloud（Knights等人，2022年）采用了结构感知（基于角度的）知识蒸馏来保留不同环境的嵌入结构。同样，CCL（Cui和Chen，2023年）构建了一个对比学习特征池，并应用知识蒸馏来保持跨环境的一致特征分布。

尽管这些方法取得了成功，但它们主要关注旧模型和新模型之间的响应对齐——例如保持描述符之间的角度或分布相似性（图1（c））。然而，它们很大程度上忽略了描述符之间内在关系的对齐，特别是在基于检索的任务（如LPR）中，这种排序关系更为重要。这种排序关系对全局特征变化更为鲁棒，能更好地反映模型中嵌入的结构知识。

当地点识别模型从一个环境（例如Oxford RobotCar）适应到另一个具有不同架构的环境（例如MulRan）时，其特征空间不可避免地会发生变化。虽然传统的持续学习方法试图严格保持原始的特征距离或角度，但我们认为这种方法过于限制性。为了成功检索，模型不需要复制原始的特征向量；它只需要保持正确的相对相似性排序，确保查询将其真实匹配项排在所有干扰项之上。这种基于排序的目标对特征空间的变化更具韧性，是持续学习中有效检索的基础。

有趣的是，最近在大型语言模型（LLM）对齐方面的进展同样强调了排序列表的重要性。LiPO（T. Liu等人，2024年）将LLM的对齐问题重新表述为一个列表级排序问题，证明列表级目标比成对或逐点方法更有效地保留了细微的关系知识。受此启发，我们认为LPR中的特征排序也应该作为一种结构监督形式来利用。排序相似性提供了丰富的信号，可以在持续学习过程中对旧模型和新模型之间的表示结构进行对齐。

基于这些观察，我们提出了一种通过知识蒸馏和融合（KDF）实现LPR的新持续学习框架。受到LPR中检索策略的启发（Uy和Lee，2018年；Komorowski，2021年；Vidanapathirana等人，2022年；Komorowski，2022年；Liu等人，2019年；Chen等人，2022年），其中之前访问过的地点根据与查询的相似性进行排序，我们在蒸馏过程中加入了排序对齐作为核心知识信号。具体来说，我们引入了一种具有排序意识的蒸馏损失函数，该函数不仅捕捉了旧特征和新特征之间的全局分布差异，还强制保持特征空间内的排序结构。此外，为了充分利用旧模型中嵌入的丰富知识，我们设计了一个知识融合模块，整合了旧模型和新模型的表示，显著减轻了遗忘问题。

总结来说，本文的主要贡献如下：

• 我们提出了一种具有排序意识的知识蒸馏损失函数，该函数鼓励网络保留高层次的地点识别知识。
• 我们还引入了一个知识融合模块，以整合旧模型和新模型的知识，用于LiDAR地点识别。
• 通过广泛的实验，我们证明了KDF的优越性能，它可以应用于不同的网络以克服灾难性遗忘问题。

部分摘录

LiDAR地点识别

在过去十年中，地点识别研究取得了显著进展（H. Yin等人，2024年；Shi等人，2023年；P. Yin等人，2024年）。现有的LPR方法大致可以分为手工制作的方法和基于学习的方法。

手工制作的LPR方法通常根据点云高度和强度等属性设计描述符（R?hling等人，2015年；Kim和Kim，2018年；Wang等人，2020年）。R?hling等人（2015年）构建了一个一维直方图描述符

初步介绍

在介绍我们的方法之前，我们首先定义了LPR任务，然后制定了LPR的持续学习问题。

方法论

诸如InCloud（Knights等人，2022年）和CCL（Cui和Chen，2023年）等开创性工作引入了用于LiDAR地点识别（LPR）的持续学习方法，明确结合了记忆回放策略和知识蒸馏。然而，这些方法没有考虑学习表示中的关键排序信息。

为了解决这一限制，我们提出了一种具有排序意识的蒸馏功能的新型持续学习框架，用于LPR。如图2所示，我们的方法

数据集和实验协议

在本节中，我们首先描述了实验中使用的数据集和评估协议。然后我们介绍了基线方法和实现细节。最后，我们描述了评估指标。

实验

在本节中，我们首先在持续学习设置下将我们的方法与其他最先进的方法进行了性能比较。然后我们讨论了不同方法在持续训练后的泛化能力。最后，我们分析了内存和运行效率，并进行了消融研究，以证明所提出组件的有效性。

结论

在本文中，我们介绍了一个专为LiDAR地点识别设计的持续学习框架KDF。KDF框架包括两个关键组成部分：知识蒸馏和知识融合。在知识蒸馏中，我们使用具有排序意识的损失函数来鼓励网络保留地点识别知识。此外，我们引入了一个知识融合模块，以整合新旧任务的知识，以减轻灾难性遗忘。

CRediT作者贡献声明

Xufei Wang：写作——审阅与编辑，撰写原始草稿，可视化，验证，项目管理，方法论，调查，正式分析，数据管理。Gengxuan Tian：写作——审阅与编辑，撰写原始草稿，验证，监督，软件，资源获取，概念化。Junqiao Zhao：写作——审阅与编辑，撰写原始草稿，验证，监督，软件，资源获取，概念化。Siyue Tao：写作——审阅与编辑。Qiwen Gu：写作——审阅与编辑。Qiankun Yu：写作——审阅与编辑。Tiantian

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。