综述：基于多模态感知的语义SLAM：自主车辆鲁棒长期定位技术综述 álvaro Navarro-Pérez, Bladimir Bacca-Cortés, Eduardo Caicedo-Bravo

《Robotics》：Semantic SLAM with Multi-Modal Perception: Survey on Robust Long-Term Localization for Autonomous Vehicles álvaro Navarro-Pérez, Bladimir Bacca-Cortés and Eduardo Caicedo-Bravo

　　摘要 在动态且不断变化的环境中实现长期定位仍然是自动驾驶车辆面临的关键挑战。语义同时定位与地图构建（SLAM）通过整合高级语义理解，增强了传统SLAM的功能，使得即使在复杂场景下也能进行可靠的地图构建和定位。在这一背景下，多模态传感器融合——特别是激光雷达（LiDAR）和相机数据的结合——在利用互补优势方面发挥了重要作用：激光雷达的几何精度和图像中的丰富语义线索。该领域的一个重要进展是采用了基于图的语义定位框架，其中语义实体和空间关系被编码在图结构中，以提高地图一致性、循环闭合检测以及数据关联能力。本文综述了语义SLAM的最新发展，重点关注使用多模态融合策略的自动驾驶车辆的长期定位技术。我们将现有方法分为传统SLAM、基于视觉的、基于点云的以及基于图的技术，并强调了语义数据关联和循环闭合在保持长期一致性中的作用。此外，我们还讨论了深度学习技术在语义分割和特征提取中的应用。最后，我们分析了广泛使用的数据集和评估指标，指出了当前的限制，并提出了未来研究的方向，以开发出更加鲁棒、可扩展且语义丰富的定位系统。

1. 引言
自动驾驶车辆（AVs）高度依赖准确且持久的定位能力，以便在复杂的真实世界环境中安全高效地导航。在支持自主导航的众多技术中，同时定位与地图构建（SLAM）已成为一个基础组成部分，使车辆能够在构建和更新环境地图的同时确定自身的位置。传统的SLAM技术主要依赖于来自激光雷达或视觉传感器的低级几何特征，在结构化且静态的环境中表现出色。然而，这些方法在存在动态物体、遮挡物或环境变化（如光照变化、天气条件或季节性变化）的情况下往往无法正常工作。为了解决这些挑战，长期语义SLAM作为一种鲁棒的替代方案应运而生，它将高级语义信息（如物体、道路元素和场景类别）整合到SLAM流程中。通过用语义丰富地图表示，自主系统能够获得更具上下文和可解释性的场景理解，从而在较长时间内以及在不同的环境条件下实现更可靠的定位[1,2]。

语义SLAM的一个关键进展是多模态传感器融合的使用，尤其是相机和激光雷达数据之间的融合。相机提供密集的图像纹理和丰富的语义线索，而激光雷达传感器则提供精确的3D几何信息并对光照变化具有抵抗力。当这两种互补的模态结合时，可以形成包含语义和空间信息的纹理点云，提高车辆在复杂和变化环境中的解释和定位能力[3,4,5,6,7]。这种融合对于长期操作特别有益，因为在这些操作中，场景可能会因天气、季节变化或城市发展而发生显著的外观变化，如图1所示。图1展示了在不同光照和天气条件下同一地点的多时相观测结果，说明了长期定位和地图构建的挑战。系统结合了GNSS/GPS进行全球定位，以及IMU（惯性测量单元）进行运动估计，从而在多个会话中实现数据的一致采集。长期SLAM中的一个核心挑战是随着时间的推移保持数据关联的准确性。随着场景的变化，特征可能会消失、移动或变形，使得将当前观测结果与之前的地图条目匹配变得困难。语义信息通过实现更高层次的对齐（如关联物体类别或一致的空间布局）来帮助缓解这一问题，而不仅仅是依赖原始的几何特征。此外，多模态融合通过提供冗余和互补的描述符来增强这一过程，提高了在外观变化情况下成功关联的可能性。另一个关键组成部分是循环闭合检测，它在纠正累积偏差和保持地图的全局一致性方面起着关键作用。在长期部署中，由于视角、照明或场景结构的变化，循环闭合变得尤为具有挑战性。语义和多模态表示有助于解决这一问题，即使仅依靠视觉或几何特征不足时也能提供稳健的场景特征。有效的循环闭合机制对于维护准确的全球地图和确保在长时间自主任务中的可靠重新定位至关重要[8,9,10]。

长期定位特别受到三个主要误差来源的影响：环境动态、传感器漂移和校准不准确。动态物体可能会破坏特征匹配和循环闭合检测，而里程计漂移会导致累积的轨迹误差。此外，传感器之间的校准误差可能会在多模态融合系统中引入系统偏差。要应对这些挑战，需要鲁棒的语义表示和能够在长时间运行中保持地图一致性的全局优化策略。为了确保在现实世界部署中的鲁棒性，长期定位系统必须解决三个主要挑战：对大型城市环境的可扩展性、对动态物体的鲁棒性以及适应时变场景语义的能力。基于图的语义表示结合多模态感知能够实现高效的地图管理、动态物体过滤和增量式语义地图更新，使定位系统在长期运行中保持一致性。

本文全面综述了长期语义SLAM的最新发展，重点关注用于自动驾驶车辆定位的多模态融合策略。我们将现有方法分为传统SLAM扩展、基于视觉的技术、基于点云的方法和基于图的模型。此外，我们还探讨了深度学习技术如何被集成到语义SLAM中，用于特征提取、分割和物体识别等任务。特别关注那些在动态和演变环境中增强数据关联和循环闭合的方法。最后，我们讨论了支持语义SLAM系统比较分析的基准数据集和评估指标，并指出了未来研究的方向，以推进鲁棒、可扩展且语义丰富的定位技术的发展。本文的结构如图2所示：第2节介绍了动态环境中鲁棒定位所需的时间变化语义地图的主要概念和动机。第3节介绍了多模态感知，包括空间校准和时间同步。第4节讨论了使用视觉、激光雷达和融合策略构建语义地图的方法，第5节关注3D语义分割。第6节通过地点识别、循环闭合和数据关联来解决长期定位问题。第7节涵盖了评估指标、数据集和长期视角等基准测试方面。第8节概述了长期SLAM当前的开放性挑战，第9节总结了本文的综述内容。

2. 用于长期定位的时间变化语义地图
在真实世界环境中进行自主导航面临许多挑战，尤其是在车辆需要在动态、非结构化且不断变化的城市环境中可靠运行时。实现长期自主性的一个基本要求是能够在外观、结构和传感器条件变化的情况下准确且鲁棒地定位车辆。传统的定位系统通常基于几何SLAM（同时定位与地图构建），在静态环境假设下提供了有效的短期解决方案。然而，由于环境变化（如季节性变化、施工、动态物体或传感器磨损和漂移），它们的性能会随时间下降。这些限制表明，地图本质上是随时间变化的，为了在长期定位任务中发挥作用，必须不断分析、更新和适应环境的变化。

开发用于长期定位的鲁棒时间变化语义地图需要整合几个关键组件，如表1所总结的，并在图2中进行了说明，其中每个任务对应于语义映射流程中的一个阶段。多模态感知提供了互补的空间和语义信息，为在不同条件下的弹性映射奠定了基础。区分静态和动态障碍物可以防止短暂元素降低地图的质量，而适当的映射策略（度量、拓扑或混合策略）有助于灵活和高效的长期更新。物体检测和数据关联在识别并将有意义的语义实体与现有地图特征一致地关联起来方面起着关键作用，从而支持地图维护和准确的姿态估计。语义分割通过区分结构变化和预期变化进一步增强了环境理解，而语义表示策略定义了这些信息如何随时间有效存储和更新。循环闭合对于保持时间和空间一致性至关重要，使系统能够识别之前访问过的地点并纠正累积的偏差。最终，定位受益于语义和几何线索的整合，从而在动态环境中提高了鲁棒性。长期数据集和基准测试为评估、标准化和不同方法之间的公平比较提供了基础。这些组件共同构成了一个全面的流程，其中多模态感知、语义理解和时间一致性使得在复杂和演变场景中实现可靠且可扩展的长期定位成为可能。

表1对比研究了不同语义SLAM方法在感知模式、映射策略和感知流程方面的优势。为了更深入地理解表1中呈现的工作分析，将对每种策略（表格列）进行综述，突出最相关和最常用的方法。第一个方面对应于表1中展示的传感器配置，这些配置明显显示出向多模态感知系统发展的趋势。这些配置表明，融合互补的感知技术显著提高了空间精度和语义丰富性。激光雷达-相机组合是最常见的配置，反映了其从激光雷达的几何精度和视觉图像的语义细节之间的平衡整合。这种配对已成为语义SLAM和地图应用的标准，特别是在自动驾驶框架中。通过加入惯性测量单元（IMU）、GPS或轮式编码器等扩展，进一步努力提高姿态稳定性、时间对齐和长期一致性，尽管代价是增加了校准复杂性和计算需求。越来越多的研究还结合了雷达传感器，以增强在恶劣环境条件下的鲁棒性，表明了向对光照和天气变化具有抵抗力的感知系统的转变。相比之下，仅使用视觉或立体视觉的系统虽然在构建语义地图时仍然被采用，但由于对光照变化和环境干扰的敏感性，其鲁棒性较低。总体而言，所分析的工作展示了从双传感器融合向异构多传感器架构的技术进步，旨在实现适用于自动驾驶车辆的适应条件、鲁棒且终身的语义映射能力。

在众多论文[7,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39]中，最常见的传感器配置是相机-激光雷达（C–L）组合，出现在近一半的研究中[16,17,21,25,37]。这些研究一致表明，将视觉语义与激光雷达几何信息融合可以提供更高的定位精度和语义丰富性。较小但重要的研究组结合了GPS、IMU或雷达传感器[11,12,13,14,15,20,28,32]，旨在提高长期稳定性和环境鲁棒性。特别是基于雷达的融合成为一个日益重要的领域，这得益于其在恶劣天气条件下的抵抗力。最后，仅使用视觉的系统[34]在轻量级或低成本场景中仍然有价值，但缺乏多传感器配置的鲁棒性。总体而言，分析的工作展示了从双传感器融合向异构多传感器架构的技术进步，旨在实现适用于自动驾驶车辆的准确、鲁棒且适应条件的语义映射。

在论文[7,16,17,18,22,24,33]中，大多数研究都使用了相机-激光雷达（C–L）组合。这些研究一致表明，将视觉语义与激光雷达几何信息融合可以提供更好的定位精度和语义丰富性。较少但重要的研究组结合了GPS、IMU或雷达传感器[11,12,13,14,15,20,28,32]，旨在提高长期稳定性和环境鲁棒性。基于雷达的融合特别受到关注，因为它在恶劣天气条件下的抵抗力。最后，仅使用视觉的系统[34]在轻量级或低成本场景中仍然有价值，但缺乏多传感器配置的鲁棒性。总体而言，分析的工作展示了从双传感器融合向异构多传感器架构的技术发展轨迹，旨在实现适用于自动驾驶车辆的准确、鲁棒且适应条件的语义映射。当使用多个传感器进行感知任务时，校准起着关键作用，因为它确保了传感器之间的空间和时间同步，从而保证数据的对齐。这一点在第3节中进一步讨论。

另一个主题是障碍物的类型，这对于识别它们的类别并根据映射策略对其进行分类至关重要。表1显示，大多数分析的工作都集中在静态环境中，反映了语义映射研究最初关注的结构化和可预测的场景，如城市道路、停车场或类似办公室的环境。值得注意的静态场景研究包括[16,18,22,24,33]，这些研究依赖于环境动态有限的数据集（这些数据集将在第7.1节中分析）。然而，最近的研究越来越多地转向处理动态环境，其中移动物体显著影响映射和定位性能。例如[7,17,21,25,34]通过引入机制来检测、过滤或建模动态元素来应对这一挑战。例如[17]利用运动线索去除动态区域并保持几何一致性，而[21]将动态物体整合到语义表示中以实现物体感知定位。同样，[34]通过概率地图更新关注长期时间一致性，区分短暂运动和结构变化，[7]采用多传感器融合在复杂场景中稳健地分割移动物体。与这一趋势一致，表1中总结的最新工作进一步通过结合先进的感知模式和融合策略扩展了对动态场景的处理。例如，基于相机-雷达融合的方法[12]利用多普勒信息来识别和过滤动态特征，从而在高度动态的环境中提高鲁棒性。同样，激光雷达-雷达融合方法[11]在恶劣天气条件下增强了移动物体的检测能力，而集成激光雷达、相机、GNSS和雷达的多传感器框架[13]则在大规模场景中实现了更可靠的感知和定位。此外，以物体检测为导向的方法[14,15]结合了语义线索，明确地在SLAM流程中建模动态实体。总体而言，这些发展凸显了从静态场景假设向动态感知和传感器融合驱动方法的明确转变，强调了在现实世界的自动驾驶应用中实现可靠、自适应和长期语义映射时处理动态物体的必要性。

一旦分析了障碍物的类型，下一个主题就是映射类型。这一类别揭示了所研究工作在表示环境方面的概念和方法多样性。在各项研究[7,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39]中，观察到了从纯几何映射向语义结构化、概率性和基于图的表示的明显演变，这些表示整合了空间、时间和语义信息，以实现更鲁棒和可解释的感知。这种演变反映了对于不仅编码几何形状而且理解场景上下文和物体含义的地图的日益增长的需求，这对于长期自主导航和推理至关重要。在最早阶段，一些工作采用了度量映射方法，其中环境被表示为来自激光雷达或立体视觉的密集或稀疏的3D点云[7,19,34]。这些地图强调空间精度和重建保真度，通常使用传统的SLAM后端ORB-SLAM2[40]或[41]来实现几何一致性。然而，尽管这些表示在定位方面有效，但缺乏语义可解释性，无法区分物体类别或动态实体。这一限制促使将更高级的特征和语义注释纳入映射过程。

为了克服这些限制，最近的方法结合了语义和拓扑表示，将物体级信息和上下文关系嵌入到地图中[15,17,21]。这些方法使得场景理解更加丰富，并支持更高层次的任务，如基于物体的定位和长期推理。此外，轻量级和混合度量-语义框架[14]被提出，以在动态环境中平衡计算效率和语义表达能力。最近，雷达传感器的集成进一步扩展了映射策略的设计空间。基于相机-雷达融合的工作，如[12]，在通过运动感知过滤动态元素的同时保持了度量映射的形式。相比之下，激光雷达-雷达融合[11]主要关注感知，并不显式构建全局地图，这表明了向感知驱动流程的转变。此外，结合激光雷达、相机、GNSS和雷达的多传感器系统[13]采用了紧密耦合的度量映射框架，提高了在大规模和恶劣环境中的定位精度和鲁棒性。总体而言，这些发展展示了从纯几何映射向混合和传感器融合驱动表示的转变，在这种转变中，鲁棒性、可扩展性和环境适应性与语义理解被优先考虑。这种演变强调了整合互补的感知模式和表示范式以应对现实世界自主导航挑战的重要性。

分析的另一个主题是语义地图，其中每个3D元素（体素、点或像素）都与来自图像分割或学习到的特征的语义标签相关联[16,17,21,25]。这些工作结合了基于深度学习的物体检测或分割网络YOLOv3 - YOLOv5 - YOLOv8版本[42,43,44]、DeepLabv3[45]、Mask R-CNN[46]与几何重建流程，生成密集的语义地图。这种集成使机器人或车辆能够理解物体、道路元素和可导航区域，而不仅仅是原始的几何数据。例如，[16,21]构建了混合激光雷达-相机语义地图，其中每个3D点都继承了来自基于图像的分割的类别标签。同样，Li等人[17]将物体级关联整合到映射过程中，实现了动态场景的解释和长期一致性的改进。这种语义增强将地图转化为上下文知识表示，为更高层次的规划和决策任务提供了基础。他们还通过使用语义稳定的特征而不是纯几何特征来改进循环闭合和重新定位。

较小但具有影响力的研究子集[20,22,24,26,27]采用了基于拓扑或图的映射框架。在这些表示中，环境被建模为一组相互连接的节点和边，每个节点编码局部几何和语义，边描述它们之间的空间或时间关系。基于图的地图在可扩展性、内存效率和长期适应性方面具有优势，因为它们允许在不需要重建整个环境的情况下进行局部地图更新。例如，Zhang等人[20]将激光雷达、相机、GPS和雷达信息整合到一个全局图表示中，链接语义标记的区域以实现大规模映射。同样，Yi等人[24]采用概率图融合来整合不确定的视觉和激光雷达数据，使系统能够在变化条件下保持一致的地图。这些方法将语义映射推向了认知层面的感知，其中空间关系和物体语义在统一的拓扑结构中共存。

最近的贡献，如[30,31,34]，将语义映射扩展到概率和时间领域。这些工作将地图视为随时间演变的动态实体，纳入了不确定性建模和时间更新的机制。在这种情况下，映射不再局限于静态重建，而成为了一个连续的学习过程，每次观测都会细化对环境的先前知识。例如，[34]引入了一个时间一致性框架，仅在检测到持久变化时更新语义地图，有效区分了瞬态运动和长期环境变化。同样，Jiao等人[31]在概率表示中结合了雷达和激光雷达输入，以处理不完整或退化的感官观测，确保在恶劣条件下的鲁棒映射。这些概率方法反映了向终身映射的转变，其中地图适应环境演变，而不仅仅是构建后保持静态。基于传感器类型构建语义地图的策略在第4节中介绍。

在分析了语义映射方法之后，有必要讨论物体检测的演变，它在SLAM系统中实现语义感知方面起着核心作用。如表1所总结的，物体检测已经从传统的几何特征提取方法发展到基于深度学习和多模态框架。早期的基于激光雷达的方法依赖于几何聚类技术来识别障碍物，虽然这些方法在空间分割方面有效，但缺乏语义可解释性。后续的进步引入了基于视觉的检测器，如YOLOv3-8[42,43,44]和Mask R-CNN[46]，实现了准确的物体分类和实例级理解。这些方法显著提高了区分不同物体类别的能力，促进了语义信息融入映射和定位流程。最近的工作通过激光雷达-相机融合进一步增强了检测性能，结合了几何精度和丰富的视觉语义，以在多样化环境中提高鲁棒性。与此演变一致，最近的方法越来越多地结合了基于雷达的感知，以应对恶劣天气和高度动态条件下的限制。例如，激光雷达-雷达融合方法[11]通过利用互补的感知模式进行鲁棒的3D物体检测，其中雷达提供了运动和天气不变的信息。同样，相机-雷达融合方法[12]利用多普勒测量来识别动态物体，提高了在具有挑战性的场景中的检测可靠性。集成激光雷达、相机、GNSS和雷达的多传感器框架[13]通过在一个统一系统中结合感知和定位线索进一步扩展了这一范式。此外，一些最近的SLAM导向方法[14,15]采用先进的深度学习检测器，如YOLOv8，在映射过程中明确建模动态物体，而其他方法[7,17,21,34]结合了时间一致性和运动推理，以区分随时间变化的静态和动态元素。这些发展反映了向物体级语义融合的转变，其中检测不仅基于帧，而且时间上也是一致的，并与SLAM紧密集成。总体而言，物体检测已经从低级几何推理发展到高级、多模态和时间稳定的感知，为现实世界的自动驾驶应用提供了更鲁棒和自适应的语义映射系统。

下一个主题是语义分割。这一类别突出了用于为视觉和几何数据分配语义标签的方法的持续演变，这是构建可解释和结构化环境表示的基本步骤。最初的方法[16,18,23]主要依赖于基于图像的语义分割，使用深度卷积神经网络。这些方法对相机图像进行处理，生成区分道路、车辆、行人和植被等语义类别的像素级标签。这种方法的优点在于其密集的纹理信息和来自大型视觉数据集的预训练模型的可用性。然而，由于它们在2D领域操作，这些方法在深度估计和空间一致性方面存在局限性，特别是在将语义信息转移到3D领域时。为了克服这些限制，一些研究[19,26,32,34]直接在激光雷达点云上进行了3D语义分割。基于激光雷达的分割提供了准确的物体边界几何描述和对光照变化的鲁棒性，非常适合自主导航任务。尽管如此，这些模型需要大型注释的3D数据集并且计算密集，这可能会影响实时性能。尽管存在这些挑战，这些方法代表了向几何驱动的语义理解的重要一步，特别是对于在光照条件差或天气条件下运行的系统。

最近工作中观察到的最相关的演变[17,21,27,37,39]涉及多模态语义分割，其中激光雷达和相机数据被融合以利用它们的互补优势。例如，[17]使用双分支网络进行特征级融合，在具有挑战性的光照条件下提高了分割精度。Cheng等人[21]结合了时间融合机制，确保了连续帧之间的一致性语义标记。Yang等人[37]将激光雷达几何与相机语义结合，以提高对动态场景的理解，这对于在长期场景中更新地图至关重要。这些工作展示了向鲁棒、传感器适应的分割架构的转变，能够在环境变化中保持高精度。一个新兴的研究方向涉及时间感知的语义分割，如[21,36]所示，其中模型结合了循环神经结构或时空过滤来强制标签随时间的一致性。这种方法减轻了连续帧之间的闪烁或不一致性，并实现了增量学习，使模型能够适应环境变化（例如，季节性变化或施工区域）。这种时间推理代表了向终身语义感知的关键进步，允许自主系统不断细化和维护对环境的理解。语义分割的策略根据传感器类型进行了分类，并在第5节中介绍。

在语义分割领域内，语义表示起着至关重要的作用，因为它定义了通过分割和检测获得的语义信息如何在地图中编码、结构和维护。它代表了感知和映射之间的桥梁——将原始传感器数据转换为支持定位、规划和场景推理的可解释和可重用的知识。一些研究[16,18,22]采用占用网格或语义体素地图，其中环境被离散化为包含占用概率和语义标签的单元格。这种方法便于概率推理并允许增量更新。例如，Alexandria等人[16]将图像分割的语义标签与激光雷达占用网格结合，构建了用于障碍物避让的语义占用地图。这样的表示直观且适用于实时应用，但它们通常在大型环境中面临高内存需求和有限的可扩展性。其他工作[19,26,32,34]采用点级表示，其中激光雷达扫描中的每个3D点都保留了一个相关的语义标签。这种方法保持了几何精度，并允许详细的场景重建。然而，随着时间的推移维护和更新密集的点级语义地图在计算上要求很高，特别是在处理动态或变化的环境时。为了缓解这一点，一些研究采用概率占用更新来优化存储和计算效率。最近的研究[21,27,37,39]强调以物体为中心和基于图的语义表示，其中每个检测和标记的物体成为语义图中的一个节点。边编码空间或语义关系（例如，邻接性、共现性、时间相关性）。这种表示允许系统在更高抽象层次上理解环境，实现场景理解、上下文推理和长期数据关联。另一项相关工作[19,36,39]的重点是在语义表示层中包含时间推理和概率建模。通过将时间戳、置信度分数或持久性概率与每个语义实体关联起来，这些系统可以区分静态和瞬态元素，逐步更新知识，并处理来自噪声检测或传感器故障的不确定性。这种范式对于长期映射至关重要，允许环境模型在长时间运行期间演变并保持一致性。

在分析了语义分割的主要方面之后，下一个主题是长期定位，这是本调查中最关键的组成部分。其分析分为定位、循环闭合和数据关联三个部分。定位反映了用于估计和维持车辆或机器人在空间或语义地图中自身姿态的多种策略。在分析的各类研究中，定位方法从纯几何里程计逐渐发展到基于语义和概率的定位框架，利用多模态线索和学习的表示来增强在长期和动态条件下的鲁棒性。早期的研究（[16,19,26]）侧重于几何定位，使用激光雷达或立体视觉通过迭代最近点（ICP）[41]、正态分布变换（NDT）[47]或视觉特征匹配来估计运动。这些方法通过最小化连续扫描之间的空间差异或与预构建地图的差异来计算姿态。虽然几何上非常精确，但这些方法对场景变化、遮挡以及非结构化环境中的稀疏几何特征非常敏感。尽管如此，它们为后续的混合和语义感知定位技术奠定了基础。一些研究（[18,22,30]）采用了视觉或视觉-惯性里程计（VIO），将相机图像与IMU测量数据结合以实现高频的姿态跟踪。VIO系统有效解决了短期漂移和运动不确定性问题，尤其是在纹理丰富的环境中。然而，在光照变化或无纹理区域时仍面临挑战。为了解决这些问题，一些研究（如[30]）将VIO与雷达或激光雷达结合使用，引入了能够自适应调整传感器置信度的多传感器里程计框架。

最近的重要进展出现在一些研究（如[21,27,36,37]）中，这些研究使用语义线索而不是低级特征来推断或校正车辆的位置。在这些方法中，定位是相对于语义地标、检测到的对象或场景图而不是原始几何结构进行的。Cheng等人（[21]）使用语义实体作为空间图中的节点，通过概率匹配将观察到的对象与地图级别的对应物对齐。Kang等人（[27]）利用语义关键点来增强在变化环境中的姿态估计。[36]的作者引入了一种语义场景描述符，可以在外观变化的情况下提高全局定位的准确性。这种范式转变使得即使在几何或视觉特征退化时，定位也能保持鲁棒性，支持长期和条件不变的定位。更先进的研究（[27,39]）引入了概率定位框架，其中车辆姿态被表示为一个分布而不是单一的确定性估计。这些方法采用贝叶斯滤波器、姿态图优化或因子图，结合了几何和语义约束。这种方法促进了不确定性建模、循环闭合集成和时间一致性，标志着向终身定位迈出的决定性一步。

另一个重要方面是数据关联，它定义了系统如何在新观察到的特征与之前映射的元素之间建立对应关系，直接影响SLAM的一致性和长期映射稳定性。如表1所总结的，回顾的研究展示了从纯几何匹配策略向能够处理感知歧义、环境变化和动态场景的语义、概率和多模态数据关联框架的明确演变。早期的方法（[16,19,26]）依赖于使用最近邻搜索或基于ICP的匹配在扫描之间关联几何特征。这些方法在空间层面操作，利用接近性和形状相似性。虽然在静态和结构化环境中有效，但在遮挡、动态对象和视角变化的情况下容易产生错误的关联。由于缺乏语义感知，它们进一步限制了可解释性，因为几何上相似的结构可能对应于不同的语义实体。为了提高鲁棒性，一些研究（[18,22,30]结合了视觉描述符，实现了跨图像序列的特征匹配。这些方法提高了对部分遮挡和适度视角变化的抵抗力。然而，基于外观的关联仍然对光照变化和恶劣天气条件敏感，这促使人们转向多模态和语义感知策略。在语义级数据关联框架（[21,27,36,37]）中观察到了显著进步，其中在对象实例或语义类别之间建立对应关系，而不是低级特征。这种方法在环境变化下提高了鲁棒性，因为语义实体在外观变化时保持一致。例如，[21]使用基于图的语义匹配，而[36]结合了类别概率和语义关键点来减少循环闭合中的歧义。最近的发展进一步通过概率建模（[36,39]扩展了数据关联，其中对应关系被构建为考虑传感器不确定性和时间漂移的概率函数。这些方法利用贝叶斯推断或图优化来随时间保持全局一致的关联，这对于动态环境中的长期SLAM至关重要。与这些进展一致，最近结合雷达感测的研究引入了一种基于运动感知数据关联的新范式。例如，相机-雷达融合方法（[12]）利用多普勒速度测量来区分静态和动态元素，从而在关联之前过滤不一致的特征。类似地，激光雷达-雷达融合方法（[11]）通过结合几何一致性和运动线索进行跨模态数据关联，在恶劣天气条件下提高了鲁棒性。集成激光雷达、相机、GNSS和雷达的多传感器框架（[13]通过在统一的估计框架内联合优化不同模态的对应关系来进一步增强这一过程。

总体而言，数据关联已经从纯几何匹配发展到多模态、语义和运动感知策略，其中互补感测模态（特别是雷达）的集成在提高鲁棒性、可靠性和现实世界自动驾驶场景中的长期一致性方面发挥了关键作用。

定位部分分析的另一个主题是循环闭合。这一阶段关注用于识别先前访问的位置和纠正累积的姿态漂移的方法。它是保持全局地图一致性的关键步骤。回顾的文献显示了从基于几何的循环检测到基于语义和描述符的方法的进步，这些方法在时间和环境变化中提高了可靠性。传统的SLAM系统（[16,19,26]依赖于几何一致性检查，通过匹配局部激光雷达子图或基于空间重叠的视觉地标来检测循环闭合。虽然在静态环境中有效，但这些方法在长期变化或动态元素改变场景结构时会退化。此外，几何描述符在视角或光照差异显著时可能会失效。视觉SLAM框架（[18,22,29]采用基于外观的位置识别，使用全局图像描述符来识别重新访问的场景。这些方法计算效率高，允许大规模循环检测，但仍然容易受到光照、天气和季节变化的影响。一些研究通过结合视觉和几何线索来缓解这些问题，提高了在不同条件下的抵抗力。最近的研究（[21,27,36,37]将语义信息纳入循环闭合检测，使得位置识别基于意义而不是外观。参考文献[21]使用语义图在对象级别比较场景布局，即使在外观变化的情况下也能识别重新访问的位置。参考文献[27]提出了对视角和光照不变的语义关键点描述符，提高了长期循环识别的能力。参考文献[37]利用场景级语义嵌入在当前观测和地图片段之间进行全局匹配，增强了在动态和演变环境中的鲁棒性。这些方法表明，将语义纳入循环闭合可以实现条件不变的位置识别，这是长期映射的基石。

高级研究（[36,39]将循环闭合扩展到概率框架，其中循环假设被视为集成到姿态图优化过程中的概率事件。这允许根据全局一致性标准验证或拒绝不确定的循环候选者。此外，可以共同优化语义和几何约束，提高地图的准确性和长期稳定性。这些模型反映了语义图SLAM的新兴范式，其中循环闭合不仅仅是空间上的，还是语义-拓扑上的。

最后，这项分析的最后一个方面是数据集。这一类别显示了对公开可用基准数据集的强烈依赖，这些数据集用于验证语义映射和定位框架，反映了社区对可重复性和比较评估的重视。其中，KITTI数据集（[48]是最常使用的基准数据集，出现在大多数研究中，如[16,20,21,32,36,38]，因为它具有丰富的多模态配置（激光雷达、立体相机、GPS和IMU）以及在里程计和SLAM评估中的广泛应用。它的多功能性允许在真实的城市驾驶条件下测试几何和语义任务。最近的研究（如[17,24]）使用自定义数据集或机构数据集进行验证，反映了在固定基准限制之外评估算法在特定领域或动态环境中的需求。像[23]这样的工作利用nuScenes（[49]，它提供高频多传感器数据和密集的语义注释，非常适合评估实时语义SLAM和对象级映射性能。较少数量的研究（[20,26,32]使用自收集或合成数据集，特别是为了评估时间一致性和多模态校准性能，这些在公共数据集中往往不足。这种多样化趋势表明了向数据集专业化的转变，旨在在多样化的环境、时间和传感器条件下对算法进行基准测试。第7.1节进一步讨论了用于长期定位验证的其他数据集。

3. 多模态感知

现实世界的自动驾驶系统需要能够在严格实时约束下运行的感知和定位模块。这些约束对延迟、计算成本和内存使用提出了限制，需要在定位准确性和处理速度之间进行仔细平衡。虽然复杂的深度学习模型可以提高鲁棒性和语义理解，但除非通过高效的架构或硬件加速进行优化，否则它们的计算需求可能会对实时部署构成挑战。自动驾驶车辆依赖于一系列互补的传感器，这些传感器共同实现对其环境的感知和解释。这些感测模态将外部事件和环境变化转换为适合后续处理的可测量信号。当多个传感器集成在一起——特别是用于感知导向的任务时，校准成为一个基本要求，因为它确保了每个设备捕获的信息在空间和时间上的正确对齐。这种校准步骤是在长期运行条件下构建语义地图的初始和最关键组成部分之一，特别是在多模态系统中，如图2所示。在异构传感器之间实现可靠和准确的融合需要它们各自的参考框架和采集时间线之间的精确转换。因此，一个能够共同解决空间和时间错位的强大相机-激光雷达校准流程至关重要，其组成部分将在以下小节中介绍。接下来提供了多模态校准方面的详细分类，见图3。

3.1. 外部校准

外部校准旨在确定将激光雷达传感器的3D坐标框架与相机坐标框架相关联的参数，使两种模态能够在共同的空间参考框架内观察和表示环境。特别是，外部校准定义了传感器之间的相对位置和方向（例如，相机和激光雷达之间），对于确保来自不同来源的数据在共享坐标框架内几何对齐至关重要，从而实现准确的对象检测和场景理解。这种对齐使得激光雷达的3D空间数据与相机提供的丰富语义信息可靠融合，这对于高级任务（如对象检测、语义分割和场景理解）至关重要。外部校准的错误可能导致空间错位，从而影响感知准确性和系统安全性。为了解决这个问题，文献中开发了多种外部校准方法。这些方法可以大致分为基于目标的方法、无目标的方法和基于学习的方法，如图4所示。基于目标的方法依赖于人工校准图案（如棋盘格、平面板或三面体目标），这些图案对两个传感器都是可见的，有助于准确估计相对变换。相比之下，无目标的方法利用自然特征或环境结构，消除了对特定校准对象的需求，实现了更灵活的部署。最近，基于深度学习的方法出现了，这些方法利用数据驱动的模型直接从原始传感器数据预测外部参数，通常提高了鲁棒性并实现了在线或自校准能力。每种方法在准确性、实用性和计算复杂性方面都有权衡，具体取决于应用和操作约束。

图4. 外部校准方法。(a) 基于目标的，(b) 无目标的，(c) 基于深度学习的流程。表2中对激光雷达-相机外部校准方法的比较分析显示了从传统的基于目标的技术到无目标和基于深度学习的方法的明显演变。基于目标的方法（[50,51,52,53,54,55,56,57,58,59,60,61]依赖于预定义的校准目标，如棋盘格、球体或专用板（图4a），在受控环境中提供了高精度和重复性。这些方法通常表现出较低到中等的场景依赖性和中等程度的自动化，没有固有的在线校准能力，适用于离线实验室环境。它们的主要优势在于其几何严谨性和处理特定校准挑战的能力——例如，使用线条和平面对应关系[50]、遗传算法[53]或定制设计的板[60,61]。表2. 激光雷达-相机外部校准方法的比较总结。在相机图像中，以亚像素精度提取棋盘格角或目标标记。在LiDAR点云中，目标的相同平面表面或反射元素是通过几何线索（如平面拟合或强度响应）来识别的。由于目标的物理结构是已知的，这些检测到的特征建立了2D图像坐标和3D LiDAR点之间的对应关系。利用这些跨模态对应关系，不同的校准算法可以解决将LiDAR坐标框架与相机框架对齐的外参数变换（旋转和平移）。这通常被构建为一个几何优化问题（例如，最小化重投影误差）。然而，这些方法通常需要人工干预，并且不适用于现场或实时应用。相比之下，无目标方法[62,63,64,65,66,67,68,69]通过利用自然环境中的特征来消除对人工标记的需求，从而支持更自动化的校准流程，并在某些情况下实现在线功能[65,68]。在这种方法中，如边缘、平面、道路标记或同时在LiDAR点云和相机图像中可见的对象边界等几何结构会被自动提取（图4b）。然后，这些从场景中提取的特征在两种模态之间进行匹配以建立对应关系。通过优化投影的LiDAR点与图像中相应视觉特征之间的对齐，该方法估计出传感器之间的旋转和平移。这些方法表现出中等到高的场景依赖性，因为它们的性能取决于场景几何或运动线索的丰富程度。它们的优点包括在现实世界或动态场景中更容易部署，如利用互信息[64]、对象姿态估计[66]或运动约束[67]的工作所示。值得注意的是，一些方法支持在整个车辆使用寿命期间进行在线校准[65]或实现多相机+LiDAR系统的完全自动化[69]。尽管具有这种灵活性，但在纹理缺乏或几何结构较差的场景中，它们的准确性可能会下降，并且与基于目标的方法相比，它们通常涉及更复杂的算法设计。

基于深度学习的方法[70,71,72,73,74,75,76]代表了最新的趋势，旨在实现完全自动化且高度泛化的校准，而无需显式的对应关系或标记。这些方法通常表现出中等的场景依赖性、高自动化水平，并且在某些情况下具有在线功能[70,71,75]。它们的主要优势在于利用学习到的特征或语义在复杂或非结构化环境中进行校准。例如，一些模型结合了因果网络[70]、语义分割[74]或成本-体积方法[73]来提高鲁棒性。虽然它们提供了显著的实际效益——特别是在自动驾驶或多传感器机器人系统中——但它们的有效性在很大程度上取决于训练数据的质量和覆盖范围，并且可能会受到领域偏移问题或缺乏可解释性的影响。图4c展示了一个基于深度学习的外参数校准流程，其中神经网络直接从数据中学习估计LiDAR和相机之间的旋转和平移。该流程首先将原始输入转换——将3D点云投影到相机框架中并生成类似图像的表示。这些转换后的输入通过特征提取网络，该网络编码几何和视觉线索。提取的特征在共享的潜在空间中进行匹配，然后回归模块预测外参数。损失函数通过强制模态之间的几何一致性来监督训练。

总之，从基于目标的方法到基于深度学习的方法的进步体现了准确性和实用性之间的权衡。基于目标的方法仍然是受控环境中高精度校准的黄金标准，而无目标和基于学习的方法提供了越来越高的自动化水平、在线适应性和可扩展性，这对于现代的、自主的和动态系统至关重要。

3.2. 时间同步
时间同步是确定和补偿来自不同频率运行的多个传感器的数据流之间的时间偏移或同步延迟的过程，这些传感器受到不同的延迟影响。在多传感器融合和SLAM系统中，准确的时间同步至关重要，因为即使是微小的时间差异也可能导致数据对齐不一致，从而引起定位漂移或地图质量下降。为此，已经开发了一些方法。根据表2，这些方法可以分为基于硬件的同步方法、基于软件的同步方法以及基于LiDAR系统的联合空间-时间校准和运动补偿方法。
基于硬件的同步方法（标记为(H)依赖于物理触发机制或共享时钟信号来确保传感器之间的同时数据捕获。常见的实现包括：
- 从主设备（通常是相机）发送触发脉冲到从属传感器（例如LiDAR或IMU）以同时开始数据采集。
- GPS控制的时钟（PPS——每秒脉冲）为所有传感器提供全局参考时间。
- 如IEEE 1588精确时间协议（PTP）或网络时间协议（NTP）等时间同步协议，用于分布式设置。
这些方法提供高精度（通常在微秒范围内），但需要专门的硬件和布线。像[61,63]这样的方法使用硬件同步来最小化延迟并确保确定性的采集时间。
基于软件的同步（标记为(S)根据主机系统记录的消息时间戳在采集后对齐传感器数据。最常见的策略是使用消息头部时间戳关联传感器测量结果，通常通过ROS消息过滤器[77]等框架进行管理。该方法选择最新的消息作为基准，并在定义的时间窗口内匹配其他数据流。
联合空间-时间校准（标记为(J)指的是在单一优化框架内同时估计空间（外参数）参数——传感器之间的3D旋转和平移——以及它们数据流之间的时间偏移。参考文献[64,65,66,67,68,69,70,71,72,73,74,75,76]明确或隐含地采用了联合空间-时间校准技术。
基于目标的方法通常忽略时间同步，因为它们在受控的静态条件下进行，其中数据是在校准目标静止时捕获的。每一帧都是独立处理的，传感器不是连续移动或获取时间敏感数据的，因此不需要精确的时间对齐。这些方法的主要目标是估计传感器之间的准确空间变换（旋转和平移），而不是随时间同步它们的数据流，这就是为什么通常不要求时间同步的原因。
由于LiDAR的扫描特性，在采集过程中平台移动时会发生运动引起的畸变。运动补偿技术通过估计车辆在扫描期间的姿态并将每个LiDAR点转换到共同的参考框架中来纠正这一点。这种校正确保了多传感器融合任务的一致性。许多联合校准框架将运动补偿作为时间对齐的一部分，例如[66,68,73]。
时间同步在SLAM流程中的闭环检测中也起着关键作用，特别是在长期操作中。闭环检测涉及识别先前访问的位置并通过将当前估计与历史数据重新对齐来纠正累积的姿态漂移。正如第6节将讨论的，稳健的闭环检测在很大程度上依赖于多模态数据的精确时间对齐，这反过来又影响了长期定位的可靠性和一致性。

4. 语义映射
根据图2，第二个任务对应于语义映射策略。由于几何地图具有高精度和空间准确性，它们已在SLAM系统中得到广泛应用。然而，当应用于长期定位时，特别是在动态和不断变化的环境中，它们存在几个限制。几何特征（如角点、边缘和平面）由于动态物体（例如车辆、行人）、结构修改（例如建筑或新建筑）和环境变化（例如季节性植被、积雪、照明和阴影）的影响而容易发生变化甚至消失。这些因素削弱了纯几何表示在持续操作中的可靠性。
为了克服这些挑战，结合环境上下文以获得对场景更稳健和可解释的理解变得至关重要——这就是语义地图发挥作用的地方。语义映射涉及构建不仅捕捉环境几何形状，还编码关于场景元素的高级信息（如对象类别、身份和对象间关系）的空间表示。通过用语义信息丰富地图，自主系统能够更好地应对外观变化并提高场景解释能力，从而在更长的时间内实现更可靠的定位和导航。根据表1，我们根据感知模式和采用的感知及表示策略提出了语义映射方法的重新分类。结果类别包括基于视觉的、基于LiDAR的、基于融合的和基于图的 方法，如图5所示。

4.1. 基于视觉的语义映射
视觉SLAM主要依赖于相机传感器，由于其低成本、提供丰富的场景理解能力和紧凑的硬件要求而受到了广泛关注。然而，传统的视觉SLAM系统[78,79,80,81,82]主要基于几何特征（如关键点、边缘和地标），这使得它们对光照变化、遮挡、动态元素和长期环境变化非常敏感。为了克服这些限制，最近的进展引入了语义视觉SLAM，它使用深度学习技术将高级场景理解集成到SLAM流程中。随着深度学习技术的引入，视觉SLAM有了显著的发展。传统的几何SLAM方法主要依赖于低级特征，如关键点、边缘和地标，这使得它们对光照变化、遮挡和动态元素非常敏感。为了应对这些限制，最近的研究集中在将卷积神经网络（CNN）和分割架构集成到SLAM流程中，以实现更丰富的场景解释和更高的鲁棒性。
如表3所示，大多数最新工作（如[83,84,85]）使用深度CNN或基于分割的网络来增强系统在运动模糊或动态条件下的跟踪和重建场景的能力。弱监督学习方法，如[86]中提出的方法，也出现了，以减少标记工作量，尽管它们通常对多样化的环境适应性较低。
语义SLAM的一个关键方面是对象检测，它为面向对象的映射和语义标注提供了基础。在比较的方法中，YOLO和R-CNN是两个主要的检测框架。YOLO在[87,88,89]中的使用提供了适合实时应用的高速检测，其单次推理设计能够高效捕获全局上下文。相反，R-CNN和Faster R-CNN[33,90,91]实现了更高的定位精度和实例级识别，但计算成本更高，使得它们不太适合实时嵌入式系统。一些早期的方法[33,83,84,86,92,93,94]省略了显式的对象检测，而是依赖于像素级分割或基于特征的语义，这限制了它们有效处理动态场景和移动对象的能力。

3.2. 时间同步
时间同步是确定和补偿来自多个传感器的数据流之间的时间偏移或同步延迟的过程，这些传感器以不同的频率运行并受到不同的延迟影响。在多传感器融合和SLAM系统中，准确的时间同步至关重要，因为即使是微小的时间差异也可能导致数据对齐不一致，从而导致定位漂移或地图质量下降。为此，已经开发了一些方法。根据表2，这些方法可以分为基于硬件的同步方法、基于软件的同步方法以及基于LiDAR系统的联合空间-时间校准和运动补偿方法。
基于硬件的同步方法（标记为(H)依赖于物理触发机制或共享时钟信号来确保传感器之间的同时数据捕获。常见的实现包括：
- 从主设备（通常是相机）发送触发脉冲到从属传感器（例如LiDAR或IMU）以同时开始数据采集。
- GPS控制的时钟（PPS——每秒脉冲）为所有传感器提供全局参考时间。
- 如IEEE 1588精确时间协议（PTP）或网络时间协议（NTP）等时间同步协议，用于分布式设置。
这些方法提供高精度（通常在微秒范围内），但需要专门的硬件和布线。像[61,63]这样的方法使用硬件同步来最小化延迟并确保确定的采集时间。
基于软件的同步（标记为(S)根据主机系统记录的消息时间戳在采集后对齐传感器数据。最常见的策略是使用消息头部时间戳关联传感器测量结果，通常通过ROS消息过滤器[77]等框架进行管理。该方法选择最新的消息作为基准，并在定义的时间窗口内匹配其他数据流。
联合空间-时间校准（标记为(J)指的是在单一优化框架内同时估计空间（外参数）参数——传感器之间的3D旋转和平移——以及它们数据流之间的时间偏移。参考文献[64,65,66,67,68,69,70,71,72,73,74,75,76]明确或隐含地采用了联合空间-时间校准技术。
基于目标的方法通常忽略时间同步，因为它们在受控的静态条件下进行，其中数据是在校准目标静止时捕获的。每一帧都是独立处理的，传感器不是连续移动或获取时间敏感数据的，因此不需要精确的时间对齐。这些方法的主要目标是估计传感器之间的准确空间变换（旋转和平移），而不是随时间同步它们的数据流，这就是为什么通常不要求时间同步的原因。
由于LiDAR的扫描特性，在采集过程中平台移动时会发生运动引起的畸变。运动补偿技术通过估计车辆在扫描期间的姿态并将每个LiDAR点转换到共同的参考框架中来纠正这一点。这种校正确保了多传感器融合任务的一致性。许多联合校准框架将运动补偿作为时间对齐的一部分，例如[66,68,73]。
时间同步在SLAM流程中的闭环检测中也起着关键作用，特别是在长期操作中。闭环检测涉及识别先前访问的位置并通过重新对齐当前估计与历史数据来纠正累积的姿态漂移。正如第6节将讨论的，稳健的闭环检测在很大程度上依赖于多模态数据的精确时间对齐，这反过来又影响了长期定位的可靠性和一致性。

4. 语义映射
根据图2，第二个任务对应于语义映射策略。由于几何地图具有高精度和空间准确性，它们已在SLAM系统中得到广泛应用。然而，当应用于长期定位时，特别是在动态和不断变化的环境中，它们存在几个限制。几何特征（如角点、边缘和平面）由于动态物体（例如车辆、行人）、结构修改（例如建筑或新建筑）和环境变化（例如季节性植被、积雪、照明和阴影）的影响而容易发生变化或甚至消失。这些因素削弱了纯几何表示在持续操作中的可靠性。
为了克服这些挑战，结合环境上下文以获得对场景更稳健和可解释的理解变得至关重要——这就是语义地图发挥作用的地方。语义映射涉及构建不仅捕捉环境几何形状，还编码关于场景元素的高级信息（如对象类别、身份和对象间关系）的空间表示。通过用语义信息丰富地图，自主系统能够更好地应对外观变化并提高场景解释能力，从而在更长的时间内实现更可靠的定位和导航。根据表1，我们根据感知模式和采用的感知及表示策略提出了语义映射方法的重新分类。结果类别包括基于视觉的、基于LiDAR的、基于融合的和基于图的方法，如图5所示。

4.1. 基于视觉的语义映射
视觉SLAM主要依赖于相机传感器，由于其低成本、提供丰富的场景理解能力和紧凑的硬件要求而受到了广泛关注。然而，传统的视觉SLAM系统[78,79,80,81,82]主要基于几何特征（如关键点、边缘和地标），这使得它们对光照变化、遮挡、动态元素和长期环境变化非常敏感。为了克服这些限制，最近的进展引入了语义视觉SLAM，它使用深度学习技术将高级场景理解集成到SLAM流程中。随着深度学习技术的引入，视觉SLAM有了显著的发展。传统的几何SLAM方法主要依赖于低级特征，如关键点、边缘和地标，这使得它们对光照变化、遮挡和动态元素非常敏感。为了应对这些限制，最近的研究集中在将卷积神经网络（CNN）和分割架构集成到SLAM流程中，以实现更丰富的场景解释和更高的鲁棒性。
如表3所示，大多数最近的工作，如[83,84,85]，使用深度CNN或基于分割的网络来增强系统在运动模糊或动态条件下的跟踪和重建场景的能力。弱监督学习方法，如[86]中提出的方法，也出现了，以减少标注工作量，尽管它们通常对多样化环境的适应性较低。
语义SLAM的一个关键方面是对象检测，它为面向对象的映射和语义标注提供了基础。在比较的方法中，YOLO和R-CNN是两个主要的检测框架。YOLO在[87,88,89]中的使用提供了适合实时应用的高速检测，其单次推理设计能够高效捕获全局上下文。相反，R-CNN和Faster R-CNN[33,90,91]实现了更高的定位精度和实例级识别，但计算成本更高，这使得它们不太适合实时嵌入式系统。一些早期的方法[33,83,84,86,92,93,94]省略了显式的对象检测，而是依赖于像素级分割或基于特征的语义，这限制了它们有效处理动态场景和移动对象的能力。

在分析性能指标（即准确性、效率和可扩展性）时，基于深度分割的系统[84,91,96]表现出对运动和动态变化的更强鲁棒性。GPU优化的流程和实时处理能力[84,87,89]确保这些方法适用于自动驾驶场景，其中计算效率至关重要。在模块化和分布式系统[83,85,94]中，可扩展性尤为明显，这些系统利用立体或多传感器配置来处理大规模室外环境。这一趋势与Yang等人的[37]的基于立体视觉的方法相呼应，其中结合了基于视差的深度估计和运动分割，显著提高了准确性和可扩展性。
总之，比较表清楚地展示了从纯几何SLAM向语义、动态和可扩展映射框架的演变。对象检测、语义分割和运动建模的集成使得适合复杂现实世界环境的稳健和上下文感知的映射成为可能。当前的趋势指向结合深度学习、多传感器融合和分布式计算的混合系统，这些系统构成了下一代自主车辆中语义SLAM解决方案的基础。基于LiDAR的语义映射

随着LiDAR传感器在自动驾驶车辆中的广泛应用，基于点云的语义分割和映射技术已成为实现稳健3D场景理解的关键组成部分。与依赖2D像素数据的基于图像的SLAM系统不同，基于LiDAR的方法直接处理3D空间信息，提供了更高的几何精度和对光照变化的更强适应性。表4中总结的工作（[97,98,99,100,101,102,103]）展示了为自动驾驶和语义映射而设计的深度学习模型的发展历程。表4展示了基于LiDAR和点云的语义映射方法的比较总结。Qi等人提出的开创性PointNet框架[97]标志着3D点集处理方式的根本性转变。PointNet没有将3D数据投影到体素网格或类似图像的表示中，而是引入了一种对排列不变的神经架构，直接使用原始点云进行分类和分割任务。其后续版本PointNet++[98]通过引入层次化特征学习扩展了这一概念，能够捕捉局部和全局几何上下文，从而提高了在复杂和非均匀点分布中的分割精度。尽管这些模型在概念上非常优雅，但由于计算需求高且对空间局部性的利用有限，在大规模或实时应用中仍面临挑战。

为了满足实时性能的需求，Wu等人[99]提出了SqueezeSeg，该算法结合了卷积神经网络和循环条件随机场（CRFs）来实现实时道路-物体分割。通过将3D LiDAR点云转换为距离图像，SqueezeSeg在保持强大物体识别的同时显著提高了计算效率。然而，它对2D球形投影的依赖可能会导致伪影和空间精度的损失，尤其是在有遮挡的密集城市场景中。为了解决这个问题，RangeNet++[100]通过更准确的距离图像表示和优化的后处理技术，实现了在大规模驾驶数据集中的高推理速度和强大的分割质量。

点云表示的进一步发展带来了PolarNet[101]，该模型引入了极坐标网格编码来保持空间关系，并实现了LiDAR视场的更均匀覆盖。这种模型在准确性和计算成本之间取得了平衡，提供了比笛卡尔体素化更高效的替代方案，同时保持了实时可行性。同样，SalsaNext[102]通过引入考虑不确定性的预测机制，增强了语义分割能力，使系统能够更好地处理LiDAR扫描中的模糊或噪声区域——这对于自动驾驶等安全关键应用至关重要。最后，Lai等人提出的Spherical Transformer框架[103]展示了基于Transformer架构的下一代LiDAR语义理解技术。通过利用全局注意力机制，它在球形投影域内捕捉长距离空间依赖性，显著提高了识别精度，超越了传统的卷积模型。这代表了向结合卷积编码器的可解释性和Transformer的上下文建模能力的混合架构的转变。

总之，这些基于LiDAR的语义映射方法展示了从直接点处理（PointNet、PointNet++）到高效的基于投影和Transformer驱动的架构（SqueezeSeg、RangeNet++、PolarNet、SalsaNext、Spherical Transformer）的明显进步。这一演变强调了三个主要趋势：（1）追求适合自动驾驶的实时推理；（2）增强用于安全关键感知的上下文和不确定性建模；（3）整合先进的深度架构以实现可扩展和准确的三维语义映射。这些进展共同为现代自动驾驶平台中基于LiDAR的感知系统奠定了基础。

4.3. 基于传感器融合的语义映射

基于传感器融合的语义映射利用了多种传感器模态（如LiDAR、RGB相机、IMU和深度传感器）的互补优势，创建了既几何精确又语义丰富的地图。这种方法显著增强了场景理解能力，特别是在复杂、动态和长期环境中尤为有益。与单模态系统相比，传感器融合在语义标注精度、对环境变化的鲁棒性、处理遮挡和稀疏性、空间一致性以及语义完整性等方面具有显著优势。表5显示了向深度、自适应架构的明显进展，这些架构有效整合了互补的感官数据以增强3D感知和场景理解。早期的基于体素的融合模型，如多模态RGB-D–LiDAR–IMU框架[18]，虽然展示了强的语义-度量对齐能力，但计算成本较高且仅适用于小规模映射。相比之下，基于Transformer的融合框架，包括[104]中提出的RGB-X模型和[105]中的层次化多模态Transformer，通过利用捕捉长距离跨模态依赖性的注意力机制，实现了更优的上下文推理和大规模语义一致性。由于LiDAR–相机融合在几何精度和语义丰富性之间的平衡，它仍然是主导范式；而最近的研究[106,107]中加入雷达、深度和IMU传感器后，进一步增强了在恶劣天气、光照变化和遮挡条件下的鲁棒性。在实时性能方面，感知感知的CNN融合模型[108]和后期融合架构如LiF-Seg[109]通过GPU优化的推理流程实现了接近实时的操作，适用于自动驾驶和室外映射应用。在精度方面，多模态CNN[110]和体素化融合方案[111]在动态或杂乱场景中提供了可靠的对象级分割和高语义完整性。然而，以Transformer为主的方案[104,105]仍然计算要求较高，这促使人们使用注意力剪枝和稀疏卷积来提高可扩展性。值得注意的是，如HDMapNet[112]和多LiDAR融合管道[113]这样的框架将这些能力扩展到了城市规模和高清映射，提供了细粒度的语义推理和高效的地图生成。总体而言，最有效的模型在语义丰富性、计算效率和可扩展性之间取得了平衡，能够在多样化和长期环境中实现稳健操作。这一演变突显了多模态深度融合在推进自动驾驶系统可靠、上下文感知和语义一致映射中的关键作用。

5. 三维语义分割

图2中分析的下一项任务是三维（3D）语义分割，即为3D场景中的每个元素分配语义标签。这一过程使机器能够以高空间精度区分特定类别。与专注于识别离散实体的对象检测或分类不同，语义分割提供了全面的场景理解，提供了周围环境的完整语义地图。随着深度学习技术的快速发展，专注于语义分割的策略相比传统技术取得了更好的结果，为自动驾驶汽车领域定义了新的应用。根据传感器类型，语义分割分为两类：仅使用LiDAR的3D语义分割和LiDAR–相机融合，如图6所示。图6展示了3D语义分割的详细分类。

5.1. 仅使用LiDAR的3D语义分割

当仅使用LiDAR数据时，该过程完全依赖于LiDAR传感器捕获的几何和强度信息。我们强调了这些模型在应对点云处理挑战方面的独特优势和架构创新。这些模型分为四大类：基于图像的、基于体素的、基于点的和基于融合的。

5.1.1. 基于图像的方法

基于图像的3D语义分割方法依赖于2D视觉数据（通常是RGB图像）来推断场景中3D点的语义标签。这些方法不是直接处理原始LiDAR点云，而是利用图像中的丰富纹理、颜色和上下文线索来指导语义理解，通常使用校准数据将基于图像的预测投影到3D空间中。这种策略可以在减轻LiDAR数据的稀疏性和不规则性的同时提高语义粒度。表6提供了基于图像的LiDAR语义分割的最新深度学习架构的比较概述。这些方法在输入表示、卷积设计和优化策略上有所不同，每种方法都在准确性、计算效率和泛化能力之间进行了不同的权衡。表格按网络类型、特征提取方案和学习策略进行了组织，强调了诸如体素化、极坐标/球形投影和BEV融合等架构选择对分割性能的影响。优化技术从传统的监督学习到考虑不确定性的建模和联合空间-语义校准不等，体现了持续的研究努力，以在不同感知和环境条件下提高鲁棒性。

5.2. 基于体素的方法

另一种有效的方法是将3D点云转换为规则体积占用网格，而不是将其投影到2D图像中，从而保留环境的3D结构。基于体素的方法将3D空间离散化为均匀的体积元素（体素），使得3D卷积神经网络（CNN）可以直接在三个维度上学习空间和语义模式。表7提供了基于体素的LiDAR语义分割的最新深度学习架构的比较概述。基于体素的方法通过聚合局部和全局几何上下文，实现了稳健的场景理解，在空间表示和计算可行性之间取得了平衡。Maturana和Scherer早期的工作[119]引入了体素特征编码用于3D对象识别，展示了体积CNN的潜力，但由于密集的体素网格导致内存消耗较高。为了解决这个问题，Komorowski等人[120]采用了稀疏卷积，显著减少了内存使用并提高了大规模LiDAR映射任务的可扩展性。最近的进展集中在改进空间划分和计算效率上。Zhou等人[122]提出了Cylinder3D，使用圆柱坐标更好地处理LiDAR点的各向异性分布，在室外导航场景中实现了更优的性能。Tang等人[124]通过神经架构搜索优化了混合点-体素网络，在推理速度和分割精度之间取得了良好平衡。同样，Rosu等人[121]利用置换多面体格子更高效地处理稀疏数据，同时保持了邻域结构。与此同时，Milioto等人[100]偏好使用距离图像投影进行实时分割，在速度和效率之间进行了权衡。

尽管基于体素的方法在基于LiDAR的3D语义分割中具有竞争力——得益于它们模拟局部几何的能力和利用深度CNN架构的优势——但它们仍然受到内存使用、空间分辨率和计算成本之间权衡的限制。为了在大规模或资源受限的应用中提高有效性，仔细的架构设计（包括多尺度体素网格、稀疏卷积层和坐标感知编码）至关重要。

5.3. 基于点云的方法

基于点云的3D语义分割方法直接处理原始点云，而不将其投影到中间体素网格、图像或其他结构化格式中。通过这种方式，这些方法保留了LiDAR或RGB-D数据的原始几何保真度和空间精度，避免了体素化或光栅化通常引入的离散化伪影和量化误差。基本原理是使用专门设计用于处理无序和不规则数据分布的神经网络来处理每个点的坐标及其相关特征（如强度、颜色或表面法线）。表8提供了基于点的最新深度学习架构的比较概览，这些架构用于LiDAR语义分割。表8展示了与仅使用LiDAR策略相关的基于点的3D语义分割方法的最新研究成果。PointNet [97]引入了一种深度学习架构，该架构通过共享的多层感知器（MLPs）独立处理每个点，并使用对称函数（例如最大池化）聚合特征，以确保排列不变性。其后续版本PointNet++ [98]通过引入基于邻域分组的层次化学习和递归特征提取，显著提高了在复杂场景中的性能。进一步的进展旨在增强空间建模和计算效率。KPConv [126]直接在点云上引入了基于核的连续卷积，通过计算输入点与学习到的核点之间的距离来启用细粒度的空间学习。然而，这种方法由于邻域搜索和核插值而产生较高的计算开销，需要大量的GPU内存。相比之下，RandLA-Net [127]通过使用随机采样结合轻量级的局部特征聚合策略来优先考虑效率。这种方法避免了最远点采样（FPS）等复杂的采样技术，实现了令人印象深刻的可扩展性，每次前向传播可以处理多达一百万个点——使其非常适合实时应用。

近年来，基于变换器的架构作为点云处理的强大工具而出现。例如Point Transformer [129]、PTv2 [130]和Point Transformer V3 [131]等方法结合了注意力机制，以实现几何感知、自适应和长距离特征交互。这些模型通过根据空间和语义相关性动态加权相邻点，提供了更高的准确性和上下文理解能力。尽管基于变换器的方法在计算上比基于MLP或核的方法更为密集，但它们能够模拟大规模点云中的复杂关系，因此在室内和室外3D场景理解的最新研究中成为首选。

在自动驾驶的背景下，基于点的方法特别吸引人，因为它们能够有效处理稀疏和非均匀的LiDAR数据，适应不同的点密度，并整合互补的模态（例如相机特征）。然而，在处理大规模实时室外环境中的每帧数百万个点时，它们仍然面临可扩展性和内存使用的挑战。

5.2. LiDAR–Camera融合3D语义分割
LiDAR–camera融合方法用于3D语义分割，旨在利用两种传感器模态的互补优势，以提高场景理解的准确性和鲁棒性。LiDAR传感器提供精确的3D几何信息和广泛的距离范围内的可靠深度测量，而相机提供高分辨率的纹理、颜色和丰富的语义线索，这对于详细感知至关重要。通过结合这些模态，基于融合的方法可以生成在几何上准确且在语义上表达力强的语义地图。

这些融合策略通常分为三种主要类型：早期融合，在特征提取之前将两种传感器的原始数据结合；深度融合，在网络架构内融合中间特征；以及晚期融合，在输出层合并每种模态的高级预测。每种融合范式在对齐要求、计算复杂性和语义一致性方面都存在权衡。选择适当的融合策略对于实现有效的跨模态学习至关重要，尤其是在动态的长期自动驾驶场景中。

5.2.1. 早期融合
早期融合如图7a所示，指的是在神经网络进行深度特征提取之前，将LiDAR和相机数据在原始或最小处理阶段整合的策略。核心思想是尽可能早地融合互补的空间和视觉信息，使网络从一开始就能学习到捕捉几何结构和视觉外观线索之间关联的联合表示。这种方法允许高效利用多模态信息，通常在分割或对象检测等下游任务中增强特征的表现力。然而，由于需要对原始多传感器数据进行细粒度的对齐和处理，因此通常会带来更高的计算成本。

5.2.2. 深度融合
深度融合如图7b所示，指的是在深度神经网络的多个中间特征提取阶段整合LiDAR和相机数据，而不仅仅是在原始输入阶段（早期融合）或最终预测阶段（晚期融合）进行融合。换句话说，它在特征空间中混合多模态数据以获得融合特征，补偿其他模态缺失的特征，然后在预测阶段应用融合特征进行分类或回归任务。方程（2）表示深度融合过程，其中不同模态（如LiDAR和相机）的特征在神经网络的多个中间层进行整合。每种模态首先通过自己的特征提取变换产生特定于模态的表示。这些中间特征随后被融合，结合两种模态的互补信息形成统一的多模态特征表示。这使得网络能够共同细化和利用跨模态依赖性。这种层次化整合使模型能够利用另一种模态的线索来补偿一种模态中缺失或退化的信息，从而在多样的感知条件下实现更鲁棒和上下文感知的特征学习。

5.2.3. 晚期融合
晚期融合如图7c所示，指的是一种多模态集成策略，其中LiDAR和相机数据通过独立的神经网络进行处理，每个网络产生自己的语义预测或特征图，融合仅在最终决策阶段发生。晚期融合不是混合原始数据（早期融合）或中间特征（深度融合），而是将每种模态的输出——通常是概率图、类别分数或语义标签——合并成一个统一的分割结果。一些晚期融合方法利用LiDAR点云分支和相机图像分支的输出，并根据两种模态的结果进行最终预测。

5.2.4. 不对称融合
不对称融合如图7d所示，通常是将一个分支的决策级信息与其他分支的数据级或特征级信息融合，以在多个模态之间建立级联关系。Yang等人[144]提出了一个针对大规模点云语义分割的框架，解决了长距离和低密度物体的挑战。该方法引入了多尺度特征动态融合（MDF）模块来整合多尺度纹理和几何特征，以及采用多类对比学习的语义焦点模块（SFM）来增强类别区分。此外，跨模态知识蒸馏使得从2D图像分支到3D点云分支的有效信息传递成为可能，从而在SemanticKITTI [48]和nuScenes [49]等数据集上提高了分割精度，特别是在远距离或稀疏区域。相比之下，Tan等人[108]提出了一种强调LiDAR–camera融合3D语义分割计算效率的方法。该方法采用双流网络（TSNet）分别处理LiDAR和相机数据，然后通过残差融合模块合并它们，同时感知感知损失确保模态间的语义一致性。该框架利用透视投影比球形投影保留更多的视觉细节，并结合跨模态对齐和裁剪来降低计算成本。在SemanticKITTI-FV [145]、nuScenes [49]和A2D2 [146]数据集上的实验表明，这种方法在保持显著提高的推理效率的同时实现了有竞争力的精度。

这两种方法都被视为不对称融合方法，因为它们分别为每种模态独立进行特征提取，并以层次化或单向的方式融合它们，其中一个模态（通常是图像或LiDAR分支）主导信息传递。这种不对称设计使网络能够利用每种传感器的互补优势，同时保持鲁棒性和计算效率。

6. 长期定位
长期定位是图2中提出的另一个重要任务，它引入了一系列超出传统短期SLAM系统解决的复杂挑战。其中一个核心难点在于处理环境动态，如移动和半静态物体、结构变化、季节性变化以及光照变化——所有这些都会降低特征匹配的可靠性和地图的一致性。此外，由于LiDAR、相机和IMU的内在参数可能因机械磨损或环境因素而发生变化，导致传感器漂移和校准问题，从而产生累积的姿态估计误差。此外，发展地区的基础设施变化——如不规则的道路布局、有限的交通标志或快速变化的城市结构——减少了长期定位所需的稳定地标。这些因素突显了需要强大的多模态感知和适应性强、能够在具有挑战性的现实世界条件下保持可靠定位的映射策略。

另一个重要因素是，自动驾驶车辆的长期部署需要能够持续适应不断变化环境的语义SLAM系统。终身SLAM框架通过实现增量地图更新、语义标签细化和移除过时观测来应对这一挑战，同时保留持久的结构地标。这些机制使定位系统能够在长时间运行中保持一致性。

表1总结了几个专注于定位的代表性工作，包括解决循环闭合和数据关联的方法，这些都是随着时间推移加强和细化车辆定位的基本概念。然而，除了这些传统的定位组件之外，地点识别作为一种在动态和大规模环境中实现鲁棒和长期定位的关键能力而出现。地点识别使自主系统能够在照明、天气、季节变化或视角差异导致的外观或结构显著变化的情况下识别之前访问过的位置。这种能力对于确保映射的全局一致性和循环闭合检测尤为重要，这直接影响同时定位和映射（SLAM）系统的准确性和稳定性。

鉴于其重要性，我们重新组织了这一部分，深入讨论了根据所依赖的感官信息类型分类的地点识别技术。具体来说，我们回顾了基于视觉的地点识别方法（第6.1节），这些方法利用纹理、颜色和几何模式等视觉线索；基于LiDAR的地点识别方法（第6.2节），这些方法利用从3D点云中提取的结构和几何信息；以及基于融合的地点识别技术（第6.3节），这些方法整合来自多个传感器（例如相机、LiDAR）的互补数据以提高鲁棒性。这种组织结构（图8）不仅突出了地点识别方法的演变，还提供了一个清晰的比较框架，以理解不同感知模态如何为实现自主系统中准确、可靠和长期的定位这一总体目标做出贡献。尽管基于视觉、基于LiDAR和基于里程计的方法取得了进展，但长期语义定位仍然是一个开放且困难的研究问题。大多数现有技术在单次会话映射中表现良好，但由于它们在模拟时空相关性方面的能力有限，将其扩展到多会话和长期环境变得具有挑战性。一些研究人员提出了基于语义特征检测的定位策略，使用高级线索作为参考。例如，Qin等人[147]提出使用车道标记、人行横道和路面等语义线索来定位车辆。同样，Schaefer等人[148]引入了一种适用于城市环境的基于杆的定位方法。尽管这两种方法在不同时间段内都表现出了有希望的性能，但它们都存在局限性：前者严重依赖于道路标记的可见性，而后者假设有足够数量的类似杆的结构——这一假设在农村或杂乱地区可能不成立。此外，基于杆的方法经常由于对象的几何相似性和接近性而产生歧义。最近，研究人员探索了用于环境建模的拓扑表示，这些表示利用基于图的结构进行室外场景的定位。然而，这些系统在环境变化时往往无法识别重新访问的位置，因为当前扫描与过时的先前地图之间的相对姿态估计不一致。虽然像[149,150,151]这样的方法利用里程计信息进行定位，但其中许多方法难以处理累积误差，并且缺乏鲁棒的循环闭合机制，导致全局地图不一致。为了解决这个问题，最近的努力如[152,153]引入了将当前扫描与先前地图之间的相对姿态转换为扫描匹配因子的技术，然后将其集成到因子图中以提高一致性。在类似的工作中，参考文献[9]结合了经典的LOAM流程[154]和语义分割，使用LiDAR特定的深度学习模型来改进循环闭合检测。然而，该系统并未针对资源受限平台上的实时性能进行优化。相反，Cao等人[155]利用深度学习从原始传感器数据进行拓扑定位，显示出对长期外观变化的鲁棒性。然而，该方法缺乏度量级信息，这限制了姿态估计的精度。Kong等人[156]提出的另一种方法利用概率过滤进行全局姿态估计，将城市环境动态纳入模型。尽管如此，在非常大的规模环境中，由于全局定位的收敛速度慢，性能可能会下降。在这些长期场景中，由于感知混叠、动态物体和传感器噪声，数据关联变得特别困难。为了解决这个问题，一些工作专注于图匹配技术，以将当前观测与先前的语义地图对齐。例如，[157,158]探索了用于测量图相似性的神经网络方法，而[159]开发了一个使用空间和语义神经模块的语义图基位置识别模型。Pramatarov等人[160]通过结合对象级边界框来增强点云描述符，而Wu等人[161]使用基于图像的深度和几何分割来逐步构建一致的三维场景图。然而，这些方法经常忽略动态物体，这可能在长期地图中引入不稳定性。

6.1. 基于视觉的位置识别
基于视觉的位置识别是指仅依赖视觉数据作为主要感知来源，确定机器人的当前相机视图是否对应于先前访问的位置的任务。这个过程涉及从图像或视频帧中提取独特线索（如纹理、颜色、形状和空间布局），并将它们与存储的视觉表示数据库进行比较以识别潜在匹配项。表9展示了一组代表性的基于深度学习的视觉位置识别方法，从早期的CNN驱动的全局描述符方法（如NetVLAD [162]和D2-Net [163]）到更先进的变换器和混合架构（如TransVPR [164]和MixVPR [165]）。这些方法分为三类——几何的、混合的和语义的——反映了它们的特征表示策略。几何模型主要依赖于光度和结构线索，而混合方法（例如Patch-NetVLAD [168]、Multi-res NetVLAD [169]）融合了局部和全局视觉信息，以提高对外观变化的鲁棒性。最新的语义方法，包括CLIP-VPR [171]，结合了视觉-语言对齐，以实现更高层次的上下文推理。在架构上，这一进展是清晰的，突显了该领域从纯CNN编码器向注意力驱动和多模态变换器框架的转变，这些框架得到了GNNs（SuperGlue [166]）、密集匹配器（LoFTR [170）和跨模态预训练骨干网络等模块的支持。描述符在场景描述中起着关键作用。全局描述符（如NetVLAD [162]、TransVPR [164]）提供适合大规模检索的紧凑场景嵌入，而局部描述符（如SuperPoint + SuperGlue [166,167]、LoFTR [170]）专注于关键点和密集对应关系，提高了对视角或光照变化的不变性。混合描述符，如Patch-NetVLAD [168]，结合了这两种范式，以平衡判别粒度和计算效率。这些贡献反映了这些设计选择：早期方法引入了端到端描述符学习和自我监督的特征检测，而较新的方法则优先考虑多分辨率聚合、基于注意力的特征混合和语义对齐。最近的贡献，如视觉-语言嵌入集成（CLIP-VPR [171]）和跨域适应（Multi-Platform VPR [173]），代表了该领域向鲁棒、可转移表示发展的当前方向，这对于长期定位是必要的。评估这些方法最重要的方式是审查指标。大多数研究使用Recall@N、Recall@1、mAP或Accuracy来评估识别能力，这些指标共同捕捉了检索效果和对应关系的精确度。早期的基于CNN的系统，如NetVLAD [162]通常报告约80%的Recall@N，而增强的多分辨率CNN模型，如Multires-NetVLAD [169]可以达到96%的Recall@5。基于变换器的方法显示出最大的改进：TransVPR [164]和MixVPR [165]报告94-96%的Recall和接近0.9的mAP分数，而密集对应模型如LoFTR [170]达到约97%的准确性。尽管像CLIP-VPR [171]这样的语义视觉-语言方法显示出中等的召回值（使用Semantic KITTI数据集评估为0.66），但它们为跨域和长期场景提供了关键的语义不变性。总体而言，报告的指标证实了较新的架构一致地提供了更好的鲁棒性和泛化能力，增强了它们适用于长期语义映射和自主导航的适用性。

6.2. 基于LiDAR的位置识别
基于LiDAR的位置识别是另一种定位方法，用于确定当前的观测结果（通常是由LiDAR传感器获取的3D点云）是否对应于先前访问的位置。这种能力对于长期自主定位至关重要，因为环境可能会因季节变化、天气条件、光照变化或结构更改而发生巨大变化。与严重依赖颜色、纹理和光照条件的基于视觉的系统不同，基于LiDAR的方法关注几何和结构信息。因此，它们对外观变化具有固有的鲁棒性，特别适合于环境条件可能不可预测变化的户外长期部署。根据LiDAR数据属性，基于3D-LiDAR的位置识别可以根据它们对原始点云数据的预处理方法分为五类：（1）基于点的、（2）基于体素的、（3）基于分割的、（4）基于图的和（5）基于投影的方法。对这些方法系列的比较分析通过检查几个关键方面来进行：用于编码几何或语义信息的描述符类型；用于提取、聚合和管理特征的架构设计；用于实现旋转和平移不变性的策略；以及在位置识别过程中应用的相似性度量；最后，用于验证的数据集，这些数据集提供了关于在真实世界条件下泛化和鲁棒性的洞察。

6.2.1. 基于点的方法
基于点的方法直接在原始3D点云上操作，不依赖于中间表示，如体素网格、距离图像或鸟瞰图。通过处理原始几何数据，这些方法保留了细粒度的空间结构，使它们能够捕获识别先前访问位置所需的独特局部和全局模式。表10总结了基于点的方法的主要特征。早期方法，如PointNetVLAD [174]和PCAN [175]中的PointNet，采用逐点MLP，这使得它们轻量且高效，但由于其独立性假设，在捕获局部结构上下文方面受到限制。像LPD-Net [176]中的GNN和DG-CNN这样的方法引入了图构建和边缘卷积，以捕获更丰富的拓扑信息，尽管计算成本较高。像DH3D [177]中的PointNet + FlexConv和SOE-Net [178]中的PointOE这样的架构通过学习的卷积核或有序嵌入来改进空间推理。更先进的架构，如PPT-Net [179]中的Pyramid Point Transformer和FPET-Net [180]中的Feature Point Extractor + Point Transformer，使用注意力机制来模拟点之间的长距离依赖关系。旋转等变编码器[181]明确地将SO(3)等变性构建到模型中，提供了对视角变化的强鲁棒性。最后，如LoGG3D-Net [182]中的U-Net架构具有分层多尺度编码，提供了密集的上下文信息，但训练起来更重且更复杂。表10. 基于点的方法用于LiDAR位置识别。下一阶段是关于特征，它描述了如何将局部描述符聚合为单一的全局嵌入。大多数早期方法依赖于NetVLAD，如[174,175,176,177]，因为VLAD风格的残差池化提供了强大的判别能力。然而，NetVLAD对旋转敏感，可能会过拟合于特定数据集的簇中心。像DH3D [177]中的SE块和PPT-Net [179]中的Pyramid VLAD这样的方法通过结合注意力或多尺度结构来提高鲁棒性。EPC-Net [183]中的G-VLAD整合了几何先验，增强了对结构变化的泛化能力。FPET-Net [180]中的Point Transformer池化引入了基于注意力的聚合，实现了更具上下文意识的嵌入形成，而[181]中的旋转等变池化确保了描述符在3D旋转下的统一转换。LoGG3D-Net [182]中的高阶池化捕获了二阶统计信息，提高了旋转不变性，但增加了嵌入维度。接下来的阶段与平移和旋转的不变性相关。这一列反映了每种方法如何管理平移偏移。大多数方法依赖于质心归一化，如[174,175,177,178,179,182]所示，它将点云标准化到一个规范的坐标框架中。虽然简单，但在部分观测或大遮挡物移动感知质心时，质心归一化可能会失败。LPD-Net [176]使用学习到的空间图归一化，使网络能够从邻域拓扑中学习稳定的空间参考，从而在动态环境中提高鲁棒性。FPET-Net [180]和旋转等变编码器[181]采用学习到的归一化机制，更好地处理不规则结构，但需要更多的训练数据。旋转鲁棒性在不同方法之间差异很大。早期方法，如PointNetVLAD [175]、PCAN [176]和LPD-Net [176]没有明确考虑旋转，使它们对传感器滚动和视角变化敏感。DH3D [177]和SOE-Net [178]提供了有限的改进，但仍缺乏强旋转不变性。PPT-Net [179]引入了变换器等变层，捕获了方向感知的对应关系。EPC-Net [183]应用了类似PCA的对齐，提供了适度的旋转处理，但在部分扫描下可能不稳定。FPET-Net [180]通过基于变换器的等变映射进一步改进了这一点。最强的不变性出现在Rotation Equivariant Encoder [181]中，它保证了数学上基础的SO(3)等变性。LoGG3D-Net [182]也通过二阶池化操作实现了高旋转不变性。

6.2.2. 基于体素的方法
基于体素的方法是3D LiDAR位置识别中最具影响力的方法之一，提供了大规模点云的结构化和计算上可管理的表示。这些方法不是直接在原始的不规则点集上操作，而是将3D空间离散化为体素网格，使得稀疏LiDAR扫描能够转换为适合卷积或基于学习的架构的规则数据格式。这种离散化促进了高效的空间推理，减少了对局部噪声的敏感性，并允许提取仅从无序点难以捕获的高级几何模式。此外，体素化引入了一种自然的机制来实现平移不变性，因为局部体素邻域在重新访问的位置之间保持了空间一致性。最近的进展利用了稀疏3D CNN、多分辨率体素层次结构和学习到的体素描述符，以增强在视角变化、密度变化和长期环境变化下的鲁棒性。因此，基于体素的位置识别方法在准确性、可扩展性和计算效率之间取得了平衡，特别适合自动驾驶和大规模映射场景。表11总结了与基于体素的方法相关的最新工作。特征列总结了每种方法使用的架构骨干或特征提取策略。稀疏3D卷积主导了早期方法，如MinkLoc3D ([184])及其球坐标变体MinkLoc3D-SI ([185])。基于注意力的增强出现在EgoNN ([186])中，通过ECA注意力实现，而基于变换器的模型，如NDT-Transformer和TransLoc3D ([187,188])，利用体素级别的NDT表示结合变换器编码器。其他方法包括LCDNet（[189]），它将PV-RCNN与NetVLAD集成以生成全局描述符；SVT-Net（[190]）使用稀疏体素变换器来捕捉局部和长距离几何结构；以及OverlapNetVLAD（[191]），它在应用NetVLAD之前先从基于BEV的骨干网络中提取特征。表11列出了基于体素的方法用于基于LiDAR的地点识别。相似性列描述了用于匹配这些模型生成的描述符的技术。最常用的度量标准是L2距离，例如MinkLoc3D、MinkLoc3D-SI、TransLoc3D、LCDNet和OverlapNetVLAD [184,185,188,189,191]等方法都使用这种度量。一些研究在训练过程中还结合了三元组损失——尤其是MinkLoc3D-SI和TransLoc3D [185,188]——以促进具有区分性的描述符学习。其他方法，如EgoNN、NDT-Transformer和SVT-Net [186,187,190]，则侧重于最近邻描述符检索，而不是指定一个正式的相似性度量标准。LCDNet [189]还支持余弦相似性，作为欧几里得距离的替代方案。

6.2.3 基于片段的方法
基于片段的方法是最早的也是最具影响力的3D LiDAR地点识别方法之一。这些方法不是整体处理整个点云，而是将场景分解为有意义的几何片段，如对应于物体、立面或结构元素的点簇。然后使用手工制作的几何描述符或通过神经网络或自动编码器获得的表示来描述每个片段。通过在片段级别进行操作，这些方法对视角变化、部分重叠和动态元素具有鲁棒性，因为匹配过程关注的是稳定、可重复的结构，而不是完整的扫描数据。地点识别是通过最近邻搜索、分类模型或概率相似性度量来执行的，通常还会进行几何一致性检查以验证结构对齐。表12总结了与基于片段的3D LiDAR地点识别相关的研究工作。特征策略列描述了每种方法如何构建其片段级表示。早期的方法如SegMatch [192]依赖于几何特征、PCA描述符和聚类分割。SegMap [193]引入了使用基于CNN的自动编码器的学习片段嵌入，标志着从手工制作表示向学习表示的转变。其他方法提取局部关键点和形状描述符，如Zaganidis等人[194]和LiPMatch [195]所做的，或者使用更丰富的场景表示，如Tomono [196]中的正态分布变换（NDT）。Locus [197]结合了结构和强度线索，而SA-LOAM [9]嵌入了增强外观的LOAM特征。在SSC [198]和PCA-SSC [199]中改进了基于PCA的特征，而PSE-Match [200]引入了基于混合模型的概率形状编码。Song等人[201]结合了几何、强度和拓扑来创建混合描述符。这些策略共同展示了从纯几何描述符向学习到的概率性和多模态片段表示的转变。

6.2.4 基于投影的方法
基于投影的3D LiDAR地点识别方法将原始点云转换为2D表示（如距离图像、鸟瞰图（BEV）或球形投影），以简化处理过程同时保持几何结构。通过将3D数据投影到结构化网格中，这些方法显著降低了计算成本，并使得成熟的2D卷积神经网络能够用于特征提取。这种表示还增强了对不同点密度的鲁棒性，并提供了便于描述符学习的一致空间布局。一旦投影完成，就可以从整个图像或聚合的局部区域计算出全局描述符，从而使用度量距离或检索技术在场景之间进行高效匹配。基于投影的方法因其计算效率、描述能力以及与深度学习架构的兼容性而越来越受欢迎，非常适合实时应用中的大规模LiDAR地点识别。表13总结了与基于投影的3D LiDAR地点识别相关的研究工作。在特征策略方面，大多数方法利用某种形式的球形或距离图像投影，因为它保持了角度关系，并允许卷积神经网络在规则网格上高效运行。这种策略出现在[202,203,204,205,206,207,208,209,210]等研究中，通常还会添加额外的通道，如强度、法线或多尺度特征以丰富表示。基于重叠的方法通过模态融合或变换器编码器来增强投影，以更好地提取全局几何线索。同时，像DiSCO [206]这样的方法结合了自我监督训练流程，使网络在没有标记地点数据的情况下学习具有区分性的特征。DeepRING [211]采取了不同的方法，使用基于环的投影来内在地编码旋转对称性。最后，BEVPlace [212]引入了完整的自上而下的BEV投影，显示出向空间可解释表示的转变，这种表示类似于2D地图，自然支持城市环境中的定位。

6.2.5 基于图的方法
基于图的方法将场景建模为图——其中节点代表关键点、片段或语义实例，边编码它们之间的几何或语义关系。这些方法不仅依赖于原始点云或手工制作的描述符，还捕捉环境的结构布局，因此对视角变化、遮挡和不同密度具有鲁棒性。通过使用图匹配、谱嵌入或图神经网络（GNN）等技术比较图，这些方法可以确定两个扫描是否对应于同一个地点。这种表示在大型、杂乱或重复的环境中特别有效，因为它保持了拓扑一致性，并在可用时利用了语义信息。因此，基于图的方法为可靠的长期LiDAR地点识别提供了强大且灵活的框架。表14总结了最近关于基于图的3D LiDAR地点识别的研究工作。语义表示在不同方法中差异显著，反映了编码环境结构的不同哲学。SGPR [159]直接从分割的点云构建语义图，提供了场景的几何-语义框架。GOS Match [214]通过构建语义图扩展了这一概念，其中每个节点对应一个对象实例，边编码几何或拓扑关系，允许在场景中进行结构化推理。Gong等人[215]提出了一种两级表示，将局部空间关系图与全局拓扑图相结合，结合了语义线索和几何布局信息。BoxGraph [160]通过从对象检测器生成的语义边界框图来表示场景，将图像级别的检测转换为图结构。Deep Scan Context [216]则依赖于从伪圆柱投影和神经嵌入产生的高维描述符，从而摆脱了显式图。SimGNN [158]完全放弃了手工制作的特征，通过GNN层直接学习图嵌入，同时捕捉节点分布和整体图结构。最后，Semantic Loop [217]构建了实例级的3D语义图，编码了对象类别和几何属性，提供了详细且可解释的空间表示。

从2020年到2022年的发展历程表明了一个明显的转变：早期工作侧重于基于相关性的相似性或手工制作描述符之间的欧几里得距离，而大多数现代方法依赖于应用于学习到的全局描述符的L2或余弦距离——例如LocNet [203]、Sun等人[204]、DiSCO [206]、FusionVLAD [208]、AttDLNet [213]、SphereVLAD [209]、SphereVLAD++ [210]和BEVPlace [212]。特别是基于VLAD的方法从这种度量中受益，因为VLAD聚合具有固有的归一化效果。OverlapNet [205]和OverlapTransformer [207]则采取了一种不同的方向，它们预测扫描重叠比例和偏航差异，将地点识别视为重叠估计问题而不是传统的描述符匹配。DeepRING [211]重新考虑了基于相关性的相似性，但通过圆周位移增强了鲁棒性，以补偿偏航旋转。

6.3 基于融合的地点识别
基于融合的地点识别方法利用多模态传感器集成来应对在多样化和动态环境条件下的长期定位挑战。表15总结了最近方法的关键特性，强调了它们的融合策略、学习目标——特别是那些旨在最小化跨模态漂移的目标——以及它们根据所使用的传感器模态对环境变化的鲁棒性。Wang等人[218]提出了一个强大的LiDAR-相机融合框架，通过深度特征融合共同整合了几何和视觉线索，显著提高了在不同季节、照明和视角变化下的识别可靠性。在此基础上，Xu等人[219]引入了一种显式的跨模态注意力机制，促进了图像和点云表示之间互补信息的更有效利用，从而增强了地点识别的特征一致性和区分能力。Jung等人[220]进一步发展了视觉和LiDAR之间的协同作用，使用视觉基础模型进行图像编码，结合了高级语义上下文以补充结构LiDAR数据，从而提高了长期部署的鲁棒性。Melekhin等人[221]结合了视觉和文本信息来丰富地点表示，在具有重复结构或感知混淆的环境中提高了区分能力。同时，Qi等人[222]展示了LiDAR-雷达融合的有效性，引入了一种极坐标鸟瞰图表示，捕获了互补的空间和运动线索，这在视觉系统可能失效的恶劣天气条件下特别有利。最近，参考文献[223]在LiDAR-相机网络中引入了多尺度注意力机制，促进了全局布局和细粒度细节的自适应关注，从而提高了跨尺度变化和遮挡的识别性能。总之，最近的基于融合的地点识别方法表明，结合全局-局部或多尺度整合的混合融合策略在跨模态上实现了更高的鲁棒性和一致性。注意力和显式的跨模态交互机制[218,219,223]有效地利用了互补线索，减少了跨传感器漂移并提高了长期稳定性。深度联合嵌入和基于BEV的表示[218,222,223]对平移和旋转具有很强的不变性，而对比学习和跨监督学习目标在动态环境条件下增强了特征对齐。在这些方法中，PRFusion++ [218]、LCPR [222]和LRFusionPR [223]展示了最佳的整体性能，在不同的天气、照明和视角场景下保持了高识别准确性和最小漂移。

为了对上述不同方法进行有意义和严谨的比较，必须在一致且明确定义的实验条件下对其进行评估。在这项工作中，特别强调了准确性、对环境变化的鲁棒性和Recall@1，因为这些指标对于评估SLAM系统在真实世界场景中的可靠性和区分能力至关重要。比较基于文献中报告的性能，这些性能是在涉及环境外观变化和动态城市场景的条件下进行的。此外，还考虑了动态场景中的鲁棒性和计算效率等补充因素，以提供更全面的评估。通过按照这些标准进行比较，如表16所总结的，这项分析突出了每种方法及其广泛用于评估地点识别算法性能的指标的优缺点，有助于更清晰地理解不同SLAM范式之间的权衡。表16基于地点识别的长期定位不同方法的性能定量分析。基于LiDAR的方法，如PointNetVLAD [174]、MinkLoc3D [184]和LoGG3D-Net [182]，在学习具有区分性的全局描述符和实现对视角和环境变化的鲁棒性方面表现出强大的能力。它们的主要优势在于利用了几何一致性，使得在大型环境中能够可靠地进行地点识别。然而，这些方法往往受到对高质量点云数据的依赖、对部分观测或遮挡的敏感性以及中等到高的计算成本的限制，特别是在涉及深度架构或密集输入时。像LCDNet [189]和OverlapNet [205]这样的方法通过结合循环闭合检测和配准机制进一步扩展了基于LiDAR的解决方案，提高了全局一致性。虽然这些方法提供了鲁棒的描述符和有效的对齐，但它们引入了额外的复杂性，导致更高的计算开销和对预处理步骤或扫描质量的依赖，这可能限制了可扩展性。基于视觉的方法，如LoFTR [170]在密集特征匹配和精确对应关系估计方面表现出色，特别是在低纹理环境中。它们的主要优势在于能够在不依赖显式关键点的情况下捕捉丰富的视觉细节。然而，它们受到高计算和内存需求的限制，并且其性能本质上受到光照、季节变化和动态变化的影响，从而降低了在长期定位场景中的可靠性。经典的几何方法，如LOAM [149]仍然非常高效，并提供准确的实时里程计，使其适合在实际系统中部署。然而，它们的主要限制是缺乏语义理解，这降低了在动态环境中的鲁棒性，并阻碍了有效的长期适应。多模态和语义感知方法，包括BEVPlace [212]和BoxGraph [160]，通过结合几何和语义信息而展现出显著的优势。这些方法在环境变化和动态场景中实现了更好的鲁棒性，特别是在长期定位任务中。例如，BoxGraph利用了对象级关系，而BEVPlace使用空间表示来增强不变性。然而，这些方法引入了新的挑战，如对精确传感器校准的依赖、对可靠语义提取（例如，对象检测）的依赖，以及在基于图的匹配过程中的计算复杂性增加。最后，基于学习的方法，如Deep Scan Context，在学习几何描述符方面表现出强大的能力，但受到高计算要求的限制，并且在极端环境变化下泛化能力较低，突显了在鲁棒性和效率之间取得平衡的持续挑战。

大规模语义SLAM系统由于地图的持续增长和语义表示的复杂性而面临重大的计算和内存挑战。为了解决这些限制，已经提出了几种策略，包括基于子地图的映射、地图稀疏化和分层地图表示。这些方法在保持必要的结构和语义信息的同时，限制了优化问题的规模。此外，增量图优化和高效的深度学习架构有助于在大型环境中维持实时性能，同时实现长期地图维护。除了可扩展性之外，满足实时要求对于在自动驾驶车辆中部署定位系统也是必不可少的。为了应对延迟和计算限制，现代SLAM系统采用了多种策略，包括稀疏数据表示、增量优化技术和并行处理管道。此外，轻量级神经架构和分层定位框架能够在定位精度和计算效率之间取得平衡。这些方法使语义SLAM系统能够在严格的实时自主导航时间约束下保持可靠的性能。

7. 基准测试
基准测试是我们调查分析的最后一个阶段，如图2所示。它在推进自动驾驶系统的长期定位方面发挥着关键作用，因为它提供了标准化的方法来评估和比较不同算法在多样化和现实条件下的性能。在这种情况下，评估指标是评估关键方面的关键工具，如姿态精度、地点识别鲁棒性、语义一致性和计算效率——所有这些在受季节变化、光照变化和结构修改影响的动态环境中都至关重要。然而，有意义的基准测试不仅需要鲁棒的评估指标，还需要公开可用的数据集来捕捉长期的环境变化。

如表1所示，用于验证各种方法的不同数据集展示了通过多传感器系统在长期设置中构建语义地图所使用的测试场景的多样性。在此基础上，将作为性能度量的评估指标与相应的数据集关联起来，以建立一个全面的基准测试框架同样重要。KITTI [48]、nuScenes [49]、Oxford RobotCar [224]和Boreas [225]等数据集已成为这一努力的基础，提供了在多样化天气、一天中的不同时间和季节条件下的多会话记录。这些数据集使得能够系统地、可重复地评估定位系统随时间的变化，确保公平比较，并促进开发出在真实世界长期场景中具有弹性、可扩展性和可靠性的算法。

7.1. 数据集
数据集对于自动驾驶车辆中感知系统的发展至关重要，为训练、验证和基准测试算法提供了必要的数据。此外，数据集还涉及3D对象检测、语义分割、跟踪和传感器融合等任务。在过去十年中，出现了多个数据集来应对这些挑战，每个数据集都有不同的传感器配置、注释细节和环境多样性。表17提供了主要数据集的比较概述。表17. 自动驾驶车辆中使用的数据集比较。KITTI数据集[48]仍然是评估自动驾驶感知和定位系统最广泛使用的基准之一。它提供了来自立体相机、LiDAR、GPS/IMU的同步数据以及用于里程计、3D对象检测和语义分割等任务的注释。

尽管KITTI影响广泛，但它有明显的局限性，包括地理多样性有限和相对简单的城市环境，这限制了其在长期和大规模定位任务中的适用性。为了应对这些限制，Waymo Open Dataset [230]提供了一个更大、更多样化的多模态数据集。它包括高分辨率的LiDAR数据、前置和环绕视图相机图像，以及在各种城市和郊区场景中的详细3D边界框注释。该数据集的规模和丰富的注释数据使其非常适合训练和评估深度学习模型。然而，其庞大的数据量需要大量的存储空间和计算资源，通常限制了没有高端硬件的研究人员的访问。

nuScenes数据集[49]通过使用六台相机、五台雷达和一台旋转LiDAR传感器提供了完整的360°传感器覆盖，显著推动了该领域的发展。它还包括在2 Hz采样率下20秒片段的高清地图数据和精确注释，使得能够在动态城市场景中进行时间推理。然而，所使用的LiDAR传感器提供的空间分辨率相对于Waymo或Pandaset等数据集来说较低，可能限制了其在精细3D感知任务中的有效性。为了应对长期挑战，EU Long-Term Dataset [231]在不同的季节、天气条件和一天中的不同时间捕获了传感器数据。这个数据集特别有助于评估环境变化下的鲁棒性。尽管如此，它缺乏密集的注释和高分辨率的传感器模式，如现代LiDAR系统，这限制了其在监督学习和精细尺度语义任务中的适用性。

Audi A2D2数据集[146]强调多传感器融合，结合了六台相机和五个LiDAR单元来捕捉实际驾驶条件下的场景。它包括密集的语义分割和3D边界框标签。然而，其有限的地理多样性和缺乏长时间序列减少了其在长期定位研究中的实用性。Pandaset [233]提供了高分辨率的3D LiDAR、雷达和多相机数据，以及适合对象检测和语义分割等任务的详细注释。虽然它提供了丰富的传感器套件和高质量的元数据，但其空间覆盖范围相对于Waymo等大规模数据集来说相对有限。尽管当前数据集具有多样性和技术复杂性，但大多数数据集都是在发达国家典型的结构化环境中收集的。因此，它们通常缺乏在发展中国家发现的复杂条件的表示——如退化的道路基础设施、模糊或缺失的车道标记、非标准的交通行为以及极端的光照和天气变化。这些限制突显了需要更多具有全球代表性的数据集来支持鲁棒的、真实的自动驾驶系统。

Boreas数据集[225]是一个多季节、多传感器的数据集，旨在通过解决随时间变化的环境挑战来推进长期自动驾驶定位的研究。该数据集在四个季节中收集了十个月的数据，包括雪、雨、雾和不同光照等多样化条件，使其非常适合评估真实世界动态环境中定位和SLAM算法的鲁棒性。该数据集包括来自LiDAR、雷达、相机、GPS/INS和车辆CAN总线的信息，提供了一个丰富的多模态传感器套件。其关键优势之一是包含了雷达，即使在LiDAR或相机可能失效的恶劣天气下也能有效工作，从而能够研究传感器融合以提高鲁棒性。凭借厘米级的精确地面真实值和对同一位置的多次访问，Boreas特别适合研究多会话映射、循环闭合检测、语义SLAM和终身定位。它专注于基于高速公路的长期驾驶场景，以及各种环境条件，使其与以城市为中心的数据集（如KITTI [48]或nuScenes [49]）不同，使Boreas [225]成为测试自动驾驶车辆中弹性、可扩展定位系统的有价值基准。

总之，最近的长期定位基准测试数据集朝着更丰富的传感器配置、改进的同步性和更广泛的环境覆盖范围发展。早期的数据集，如KITTI [48]和KAIST [227]主要依赖于LiDAR-相机设置，具有有限的天气和时间变化，而较新的数据集，如EU long-term [231]、nuScenes [49]和Boreas [225]，则整合了雷达和高精度GNSS/IMU等额外模式，以增强在具有挑战性的能见度和GNSS退化条件下的鲁棒性。基于硬件的同步，如Boreas和EU long-term中所实现的，提供了更优的时间对齐，这对于最小化多模态系统中的融合漂移至关重要。此外，包括Oxford [224]和Boreas [225]在内的数据集引入了广泛的时间多样性，捕捉了多个季节、光照和天气条件，从而能够实现对环境不变性的真实评估。总的来说，现代数据集强调了长期一致性、高保真的地面真实值和对动态环境变化的韧性，使它们成为评估自动驾驶车辆定位中的漂移、鲁棒性和泛化能力的重要基准。图9展示了本节中介绍的一些数据集的视觉示例。图9. 数据集示例。(a) Oxford RobotCar。(b) KITTI。(c) Boreas。(d) EU Long-term。

7.2. 评估指标
评估指标对于自动驾驶车辆中长期定位系统的设计、验证和基准测试至关重要。它们提供了评估精度、鲁棒性和计算效率的标准化标准，从而促进了方法之间的公平比较，并确保提出的解决方案满足实际部署的需求。与主要关注短距离轨迹的几何精度的短期定位不同，长期定位需要反映对环境变化（如季节变化、光照条件、天气效应和动态物体的存在）的鲁棒性的指标。因此，有效的评估必须超越轨迹精度，包括语义表示的质量、地点识别的可靠性以及映射框架在较长时间内的可扩展性。明确定义的指标——从几何误差度量（如均方根误差(RMSE)、绝对轨迹误差()和相对姿态误差()到基于识别的指标（如精确度、召回率、F1分数和ROC/AUC），以及系统级标准（如运行时间、内存使用和在不同环境条件下的性能）——能够对系统性能进行全面分析。本节介绍了长期定位中使用的关键评估指标，并重点关注两个主要维度：精细定位（即精确的姿态估计）和全局定位（即地点识别和循环闭合）。

在姿态估计中，最常用的指标是平移误差()、旋转误差()以及两者的组合。平移误差对应于估计位置和真实位置之间的欧几里得距离。旋转误差对应于估计方向和真实方向之间的角度差异，通常使用旋转矩阵或四元数计算。在地点识别中，最常用的指标是精确度-召回率和F分数。这些指标基于与负匹配的正面匹配。精确度-召回率曲线已被广泛用于评估这种不平衡的匹配问题。根据匹配结果和真实信息，正确的正面匹配被视为真正例（True Positives），而错误的正面匹配被视为假正例（False Positives）。同样，真正例（TNs）和假负例（FNs）分别代表正确的负面匹配和错误的负面匹配。F分数（F-score）是另一个与地点识别相关的广泛使用的评估指标，它同时考虑了精确度和召回率，其计算公式为：当选择某个值时，召回率的重要性是精确度的倍数。此时我们得到的是F分数，它是精确度和召回率的调和平均值。为了定量评估定位性能，我们采用了广泛使用的绝对轨迹误差（Absolute Trajectory Error）和相对姿态误差（Relative Pose Error）指标。绝对轨迹误差通过计算对齐后平移差异的均方根误差（Root Mean Square Error）来衡量估计轨迹和真实轨迹之间的全局一致性。这个指标反映了整个轨迹上的累积漂移，对于评估长期定位准确性特别相关。相比之下，相对姿态误差通过比较固定时间间隔内的相对姿态变换来评估估计运动的局部准确性。它捕捉了每个时间步或行驶距离的漂移，提供了系统短期稳定性的洞察。这种区别使得相对姿态误差特别适用于分析在全局轨迹比较中可能不明显的增量误差。除了这些指标外，还经常考虑其他补充指标以提供更全面的评估。这些指标包括单独的平移和旋转误差，允许更细致地分析位置和角度的漂移，以及根据行驶距离量化长期场景中的误差累积。此外，在地点识别和闭环任务中，通常使用召回率@K（Recall@K）和精确度-召回率曲线（precision–recall curves）等指标来评估系统正确识别重复访问地点的能力。这些指标共同提供了一个多层次的评估框架，其中绝对轨迹误差衡量全局轨迹准确性，相对姿态误差反映局部运动一致性，而补充指标则有助于更深入地理解在动态和大规模环境中的鲁棒性和长期性能。

尽管像绝对轨迹误差（Absolute Trajectory Error）和相对姿态误差（Relative Pose Error）这样的几何指标仍然是评估SLAM系统的标准，但它们不足以完全描述语义SLAM在现实世界和安全关键应用中的性能。特别是，这些指标无法捕捉到特定于语义的故障模式，例如标签随时间的漂移、对象分类不一致或错误分类对下游任务的影响。例如，对关键对象（如行人）的错误负检测可能不会显著影响几何准确性，但可能导致规划和决策模块中的严重后果。因此，最近的研究强调了需要补充的评估协议，以考虑语义一致性、时间稳定性和任务感知性能。量化语义漂移、对象级持久性和分类不确定性的指标对于评估长期部署中语义表示的可靠性至关重要。此外，评估感知错误对高级任务（如在部分或错误语义信息下的路径规划）的影响，提供了对系统鲁棒性的更现实的衡量。这些考虑与安全认证框架密切相关，在这些框架中，必须从风险和可靠性的角度分析感知故障。在这方面，ISO 26262 [234]等标准强调了识别和减轻危险故障模式的重要性，包括那些由错误或缺失的语义标签引起的故障。将这种以安全为导向的评估标准纳入语义SLAM基准测试仍然是一个开放的挑战，但这是朝着在复杂现实世界环境中部署可信赖和可认证的自主系统迈出的必要一步。

长期评估SLAM系统不仅需要静态场景中的高精度，还需要在时间、环境和传感器变化下的鲁棒性。由于缺乏标准化的基准测试协议，它们的评估仍然具有挑战性。不同的研究经常使用不同的数据集、评估指标和实验设置，使得直接比较变得困难。一个统一的基准测试框架应考虑多个评估维度，包括定位准确性、环境变化下的鲁棒性、计算效率和可扩展性。KITTI、SemanticKITTI和Oxford RobotCar等基准数据集为评估长期定位性能提供了有价值的测试平台。在这些数据集之间建立标准化的评估协议将使比较更加可靠，并加速语义SLAM研究的进展。在回顾的工作中，表现最佳的方法在比较它们的语义分割准确性、映射一致性和定位可靠性时显示出一致的趋势。在语义分割方面，基于变换器和多尺度融合模型展示了出色的泛化能力。例如，MSeg3D在SemanticKITTI [145]上实现了72.7%的mIoU，而Spherical Transformer和EPMF分别报告了70.1%和68.5%——优于早期的基于CNN的架构，如SalsaNext（59.5%）和PointNet（47.4%）。这些改进反映了融合多尺度几何和上下文线索的好处，这对于随时间保持语义一致性至关重要。从语义映射的角度来看，基于图和概率融合方法表现出更强的时间稳定性。像SemSegMap这样的方法将语义先验整合到SLAM后端中，即使在动态对象变化的情况下也能保持地图一致性。特别是SemSegMap，它将语义可能性场与LiDAR里程计结合，使得长期地图重用时的平均姿态漂移低于1%。长期自主性的一个关键组成部分是地点识别，它支持在重大环境变化下的闭环和重新定位。在所有模式中，结合语义和跨模态表示的方法展现了最佳的总体鲁棒性。在基于视觉的识别中，像TransVPR [164]和MixVPR [165]这样的变换器架构通过全局注意力机制实现了出色的泛化能力，MixVPR在Pittsburgh上的召回率达到了93.6%，在Nordland上达到了89.2%——比传统的基于CNN的描述符NetVLAD [162]高出10%以上。基于LiDAR的方法同样表现出很强的几何稳定性，OverlapTransformer [207]在MulRan DCC数据集[232]上报告了95.1%的召回率和1%的精确度，比手工制作的描述符如Scan Context、Scan Context++ ([235,236]) 和 M2DP [237]高出15%以上。这种对视角和结构变化的鲁棒性使得基于LiDAR的方法对于随时间保持几何一致性至关重要。

近年来，基于融合的地点识别已成为长期映射中可持续性能的主导范式。这些方法结合了互补的感官模态——通常是LiDAR和相机，以及越来越多的雷达——以利用几何精度和语义丰富性。OverlapNet [205]最初展示了联合特征编码的好处，在KITTI [48]上实现了94.8%的召回率和1%的精确度，在Oxford RobotCar [224]上实现了91.7%。基于变换器的融合模型如TransGeo [238]进一步提高了跨域适应性，在光照和天气变化下保持了90%以上的召回率。最近的架构，包括PRFusion++ [218]、LCPR [223]和LRFusionPR [222]，通过注意力驱动的特征对齐和统一的潜在表示扩展了跨模态学习的范式。PRFusion++在Oxford RobotCar上实现了93.5%的召回率，在MulRan [232]上实现了91.2%的召回率，比OverlapNet高出10%以上。LCPR在KITTI [48]上达到了92.8%的召回率，并且在照明变化下仍保持在88%以上，而LRFusionPR结合了LiDAR、雷达和视觉线索，在Boreas的雪地和雾天条件下实现了90.4%的召回率和1%的精确度，比仅使用LiDAR的方法提高了12%。这些结果证实了深度多模态融合在语义保真度、几何稳定性和环境适应性之间提供了平衡的折中。然而，最不变和语义上有意义的表示来自基于语义图的方法，它们将环境编码为对象和关系的结构化图。GOSMatch [214]通过分层或神经图嵌入模型空间关系，在Boreas [225]和MulRan [232]的多季节评估中实现了92-94%的召回率，比纯几何基线高出18%以上。SegMap [193]通过将几何表面描述符与语义类别结合，即使在场景的显著部分发生结构变化时也保持了90%以上的召回率。这些方法表明，在语义层面进行拓扑推理对于长期地图一致性和时间持久性定位至关重要。

关于数据集，尽管SemanticKITTI [145]、KITTI-360 [226]和nuScenes [49]仍然是主要的语义基准，但它们提供的时间多样性有限。Oxford RobotCar [224]和MulRan [232]能够在不同条件下进行多会话评估，但Boreas数据集 [225]为长期地点识别和语义映射树立了新的标准。Boreas涵盖了整个年度的穿越，涵盖了多样的光照、天气和季节条件，具有同步的LiDAR、相机、雷达和GNSS/INS数据。在SemanticKITTI [145]和Boreas上共同训练或微调的模型在各个季节保持了85%以上的召回率，而在仅在SemanticKITTI [145]上训练时召回率不到70%，这使得Boreas成为评估时间域适应性和语义持久性的最全面的数据集。

除了感知之外，将里程计与语义图表示相结合仍然是长期定位的一个基本但未解决的挑战。虽然像IMU或轮编码器这样的里程计传感器提供了可靠的短期运动估计，但它们的累积漂移会显著降低全局一致性。基于语义图的地图通过编码持久地标之间的空间和语义关系提供了一个有前途的替代方案，使得通过概率数据关联来校正漂移成为可能。然而，在里程计轨迹和不断演变的语义图之间实现可扩展的、考虑不确定性的融合仍然是一个开放的研究问题，特别是在大规模和动态环境中。这些挑战由于当前语义SLAM系统依赖于封闭集对象表示而进一步加剧。大多数方法假设从结构化环境中收集的数据集中学习了一组预定义的语义类别，这限制了它们泛化到非结构化或开放世界场景的能力。在现实世界的部署中，环境在几何、外观和动态方面经常表现出显著的变异性，包括训练数据中不存在的对象和结构。结果，语义感知变得不可靠，导致场景理解不完整和定位性能下降。此外，通常用于基准测试映射和定位系统的数据集通常偏向于结构化和同质化的环境，对象类别和环境条件的多样性有限。这在受控实验设置和现实世界场景之间造成了差距，其中不规则地形、杂乱布局和变化的环境条件引入了额外的不确定性。因此，当前系统在非结构化和演变的环境中部署时难以保持鲁棒性和长期一致性。解决这些限制需要超越封闭集假设，转向更加适应性和通用性的框架。有前途的方向包括开放集和开放世界感知方法、结合几何和基于运动的线索以补充语义信息，以及开发更丰富、更多样化的数据集来捕捉现实世界环境的复杂性。最终，实现动态和非结构化场景中的鲁棒长期定位和语义映射将取决于系统在不确定性下持续适应、学习和推理的能力。展望未来，未来的研究应专注于开发随时间演变的环境而变化的时间一致性和适应性语义图表示，同时保持拓扑和语义一致性。结合语义子图之间的概率相似性度量以及用于持续模型细化的终身学习策略，对于提高对漂移、感知不确定性和环境变化的抵抗力至关重要。最后，深度多模态融合架构的进步——利用中间网络层中的LiDAR和摄像机的互补特征——将为开发能够支持在大型动态城市环境中持久定位的、具有不确定性意识的计算高效模型铺平道路。

总之，深度语义分割、多传感器融合和基于图的映射的结合代表了朝向可靠长期定位的有希望的方向。通过结合纹理点云表示和自适应图结构，自动驾驶车辆可以实现更稳定、上下文感知和抗漂移的导航，最终在延长的时间范围内弥合了感知和鲁棒空间理解之间的差距。此外，语义SLAM系统在自动驾驶管道的感知和定位层中发挥着关键作用。除了提供准确的车辆姿态估计外，这些系统还生成了语义丰富的地图，可以被更高层次的模块（如图10所示）利用，例如决策制定和路径规划。例如，关于道路结构、交通标志和动态障碍的语义信息使规划算法能够生成更安全和更具上下文意识的导航策略。此外，语义地图通过允许系统以人类可理解的方式传达环境信息和导航决策，促进了更直观的人机交互。图10. 自动驾驶系统的总体架构，展示了从多模态传感器采集到感知和语义SLAM（定位和语义映射）再到规划、决策制定和人机交互模块的端到端处理流程。

准确和持久的定位仍然是自动驾驶车辆（AV）在复杂和演变中的现实世界环境中的基石。传统的SLAM方法虽然在静态和结构化环境中有效，但在动态条件、长期部署和重大环境变化下存在局限性。这项调查强调了语义SLAM（Semantic SLAM）和多模态融合在解决这些挑战中的关键作用。通过将语义理解融入空间地图，并利用激光雷达（LiDAR）和摄像头等互补的传感方式，自动驾驶车辆（AVs）能够同时具备情境感知能力和几何精度，从而实现更可靠的长期定位。最近的进展表明，语义信息通过提供鲁棒且高级的场景描述符来改善数据关联和闭环处理能力，这些描述符能够在外观变化或结构变动的情况下保持一致性。多模态融合通过整合冗余和互补的特征，进一步增强了这种能力，生成了具有纹理的点云和语义丰富的地图，这些地图能够更好地应对环境动态变化。基于图的表示方法和深度学习驱动的分割技术也有助于提升长期SLAM的可扩展性和适应性。

尽管取得了这些成就，但仍存在一些未解决的问题。当前的系统在大规模城市环境中的可扩展性、动态物体交互中的不确定性处理以及持续适应时变语义方面仍面临挑战。基准数据集和评估指标为比较分析提供了基础，但研究社区还需要进一步推进能够反映现实世界复杂性的标准化协议。展望未来，未来的研究应重点关注可扩展的基于图的模型、概率数据关联技术以及终身学习策略，使语义地图能够随着环境的变化而不断进化。此外，多模态线索的深度整合以及在实时平台上的高效部署，将是确保自动驾驶车辆在动态、长期场景中实现稳健、可靠和持续定位的关键。