《Neurocomputing》：Normal-aware simultaneous localization and mapping with 3D Gaussian splatting
编辑推荐：
摘要SLAM是自主系统在未知环境中运行的基本能力。近期基于3D高斯泼溅（3DGS）的SLAM方法展现了令人瞩目的重建质量和渲染效率。然而，现有方法通常存在几何约束不足的问题，导致高斯表示冗余和定位不稳定，尤其是在单目RGB输入条件下。为减少在线3DGS-based SLAM过
摘要
SLAM是自主系统在未知环境中运行的基本能力。近期基于3D高斯泼溅（3DGS）的SLAM方法展现了令人瞩目的重建质量和渲染效率。然而，现有方法通常存在几何约束不足的问题，导致高斯表示冗余和定位不稳定，尤其是在单目RGB输入条件下。为减少在线3DGS-based SLAM过程中的几何歧义，我们提出了NA-SLAM，一个统一适用于RGB和RGB-D输入模态的法线感知框架。NA-SLAM通过自监督法线正则化、旋转引导的关键帧管理以及法线引导的不可靠几何基元过滤，主动利用协方差派生的高斯法线作为几何线索。这些耦合组件协同实现了几何正则化、观测管理和高斯形态控制，且无需地面真值法线或外部法线估计网络。在TUM RGB-D和Replica数据集上的实验表明，所提方法在定位精度和重建质量方面优于现有3DGS-based SLAM方法。在纯RGB输入条件下，NA-SLAM相较于MonoGS将平均轨迹误差降低了42%，同时使用的高斯基元数量显著减少。所提框架支持RGB和RGB-D双模式输入，并在稠密SLAM和新视角渲染任务中均取得了具有竞争力的性能。
引言
同时定位与地图构建（SLAM）在机器人、增强现实和自主导航系统中发挥着重要作用[1], [2], [3], [4]。单目SLAM尤为引人关注，因为它仅需低成本RGB相机，即可部署于轻量级平台。然而，由于缺乏直接的几何测量值，仅从单目输入实现精确定位和稠密场景重建仍然极具挑战性。
传统基于特征的SLAM方法通过稀疏特征匹配和几何优化实现可靠的相机跟踪。然而，这些方法通常只能生成稀疏或半稠密地图，且在纹理匮乏的环境中往往难以胜任。近期基于学习的方法和神经场景表示改善了稠密重建质量。其中，神经辐射场（NeRF）[5]提供了高质量渲染结果，但需要昂贵的优化过程，难以部署于实时SLAM系统。
近期，3D高斯泼溅（3DGS）[6], [7]作为一种高效的场景表示方法，在实时渲染与重建领域崭露头角。相较于基于NeRF的方法，3DGS提供了更快的渲染速度和更低的优化开销，使其适用于在线SLAM系统。近期多项研究[8], [9], [10], [11]将3DGS引入SLAM框架，展现了令人瞩目的重建质量。其中，MonoGS通过从多视角观测初始化高斯基元，实现了无需显式深度先验的单目SLAM。
尽管具有上述优势，现有3DGS-based SLAM方法在优化过程中仍存在几何歧义问题。由于高斯基元主要受光度一致性约束，冗余或初始化错误的高斯可能残留在场景表示中，尤其在仅RGB输入条件下更为突出。这一问题会导致表面结构不准确、跟踪不稳定以及不必要的内存消耗。此外，在线建图过程中视角观测不足进一步增加了优化的不确定性。
为解决在线SLAM过程中高斯基元的几何歧义问题，我们提出了一种基于3D高斯泼溅的统一法线感知框架，命名为NA-SLAM。其核心方法论思想是将协方差椭球诱发的法线方向作为主动优化的几何线索，而非仅将其视为派生的几何属性。基于这一思想，我们设计了自监督法线约束，利用RGB以及在可用条件下的深度不连续信息进行高斯几何的正则化，无需地面真值法线或外部法线估计网络。旋转引导的关键帧管理策略改善了法线约束建图所需的多视角观测覆盖度，而法线引导的过滤机制则抑制了最短轴尺度过大的高斯基元。这三个组件分别解决了几何正则化、观测充分性和基元形态问题，构成了一个耦合的法线感知建图过程。所提框架的部分代表性结果如图1所示。
我们在TUM RGB-D和Replica数据集上，使用RGB和RGB-D两种输入评估了所提方法。实验结果表明，NA-SLAM提升了定位精度和重建质量。同时，在评估的TUM序列上减少了高斯基元数量，其对最终地图大小的影响则取决于数据集特性。
章节片段
视觉SLAM
传统视觉SLAM系统通过顺序相机观测同时估计自身运动并重建环境几何，通常采用基于特征的跟踪或直接光度对齐来进行增量式三维建图。在视觉SLAM领域，已有多种经典算法被广泛研究和应用。并行跟踪与映射（PTAM）[12]率先将跟踪和建图分离为两个独立线程，并利用非线性优化
方法
如图2所示，我们利用输入图像与从3D高斯地图渲染图像之间的差异来约束和优化位姿估计。在关键帧管理方面，我们采用基于位姿变化度量和从3D高斯观测派生的多重参考的自适应策略来有效管理关键帧。随后，我们利用这些关键帧所提供的视角来增强和优化3D高斯地图。在此过程中，我们应用
实现与实验设置
实验在一台配备Intel E5-2690 v4 2.60 GHz 14核28线程CPU和单块NVIDIA 3090 GPU的工作站上完成。我们在TUM RGB-D数据集[45]和Replica数据集[46]上评估了精度。评估聚焦于TUM RGB-D和Replica所提供的有界室内环境。这些数据集在3DGS-based SLAM中被广泛使用，且提供了互补的测试条件：TUM RGB-D包含真实手持传感器观测，而Replica提供渲染
结论
在本文中，我们提出了NA-SLAM，一个具有自监督法线一致性约束的3D高斯泼溅SLAM框架。所提方法通过引入法线感知正则化，无需显式深度先验即可提升地图优化过程中的几何一致性。此外，我们设计了旋转引导的关键帧管理策略和法线引导的高斯过滤机制，以提升视角覆盖度并抑制几何不可靠的高斯
CRediT作者贡献声明
石正武（Zhengwu Shi）： 原创草稿撰写、软件、方法论。饶元（Yuan Rao）： 审稿与编辑、验证。周小伟（Xiaowei Zhou）： 审稿与编辑、概念设计。欢宝桂（Baogui Huan）： 资源、数据管理。董俊宇（Junyu Dong）： 审稿与编辑、资助获取。于辉（Hui Yu）： 审稿与编辑。陈胜（Sheng Chen）： 审稿与编辑。
利益冲突声明
作者声明不存在任何已知的竞争经济利益或个人关系可能影响本文所报告的工作。
致谢
本工作得到山东省重点研发计划（编号：2024ZLGX06）、国家自然科学基金委员会（编号：41927805）、山东省自然科学基金重点项目（编号：ZR2024ZD04）以及2030新一代人工智能重大项目（编号：2022ZD0117200）的资助。
石正武（Zhengwu Shi） 于2017年获中国青岛科技大学学士学位，于2021年获中国中国海洋大学硕士学位。目前正在中国海洋大学信息科学与工程学院攻读工学博士学位。研究兴趣包括计算机视觉和自主机器人。
石正武（Zhengwu Shi）|饶元（Yuan Rao）|周小伟（Xiaowei Zhou）|欢宝桂（Baogui Huan）|董俊宇（Junyu Dong）|于辉（Hui Yu）|陈胜（Sheng Chen）
