《ISPRS International Journal of Geo-Information》：VGGT-Geo: Probabilistic Geometric Fusion of Visual Geometry Grounded Transformer Priors for Robust Dense Indoor SLAM
Kai Qin,
Jing Li,
Sisi Zlatanova,
Haitao Wu,
Hao Wu,
Yin Gao,
Dingjie Zhou,
Yuchen Li,
Sizhe Shen and
Shicheng Xu
+ 3 authors
随着数字孪生（Digital Twins）与具身人工智能（Embodied AI）的快速发展，在未知环境中实现快速、稠密且高精度的三维（3D）感知已成为关键需求。然而，现有视觉同步定位与建图（Visual SLAM）范式面临一个核心困境：基于几何的方法常因无纹理区域中特征稀缺而失效，而基于学习的方法则常常遭受尺度漂移与不符合物理规律的形变。为弥合这一差距，研究人员提出了VGGT-Geo，这是一种新型SLAM系统，通过将大规模基础模型（Large Foundation Models）的生成式先验与多模态几何优化相协同实现性能提升。不同于简单级联式架构，该研究构建了一个概率几何融合（Probabilistic Geometric Fusion）框架，包括：（1）生成式热启动（Generative Warm-start），利用VGGT的整体场景理解能力；（2）置信感知优化（Confidence-Aware Optimization），借助DINOv3提取稠密特征并预测其置信图；以及（3）多模态约束闭合（Multi-Modal Constraint Closure），融合点-线特征与度量深度先验，以在曼哈顿世界（Manhattan Worlds）中约束旋转自由度（Degrees of Freedom, DoF）。研究人员在TUM、Replica、Tanks and Temples以及一个具有极端光照与无纹理墙面的自采挑战性数据集上开展了系统评估。实验结果表明，VGGT-Geo在未见环境中表现出更优的鲁棒性与精度。在最具挑战性的数据集上，该方法实现了4–5 cm的绝对轨迹误差（Absolute Trajectory Error, ATE）和0.79°的相对旋转误差（Relative Rotation Error, RRE），轨迹精度较当前最先进方法提升约50%。该研究验证了：将大规模基础模型的“直觉”与几何约束的严谨性相结合，是迈向下一代鲁棒SLAM的一条可行路径。
该论文发表于《ISPRS International Journal of Geo-Information》，围绕稠密室内同步定位与建图（SLAM）在未知环境中的鲁棒性与精度提升问题，提出了VGGT-Geo这一融合基础模型先验与几何优化的混合式框架。研究背景在于，数字孪生、增强现实（AR）以及机器人导航等应用对快速、高精度、可泛化的三维重建提出了更高要求，而传统SLAM和端到端学习SLAM均存在明显局限。传统方法通常采用“相机位姿优化+稠密/稀疏建图”的多阶段流程，依赖特征匹配、束调整（Bundle Adjustment, BA）以及多视图几何或截断符号距离函数（Truncated Signed Distance Function, TSDF）融合，虽然精度较高，但计算复杂、参数调试繁琐，并且对硬件资源依赖较强，在实时性与嵌入式部署方面受限。另一方面，近年来的端到端学习方法能够直接输出稠密点云，但由于缺乏跨帧全局几何闭合约束，往往会在长序列中累积漂移，并在无纹理、重复纹理或分布外（Out-of-Distribution, OOD）场景下出现尺度漂移、双层表面、浮动噪声和局部几何塌陷等问题。
论文指出，现有以VGGT、DUSt3R、MASt3R、SLAM3R等为代表的方法，虽展现出强大的零样本泛化能力，但在长视频序列场景中，仅依赖局部窗口预测与增量融合难以维持全局一致性；而基于优化增强的方案虽有所改善，却普遍过度依赖点特征质量，在室内白墙、玻璃幕墙、长走廊等弱纹理环境中容易退化。因此，开展本研究的必要性在于：寻找一种能够同时利用基础模型的整体先验能力与传统几何求解严格约束能力的新框架，在保证泛化性的同时实现真实、稳定、度量一致的稠密重建。
研究人员据此提出VGGT-Geo，其核心思想并非用神经网络替代几何，而是利用基础模型输出作为几何优化的先验、初始化和置信度来源，从而构建“生成粗初始化+几何精优化”的深度耦合系统。该方法将SLAM问题表述为因子图（Factor Graph）上的最大后验（Maximum A Posteriori, MAP）估计，状态变量包括相机位姿、共享相机内参以及每帧稠密逆深度图。系统总能量由几何观测项和深度先验正则项组成，其中几何观测项进一步包括稀疏点约束与线特征约束，深度正则项则引入MoGe-2生成的度量深度先验作为尺度锚（Scale Anchor）。研究结论表明，该体系能够在未知复杂环境中有效抑制单目尺度漂移、增强无纹理区域中的旋转约束、降低异常观测对后端优化的不利影响，并在多个公开数据集和自采数据集上取得优于现有先进方法的精度与鲁棒性表现。
从研究意义看，该工作为基础模型与几何SLAM的融合提供了一个具有操作性的范式。论文证明，大模型生成先验并不应被视为终端输出，而更适合作为非凸几何优化的热启动与概率引导信息；与此同时，几何后端仍然是保证物理一致性、全局一致性和度量精度的关键。尤其是在室内结构化场景、无纹理区域以及分布外环境中，这种“概率化先验+多模态几何闭环”的思路体现出明显优势，对下一代高鲁棒SLAM系统、数字孪生建模与具身智能环境感知具有重要价值。
研究人员开展该研究所用的主要技术方法可概括如下：首先，利用预训练VGGT对滑动窗口图像序列并行预测相机外参、内参与稠密点云，为后端非线性优化提供热启动初始化；其次，以DINOv3（ViT-L/16）提取稠密语义特征并生成像素级置信图，用于构造置信加权残差；再次，结合LETR提取线段、MASt3R建立稀疏关键点匹配，并联合MoGe-2提供的度量深度先验，构建点、线、深度三类约束共同作用的多模态束调整；最后，在后端采用基于关键帧选择、共视图建边、滑动窗口优化和Schur补边缘化的因子图求解框架。实验数据来源包括TUM RGB-D、Replica、Tanks and Temples，以及研究人员使用手持RGB相机与Leica P50三维地面激光扫描仪在一栋8层办公楼中采集的自建数据集。
以下结合论文主体，对各部分研究结果进行概括。
System Overview and Probabilistic Formulation
该部分给出了VGGT-Geo的整体概率建模框架。研究人员将输入RGB视频流转换为因子图优化问题，把系统状态定义为位姿集合、相机内参和稠密逆深度图，并通过最大后验估计统一表达生成式先验与几何观测之间的关系。总能量函数由多视图几何一致性项和深度先验项构成，其中VGGT输出承担初始化作用，DINOv3、MASt3R、LETR与MoGe-2则共同服务于后续优化。该部分的核心结论是，SLAM可以在统一概率框架内实现生成先验与几何约束的深度耦合，而不是仅将网络预测直接作为静态观测输入。
Generative Frontend: Initialization & Confidence-Aware Perception
该部分研究了前端生成与感知模块。研究人员首先利用VGGT提供相机位姿、内参与点云的整体初始化，以解决传统冷启动在纯旋转、大基线和低纹理场景中易陷入局部极小值的问题。随后，借助DINOv3提取高维稠密特征，并利用其注意力机制构建像素级置信图Ω，用于描述结构显著性与匹配可靠性。研究结果表明，该双分支前端能够同时提供全局结构合理的初始解和细粒度的感知可信度，为后端优化提供稳定基础。论文据此强调，置信图不仅是特征质量估计，更是实现概率加权几何融合的重要纽带。
Construction of Geometric Constraints
该部分是方法核心，研究人员从三类约束出发构建统一后端目标函数。
Confidence-Aware Line Constraints
研究人员针对曼哈顿世界中的结构化室内环境，利用LETR检测参考帧中的二维线段，并通过隐式三维线约束方式，结合逆深度图和帧间相对位姿构造线重投影残差。与传统将所有线段视为等可靠的方法不同，论文引入DINOv3置信图对线约束残差进行概率加权，并以Huber核抑制异常值。通过这一设计，优化器能够优先利用语义清晰、结构稳定的边缘，而降低阴影边界、反光边缘和模糊线段的影响。该部分得出的结论是，线特征在无纹理室内环境中特别有助于增强旋转自由度约束，置信加权则显著提升了线约束的鲁棒性。
Joint Optimization with Sparse Keypoints
为弥补线特征在沿线方向平移约束上的孔径问题（aperture problem），研究人员保留MASt3R建立的稀疏点匹配，并将点特征重投影误差纳入统一优化。与传统显式维护三维路标点不同，论文直接优化关键帧逆深度图，使点、线、深度先验共享同一组几何状态变量。与此同时，稀疏点约束同样采用由DINOv3置信图导出的加权最小二乘形式。该部分说明，点特征能够提供各向同性的位置约束，与线特征形成互补；二者在同一物理空间中的严格耦合提升了后端优化的一致性和稳定性。
Adaptive Depth Regularization with Metric Priors
针对单目视觉固有的尺度不确定性，研究人员引入MoGe-2生成的绝对深度图作为度量尺度锚，并构建置信加权的深度正则项。论文指出，在低纹理区域，几何观测微弱，优化主要受深度先验主导，从而锁定绝对尺度并防止表面塌陷；而在高纹理区域，多视图几何残差占主导，优化后的深度可适度偏离网络先验，以保持局部几何精度。由此得出的结论是，该“软锚定”机制优于硬约束融合策略，能够在抑制尺度漂移和保持局部细节之间实现自适应平衡。
Backend: Graph Construction and Optimization
该部分介绍了关键帧筛选、共视图建边、滑动窗口优化与边缘化策略。研究人员依据相对平移阈值与相对旋转阈值决定新关键帧插入，并在跟踪内点率过低时强制插入关键帧，以降低困难区域中的跟踪失败概率。图结构不采用简单时间链，而通过MASt3R/DINOv3匹配数确定贡献显著的共视边，仅保留可靠的多视图连接。为控制计算复杂度，系统采用固定大小滑动窗口，并通过Schur补边缘化最旧关键帧，将历史信息转化为线性化先验。非线性最小二乘问题由Levenberg-Marquardt（LM）算法求解。该部分表明，所设计的后端框架兼顾了全局信息保留、局部实时优化与长序列稳定性。
Experiments
在实验部分，研究人员系统评估了VGGT-Geo在标准基准、自采困难场景和大尺度场景中的表现。
Experiments 4.1.1 Datasets
研究采用三层次数据集策略：标准学术基准TUM RGB-D与Replica，用于评估受控环境下的极限精度；Tanks and Temples，用于评估大尺度场景中的轨迹一致性；以及自采Ours-Real数据集，用于检验在长走廊、玻璃墙、白墙等几何退化条件下的鲁棒性。自采数据以Leica P50三维激光扫描仪构建高精度真值，点云误差达到±2 mm，覆盖8层办公楼、多楼层拓扑和约200 m连续轨迹。该设计使实验结果具备较强可信度，也增强了论文对真实复杂场景的说服力。
Experiments 4.1.2 Baselines & Metrics
研究将VGGT-Geo与MASt3R-SLAM、SLAM3R和VGGT-SLAM进行比较，并采用绝对轨迹误差（ATE）、相对旋转误差（RRE）以及重建深度与扫描真值之间的均方根误差（RMSE）进行评价。该设置覆盖了全局一致性、局部几何约束能力和尺度精度三个层面。
Results on Self-Capture Datasets
在自采场景中，研究人员通过点云重建可视化和误差统计比较不同方法。结果显示，SLAM3R由于缺乏强几何约束，常出现局部漂移甚至全局塌陷；MASt3R-SLAM虽可在部分场景中生成稠密点云，但边界模糊、几何细节不清；VGGT-SLAM在未知真实场景中出现不收敛。相比之下，VGGT-Geo在结构完整性和轨迹稳定性方面表现最佳。定量上，该方法在测试场景中的ATE稳定在4–5 cm，RRE控制在1.3°以内，最具挑战性数据集上RRE达到0.79°，整体轨迹精度较现有最优方法提升约50%。深度评估方面，该方法在所有测试场景中取得最低RMSE，尤其在大尺度平面和遮挡并存的Scene 3中仍与LiDAR真值高度一致。该部分结论是，所提出的点-线-深度多模态后端能够在真实未知环境中有效维持几何一致性与尺度准确性。
Results on Public Datasets
在TUM RGB-D数据集上，研究人员报告VGGT-Geo在五个序列上的平均RMSE ATE仅为1.92 cm，优于VGGT-SLAM的2.61 cm、MASt3R-SLAM的3.42 cm和SLAM3R的4.91 cm。在desk、desk 2、room和xyz等场景中，该方法均表现出更低误差和更稳定运行，说明其在真实室内动态或低纹理环境中具有较好泛化性。
在Replica数据集上，VGGT-Geo在七个场景中的平均RMSE ATE为2.50 cm，优于MASt3R-SLAM的2.97 cm，并显著优于SLAM3R和VGGT-SLAM。可视化结果显示，其在墙面、地板、桌椅等平面结构上的几何连续性、边界清晰度与细节保真度更好。该部分结论是，该方法不仅适用于真实数据，也能在高保真合成数据中保持精确、完整且一致的重建表现。
Results on Large Scene Datasets
在Tanks and Temples的Barn、Palace和Temple场景上，论文主要进行了定性分析，并在Barn场景进行定量评估。结果显示，VGGT-Geo在Barn场景中取得0.813的F-score和5.17 cm的Mean Distance，优于MASt3R和SLAM3R。论文据此认为，MoGe-2自适应尺度锚有效抑制了长序列漂移，而概率融合机制维持了高密度重建能力。该部分表明，所提方法具备从室内场景扩展到大尺度复杂环境的潜力。
Ablation Study
消融实验在自采Scene 1与Scene 3上验证了各核心模块作用。移除深度先验后，系统在Office场景尚可运行，但在Long Corridor中发生“Track Fail”，说明MoGe-2尺度锚对极端无纹理场景是生存性组件。移除置信加权后，Scene 3中的ATE由0.068 m上升到0.154 m，表明感知显著性指导对抑制反射和歧义特征干扰至关重要。移除线特征后，结构化走廊场景中的性能下降，验证了线约束对曼哈顿世界中旋转估计的价值。以恒速度模型代替VGGT初始化后，在快速旋转或低帧率条件下易收敛到局部极小值，说明VGGT热启动对稳定求解具有关键作用。该部分清楚证明，深度先验、置信建模、线约束和VGGT初始化共同构成系统性能优势来源。
讨论部分总结显示，VGGT-Geo的优势在于以基础模型提供概率化、可解释的先验信息，再由几何优化保证物理一致性和全局一致性。这种设计并未否定传统几何模型的重要性，而是通过基础模型的先验推断能力“软化”刚性几何计算，使系统在未知场景中兼具泛化与精度。论文同时指出局限性：一是DINOv3等大模型推理延迟仍是高帧率实时应用瓶颈，当前系统在单张NVIDIA RTX 5090 GPU上通常达到3–5 FPS，峰值显存约21.2 GB；二是动态物体仍可能在重建中引入伪影，后续计划融入动态目标掩膜与语义约束，以增强在人机交互动态场景中的适应性。
研究结论部分可译述为：本文提出了VGGT-Geo，一种鲁棒的室内稠密SLAM系统，有效弥合了大规模生成模型先验与传统几何约束之间的鸿沟。通过将双分支前端与置信感知多模态束调整后端紧密耦合，系统成功整合了粗粒度生成初值与细粒度视觉特征。该设计解决了现有方法中的关键难题，如单目尺度歧义以及无纹理区域中的旋转漂移，从而能够在复杂环境中实现自适应信息融合。对标准基准数据集（TUM、Replica）及具有挑战性的自采数据集开展的大量实验验证了该方法的有效性。VGGT-Geo取得了最先进精度，在TUM上的平均ATE低至1.92 cm，在Replica上低至2.50 cm，并能够成功泛化到纯流形优化方法常常失败的分布外真实场景。研究结果表明，这种混合架构为大尺度、几何退化环境中的高保真稠密重建提供了一种可靠解决方案。总体而言，VGGT-Geo为兼顾泛化性与精度的室内稠密重建提供了一种务实路径，也表明未来SLAM系统的发展不应完全摒弃几何模型，而应借助基础模型强大的概率推理能力，对传统刚性几何计算进行引导与增强。
