GeoTrack-GS:轨迹引导的稀疏视角3D高斯溅射几何精化

《Electronics》:GeoTrack-GS: Track-Guided Geometry Refinement for Sparse-View 3D Gaussian Splatting

【字体: 大 中 小 】 时间:2026年08月30日 来源:Electronics 2.9

编辑推荐:

  三维高斯溅射(Three-dimensional Gaussian Splatting,3DGS)在稀疏视角设置下可能因优化约束不足而严重退化。单目深度先验提供了密集监督,但其跨视角不一致性可能扭曲几何结构。研究人员提出GeoTrack-GS,一种以几何为先的

  
三维高斯溅射(Three-dimensional Gaussian Splatting,3DGS)在稀疏视角设置下可能因优化约束不足而严重退化。单目深度先验提供了密集监督,但其跨视角不一致性可能扭曲几何结构。研究人员提出GeoTrack-GS,一种以几何为先的框架。研究人员将单目深度作为高斯几何的固定、密集弱正则化项。稀疏特征轨迹(feature tracks)强制执行宏观层面的重投影一致性,而微观层面的K近邻主成分分析(K-NN PCA)正则化器抑制秩坍缩(rank collapse)。这些约束在优化过程中精化高斯几何,而无需显式更新输入深度图。在优化后的高斯几何之上,GT-DCA捕获视角相关外观;其几何条件化查询通过停止梯度(stop-gradient)隔离,使得GT-DCA分支不会通过查询构建引入额外的外观到几何梯度路径。解耦约束稳定化(Decoupled Constraint Stabilization)策略在训练期间调节几何约束与伪视角约束。在LLFF和DTU数据集的3–9个输入视角以及Mip-NeRF 360的12个输入视角下,GeoTrack-GS保持具有竞争力的渲染质量。它还在所评估的DTU协议下改进了几何指标。这一几何结论仅限于DTU,即该基准中对真实几何进行了定量评估。
**研究背景与动机**

三维高斯溅射(Three-dimensional Gaussian Splatting,3DGS)以各向异性三维高斯原语表示场景,并通过可微溅射渲染器实现实时渲染,达到与神经辐射场(Neural Radiance Fields,NeRF)相当的视觉质量。然而,原始3DGS严重依赖运动恢复结构(Structure-from-Motion,SfM)提供的高质量稠密点云以及充足的输入视角。在真实的稀疏视角场景中,优化过程严重欠约束:不同视角的梯度相互冲突,自适应稠密化不稳定,高斯原语倾向于过拟合训练图像并退化为漂浮伪影或针状结构,即使近期方法也可能在渲染上看似合理的同时呈现扭曲几何和过度平滑的"蜡质"表面。

现有缓解方法主要分两类。先验引导方法引入单目深度等外部监督以提供稠密几何线索,但此类先验逐视角独立预测、相互之间不必一致,过强施加会扭曲几何。自正则化方法依赖内部一致性或合成监督,虽能减少过拟合,但往往缺乏显式三维几何支撑。研究人员的核心观察是:在稀疏视角、宽基线条件下,稠密重建本质上不可靠,而稀疏几何对应能够提供有效约束。由此提出GeoTrack-GS,一种以几何为先的框架,其创新不在于孤立使用特征轨迹或主成分分析(Principal Component Analysis,PCA),而在于围绕高斯几何进行角色分离的集成。

**研究内容与主要结论**

研究人员提出GeoTrack-GS框架:将固定单目深度作为高斯几何的密集弱正则化项,滤波后的多视角特征轨迹在图像平面内约束高斯中心,K近邻PCA各向异性正则化器抑制秩坍缩。在此基础上,GT-DCA外观模块以轨迹锚定的图像特征为键和值进行可变形交叉注意力,其几何条件化查询经停止梯度隔离,避免引入额外外观到几何梯度路径。解耦约束稳定化(Decoupled Constraint Stabilization,DCS)策略分别调节几何与伪视角约束。在LLFF与DTU的3–9视角及Mip-NeRF 360的12视角协议下,GeoTrack-GS保持具有竞争力的渲染质量,并在DTU协议下改进几何指标,几何结论限于该基准。论文发表于《Electronics》。

**关键技术方法**

研究人员采用COLMAP获取相机参数与稀疏点云作为高斯初始化;使用SuperPoint与LightGlue进行跨视角特征匹配,经置信度过滤、基础矩阵RANSAC验证、并查集轨迹构建、线性三角化与固定位姿光束法平差重投影残差过滤,获得可靠多视角特征轨迹。混合几何约束包括光度损失、固定DPT-Hybrid单目深度先验的尺度不变相关损失、图像平面内单尺度Huber重投影损失,以及基于K近邻PCA的各向异性正则化。GT-DCA模块以停止梯度的11维高斯描述符经查询MLP构建查询,以轨迹锚定的局部聚合特征为键值进行四头可变形交叉注意力并预测球谐残差。DCS策略包含质量感知几何门控与伪视角课程学习。样本来源为DTU、LLFF与Mip-NeRF 360标准基准。

**研究结果**

*与现有方法的定量比较*:在DTU 3视角协议下,GeoTrack-GS取得与FSGS、DNGaussian等深度引导基线相当的PSNR,同时获得最高F-score与最低Chamfer距离(CD-L1);配对DTU几何一致性分析显示,在固定15场景子集上CD-L1配对差异呈改善趋势,11/15场景获得更低CD-L1。在LLFF上PSNR/SSIM具有竞争力,LPIPS与基线相当但非一致领先;在Mip-NeRF 360上渲染指标保持竞争力,定性结果展示了薄结构(如车轮辐条)与纹理细节的保持优势。

*视角稀疏性鲁棒性*:3/6/9视角分析表明,随输入视角数减少,GeoTrack-GS在LLFF上保持与强渲染基线相当的感知质量,在DTU上获得较对比方法更低的Chamfer距离。

*消融研究*:引入宏观轨迹重投影损失将DTU CD-L1从0.75降至0.61、F-score从32.4升至37.6,同时SSIM从0.811降至0.795、LPIPS从0.131升至0.160,体现几何约束与光度拟合间的权衡;直接SfM锚点欧氏距离惩罚对照(CD-L1为0.67、F-score为35.2)弱于多视角重投影配置,支持利用全部图像平面观测而非将三角化点视为精确欧氏目标。微观各向异性正则化进一步改善几何保真度并部分恢复光度指标;GT-DCA在保持几何指标的同时改善LPIPS。

*DCS与设计消融*:固定权重变体对比显示几何门控与伪视角课程均贡献训练稳定性。跨随机视角分割实验中,DTU上GeoTrack-GS的CD-L1均值低于SCGaussian,LLFF上SE-GS在渲染指标上仍更强。随机轨迹移除实验中,即使仅保留25%轨迹,F-score仍达38.2,指标平滑退化。GT-DCA设计消融表明,轻量CNN编码器(64维特征、8个偏移采样点)提供最佳综合权衡,增加容量或替换为ResNet-18未改善指标。

*效率分析与实用比较*:LLFF Fern 3视角设置下,离线预处理13.0分钟(COLMAP 4.8分钟、DPT-Hybrid深度预测2.6分钟、SuperPoint+LightGlue匹配3.7分钟、轨迹构建三角化过滤1.9分钟),训练25分钟,峰值GPU显存7.8GB,评估分辨率下138 FPS渲染速度,保留FSGS评价分辨率吞吐量的74.6%。与NeRF基线相比,相同3视角LLFF协议下GeoTrack-GS取得最高PSNR与最低LPIPS,渲染吞吐量显著高于NeRF与Instant-NGP。

**讨论与结论**

讨论部分指出,方法依赖可靠的SfM特征轨迹,在低纹理、重复、反射或极端宽基线区域匹配稀疏或模糊时,轨迹重投影损失的校正能力减弱;PCA正则化仅从当前高斯邻域计算、只能限制局部退化而不提供独立几何目标,其K近邻支撑随局部高斯密度变化,方法不声称密度不变性;当前公式假设COLMAP相机内外参可靠,不联合优化位姿、畸变或标定参数,结果不应被解释为对位姿噪声或SfM初始化失败的鲁棒性证据。研究结论为:GeoTrack-GS将单目深度作为固定弱先验,通过滤波多视角特征轨迹在图像平面内的重投影约束高斯中心,降低跨视角不一致性;宏观轨迹重投影与微观各向异性正则化的双层约束提供几何正则化机制,GT-DCA在关联轨迹之上建模视角相关外观。在评估协议下,GeoTrack-GS改善DTU几何指标并保持有竞争力的稀疏输入渲染质量,更广泛的几何结论需DTU之外的定量几何评估支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号