《Neurocomputing》:CurvRender: Curvature-aware 3D mesh refinement from 3D Gaussian splatting via differentiable rendering
编辑推荐:
:
高斯泼溅(Gaussian Splatting,GS)网格在不重新训练源表示的情况下得到精化。在十个评估场景中,低尾三角质量一致性地得到改善。任何场景中自相交对及涉及面数量均未增加。曲率加权对精化过程起调节作用,但并非增益的主要来源。研究人员提出CurvR
:
高斯泼溅(Gaussian Splatting,GS)网格在不重新训练源表示的情况下得到精化。在十个评估场景中,低尾三角质量一致性地得到改善。任何场景中自相交对及涉及面数量均未增加。曲率加权对精化过程起调节作用,但并非增益的主要来源。研究人员提出CurvRender,一种两阶段流水线。第一阶段通过法向估计、泊松(Poisson)重建、密度滤波和二次误差度量(quadric error metrics)简化,将预训练的GS点云转换为显式网格。第二阶段固定面连通性,仅优化顶点偏移和轻量级逐顶点外观模型。目标函数结合图像重建与基于余切(cotangent)的曲率正则化、拉普拉斯(Laplacian)平滑、边长保持和偏移惩罚。指数曲率加权根据估计的局部曲率改变曲率项的空间强度;消融实验明确将该设计与仅图像、无曲率和均匀加权方案进行比较,且不假定曲率加权是三角质量改善的主要来源。修订后的评估围绕该方法的保守范围设计。首先,研究人员报告了Lego和全部九个Mip-NeRF 360场景的完整最佳检查点结果,并以低尾三角质量统计、余切权重诊断、定量自相交计数和归一化顶点位移补充全局平均角结果。低质量尾部和聚焦的余切诊断一致改善,而平均光度变化实际可忽略,几何扰动保持极小。其次,研究人员在官方15扫描DTU协议上评估第一阶段初始化,获得1.339 mm的整体倒角距离(Chamfer distance);该基准仅用作第一阶段初始化质量的证据。第三,四场景曲率和迭代消融确定了精化实际贡献的内容:无曲率变体比指数曲率加权产生更大的平均最小角增益,而均匀加权使该指标退化;100次迭代预算避免了在300和1000次迭代中观察到的新的Counter自相交标志。本工作的贡献有四个方面。第一,提出一种实用的GS到网格后处理流水线,在不重新训练源GS表示或改变面连通性的情况下精化现有显式网格。第二,引入曲率依赖调制机制,并针对仅图像、无曲率和均匀替代方案隔离其经验作用;重要的是,消融表明曲率加权并非最大平均最小角增益所必需。第三,提供完整的十场景最佳检查点评估,包括低尾三角质量、余切权重、定量自相交和位移诊断,以及官方15扫描DTU第一阶段基准和多场景消融。最后,提供方法范围的受限经验表征:CurvRender执行保守的网格质量精化,外观基本保持,但并非拓扑修复方法、严重退化修复方法,也未证明能带来下游任务性能增益。
一、研究背景与问题
精确的显式三维几何对于仿真、数字孪生、机器人交互、碰撞查询、几何感知渲染以及多模态三维监控和视觉分析等领域仍然至关重要。尽管现代神经场景表示极大地推进了新视角合成技术,但它们往往优先考虑辐射度保真度而非显式表面的可用性。三角网格仍是下游表示的主流形式,因为它支持直接的表面分析、标准图形工具、物理仿真和拓扑感知处理。
高斯泼溅(Gaussian Splatting,GS)通过各向异性高斯基元提供高质量、高效的神经渲染。后续工作改进了抗锯齿、泛化、密度控制和动态场景处理。然而,GS模型是基于点的,不能直接提供传统的三角网格。面向表面的方法如SuGaR、2DGS和高斯不透明度场(Gaussian Opacity Fields,GOF)通过重新设计或正则化重建表示来解决这一局限。但在许多实际部署的工作流中,已经存在训练好的GS模型和泊松(Poisson)导出的网格。当实际目标仅是需要较小的显式表面修正时,替换表示并重新训练场景可能是不必要的。
本研究因此提出一个刻意更窄的问题:给定现有的GS导出三角网格,图像空间优化能否进行局部几何修正,同时保持网格的整体结构和外观?可微光栅化使校准图像的梯度直接流向显式顶点,但无约束的顶点优化可能扭曲边缘、过度平滑显著结构或引入局部几何缺陷。因此,有用的后处理阶段必须在光度监督与保守几何正则化之间取得平衡。
二、研究内容与主要结论
研究人员提出CurvRender,一个两阶段流水线。第一阶段将预训练的GS点云转换为显式网格,包括法向估计、泊松重建、密度滤波和二次误差度量(quadric error metrics)简化。第二阶段固定面连通性,仅优化顶点偏移和轻量级逐顶点外观模型。目标函数结合图像重建与基于余切(cotangent)的曲率正则化、拉普拉斯(Laplacian)平滑、边长保持和偏移惩罚。
评估围绕该方法的保守范围设计。完整十场景最佳检查点结果显示,全局平均最小角变化很小,但相对效应在低质量尾部逐渐更显著:P10、P5、P1和最差1%均值的平均每场景相对改善分别为0.34%、0.51%、1.03%和1.48%,而全局均值为0.12%。全部五个角度汇总在10/10场景中改善。低于1°、2°和3°的三角形比例分别改善10、10和9个场景。余切权重诊断显示负权重比从0.079353降至0.078602,P99动态范围从11.012降至10.914,均在10/10场景中改善。外观变化实际很小,平均全图PSNR变化+0.005 dB,掩码PSNR变化+0.021 dB,SSIM变化-0.024,LPIPS变化-0.929。几何扰动极小,十场景平均顶点位移为Stage 1包围盒对角线的0.0002。定量自相交分析显示平均对计数从4.2降至3.6,涉及面计数从7.2降至6.5,均无统计显著性,且任何场景均未增加。
在官方15扫描DTU协议上,第一阶段初始化获得1.524 mm精度、1.154 mm完整度和1.339 mm整体倒角距离(Chamfer distance),与SuGaR的1.33 mm相当,但明显落后于2DGS(0.80 mm)和GOF(0.74 mm)。
消融研究澄清了曲率项的有限经验作用。均匀曲率加权降低平均最小角,在四个场景中均未改善。指数加权在全部四个场景中改善最小角,但无曲率变体产生更大的平均最小角增加和更大的低于1°比例降低。迭代预算研究显示,平均三角形状指标随预算单调改善,但300和1000次迭代在Counter中引入新的布尔自相交标志。因此选择100次迭代作为默认预算。
三、关键技术方法
研究人员使用的主要技术方法包括:法向估计采用30邻域KNN(k近邻)并一致定向;泊松表面重建使用深度8;密度过滤去除低于1%泊松密度分位数的顶点;二次误差度量简化将网格降至约80000三角形。第二阶段采用可微光栅化进行图像空间监督,使用余切拉普拉斯(cotangent Laplacian)计算离散平均曲率向量,构造曲率感知损失,辅以拉普拉斯平滑、边长正则化和偏移正则化。评估使用冻结几何的逐顶点颜色拟合协议,自相交诊断使用Open3D 0.18.0。数据集包括NeRF Synthetic的Lego和全部九个Mip-NeRF 360场景,以及官方15扫描DTU协议。
四、研究结果
完整十场景最佳检查点结果:通过对比精化前后网格,发现低尾三角质量和聚焦余切诊断一致改善,四个聚焦报告诊断的原始配对Wilcoxon p值均为0.0020,Bonferroni校正后p值均为0.008。外观变化实际可忽略,几何扰动极小,组合连通性在所有十场景中相同。
官方DTU第一阶段几何基准:通过官方15扫描协议评估,第一阶段初始化获得1.339 mm整体倒角距离,仅用于表征初始化质量,不将CurvRender呈现为最先进的GS到表面重建系统。
定性局部修正:通过Garden和Lego场景的初始与精化对比,展示几何变化在视觉上微妙且局部,位移图显示顶点更新位置,法向着色视图说明外观变化细微。
计算特征与失败模式:Stage 2在单个iHPC GPU上完成100次迭代需1.6-1.8秒。主要失败模式是弱或模糊的图像空间监督,如Treehill在全图PSNR下损失0.211 dB。第二个局限是几何缺陷修复:固定连通性阻止面创建/删除,定量自相交减少无统计显著性。
曲率加权消融:通过Lego、Counter、Bonsai和Garden四场景比较,无曲率变体比指数加权产生更大的平均最小角增益,均匀加权使该指标退化,因此曲率加权被解释为目标调制而非几何改善的主要来源。
迭代预算消融:通过比较50、100、300和1000次迭代的预算末端网格,发现较长预算改善平均三角指标,但300和1000次迭代引入新的Counter自相交标志,因此选择100次迭代作为默认拓扑风险和效率权衡。
五、讨论与结论
讨论部分将CurvRender定位为与专用GS到表面重建系统互补而非竞争。在DTU上,Stage 1与SuGaR相当但落后于2DGS和GOF,Stage 2不包含在该重建基准中。Stage 2解决流水线中不同的点:它接收已提取的兼容显式网格并进行小的固定连通性顶点修正。
实际范围方面,Stage 2改变三角分布的低质量部分和余切权重统计,同时保持组合连通性不变并引入极小的顶点位移。然而,研究人员未测量矩阵条件数或端到端下游任务性能,这些诊断不应被解读为这些任务的已证明性能增益。仿真和有限元分析、碰撞处理、引擎资产和增材制造可能对三角质量敏感,但其端到端收益未在此评估。需要无相交、水密、流形或仿真就绪几何的应用仍需专门验证和必要的网格修复。Stage 2不是拓扑修复方法,也未可靠移除最极端退化。DTU Scan 24试点未改善官方倒角距离,因此不声称Stage 2改善地面真实重建精度。
研究结论指出,CurvRender是一种保守的两阶段后处理流水线,用于高斯泼溅点云导出的显式网格。Stage 1在官方15扫描DTU协议上获得1.339 mm整体倒角距离。对于默认最佳检查点Stage 2输出,全局平均最小角变化很小,但低尾三角质量和聚焦余切权重诊断在十个场景中一致改善,归一化顶点位移极小,光度指标基本不变。定量自相交分析不支持系统性相交移除的声称,极端细长三角形和近退化面积面未可靠改善。曲率消融显示无曲率变体比指数加权产生更大的平均最小角增益,因此曲率被保留为目标调制而非改善的主要来源。总体而言,CurvRender是一个有界的局部网格质量精化模块,不是专用表面重建、拓扑修复或严重退化重网格化的替代品。