《IEEE Open Journal of Signal Processing》:Failing to Reflect Reality: Gaussian Splatting's Collapse on non-Lambertian Surfaces
编辑推荐:
为解决3DGS在非朗伯表面(如玻璃、镜面)重建失败的问题,研究人员开展了针对各向异性材质的视图合成研究。结果表明,GS优化会导致错误几何收敛,且球谐函数无法表征一致的视图依赖,这质疑了当前3DGS材质表示的合理性。
在计算机图形学与计算机视觉的交叉领域,视图合成(View Synthesis, VS)一直是炙手可热的前沿方向。想象一下,仅凭几张静态照片,就能通过算法“脑补”出物体任意角度的逼真画面,这不仅是元宇宙的基石,也是AR/VR、自动驾驶仿真测试的核心技术。近年来,3D高斯溅射(3D Gaussian Splatting, 3DGS)凭借其惊艳的渲染速度与渲染质量,迅速成为神经渲染领域的新宠,被许多人视为神经辐射场(NeRF)的“颠覆性”替代方案。然而,正如古希腊神话中的英雄阿喀琉斯拥有脆弱的脚踵,3DGS这套“屠龙技”在面对光洁的玻璃、锃亮的金属、流转的丝绸等非朗伯表面(non-Lambertian surfaces)时,却频频“失手”,渲染结果往往出现诡异的模糊、扭曲甚至逻辑错误的光影,严重制约了其在真实工业场景中的应用。
为什么3DGS在这些“反光”物体面前会“失灵”?传统的观点将其归咎于外观建模能力的不足。为了捕捉视角变化带来的光影差异,3DGS引入了球谐函数(Spherical Harmonics, SH)来模拟视角相关的颜色变化。这曾被视为解决各向异性外观的“银弹”。但事实果真如此吗?这篇发表在《IEEE Open Journal of Signal Processing》上的论文《Failing to Reflect Reality: Gaussian Splatting's Collapse on non-Lambertian Surfaces》发出了不同的声音。研究团队通过严谨的逆向思维实验证明:3DGS在非朗伯表面上的失败,并非简单的“画皮”不准(外观拟合失败),而是伤筋动骨的“骨架”错误(几何重建崩溃)与“画皮工具”的先天缺陷(SH表征局限)。
为了揭开3DGS失效的真相,研究人员没有采用复杂的工程修补,而是设计了“理想实验”与“归因实验”相结合的验证策略。他们首先利用基准测试(Benchmarking experiments),在已知真实几何(Ground Truth)的非朗伯场景下运行3DGS优化,观察其重建路径;其次,他们分离了几何与外观的耦合优化,单独测试了球谐函数在复杂视图依赖(view-dependent)场景下的拟合能力。
关键实验技术方法
本研究主要基于3D高斯溅射(3DGS)的原生优化框架,通过控制变量法设计实验。技术核心包括:利用视图合成(VS)的定量指标(如PSNR、SSIM)评估渲染质量;在非朗伯表面(玻璃、镜面)数据集上进行基准测试,对比重建几何与真实几何(Ground Truth)的偏差;以及通过球谐函数(SH)的阶数调整实验,分析其对各向异性外观(anisotropic appearance)的表示能力。所有实验均基于标准3DGS pipeline,未引入额外的深度传感器数据。
研究结果
几何的迷失:收敛于谬误
3DGS优化收敛到错误的几何结构。
这是一个反直觉的发现。通常我们认为,只要有足够的输入视图,优化算法应该能收敛到物体的真实表面。但研究团队发现,在包含镜面反射或透明折射的场景中,3DGS的随机梯度下降(SGD)优化过程会陷入一个“视觉欺骗”的局部最优解:它重建出的高斯椭球(Gaussian ellipsoids)位置和形状,虽然能让最终的2D渲染图在训练视角下“看起来”正确(即重投影颜色误差最小),但其对应的3D几何却与物体的真实表面大相径庭。例如,在重建一个玻璃杯时,3DGS可能会在杯体内部或后方生成大量本不存在的“虚像”高斯核,以“欺骗性”地拟合光线穿过玻璃产生的折射效果。基准测试证实,即使提供了真实几何(Ground Truth)作为初始值或约束,优化过程依然会偏离真实表面,这证明了错误并非源于初始化,而是源于3DGS的光度重建损失函数(photometric reconstruction loss)本身在非朗伯场景下的歧义性。
表象的陷阱:球谐函数的无力
球谐函数无法表示一致的视图依赖。
如果说几何错误是“骨架”歪了,那么球谐函数的失效则是“画皮”工具不好用。论文指出,球谐函数(SH)虽然能有效模拟朗伯表面的柔和光影,但其数学本质(低频信号基函数)决定了它难以捕捉非朗伯表面(如金属、玻璃)那种随视角剧烈变化(high-frequency view-dependent)的颜色和亮度突变。当光线射入各向异性材质时,其反射/折射光强分布函数(BRDF/BTDF)具有极高的频率特性。试图用低阶球谐函数去拟合这种高频信号,要么会产生严重的振铃效应(ringing artifacts),要么会丢失细节,导致渲染出的镜面反射显得浑浊、模糊,或者透明物体的折射产生错误的色散。更本质的问题是,SH缺乏空间一致性(spatial consistency):为了拟合不同视角下的颜色,它可能会给同一个3D空间点赋予截然不同的SH系数,这违背了物理世界中材质属性应是空间不变的基本原理。
结论与展望:呼唤更真实的基元
这项研究得出了一个严峻的结论:当前基于高斯溅射和球谐函数的视图合成框架,在物理上无法正确重建和渲染高度非朗伯物体。 其根本原因在于,3DGS的可微渲染(Differentiable Rendering)过程与非朗伯光照模型(non-Lambertian light transport)之间存在不可调和的矛盾。优化算法为了最小化2D图像平面的像素误差,会牺牲3D几何的正确性,而外观模型(SH)又无法表征真实的物理材质属性。
这一发现具有深远的启示意义。它呼吁学界和工业界重新审视当前神经渲染中“重外观、轻物理”的倾向。未来的视图合成技术,若想真正应用于高精度模拟、工业质检、数字孪生等严肃领域,必须转向更具物理意义的基元(more realistic primitives),例如显式建模微表面(microfacet)的材质模型,或引入光线追迹(ray tracing)的物理约束。这不仅是一个算法优化问题,更是一场从“视觉拟合”到“物理重建”的范式革命。