基于方向遮罩与分裂和近似的可重光照 3D 高斯泼溅

《Displays》：Relightable 3D Gaussian Splatting via directional masking and Split-Sum approximation

　　

• •
  一种无深度方向遮罩通过自监督优化解决了高斯法线的符号歧义问题。
• •
  一个显式的 Split-Sum 物理渲染管线在不依赖隐式着色网络的情况下解耦了材质和光照。
• •
  该方法以约 145 FPS 的渲染速度实现了最先进的重光照质量。

引言

基于物理的重光照（PBR）构成了沉浸式应用的基本基石，包括数字孪生 [1], [2]、虚拟现实（VR）和增强现实（AR）。此类应用日益需求对复杂三维内容进行实时、高保真的渲染 [3], [4]。最近，3D 高斯溅射（3DGS）[5] 通过提供远超传统隐式神经表示的实时渲染能力，彻底改变了新视角合成。

尽管效率前所未有，但原始的 3DGS 框架严格耦合了几何、材质和光照。它本质上将视角相关的外观直接烘焙到球谐函数（SH）系数中。因此，这种纠缠表示限制了 3DGS 适应新光照条件或支持材质编辑的能力，严格限制了其在动态虚拟环境中的应用。

为了实现场景分解，已提出了许多逆渲染方法。从稀疏的二维观测中恢复忠实的三维几何仍然是工业和视觉应用中的核心挑战 [6], [7]，其中可靠的几何和相机估计是必不可少的先决条件 [8]。基于神经辐射场（NeRF）的早期方法，如 NeRFactor [9]，成功地解耦了形状和反射率，但受到高昂的体积渲染成本的阻碍。为了加速这一过程，近期方法将逆渲染集成到 3DGS 管线中 [10], [11]。然而，像 GaussianShader [12] 和 GIR [13] 这样的最先进方法存在两个关键缺陷。首先，它们严重依赖外部且易受噪声影响的伪深度图进行几何监督，导致拓扑伪影和表面对齐受损 [14]。第二，它们采用隐式多层感知机（MLPs）进行材质解耦。这种“黑盒”方法违反了物理光传输定律，导致光滑表面的菲涅尔效应不准确和高光伪影 [15]。

为了解决这些局限性，我们提出了一种新颖的显式几何 - 光照解耦框架。对于几何重建，我们从数学上证明了压扁的 3D 高斯协方差矩阵的最短轴自然地代表了局部表面法线。为了克服该轴固有的方向歧义（符号翻转），我们引入了方向遮罩和梯度惩罚机制。这种策略迫使模型在反向传播期间自主翻转错误的法线。结合图像梯度引导的光滑约束，我们的方法无需依赖任何外部深度先验即可提取高精度、连续的法线。

此外，我们将 Split-Sum 近似引入 3DGS 可微分光栅化器，重建了一个物理精确的渲染管线。而不是依赖无约束的隐式 MLPs，我们显式地对 Cook-Torrance BRDF 进行参数化，并在数学上将高维渲染方程拆分为预滤波环境贴图和预积分 BRDF 查找表（LUT）。这种数学简化将蒙特卡洛积分的 $\mathcal{O}(N)$ 复杂度降低为 $\mathcal{O}(1)$ 纹理查询，实现了实时 PBR 着色，并呼应了先前加速计算密集型重建和渲染管线的努力 [16]。

本工作的主要贡献有三点：

• •
  我们提出了一种基于方向遮罩机制的无深度、自监督几何优化策略，直接从 3D 高斯基元的拓扑属性中准确估计法线。
• •
  我们在 3DGS 中利用 Split-Sum 近似构建了第一个显式 PBR 管线，实现了物理精确的材质 - 光照解耦，且不使用黑盒 MLPs。
• •
  在合成基准上的大量实验表明，我们的方法实现了最先进的几何估计和重光照质量，同时显著加速了渲染速度。

章节摘要

神经逆渲染

逆渲染的基本目标是从 2D 观测中将场景分解为内在组件——几何、材质和光照 [7]。早期的神经方法利用神经辐射场（NeRF）[17] 的连续公式来处理这个高度病态的问题。NeRFactor [9] 和 Neural-PIL [18] 等开创性工作表明，隐式表示可以在未知光照下成功解耦形状和反射率。然而，

概述

首先，为了克服非结构化点云中法线估计的固有歧义，我们引入了一个自监督几何优化模块。我们从高斯协方差矩阵的最短轴中数学提取局部表面法线 ${\mathbf{n}}_i$，并采用方向遮罩机制来惩罚背面基元。同时，一个神经入射光场近似高动态范围（HDR）环境光照，剥离初始高斯颜色中烘焙的光照

数据集

为了全面评估我们提出的几何 - 光照解耦和重光照框架的性能，我们在 TensoIR 合成基准 [24] 上进行了大量实验。TensoIR 数据集提供了复杂物体在各种高频 HDR 环境光照下的高质量多视角渲染。至关重要的是，它为内在场景属性提供了严格的真值注释，包括表面法线、基础颜色（反照率）和多视角重光照图像，

关于内存占用和可扩展性的讨论

内存消耗是任何显式表示的决定性实际约束，为每个高斯增加基于物理的材质属性必然会增大每个基元的负载。因此，我们直接从参数化角度分析这一开销。以下分析是解析性的，因为它源于表示的属性布局而不是运行时剖析。这是一个有意为之的选择：测量的分配数字受到框架

结论

在本文中，我们提出了一种基于 3D 高斯溅射（3DGS）的高效且物理合理的可重光照框架。为了解决离散几何重建中的固有歧义，我们引入了一种由新颖方向遮罩机制驱动的自监督法线优化策略。此外，我们将 Split-Sum 近似显式集成到可微分光栅化管线中，成功克服了评估

CRediT 作者贡献声明

Boyang Li： 构思，方法论，软件，验证，正式分析，调查，数据管理，撰写 - 初稿，撰写 - 审阅与编辑，可视化。Tianhan Gao： 构思，监督，项目管理，资金获取，撰写 - 审阅与编辑。Zuan Gu： 构思，监督，撰写 - 审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。

致谢

作者感谢东北大学提供的计算资源。

Boyang Li|Tianhan Gao|Zuan Gu