面向高保真表面重建的3D高斯泼溅中的透明度感知密度控制

《Pattern Recognition Letters》：Opacity-Aware Density Control in 3D Gaussian Splatting for High-Fidelity Surface Reconstruction

　　**摘要与贡献要点：**- 为3D高斯溅射（3DGS）提出一种密度保持的不透明度调整方法。- 推导重叠校正因子 η(ε, δ, Σ) 的闭式解。- 在高斯体空间分离分裂过程中保持局部密度。- 可直接集成至 SteepGS，开销极低（每次分裂仅需10次算术运算）。- 在C3VD数据集上取得38.96 dB的PSNR（较当前最优提升2.66 dB）。---**引言**3D高斯溅射（3DGS）已成为一种强大的实时照片级真实感渲染与表面重建框架。通过将场景表示为一组各向异性的3D高斯体，3DGS借助硬件加速光栅化实现了高效的可微分渲染，在图像质量上可与神经辐射场（NeRF）相当，而渲染速度快出数个数量级。这种效率使3DGS成为医学影像等交互式应用的首选方案。它也正日益被应用于3DGS资产的内容保护与溯源验证等领域。3DGS还被扩展到具有挑战性的领域中的表面几何重建：在月球地形场景中，几何先验与空间频率监督提高了重建保真度；在水下场景中，退化感知的外观建模解决了光衰减和色彩失真问题。3DGS优化的一个关键组成部分是**致密化**，即通过分裂高斯体来增加局部表示能力。当梯度幅值表明覆盖不足时，父级高斯体会被分裂为多个子级高斯体，布置在原始位置周围。这种自适应细化使3DGS能够捕捉原本被欠表征的精细几何细节。然而，致密化引入了一个根本性挑战：**分裂过程中应如何调整不透明度以保留局部密度？**现有方法采用简单启发式规则：将父级不透明度减半，即每个子级的不透明度设为父级不透明度的二分之一。该规则假设子级之间存在完美的空间重叠，即两个子级占据完全相同的位置。然而，致密化明确将子级**分离**开来以扩展覆盖范围。当两个不透明度为0.5的高斯体被位移距离2ε时，它们的空间重叠度降低，导致渲染方程中出现**局部密度损失**：$$C(u) = \sum_i O^i \cdot \mathcal{N}(u; \Pi(p^i), \Pi(\Sigma^i)) \cdot T^i$$其中，u 表示像素位置，Π(p?) 和 Π(Σ?) 分别为高斯体的中心和协方差投影到图像平面上的结果，T? 表示透射率，代表尚未被更近高斯体吸收的光线比例。换言之，每个像素的颜色由投影高斯体的加权贡献累加而成，每项贡献取决于其不透明度 O?、该像素处投影高斯核的值以及透射率 T?。这对高斯分裂有直接影响：当父级高斯体分裂为两个子级时，传统分裂方法为每个子级分配父级不透明度的一半。如果子级在空间上发生位移，它们与给定像素的投影重叠度可能降低，导致它们在该位置的联合贡献低于父级。因此，累加颜色 C(u) 可能被低估，使对应表面显得更薄或部分透明。一条射线与父级原始区域相交时，现在会遇到两个分离的半不透明高斯体，其重叠度降低。累加的辐射贡献减少，表现为半透明表面、不完整几何体以及退化的重建质量。此问题在多次致密化周期中不断累积，造成额外的密度损失，并逐步降低几何复杂区域的表面保真度。近期研究已认识到原则性致密化策略的重要性。SteepGS 引入了一个严格的优化理论框架，用于决定何时及何处进行分裂，通过分裂矩阵识别可降低损失的优化方向。其他方法则通过显式几何正则化来强制表面保真度，例如NAS-GS将法线对齐与表面约束优化相结合。然而，SteepGS仍沿用朴素的不透明度减半规则，关于**如何调整不透明度**的问题尚未解决。我们提出一种密度保持的不透明度调整方法来填补这一空白，该方法显式考虑了子级之间的空间分离。所提方法推导出解析重叠因子，量化分离高斯体之间的空间相互作用，该因子为分离距离、分裂方向和协方差结构的函数。通过施加子级联合贡献需保持父级局部密度的约束条件，我们获得闭式解，其中校正因子补偿了重叠度的降低。该方法可直接集成到现有3DGS管线中，仅修改分配给每个子级的标量不透明度，每次分裂仅需约17次额外算术运算。分裂方向、子级数量及管线中所有其他组件均保持不变。因此，该方法不引入任何新基元、参数或超参数，也不增加模型复杂度。本文的主要贡献如下：- 严格分析了朴素不透明度减半导致的局部密度损失，建立了分裂过程中引入的空间分离与由此产生的渲染退化之间的关联。- 提出闭式重叠校正因子 η(ε, δ, Σ)，可在单次计算中实现密度保持的不透明度调整，无需迭代优化或额外的学习参数。- 在来自四个数据集的八个序列上进行了全面评估，证明了与朴素不透明度减半方法相比的一致性能提升，且计算开销极低。综上所述，这些贡献表明，原则性的不透明度控制是高保真3DGS重建中对原则性分裂准则的一个重要且此前被忽视的补充。---**3D高斯分裂框架**直觉上，3DGS将场景表示为一组柔和的、有朝向的、有颜色的"团块"。每个团块对应一个3D高斯体，由其位置、协方差、颜色和不透明度定义。协方差决定了其空间范围和朝向，不透明度控制其对渲染图像的贡献。渲染图像的本质就是将每个团块投影到相机平面上，并根据其不透明度从前到后进行颜色混合。形式化地说，3D高斯体…**不透明度感知的密度控制**我们在此形式化定义所提出密度感知不透明度初始化背后的密度保持不透明度调整方法，显式考虑空间分离、分裂方向和协方差结构，以在3D高斯分裂过程中保持局部密度。**实验评估**密度保持不透明度调整方法在多个数据集上进行了评估，并与当前最优方法进行了比较。与朴素不透明度减半方法的对照实验进一步隔离验证了所提方法的有效性。实验结果表明，在计算开销极低的前提下，重建质量得到了一致性提升。---**结论**本短文识别了3DGS高斯分裂过程中不透明度减半规则的一个特定失效模式：即对子级之间存在完美空间重叠的隐含假设。该假设在子级分离以扩展空间覆盖时即不成立。我们推导了一个闭式校正因子 η(ε, δ, Σ)，通过考虑分离距离、分裂方向和协方差形状来恢复局部密度一致性，并展示了如何与 SteepGS 的框架直接集成。---**作者贡献声明****SULIMAN：** 原稿撰写、验证、方法论、数据分析。**Shuhuan Wen（文书环）：** 数据管理、基金获取、调查研究、资源。**Yunxiao Li（李云晓）：** 审稿与编辑、验证、监督。**Jiaqi Li（李家奇）：** 验证、调查研究、形式化分析。**Shakir Ullah：** 资源、审稿与编辑。**利益冲突声明**作者声明不存在可能影响本文工作的已知竞争性财务利益或个人关系。**致谢**本工作部分得到国家自然科学基金（项目号62273296）和河北省创新能力提升计划项目（项目号22567619H）的资助。---Suliman | Shuhuan Wen | Yunxiao Li | Jiaqi Li | Shakir Ullah