用于高效压缩高斯溅射球面谐波的低秩近似方法

《IEEE Transactions on Circuits and Systems for Video Technology》：Low-Rank Approximation for Efficient Compression of Gaussian Splatting Spherical Harmonics

　　

摘要：

3D高斯泼溅技术能够实现实时、高保真的渲染，但由于用于视图相关外观建模的球面谐波系数会导致模型体积过大，其参数数量会随着程度的增加而呈二次方增长。本文首次系统地研究了3D高斯泼溅技术中球面谐波系数的固有低秩结构，并加以利用。与以往通过截断光谱能量的方法不同，所提出的低秩处理方式能够保留光谱信息，从而在大幅减少存储量的同时保持较高的视觉质量。文中介绍了两种互补的方法：(1)SHAC-PCA（主成分分析）是一种即插即用的后期压缩工具，能够保留主要的光谱方差，以实现高保真压缩；(2)SHAC-LST（学习子集变换）则是一种集成训练的方法，它将球面谐波系数的交流分量分解为低维子集系数和共享的变换矩阵，通过正则化处理进一步提升压缩效果和图像质量。这两种方法都能有效将球面谐波系数的存储复杂度降低到较低水平。大量实验表明，这些方法能够在保持甚至提升渲染质量的同时显著减少内存使用量。所提出的技术具有很强的通用性：SHAC-PCA可应用于任何预训练的3D高斯泼溅模型，而SHAC-LST则支持端到端训练或微调。此外，这两种方法都与现有的3D高斯泼溅压缩流程兼容，为高效压缩该技术中的球面谐波系数提供了实用且通用的解决方案。

I. 引言

作为下一代视觉媒体，体视频能够实现动态3D内容的自由视角浏览，在娱乐、教育等诸多领域都具有巨大潜力。凭借其逼真的视觉效果和实时渲染能力，3D高斯泼溅技术已逐渐成为体视频领域的主流表示方法。然而，存储效率问题仍是该技术得到广泛应用和部署的关键障碍。造成这一问题的一个重要因素就是，为了实现视图相关的外观建模，需要使用球面谐波系数。对于标准的程度而言，球面谐波系数占据了每个高斯参数的绝大部分（超过80%），并且其数量会随着程度的增加而呈二次方增长，这严重限制了存储效率。正因如此，人们有必要开发专门针对球面谐波系数的有效压缩策略。