基于矢量量化和高效视频编码的已训练三维高斯溅射模型混合压缩方法

《Sensors》：Hybrid Compression Method for Trained 3D Gaussian Splatting Models Based on VQ and HEVC

　　

三维高斯溅射（3DGS）近期已成为沉浸式三维场景渲染的一种有效表示方法，能提供高视觉保真度和实时渲染效率。为支持对已训练3DGS内容进行可互操作的压缩，动态图像专家组（MPEG）正在探索高斯溅射编码（GSC），其主要目标是遵循INRIA参考格式的已训练3DGS模型。当前基于视频的GSC锚点方法通过并行分配线性排序（PLAS）将3DGS属性重排为二维属性图，并利用高效视频编码（HEVC）对生成的属性图进行压缩。然而，即便经PLAS重排后，高阶球谐交流系数（SH-AC）通常仍保持不规则性且呈现较低局部空间相关性，从而限制了传统视频编解码器的编码效率。本文提出一种矢量量化–高效视频编码（VQ-HEVC）混合压缩框架，该框架在结构上与基于视频的GSC锚点框架兼容，其中SH-AC系数通过矢量量化（VQ）索引表示，而其余属性则采用与GSC锚点相同的基于HEVC的过程进行编码。所提方法采用两阶段VQ方案，该方案结合了粗VQ和基于乘积量化的残差量化，并配合零掩膜残差VQ和灵活乘积量化分组，以提升不同码率点下的索引图编码效率。生成的VQ索引被封装为YUV400索引图序列并利用HEVC无损编码，相应的码本则以元数据形式传输。在MPEG GSC通用测试条件（CTC）下的Bartender和Cinema序列上的实验结果表明，在所评估的设置中，所提方法在多个客观质量指标上均较基于视频的GSC锚点实现了码率–失真性能的持续提升。就RGB峰值信噪比（RGB-PSNR）而言，所提方法在Bartender和Cinema数据集上分别取得了22.3%和18.5%的BD-rate降低。这些结果表明，对于所评估的GSC CTC序列，基于VQ的SH-AC表示能在保持与现有GSC编码结构一致性的同时有效补充基于PLAS的视频编码。

这篇论文《基于矢量量化和高效视频编码的已训练三维高斯溅射模型混合压缩方法》发表于《Sensors》期刊，聚焦于三维高斯溅射（3DGS）模型压缩这一沉浸式媒体领域的关键问题。3DGS作为一种显式点基表示，通过各向异性三维高斯集合描绘场景，每个高斯包含位置、尺度、旋转、不透明度及球谐（SH）系数等属性，能够在实时渲染中兼顾高视觉保真度，适用于自由视点视频、虚拟现实和六自由度（6DoF）媒体等应用。然而，已训练的3DGS模型通常包含数百万个高斯，每个高斯需用数十个浮点属性表示，导致巨大的存储和传输开销，限制了其在网络化沉浸式媒体系统中的实际部署。为降低模型规模，研究者探索了剪枝、量化、属性变换及熵建模等方法，其中包括基于矢量量化（VQ）的压缩方案，例如CompGS利用K-means VQ来压缩高斯参数（含SH系数）。然而，从标准化角度而言，这些方法多作为独立模型压缩框架开发，难以直接融入动态图像专家组（MPEG）当前探索的基于视频的高斯溅射编码（GSC）管道。MPEG正通过GSC特设组（AhG）推动标准化活动，旨在为已训练3DGS内容建立可互操作的压缩框架，其中基于视频的GSC锚点通过并行分配线性排序（PLAS）将属性重排为二维图并用高效视频编码（HEVC）压缩，但其存在一个固有限制：高阶SH系数（SH-AC系数）负责视点依赖的外观变化，与空间位置相关性弱，经PLAS重排后仍呈现不规则的局部低空间相关性，从而成为整体码率–失真性能的主要瓶颈。

为解决上述问题，研究人员提出了一种与基于视频的GSC锚点框架结构兼容的VQ-HEVC混合压缩框架。该框架并非引入独立VQ压缩方案，而是将VQ基SH-AC表示集成到现有GSC锚点中。具体地，研究人员首先分析PLAS重排后的属性图空间相关性特征，证实SH-AC系数图的邻居相关性最低，是编码效率受限的根源。随后，他们设计了两阶段VQ方案：第一阶段采用粗VQ对整个45维SH-AC向量进行粗量化；第二阶段利用基于K近邻（KNN）贪婪分组的乘积量化（PQ）对残差向量进行残差量化，以降低量化误差。此外，引入零掩膜残差VQ将小幅值残差子向量显式映射到零索引，增加残差索引图稀疏性，从而提升HEVC压缩效率。生成的VQ索引封装为YUV400帧序列，并利用HEVC无损模式编码，保留码本和参数作为元数据，解码时经逆VQ后处理重构SH-AC系数。研究人员在MPEG GSC通用测试条件（CTC）的Bartender和Cinema序列上评估该方法，这两个数据集均包含20张全高清多视角图像及其对应的已训练3DGS模型。主要技术方法包括：基于K-means的MiniBatch聚类训练码本，结合KNN维度分组以组织残差子向量，以及PLAS预处理保持锚点兼容性。

研究结果通过多个小标题详细展示。锚点与评估设置部分说明GSC锚点采用PLAS重排和HEVC压缩，其中位置属性经16比特定点量化后以无损模式编码，其余属性经最小–最大归一化至10比特后按表分配量化参数（QP）。VQ码本训练与KNN分组设置部分指出，两级码本大小固定为1024，每SH-AC向量由1个粗索引和多个残差索引表示，元数据总额为0.369045 MB，模型独立训练，且采用固定随机种子保证可重复性。固定子向量组配置部分显示，将残差向量分为9个5维子组并应用零掩膜控制码率，通过调整零掩膜阈值（RP1至RP4分别设为0.95、0.8、0.6和0）实现了模型大小与重构质量的权衡；与GSC锚点相比，所提方法在Bartender和Cinema数据集上实现显著BD-rate降低（RGB-PSNR分别达22.3%和18.5%），且元数据大小稳定。灵活子向量组配置部分表明，根据码率点动态调整残差子向量组数（RP1至RP4组数由少至多）能进一步改善索引码率与重构质量的平衡，较固定配置额外获得约5~6%的BD-rate增益，在Bartender数据集的RGB-PSNR、YUV-PSNR和结构相似性（SSIM）上BD-rate降低分别达22.3%、26.9%和20.1%，在Cinema数据集上分别为18.5%、20.2%和13.9%。消融研究部分使用Bartender数据集评估各组件贡献：仅第一阶段VQ覆盖34.3–36.7 dB低质量范围，BD-rate降低30.9%但无法达高质量点；加入全向量残差VQ将质量提至38.1 dB；PQ分组与KNN联合使最大RGB-PSNR扩展至约43–44 dB；零掩膜显著提升BD-rate至?17.2%；灵活分组进一步优化至?22.3%，证实各模块的有效性。复杂度比较部分显示，所提方法编码总时间因VQ索引帧减少而低于锚点，解码时间在多数码率点相当或更优，峰值内存使用降低约7.1%。渲染质量比较部分通过Bartender数据集View 6的视觉对比表明，所提方法在较低码率下能与锚点保持可比渲染质量，局部区域色彩更接近原始未压缩参考，但因VQ未直接利用邻居空间关联，偶尔会引入局部色彩不一致伪影。

在总结讨论中，研究人员指出所提VQ-HEVC混合框架在评估的GSC CTC设置内能有效补充基于PLAS的视频编码，保持与GSC锚点的结构和实验兼容性。研究结论强调，对经PLAS重排后仍呈现低空间相关性的SH-AC系数应用VQ表示，可显著提升压缩效率；两阶段VQ配合零掩膜及灵活PQ分组策略，在多种客观质量指标上较GSC锚点实现一致的BD-rate降低。该方法保留了原有PLAS预处理、HEVC图编码和渲染过程，但因元数据当前以独立NPZ文件存储且需逆VQ后处理，尚未实现比特流级别的GSC语法一致性。未来工作将探索将该方法扩展至跟踪动态3DGS序列，利用高斯间时间对应关系进行帧间VQ，并研究自适应帧间VQ及标准化元数据信令。