基于RAHT的几何点云压缩改进帧间预测方法

《Journal of Visual Communication and Image Representation》：RAHT-based improved inter prediction for Geometry-based Point Cloud Compression

　　

• •
  提出了一种改进的三维点云压缩帧间预测方法。
• •
  利用属性残差细化了预测的适用性检查。
• •
  利用共面邻居准确插值空的参考节点。
• •
  所提方法在彩色属性方面带来了显著的码率节省。

引言

三维点云由空间坐标和属性[1]组成，可以支持广泛的应用，从沉浸式通信[2]到自动驾驶和环境监测[3]。为了实现对三维场景的可靠理解，各种特征学习网络被提出以建模局部几何结构，用于分类和语义分割等下游任务[4]、[5]。最近，视觉内省网络被开发用于处理小样本场景中的域差距问题[6]。除了基于坐标的点云之外，三维高斯泼溅作为一种下一代显式三维表示也获得了极大的关注，支持渲染、编辑和生成应用[7]。然而，点云庞大的数据量，尤其是动态序列中的巨大体量，对存储和实时传输构成了相当大的负担。因此，开发高效的压缩方法对于在保持结构和属性保真度的同时减少数据开销至关重要[8]。

为了促进高效的压缩和推动点云的更广泛应用，运动图像专家组（MPEG）于2017年启动了三维点云压缩标准[9]。该工作最初引入了三种不同的测试模型：静态点云测试模型1（TMC1）、动态稠密点云测试模型2（TMC2）和雷达点云测试模型3（TMC3）[10]。随后，TMC1和TMC3被整合为基于几何的点云压缩（G-PCC）标准[11]，采用TMC13测试模型。随着技术的持续演进，G-PCC的第二版——增强型G-PCC（E-GPCC）将于2026年发布[12]。专注于将三维点云压缩为二维几何和属性视频的TMC2推动了基于视频的点云压缩（V-PCC）的发展[13]。最近，基于学习的方法被积极探索以优化动态激光雷达点云的压缩效率，例如相关性排序引导的区域自适应动态压缩框架（R2D-LPCC）[14]，该方法通过优先处理语义重要区域来优化比特分配。在这些基于深度学习的方法[14]、[15]、[16]、[17]、[18]、[19]、[20]的推动下，MPEG最近启动了基于人工智能的点云压缩（AI-PCC）标准。

本文关注E-GPCC框架。如图1所示，编码过程被解耦为几何部分和属性部分。在编码过程中，输入的三维坐标被量化和体素化为离散整数。几何信息随后基于三角汤[21]、八叉树[22]或预测树[23]进行编码，生成几何比特流。之后，重建的几何信息被用作属性预测和变换的空间参考。该标准提供了三种属性变换工具：区域自适应分层变换（RAHT）[24]、预测变换（PT）[25]和提升变换（LT）[26]。变换系数经过量化并使用算术编码器进行熵编码，生成属性比特流。

在解码端，几何比特流首先经过算术解码和逆量化以得到重建的几何信息。属性比特流随后在重建几何信息的引导下进行算术解码和逆变换。根据编码期间选择的变换（RAHT、PT或LT），应用相应的逆过程进行属性重建[27]。本文重点关注RAHT，因为它是三种变换工具中编码增益最高的。

RAHT是一种类似于自适应Haar小波的分层变换。变换从八叉树的根节点逐步执行到叶节点，最终生成直流（DC）和交流（AC）系数，后者随后逐层编码。为了减少时间冗余，E-GPCC引入了AC系数的帧间预测[28]。具体来说，编码器从参考帧预测当前帧的AC系数，仅编码预测残差，从而提高编码效率。

然而，当前帧和参考帧之间的几何差异导致RAHT系数构成的不一致性，这影响了帧间预测性能，在某些情况下甚至低于帧内编码的效率。特别是，在这种几何不匹配的情况下，现有的帧间预测适用性准则未能纳入重建的属性先验信息，而对空参考子节点的插值策略则忽略了局部空间相关性。

为解决这些特定问题，我们提出了一种优化的RAHT帧间预测方法。首先，我们引入了一种细化的适用性判定算法。通过评估当前节点和参考节点之间属性的重建残差，该方法有效地过滤掉了会降低编码效率的非最优预测候选。其次，我们为空的参考子节点提出了一种细化的属性插值算法，该算法利用共面相邻子节点的加权平均属性，从而基于局部空间相关性对缺失的参考值提供更优的插值。

本文其余部分的组织结构如下。第2节简要概述了E-GPCC中的RAHT及其相关的帧间预测技术。第3节详细阐述了所提方法。在第4节中，我们通过全面的实验结果和分析评估了所提方法的性能。最后，第5节总结了全文。

各节摘录

相关工作

RAHT最初由Queiroz等人[29]提出，是E-GPCC中关键的一种属性编码工具。它基于八叉树架构，作为一种分层变换运行，类似于自适应Haar小波。如图2中的"层划分"所示，八叉树通过对根节点进行递归划分为八个子节点构建，直到达到叶层。这种递归细分实现了高效的分层组织和空间

所提方法

所提方法集成了两个顺序且互补的算法，以协同优化RAHT帧间预测性能。具体来说，所提方法使用细化的适用性判定算法（第3.1节）评估每个节点的帧间预测适用性，并使用细化的属性插值算法（第3.2节）对空的参考子节点进行属性插值。通过协同耦合这两个算法，所提方案实现了

实验结果

我们在最新E-GPCC参考软件版本28.0候选发布版本2（TMC13v28.0-rc2）[37]中实现了所提方法以验证其性能。测试使用了MPEG类别2（Cat2）动态点云数据集，该数据集根据通用测试条件（CTC）[38]中定义的内容复杂级别被细分为Cat2-A、Cat2-B和Cat2-C。实验在配备Intel i7-13790 K处理器和32 GB内存的硬件平台上进行，运行于

结论

本文提出了一种改进的RAHT帧间预测方法，用于动态三维点云的属性编码，重点关注两个关键问题：适用性判定准则和空参考子节点的插值。首先，通过利用当前节点和参考节点的重建属性，引入了一种细化的子节点帧间预测适用性判定算法。其次，我们为空的参考

CRediT作者贡献声明

杨景文：撰写 – 原稿、验证、软件、方法论。魏宇轩：调查、数据整理。刘哲：验证。赵明晓：可视化。袁辉：撰写 – 审阅与编辑、监督、经费获取、概念构思。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/人际关系：袁辉报告获得了中国国家自然科学基金的资金支持。袁辉、魏宇轩、王哲瀚拥有广东欧珀移动通信有限公司的待批专利。如果存在其他作者，他们声明没有已知的竞争财务利益或个人关系可能影响

致谢

资助：本工作得到了中国国家自然科学基金的资助[项目编号 62571303]。

杨景文|魏宇轩|刘哲|赵明晓|袁辉