《Engineering Applications of Artificial Intelligence》：Diffusion-based lossy geometry compression for three dimensional point clouds
编辑推荐：
点云压缩技术中的扩散模型与多尺度特征提取方法研究，提出基于AutoEncoder的压缩框架，结合PointNet、Inception-ResNet和稀疏卷积进行特征融合，通过扩散生成器进行去噪重建，并采用Chamfer距离优化几何相似性。
张海波|孙浩然|王启成|蔡晓|吴晓|周明权|耿国华
中国陕西省西安市长安区学府路1号，西北大学计算机科学学院，邮编710127
摘要
点云（PC）是三维（3D）空间信息的重要数据表示形式。然而，将点云模型体素化可能会导致几何结构信息的丢失和计算复杂性的增加。因此，直接压缩点云模型中的点通常是一种更有效的压缩策略。本文提出了一种基于扩散的有损点云压缩（PCC）网络，该网络直接压缩点云模型中的点，从而避免因体素化导致的信息丢失，并提高重建模型的质量。所提出的压缩网络基于自动编码器（AE）架构，在压缩阶段融入了多尺度特征提取模块。该模块的第一个通道结合了PointNet和Inception-ResNet（IRN）模块，以提取更紧凑、更高效的点云特征；第二个通道采用稀疏卷积来优化存储表示，有效捕捉几何和语义信息。这一过程对后续的解压缩和重建阶段至关重要。在解码阶段，基于扩散的生成器利用形状潜变量作为先验条件，对点云进行随机去噪，生成更高质量的重建模型。为了进一步提高重建表面模型的质量，将 Chamfer 距离（CD）集成到损失函数中，以衡量原始点云模型与重建点云模型之间的几何相似性。实验使用了来自三个不同数据集的十个模型进行验证。实验结果表明，所提出的方法在客观评估指标上优于最新的几何点云压缩（G-PCC）方法，并且与其他基于点的压缩网络相比，具有更低的几何信息丢失率。
引言
点云（PC）数据通常包含大量三维（3D）坐标点，这对存储和传输带来了重大挑战。随着3D扫描技术和深度传感器的广泛应用，点云数据的体积持续增长，进一步加剧了云计算环境中存储、带宽和计算资源的压力，同时也引发了能源效率和安全方面的问题。现有研究表明，通过深度强化学习优化云资源分配可以显著降低能耗（Pandey等人，2022年），而多层防御和实时检测技术可以有效防止数据传输和存储过程中的安全攻击（Gaur等人，2023年）。因此，在基于云的大数据处理背景下，开发结合高效压缩、低能耗和安全保障的点云压缩（PCC）技术具有重要意义。
在点云压缩中，压缩点云几何信息（PCG）是一项关键任务，同时还需要压缩点云属性信息（Morell等人，2014年）。几何信息压缩的目标是在尽可能保留原始几何结构的同时，最小化点云空间位置数据的存储需求（Roriz等人，2024年）。与几何信息压缩不同，属性信息压缩侧重于减少与每个点相关的辅助数据的存储需求，如颜色、法线向量和纹理，同时尽可能保持其准确性。这两项任务相辅相成，平衡压缩率和数据质量仍然是PCC技术中的关键挑战。近年来，基于深度学习的熵编码器在速率失真性能方面超越了传统的手动设计方法。Wang等人（2021a）在2021年提出的一种代表性方法，随后在2022年由Wang等人（2022a）进一步改进。该方法将点云划分为体素，并使用3D稀疏卷积网络学习和预测体素占用情况。这种基于体素的模型可以有效捕捉平面和表面等局部几何模式，但它们对分辨率变化敏感。此外，由于计算成本的限制，它们的感受野较小，导致特征提取范围有限。另一种代表性的研究包括Biswas等人（2020年）提出的八叉树方法，以及Fu等人（2022年）提出的基于变换的八叉树方法。这些方法将点云编码为八叉树结构，并根据祖先节点预测子节点的占用状态。八叉树模型在分辨率变化下表现出更强的鲁棒性，并能利用更广泛的上下文信息。然而，它们在重建过程中经常面临树深度不均匀和节点访问冗余等问题，从而降低了解码效率和重建质量。总体而言，现有的基于体素和八叉树的方法尚未充分挖掘空间上下文信息的潜力。
在这项研究中，我们提出了一种新颖的有损PCG压缩网络，该网络利用扩散模型实现卓越的速率失真性能和重建质量。为了在压缩和重建过程中减少不必要的误差，原始点云模型在处理前会进行去噪处理。为了进一步增强特征提取能力，我们设计了一个多尺度特征提取模块，旨在捕捉不同的点云特征，并改进变分自动编码器（VAE）中的高斯先验表示（Kingma和Welling，2013-12）。该模块包含两个通道：第一个通道使用PointNet（Qi等人，2017a）和Inception-ResNet（IRN）（Wang等人，2022b）提取点云的紧凑特征；第二个通道采用稀疏卷积（Graham等人，2018）优化存储表示并提取局部几何特征。两个通道采用独立的编码策略，从不同的潜在空间捕获互补的形状潜变量表示。在解码阶段，我们设计了一个基于扩散的生成器，利用潜在的形状信息作为先验条件，引导随机去噪过程，从而实现高质量重建。
为了验证所提出压缩网络的有效性，将此技术与现有方法进行了比较和分析。在实验测试数据集中，从三个不同的数据集选择了十个模型进行评估和可视化。此外，还进行了消融研究，以检验多尺度特征提取模块中关键组件（如PointNet、IRN和稀疏卷积）的影响。
总之，本研究的主要贡献如下：
- 提出了一种基于扩散模型的有损PC压缩框架，避免了体素化过程引入的信息丢失。
- 设计了一个多尺度特征提取模块，用于从不同特征空间提取和融合点云模型特征。
- 设计了一个基于扩散模型的生成器，利用扩散模型的去噪生成方法重建压缩后的点云。
- 将Chamfer距离引入损失函数，以评估原始点云模型与重建点云模型之间的几何相似性，从而提高重建表面模型的质量。
相关工作
本节首先回顾了3D点云的存储数据结构，然后介绍了与PCG压缩相关的技术，最后涵盖了基于扩散的点云压缩方法。
提出的方法
本节介绍了所提出的PC压缩框架。如图1所示，该框架基于AE架构。过程首先对原始点云模型进行去噪和下采样，以减少噪声和冗余，从而提高压缩效率。随后，多尺度特征提取模块在不同尺度上捕获潜在表示，然后通过有效的特征融合机制进一步提高压缩性能。
实验
本节详细介绍了用于训练和评估所提出的基于扩散的有损几何压缩方法的数据集、实验设置、评估协议和消融研究。
结论与未来工作
本研究提出了一种基于扩散的新型有损点云几何压缩框架。与传统经常导致大量信息丢失的体素化方法不同，所提出的方法直接处理和压缩原始点云数据，同时精心保留了其内在的几何结构。该框架的核心是一个精心设计的多尺度特征提取模块，通过该模块可以同时处理全局和局部特征。
CRediT作者贡献声明
张海波：撰写 – 审稿与编辑，撰写 – 原稿，监督，方法论。
孙浩然：撰写 – 审稿与编辑，撰写 – 原稿，方法论。
王启成：验证，软件，调查。
蔡晓：可视化，验证。
吴晓：调查，数据管理。
周明权：验证，资源。
耿国华：资源，调查。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
致谢
本项工作得到了国家自然科学基金（项目编号：62271393、62302393、61731015）、陕西省自然科学基金（项目编号：2025JC-YBMS-706）、陕西省技术创新引领项目（项目编号：2024QY-SZX-11）、西安市科技计划（项目编号：24SFSF0002）以及陕西省自然科学基金（项目编号：2024JC-YBMS-601）的支持。
