利用速率失真优化和自适应量化技术实现LiDAR点云几何压缩,以提升人机视觉系统的性能

《Displays》:Towards LiDAR point cloud geometry compression using Rate-Distortion optimization and adaptive quantization for Human-Machine vision

【字体: 大 中 小 】 时间:2026年01月13日 来源:Displays 3.4

编辑推荐:

  LiDAR点云压缩中提出人机联合感知优化方法,通过混合失真率失真优化(HDRDO)结合自适应量化(AQ),利用差分进化算法确定最优权重,并基于高斯分类自适应选择量化参数,在保持人类视觉质量的同时提升机器检测与分割精度达2.66%和21.18%。

  
王一涵|王永芳|朱硕|方志军
上海大学通信与信息工程学院,上海高级通信与数据科学研究所,中国上海200444

摘要

由于三维(3D)传感和渲染技术的快速发展,点云已经变得越来越普遍,这给传输和存储带来了重大挑战。现有的LiDAR点云压缩(PCC)方法主要关注提高压缩效率并保持高信号保真度,而没有充分考虑人类和机器的联合感知。本文提出了一种基于速率失真优化(RDO)和自适应量化(AQ)的LiDAR点云几何压缩(PCGC)方法,以平衡人类和机器的视觉性能。具体来说,我们首先提出了一种混合失真RDO(HDRDO)方法,该方法使用混合失真和拉格朗日乘数,其中最优权重由差分进化(DE)算法确定。此外,通过全面分析点云对基于高斯的分类方法对整体质量的影响,我们提出了一种基于HDRDO的AQ方法,通过最优量化参数(QP)选择来自适应地量化重要和非重要的点。我们在基于几何的点云压缩(G-PCC)测试模型类别1和3(TMC13)上进行了实现,该方法被称为锚定方法。与锚定方法相比,所提出的算法在人类视觉任务中实现了稳定的PSNR,并在低比特率下分别提高了2.66%和21.18%的检测和分割准确性。值得注意的是,所提出的整体方法比现有方法表现更好。

引言

点云由一组点组成,这些点捕获了3D对象或场景的属性,有效地表示了形状、结构和表面特征。点云被广泛应用于各种领域,如智能驾驶[1]、虚拟现实[2]等。然而,高精度和高密度扫描设备的发展导致点云中的点数呈指数级增长,从而在存储、传输和应用方面带来了巨大挑战[3]、[4]。目前,PCC方法的主要目标是在提高压缩效率的同时减少存储和传输带宽。运动图像专家组(MPEG)[5]提出了国际标准以实现良好的压缩性能,包括表面PCC(S-PCC)、LiDAR PCC(L-PCC)和基于视频的PCC(V-PCC)。值得注意的是,S-PCC和L-PCC已经合并为G-PCC,旨在解决静态点云(类别1)和动态获取的点云(类别3)的压缩问题[6]、[7]。
人类视觉和机器视觉感知之间存在显著差异,这给优化两者带来了挑战,因为它们在各种应用中服务于不同的目的。人类视觉任务侧重于保持点云的高保真度,以确保真实和沉浸式的体验[8]、[9]、[10],并且对几何失真和视觉伪影非常敏感[11]。相比之下,机器视觉任务更重视语义保真度,以确保后续处理和分析的准确性,如对象检测[12]、语义分割和分类[13]、[14],并依赖于点云的全局和局部几何结构。因此,PCC引入的失真对人类视觉和机器视觉的影响不同。为了分析这个问题,我们评估了PCC对感知和分析任务的影响。图1显示了原始、低比特率和高比特率场景下的LiDAR点云序列。与高比特率场景相比,在G-PCC[15]通用测试条件(CTC)[16]下,低比特率场景中的压缩点云显得更加稀疏。
为了量化PCC对性能的影响,我们使用点对点(D1)PSNR来评估人类视觉性能,同时利用机器视觉评估指标,如平均精度(mAP)来评估对象检测,以及平均交并比(mIoU)来评估语义分割,以衡量机器视觉性能。图2显示了在KITTI数据集[18]上进行对象检测(Voxel-RCNN方法[17])和在SemanticKITTI数据集[20]上进行语义分割(WaffleIron方法[19])的机器视觉任务结果。显然,随着比特率的降低,由于PCC引入的稀疏性影响了局部几何结构,检测和分割性能下降。此外,图3展示了PCC对人类视觉性能的影响,其中低、中和高表示不同的压缩程度。随着压缩程度的增加,点云失真D1 PSNR变得更加显著[21]、[22]。
根据上述分析,PCC导致人类和机器视觉性能均下降。然而,现有的PCC方法[23]、[24]、[25]、[26]、[27]主要针对人类视觉任务优化高信号保真度,可能会导致局部几何细节的损失,并忽略其对下游机器视觉任务的影响[28]。换句话说,主要针对人类感知优化的现有PCC方法可能会导致对机器视觉任务至关重要的语义信息的大量丢失。因此,设计一种能够提高机器视觉性能同时保持人类视觉性能的PCGC方法是必要的。
为此,我们提出了HDRDO和AQ方法,用于有效平衡和优化人类和机器视觉性能。HDRDO使用混合失真和拉格朗日乘数构建,其中混合失真包括人类和机器视觉失真,DE算法用于确定混合失真的最优权重和相应的拉格朗日乘数。此外,我们设计了基于HDRDO的AQ方法,利用高斯函数将点云分类为重要和非重要点,然后选择最优QP来自适应地量化它们。结果表明,该方法在保持人类视觉任务高信号保真度的同时提高了机器视觉性能。所提算法的主要贡献总结如下:
  • (1)
    我们提出了一种G-PCC的HDRDO算法,所提出的混合失真和拉格朗日乘数的最优权重由DE算法确定,从而平衡了人类和机器视觉性能。
  • (2)
    我们提出了一种基于HDRDO的AQ算法,利用基于高斯的重要性分类方法将点云分为重要和非重要点,并通过最优QP选择来自适应地量化它们。
  • (3)
    结果表明,我们的方法提高了机器视觉性能(例如,对象检测、分割任务),而没有降低人类视觉性能。
本文的后续部分安排如下:第2节回顾了图像/视频压缩和PCC方法的概述。第3节介绍了动机和分析。第4节展示了G-PCC的HDRDO推导。第5节介绍了基于高斯函数的点云重要性分类方法,并进一步展示了最优QP决策方法。第6节展示了结果和分析,第7节总结了我们的方法。

相关文献

相关工作

本节回顾了相关研究,包括图像/视频压缩方法[29]、[30]、[31]、[32]、[33]、[34]、[35]、[36]、[37]、[38]、[39]、[40]、[41]、[42]和PCC方法[12]、[13]、[14]、[21]、[25]、[26]、[27]、[43]、[44]、[45]、[46]、[47]、[48]、[49]、[50]、[51]、[52]、[53]、[54]、[55]、[56]、[57]、[58]、[59]、[60]。

混合失真率失真优化

通常,在视频编码领域,失真和比特率之间存在相互约束,更高的重建质量需要增加传输比特率。然而,由于网络传输带宽的限制,比特率不能无限增加。因此,在比特率约束下实现最佳质量至关重要,
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号