MDM-PCQA：一种基于多变形建模的无参考点云质量评估方法

《Displays》：MDM-PCQA: No-reference point cloud quality assessment method via multi-distortion modeling

多维度失真建模点云质量评估方法提出基于人眼视觉系统区分纹理、颜色、结构三个维度的失真特征分离机制，设计跨尺度感知通道分离模块，构建分层特征融合架构，有效整合多模态感知特征，在多个数据集上验证优于现有方法。

　　

Teng Qiu|Zhouyan He|Yang Song|Chongchong Jin|Ting Luo

宁波大学科学技术学院，中国宁波315212

摘要

点云作为真实世界3D场景的有效表示形式，具有丰富的几何和纹理细节，但在采集、压缩和传输过程中经常会出现感知质量下降的问题。这使得客观的点云质量评估（PCQA）成为可靠质量评价的关键。然而，许多现有的无参考（NR）PCQA方法未能充分模拟人类视觉系统（HVS）对纹理、颜色和结构等属性的独特感知特性。此外，现有的融合策略在协调具有不同属性和抽象层次的多源特征时常常面临挑战，从而限制了其质量预测的效果。为了解决这些问题，我们提出了一种基于多维失真建模的NR PCQA方法，即MDM-PCQA。具体而言，该方法受到HVS对纹理、颜色和结构分别处理机制的启发，从点云的2D投影中明确分离出这些失真成分。为了捕捉不同空间尺度上的失真，我们设计了一个通道分离的多尺度感知模块（CSMPB），以增强与每个维度失真尺度相匹配的特征。此外，引入了一种层次化特征融合架构，有效地将多维失真特征与从RGB投影中得到的全局感知特征相结合，从而适应它们在属性和抽象层次上的差异。最后，通过回归得到质量评分。在SJTU-PCQA、WPC和CPCD2.0数据集上的评估表明，我们的方法优于现有的最先进PCQA方法。

引言

随着3D感知和重建技术的快速发展，许多领域对高质量3D数据的需求显著增加，例如虚拟/增强现实（VR/AR）和自动驾驶[1]、[2]。此外，沉浸式数字交互这一新兴领域进一步扩展了3D数据的应用场景[3]。点云作为一种灵活且有效的3D场景表示方法，由大量离散的空间点组成。这些点可以直接捕捉物体表面的几何和属性信息（如颜色），忠实再现其形状和细节[4]、[5]。因此，点云已被广泛应用于各个领域。然而，在其整个生命周期中，它们面临着严重的质量挑战。例如，在采集过程中，复杂的场景环境和固有的传感器误差会引入噪声和数据丢失。在存储、压缩、传输和后处理过程中，点云容易受到各种失真的影响[6]，如几何量化噪声、结构变形和颜色伪影。这些退化严重影响了视觉感知和用户体验[7]。因此，建立客观的点云质量评估（PCQA）方法对于满足用户需求至关重要[8]。

PCQA方法主要分为三类[9]、[10]：全参考（FR）、降参考（RR）和无参考（NR）。FR方法需要完整的参考数据作为点级或特征级比较的基准。RR方法仅使用参考数据的部分信息，如统计信息或关键特征。相比之下，NR方法不需要任何参考数据，因此适用于各种现实世界场景。

随着深度神经网络（DNN）的发展，基于学习的NR PCQA受到了关注。通常采用投影策略[11]、[12]、[13]、[14]，将3D点云转换为多个2D图像进行分析。这些方法从多视图投影中提取视觉特征，并利用DNN进行质量预测，例如PQA-Net[12]。通过利用成熟的2D图像处理技术，它们能够有效捕捉纹理和颜色信息。然而，它们感知空间结构特征的能力仍然有限。另一种PCQA方法直接处理3D点云数据，包括基于PointNet架构的点基方法[15]、[16]和基于图的方法[17]、[18]。与基于投影的方法相比，这些方法更好地保留和利用了几何结构，但往往忽略了纹理和颜色线索。随着多模态学习的兴起，来自不同模态的特征被融合用于质量评估。例如，MM-PCQA[19]指出，在投影中纹理和颜色失真更为明显，而在原始3D域中几何失真更为突出，因此结合了这两种模态以获得全面的质量信息。

尽管上述方法在PCQA方面取得了技术进步，但在失真信息的表示和融合方面仍存在挑战。从失真表示的角度来看，大多数现有方法使用RGB投影图像或采样的点云块作为直接的网络输入，其中纹理、颜色和几何信息以混合的原始形式共存。这种设计未能充分考虑人类视觉系统（HVS）对不同视觉属性（如纹理、颜色和形状）的差异性感知[20]、[21]。有证据表明，明确分离不同视觉维度上的失真敏感特征可以使质量评估更符合人类感知。在特征融合方面，现有方法在整合多源特征时往往忽略了属性和抽象层次的差异，这阻碍了跨多个维度的互补信息的有效融合。

基于上述观察，本文提出了一种基于多维失真建模的NR PCQA方法（MDM-PCQA）。为了解决失真表示的局限性，受到HVS差异化处理机制的启发，我们明确从点云投影中分离并提取与三个感知维度（即纹理、颜色和结构）相关的失真敏感特征。这些特征旨在补充从RGB投影中提取的整体感知特征，从而更好地符合HVS的感知机制。为了有效融合失真特征和整体感知特征，我们提出了一种层次化特征融合架构，考虑了它们之间的内容和抽象层次差异。在多个基准数据集上的广泛实验表明，MDM-PCQA的性能显著优于现有的最先进方法。

本文的主要贡献总结如下：

(1)

受到HVS对不同视觉属性差异化处理机制的启发，本文提出了MDM-PCQA。我们明确分离并提取与纹理、颜色和结构相关的失真敏感特征，以实现与人类感知机制一致的质量表示。

(2)

为了表示不同维度和空间尺度上的失真信息，我们设计了不同的特征提取策略。具体来说，使用具有密集采样的小感受野来捕捉纹理信息的细粒度细节。中等感受野用于平衡颜色的边界和区域内部信息，而大感受野用于覆盖结构的大尺度几何变化。

(3)

为了全面整合多维失真细节和整体感知特征，我们引入了一种层次化特征融合架构进行质量预测。第一级融合通过自适应学习协调多维失真特征，生成全面的失真表示。第二级融合通过建模它们之间的交互关系，将失真表示与整体感知特征结合起来。

部分内容片段

基于参考的PCQA方法

基于参考的方法分为FR和RR两类。FR方法需要完整的参考点云进行评估，而RR方法只需要部分参考信息。

对于FR方法，早期研究主要集中在量化几何失真上。MPEG提出了p2point[22]和p2plane[23]方法，分别基于点对点和点对平面的欧几里得距离来测量几何失真。然而，这些方法容易受到噪声的影响

概述

图1展示了所提出的MDM-PCQA的整体框架，主要包括三个部分：预处理、特征增强和层次化特征融合。在预处理阶段，点云被投影为RGB图像和深度图像，然后提取纹理、颜色和结构特征以描述不同维度上的失真。

数据集

为了评估所提出的MDM-PCQA的有效性，我们在三个主观数据集上进行了实验：SJTU-PCQA[37]、WPC[52]和CPCD2.0[29]。

SJTU-PCQA包含9个参考点云及其对应的378个失真点云。共有7种失真类型，每种类型分为6个级别。失真类型包括基于八叉树的压缩（OT）、颜色噪声（CN）、下采样（DS）、带有颜色噪声的下采样（D?+?C）以及带有几何高斯噪声的下采样

结论

在本文中，我们提出了一种基于多维失真建模的无参考点云质量评估方法MDM-PCQA。该框架包括三个主要部分：预处理、特征增强和层次化特征融合。通过明确分离与不同维度（纹理、颜色和结构）相关的失真特征，并通过通道分离的多尺度感知进行增强，该方法有效捕捉了深层次的失真表示。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（项目编号：62471264）、浙江省自然科学基金（项目编号：LQ23F010011）以及宁波市自然科学基金（项目编号：2024?J022, 2024?J457）的支持。