窗口归一化：通过统一不一致的点密度来提升对点云的理解

《Image and Vision Computing》：Window normalization: Enhancing point cloud understanding by unifying inconsistent point densities

3D点云下采样阶段存在点密度不一致的问题，本文提出预抽象分组窗口归一化（PAGWN）模块，通过窗口归一化统一不同区域点密度，结合分组策略提取纹理与空间多类型特征，并采用预抽象平衡局部与全局信息。实验表明，在S3DIS Area5数据集上，该方法使沙发和柱子识别准确率分别提升至84.4%和48.7%，mIoU达77.6%，优于PointNeXt-XL 2.7%。

　　

王琪|史胜|李家辉|姜武明|张向德

东北大学理学院数学系，沈阳，110819，中国

摘要

降采样和特征提取是理解3D点云的关键步骤。现有方法受到点云中不同部分点密度不一致的限制。在这项工作中，我们分析了降采样阶段的局限性，并提出了预抽象的组级窗口归一化模块。特别是，窗口归一化方法被用来统一不同部分的点密度。此外，我们还提出了组级策略以获取多种类型的特征，包括纹理和空间信息。我们还提出了预抽象模块来平衡局部和全局特征。广泛的实验表明，我们的模块在多个任务上表现更好。在S3DIS（区域5）的分割任务中，所提出的模块在小型物体识别方面表现更佳，且结果边界比其他方法更精确。沙发和柱子的识别率分别从69.2%提高到了84.4%，从42.7%提高到了48.7%。基准测试结果从71.7%/77.6%/91.9%（mIoU/mAcc/OA）提高到了72.2%/78.2%/91.4%。S3DIS上的6折交叉验证准确率分别为77.6%/85.8%/91.7%（mIoU/mAcc/OA）。其mIoU比最佳模型PointNeXt-XL（74.9%/83.0%/90.3%（mIoU/mAcc/OA）高出2.7%，达到了最先进的性能。

引言

3D点云已经被广泛研究，其在自动驾驶、缺陷检测和机器人技术等领域有丰富的应用。点云是三维笛卡尔坐标系中真实物体的一组坐标。点云的表示包括颜色、反射强度等属性。与2D图像不同，点云是稀疏且无序的，对同一物体的不同观测结果也存在巨大差异。这些特性使得点云和图像的处理方式有所不同。

近年来，许多用于处理点云的网络被提出，可以分为基于投影的方法、基于体素的方法和基于点的方法。基于投影的方法[1], [2], [3], [4], [5], [6]利用了基于图像的方法，通过投影模型将点云转换为2D图像。基于体素的方法[7], [8], [9], [10], [11]将点云转换为规则的密集结构，并使用图像方法进一步处理这些结构。然而，基于投影和基于体素的方法不可避免地会丢失空间信息。基于点的方法[12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25]直接处理原始点云。自从PointNet++ [13]提出最远点采样（FPS）方法和层次化处理网络以来，基于点的方法发展迅速。

基于点的方法仍存在一些问题。如图1所示，点云的不同部分具有不同的点密度。现有方法得到的局部邻域体积也不同。它们共享相同的网络权重，这不利于网络的收敛。此外，仅使用最大池化函数（MaxPool）无法很好地平衡局部和全局特征。我们提出了预抽象的组级窗口归一化（PAGWN）模块来解决这个问题，以提高基于点的语义分割网络的性能。通过该方法可以获得更好的局部和全局特征平衡，从而提高采样精度并减少采样阶段导致的信息损失，使基于点的方法表现得更好。

广泛的实验表明，PAGWN模块在多个任务上表现更好。在S3DIS（区域5）的分割任务中，沙发和柱子的识别率分别从69.2%提高到了84.4%，从42.7%提高到了48.7%。基准测试结果从71.7%/77.6%/91.9%（mIoU/mAcc/OA）提高到了72.2%/78.2%/91.4%，达到了最先进水平。S3DIS上的6折交叉验证准确率分别为77.6%/85.8%/91.7%（mIoU/mAcc/OA）。其mIoU比最佳模型PointNeXt-XL（74.9%/83.0%/90.3%（mIoU/mAcc/OA）高出2.7%，达到了最先进的性能。

• 我们以一种新颖的方式研究了降采样阶段，提出了一个通用的特征提取器PAGWN，用于点云理解。它能够更好地平衡局部和全局信息，并减少信息损失。
• 所提出的模块在小型物体识别方面表现更好，分割结果的边界比其他方法更精确。许多现有网络通过使用预抽象的组级窗口归一化模块而无需进行其他修改，也能获得更好的性能。
• S3DIS（区域5）的分割任务基准测试结果从71.7%/77.6%/91.9%（mIoU/mAcc/OA）提高到了72.2%/78.2%/91.4%，6折交叉验证准确率分别为77.6%/85.8%/91.7%（mIoU/mAcc/OA），达到了最先进水平。

相关工作

点云处理方法可以分为以下几类：通过多视图投影将点云转换为2D图像；对点云进行规则网格划分并将其转换为体素或格子；直接基于点处理点云。基于点的方法的优势在于不会对点云进行过多处理，试图保留点云的原始特征并避免数据丢失。

概述

降采样和特征提取在理解3D点云中起着关键作用。然而，不同区域的点密度差异可能会影响传统方法的有效性，因此需要更鲁棒的方法来处理这种不一致性。降采样阶段的主要目的是在最小化信息损失的同时减少点数，这也可以有效地扩大感受野。该过程包括两个步骤：首先，选择...

S3DIS（区域5）上的语义分割

我们在多个网络和任务上评估了所提出的PAGWN模块的有效性。分别使用Point Transformer [24]和StratifiedFormer [45]作为骨干网络。

数据集 S3DIS数据集包含来自六个地区的三栋建筑中的271个房间，共13个类别[46]。我们在区域5上测试网络，并在其他区域进行训练。使用RTX 3080Ti GPU进行网络训练。评估指标包括平均交并比（mIoU）、类别平均准确率（mAcc）和整体点精度...

结论

在这项工作中，我们旨在提高降采样阶段的信息获取率。特别是，我们提出了组级窗口归一化（PAGWN）模块，以统一不一致的点密度并捕获多种类型的信息，包括纹理和空间特征。此外，还采用了预抽象策略来平衡局部和全局信息。通过所提出的PAGWN模块，沙发和柱子的识别率分别从69.2%提高到了84.4%，从42.7%...

作者贡献声明

王琪：资金获取、项目管理、资源协调。史胜：概念设计、数据管理、方法论、软件开发、监督、验证、可视化、初稿撰写、审稿与编辑。李家辉：审稿与编辑。姜武明：审稿与编辑。张向德：审稿与编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了“中央高校基本科研业务费”（N2105009）、国家自然科学基金（项目编号61703088）和国家重点研发计划（项目编号2021YFF0306401）的支持。