面向点云补全的跨表示层次化对齐与细化模型

《Information Fusion》：Cross-representation Hierarchical Alignment and Refinement Model for Point Cloud Completion

　　

CHARM 能够实现稀疏且不完整3D点云的高保真补全。最优传输对齐多视角深度先验与3D几何特征。置信度门控融合平衡全局形状先验与局部几何。各向异性向量场引导表面细节的渐进恢复。CHARM以17.69毫秒推理延迟实现了最先进的精度。

**引言**

点云补全旨在从稀疏、部分观测的3D点集中重建结构完整、几何连续且保留细节的形状，建立了原始3D感知数据与高级语义表示之间的基础桥梁。该任务对多种下游应用至关重要，包括数字孪生建模、自动驾驶、机器人感知和3D场景理解[1]。然而，在实际采集场景中，点云由于传感器视角约束、自遮挡、表面反射率变化和扫描范围限制等因素，经常呈现稀疏性和不完整性的特征。这些不完整的观测不仅破坏了目标形状的全局拓扑一致性，还往往导致语义重要组件和高频几何细节的丢失，从而加剧了忠实形状重建的复杂性。因此，从碎片化、分布不均的输入中可靠地推断缺失区域，同时保持全局结构连贯性和局部几何保真度，仍然是3D计算机视觉领域的一项基本挑战。

为克服缺失几何信息带来的局限，早期研究通常将点云补全建模为单模态几何回归任务，仅从部分点云的坐标预测完整的3D形状。折叠类方法，以FoldingNet[2]和PCN[3]为代表，使用多层感知机提取全局形状特征，然后通过渐进变形规则2D网格生成目标3D表面。更近期的研究引入了基于Transformer的注意力机制和状态空间模型，如PoinTr[4]和FusionMamba[5]，以捕获长程几何依赖并建模不同局部区域之间的结构关系。尽管这些单模态方法提高了点云补全中的结构恢复能力，但其性能仍受到部分观测中有限几何信息的制约。在严重遮挡或极端稀疏情况下，关键结构和几何细节可能完全缺失，仅凭可用输入难以准确推断未观测区域。因此，在缺乏外部形状先验或辅助信息的情况下，完整形状预测仍存在高度不确定性。

为缓解单模态框架固有的歧义性，近期多模态方法引入了辅助视觉先验，如RGB图像或多视角深度投影[6]、[7]。例如，SVDFormer[6]和PointSea[7]利用2D投影获取互补视觉线索以恢复缺失的3D结构。然而，有效地对齐和融合异构的2D与3D表示仍是一项关键挑战。大多数现有架构通过启发式操作建立视觉线索与3D几何查询之间的关联，包括特征拼接、全局池化和粗粒度交叉注意力[8]。这些松耦合的融合策略往往无法建立明确的几何对应关系或跨表示域保持分布一致性。因此，它们容易引发冗余特征分配问题，即多个3D空间查询被关联到同一视觉区域，可能导致特征坍塌和局部点聚类伪影。此外，次优的静态视角选择策略往往忽视了虚拟相机配置与目标对象之间的空间关系，从而限制了模型自适应识别和利用最具信息量视角的能力。

为解决上述局限性，我们提出了CHARM——一种用于高保真点云补全的跨表示层次对齐与精化模型。CHARM将形状重建建模为包含两个级联阶段的由粗到细生成流水线。首先，跨表示对齐模块（CAM）在自增强多视角深度分布与3D几何之间建立一致且鲁棒的对应关系。CAM引入了一种几何感知主动加权机制，根据相机与目标对象之间的相对空间构型动态调整每个视角的贡献。它进一步应用熵正则化最优传输实现质量守恒的分布匹配，从而减少冗余特征分配并缓解特征坍塌。其次，层次形状精化模块（HSRM）通过多阶段变形过程渐进优化局部坐标位移。HSRM集成了各向异性向量场引导（AVFG）以提供方向性轨迹先验，以及跨域细节传输与检索（CDTR）以融入局部结构信息。随后采用局部化置信度门控融合（LCGF）机制自适应平衡全局形状先验与局部几何观测。如图1所示的精度-效率分布所示，渐进精化策略使CHARM在PCN基准上实现了有利的帕累托权衡，F1分数达到0.867，端到端延迟为17.69毫秒。

我们在PCN[3]、ShapeNet-55/34[4]以及三个真实世界数据集（KITTI[9]、ScanNet[10]和Matterport3D[11]）上进行了大量实验。CHARM在合成物体补全和真实世界稀疏扫描恢复上始终取得最先进性能，同时保持了有竞争力的推理效率。主要贡献总结如下：

- 我们提出了CHARM，一种统一的点云补全框架，在由粗到细的生成范式中将几何感知的跨表示对齐与渐进坐标精化相集成。
- 我们引入了CAM，一种跨表示对齐模块，利用视角质心空间关系对多视角深度先验进行加权，并采用熵正则化最优传输在严格质量守恒约束下对齐视觉与几何表示。
- 我们提出了HSRM，一种层次坐标精化模块，通过局部化置信度门控将各向异性向量场引导与跨域细节检索相结合，在保持全局拓扑一致性的同时渐进恢复高频表面细节。
- 在合成和真实世界基准上的大量实验表明，CHARM实现了最先进的重建保真度、严重稀疏条件下的鲁棒泛化能力以及高计算效率。

**相关工作**

在本节中，我们回顾并分析现有的点云补全方法，分为单模态方法、多模态与基于视角的融合策略以及由粗到细的形状精化范式。

**概述**

所提出的跨表示层次对齐与精化模型（CHARM）旨在通过统一质量守恒的跨表示对齐与渐进几何变形来实现高保真点云补全。如图2所示，CHARM处理稀疏的部分点云 $P_{in} \in \mathbb{R}^{N \times 3}$，并通过由粗到细的生成范式预测几何连续且结构完整的点集 $P_{out} \in \mathbb{R}^{N_{out} \times 3}$。为消除对……的严格依赖。

**实验**

为全面评估所提出的CHARM，我们在多个基准上进行了大量实验。首先，我们在标准合成数据集（PCN和ShapeNet-55/34）上评估整体重建保真度，随后在含噪投影（Projected-ShapeNet）上进行鲁棒性评估，并在真实世界扫描（KITTI、ScanNet和Matterport3D）上进行零样本泛化测试。最后，提供了详细的消融研究和复杂度分析以验证我们的架构设计。

**结论**

在本文中，我们提出了CHARM，一种用于高保真点云补全的有原则的框架，将几何感知的跨表示对齐与层次形状精化相统一。通过将稀疏3D点云与密集多视角视觉先验的融合建模为质量守恒最优传输问题，CHARM有效地缓解了跨域特征不对齐和冗余空间分配的挑战。所提出的架构协同两种……

**作者贡献声明（CRediT）**

Yuan Shi：概念化、方法论、软件、形式分析、论文初稿撰写。

Yugui Zhang：方法论、软件、验证、数据管理。

Yurong Qian：监督、资源、论文审阅与编辑。

Lusi Li：形式分析、验证、论文审阅与编辑。

Maopeng Sun：调查、验证、资源。

Xiangcan Li：数据管理、可视化、调查。

Huafeng Wang：方法论、监督、论文审阅与编辑。

Weijun Li：资金获取。

**未引用的图表**

图3缺少引用。

**数据可用性**

大规模场景数据集可在 https://github.com/JinfengX/CasFusionNet 供学术使用。本研究使用的合成数据集可公开访问于 https://github.com/yuxumin/PoinTr/blob/master/DATASET.md。此外，真实世界扫描数据可从 https://github.com/xuelin-chen/pcl2pcl-gan-pub 获取。

**作者贡献声明（CRediT）**

Yuan Shi：论文初稿撰写、软件、方法论、形式分析、概念化。Yugui Zhang：验证、软件、方法论、数据管理。Yurong Qian：论文审阅与编辑、监督、资源。Lusi Li：论文审阅与编辑、验证、形式分析。Maopeng Sun：验证、资源、调查。Xiangcan Li：可视化、调查、数据管理。Huafeng Wang：论文审阅与编辑、监督、方法论。Weijun Li：监督。

**利益冲突声明**

本文不存在利益冲突。作者声明他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。

Yuan Shi | Yugui Zhang | Yurong Qian | Lusi Li | Maopeng Sun | Xiangcan Li | Huafeng Wang | Weijun Li | Linjun Sun | Xin Ning