EP-MAE：一种用于 3D 神经表示学习的资源高效掩码自编码框架

《Neural Networks》：EP-MAE: A Resource-Efficient Masked Autoencoding Framework for 3D Neural Representation Learning

　　

摘要 自监督掩码建模已成为一种强大的范式，用于学习无需人工标注的通用 3D 表示。然而，现有的掩码点建模框架严重依赖于基于邻居搜索的补丁构建、密集令牌重构和重型教师网络，所有这些都引入了巨大的计算开销，阻碍了它们向大型 3D 数据集的可扩展性。在本工作中，我们提出了高效点云掩码自编码器 (EP-MAE)，这是一个旨在显著降低 3D 自监督预训练成本，同时保持强大表示质量的新框架。EP-MAE 引入了三个关键组件：(1) 基于序列化的补丁生成器，将不规则点云转换为空间连贯序列，消除了基于 kNN 分组的二次复杂度；(2) 上下文感知令牌丢弃机制，选择性地移除上下文支持不足的掩码令牌，在不妨碍重构质量的情况下减少解码器输入长度；(3) 轻量级动量教师，以最低的计算成本提供稳定的特征空间重构目标。这些组件共同产生了一个高效的掩码建模流水线。在标准 3D 基准上的广泛实验表明，EP-MAE 实现了比最先进的掩码点建模方法快高达 4 倍的预训练，同时在下游任务上取得同等或更优的性能。这些结果突出了自监督 3D 神经表示学习中结构效率的重要性，并表明 EP-MAE 为未来的 3D 神经网络模型提供了可扩展且有效的基础。代码可在 https://github.com/linchengxing/epmae 获取。

引言 三维 (3D) 点云 (Huang, Li, Xu, 2025, Lu, Pan, Zhang, Jia, Che, Zhou, 2025) 已成为现代神经网络研究的基本模态，支持从感知和导航到场景理解的各种应用。随着在现实环境中收集日益大规模的点云数据集，从原始 3D 数据中学习富有表现力和可泛化的表示的能力变得越来越重要。然而，点云的不规则和无序结构给表示学习带来了独特的挑战，特别是在标注稀缺或昂贵时。自监督学习 (SSL) 的最新进展通过使模型直接从无标签数据中获取几何知识，提供了一个有前景的方向。神经网络 (Chandrasekar, Radhika, Subhashri, Ahmad, Radwan, 2025, Tamil Thendral, Ganesh Babu, Chandrasekar, Cao, 2026) 预训练对 3D 点云学习有益，因为它使模型能够在下游适应之前从无标签数据中学习可迁移的几何先验，减少标注成本并在标注数据有限时改善泛化能力。在这些方法中，掩码点建模 (MPM) (Pang, Wang, Tay, Liu, Tian, Yuan, 2022, Wang, Zhang, Zhou, Lu, 2025b, Yu, Tang, Rao, Huang, Zhou, Lu, 2022) 已成为一种特别有效的范式，通过重构 3D 点云的掩码区域，使神经网络获得局部和全局几何先验。

尽管它们有效，但现有的基于 MPM 的框架依赖于在预训练期间产生大量计算成本的设计。许多工作通过复杂架构 (Zhang et al., 2022)、多模态信息的整合 (Qi et al., 2023) 或更复杂的掩码策略 (Lin et al., 2024) 追求改进。虽然这些进展提升了性能，但也加剧了计算负担，限制了 MPM 对更大模型和数据集的可扩展性。受此挑战的驱动，我们的工作专注于在不牺牲表示质量的情况下提高掩码 3D 预训练的计算效率。我们引入了高效点云掩码自编码器 (EP-MAE)，据我们所知，这是第一个系统地加速基于 3D 点云的 MPM 自监督学习的框架。

大多数 MPM 框架遵循由点云分词器、编码器、解码器和目标生成器组成的结构。我们的目标是减少与三个关键组件相关的计算开销，特别是分词器、解码器和目标生成器，同时保持编码器架构不变。这种设计确保我们的框架仍然兼容各种编码器架构，如 Transformer (Vaswani et al., 2017) 和 Mamba (Gu and Dao, 2023)。

对于点云分词器，传统方法通常采用基于 k 近邻 (kNN) 的邻居搜索进行补丁生成。然而，kNN 引入了巨大的计算开销，这不仅源于其二次计算复杂度，还源于点云中点的空间分布不规则性 (见图 3)。为了解决这个问题，受近期进展 (Liu, Yang, Tang, Yang, Han, 2023, Wang, 2023, Wu, Jiang, Wang, Liu, Liu, Qiao, Ouyang, He, Zhao, 2024) 的启发，我们提出在预训练阶段利用空间填充曲线序列化 (Chen, Zhu, Chen, Yu, 2022, Peano, 1990) 将不规则点云映射为有序序列，从而将计算成本降低到线性复杂度并消除空间不规则性。这种转换使我们能够通过简单的重塑操作生成补丁，显著加速预训练过程。

值得注意的是，虽然序列化已在以前的点云处理任务中得到应用 (Chen, Wang, Yang, Yu, Yuan, Yue, 2023, Liang, Zhou, Wang, Zhu, Xu, Zou, Ye, & Bai, Wu, Jiang, Wang, Liu, Liu, Qiao, Ouyang, He, Zhao, 2024)，但我们的工作创新地利用序列化来解决邻居搜索和空间不规则性挑战，从而加速自监督学习。这与以前的用法根本不同。例如，PointMamba (Liang et al., 2024) 应用补丁级序列化进行单向序列建模，而我们要利用它从根本上降低预训练成本，代表了一种独特的概念用法。

对于解码器，大多数 MPM 框架采用 Transformer (Vaswani et al., 2017) 或 Mamba (Gu and Dao, 2023) 架构，其中计算复杂度随着输入序列长度的增加而增加。这一观察促使我们通过选择性丢弃一部分对预训练性能影响甚微的输入令牌来提高预训练效率。由于解码器输入由掩码和非掩码令牌组成，且非掩码令牌已经包含点云重构的基本信息，我们提出了一种称为上下文感知令牌丢弃 (CAT-Dropout) 的策略，选择性地丢弃缺乏足够上下文信息的掩码令牌。CAT-Dropout 将范式从全点云重构转变为部分重构，从而优化计算效率。

对于目标生成器，重构点坐标通常需要昂贵的基于距离的损失，如 Chamfer 距离。近期工作 (Baevski, Hsu, Xu, Babu, Gu, Auli, 2022, Lin, Xu, Zhu, Nie, Cai, Xu, 2024) 表明，特征空间重构不仅允许使用轻量级距离指标如 L1、L2 或 Smooth L1，还为表示学习提供更稳定的监督。为了利用这些优势同时保持训练效率，我们引入了轻量级动量教师 (LMT)，将点云投影到特征空间并提供低成本的重构目标。重要的是，LMT 仅使用紧凑的补丁嵌入模块而不是完整的神经编码器，这产生了稳定的学习信号以及大量的计算节省。

由于 Point-MAE (Pang et al., 2022) 是一个奠基性框架，为许多 MPM 框架奠定了基础，我们选择它作为基线。通过将基于序列化的补丁构建、CAT-Dropout 和 LMT 集成到分词器、解码器和目标生成器中，我们推导出了提出的 EP-MAE。广泛实验表明，EP-MAE 显著减少了预训练时间，同时在下游任务上实现了具有竞争力或更优的性能 (见图 1)。例如，EP-MAE 所需的预训练时间仅为 Point-MAE (Pang et al., 2022) 的 24.6%，并在 ModelNet40 (93.5% vs 93.2%) 和 ScanObjectNN (94.3% vs 92.9%) 上实现了更高的分类准确率。

本文的贡献可以总结如下：
• 我们提出了 EP-MAE，一个高效的自监督掩码自编码框架，在保持强大下游性能的同时，大幅提高了 3D 点云预训练的计算效率。
• 我们提出了一种基于序列化的补丁构建机制，用线性复杂度映射替代传统的 kNN 分组，实现了对不规则点集的可扩展且结构感知的分词化。
• 我们引入了上下文感知令牌丢弃，这是一种合理策略，丢弃上下文支持不足的掩码令牌，有效地在不降低重构保真度的情况下减少解码器序列长度。
• 我们设计了一种轻量级动量教师，仅使用紧凑的补丁嵌入模块生成稳定的特征空间重构目标，提高了效率和所学表示的语义一致性。

总体而言，EP-MAE 中提出的组件说明了一个更普遍的原则：高效的 3D 神经表示学习不仅取决于模型容量，还取决于分词化、掩码和目标表示之间的结构连贯性。因此，EP-MAE 为 3D 神经网络的可扩展自监督预训练提供了方法论贡献。

章节片段

2D 视觉数据的自监督表示学习 最近，大规模无标签图像数据集的快速扩张引发了对视觉数据自监督学习 (SSL) 技术的广泛研究。现有方法可以 broadly 分为两种主要范式：(1) 基于对比学习 (CL) 的方法 (Grill, Strub, Altché, Tallec, Richemond, Buchatskaya, Doersch, Avila Pires, Guo, Gheshlaghi Azar, et al., 2020, He, Fan, Wu, Xie, Girshick, 2020, Lim, Lim, Lee, Tan, 2023, Wu, Xiong, Yu, Lin, 2018)，以及 (2) 掩码...

概述 在本节中，我们介绍了用于高效自监督点云表示学习的 EP-MAE 框架。EP-MAE 使用掩码重构作为辅助任务，目标是学习可迁移的 3D 表示，而不仅仅是恢复缺失的点补丁。所学编码器特征随后被转移到下游任务，如对象分类、部分分割和少样本分类。EP-MAE 建立在 Point-MAE (Pang et al., 2022) 之上，这是一个开创性的 MPM...

实验 为了评估提出的 EP-MAE 框架的有效性，我们进行了一系列实验。第 4.1 节提供了预训练数据集和相应超参数设置的详细信息。在第 4.2 节中，我们展示了一系列下游任务的结果，包括 3D 合成对象分类、3D 真实世界对象分类、3D 部分分割和 3D 少样本学习。此外，第 4.3 节概述了我们的消融实验，分析了... 的贡献。

讨论 尽管我们的主要焦点是增强计算效率，但我们发现一些提出的加速策略也可以提高 EP-MAE 的有效性。首先，我们的预训练过程通过 CAT-Dropout 自然地融入了局部归纳偏置。通过移除上下文不足的令牌，重构目标集中在未掩码区域附近，隐式地鼓励模型关注局部几何关系。这种特性特别...

结论与未来工作 在本工作中，我们介绍了 EP-MAE，一个基于掩码自编码的用于自监督 3D 表示学习的高效框架。自监督学习使 EP-MAE 能够通过掩码重构辅助任务从无标签点云中学习可迁移表示，减少了对昂贵 3D 标注的依赖。通过结合基于序列化的补丁生成、上下文感知令牌丢弃和轻量级动量教师，EP-MAE 大幅降低了计算

CRediT 作者贡献声明
Jian Zhu：写作 – 回顾与编辑，写作 – 初稿，监督，项目管理员，方法论，形式分析，概念化。Jiale Zhao：写作 – 回顾与编辑，软件，资源，调查，形式分析，数据整理。Chengxing Lin：写作 – 初稿，可视化，验证，软件，方法论，形式分析，数据整理，概念化。Luan Lyu：可视化，验证，软件，资源，调查。Ruichu Cai：验证，

竞争性利益声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢
本工作部分由国家自然科学基金资助 (资助号 62576112, 62237001, 和 62272196)，以及部分由广州市基础与应用基础研究基金资助 (资助号 2024A04J9971)。

Jian Zhu|Jiale Zhao|Chengxing Lin|Luan Lyu|Ruichu Cai|Xiaohua Ren|Enhua Wu