基于自适应融合预训练模型的三维场景理解参数高效提示调优方法

《Neural Networks》：Parameter-efficient Prompt Tuning based on Adaptive Fused Pre-trained Models for 3D Scene Understanding

　　• 一种用于3D场景理解的参数高效提示调优框架。• 一个多层级提示生成模块，用于产生更具判别性的特征。• 一个轻量级任务头，用于自适应地融合来自不同预训练模型的特征。• 仅需0.4M可训练参数即可在各类任务上实现性能提升。## 引言由三维（3D）坐标集合构成的点云，通常伴随着颜色或强度等附加特征（Baiocchi, Spinelli, Nicolosi, Scardapane, 2025, Chen, Mei, Lu, Zou, Liao, He, 2026, Sun, Zhang, Xu, Yuan, Chen, 2025, Yuan, Wu, Fan, Gong, Miao, Ma, 2025, Zhang, Wu, Ma, Gong, Li, Hou, 2025b）。作为基础的3D表示，点云为3D场景理解提供了丰富、精确的几何和空间信息（Asad, Azeem, Hafiz, Fang, Yang, Zuo, Liu, 2025, Li, Zhou, Chen, Yu, Du, Zou, 2025c, Li, Li, Gao, Gao, Wu, Liu, 2025d, Shi, Ge, Dong, Chakir, Liang, Yang, 2025, Yoon, Jung, Yoo, 2025），帮助计算机准确地感知和解读真实世界中的空间结构、物体形状及其相互关系。点云已在机器人感知（Cheng et al., 2022）、自动驾驶（Huang, Sun, Zhao, Mao, 2023b, Jati, Molan, Barchi, Bartolini, Mercurio, Acquaviva, 2025, Lu, Jiang, Liu, Li, Chen, Zhang, Wan, 2024, Zhang, Ma, Jiao, Liu, Sun, 2021）以及虚拟/增强现实（Blanc, El Beheiry, Caporal, Masson, Hajj, 2020, Genay, Lécuyer, Hachet, 2021）等领域得到广泛研究和应用。3D点云理解（Chen, Su, Jiang, Li, Jin, Xiao, Huang, Ye, Xie, 2025, Hu, Zhang, Rao, Zeng, Yu, Huang, 2025, Song, Liu, Xu, Guo, Wu, Liu, 2026, Sun, Li, Liu, Chai, Wu, 2026, Zhang, Li, Zhang, 2025a）旨在从无结构的点云数据中提取有意义的语义和几何信息，使机器能够感知、解读并推理复杂的3D环境，这对上述应用场景至关重要。然而，许多现有的3D点云理解方法采用有监督方式，需要高质量的标注数据，代价高昂且人力密集。为减轻对标注数据的依赖，自监督学习（Li, Liu, Hao, Jiao, Liu, Guo, 2023b, Li, Liu, Jiao, Chen, Li, 2022b, Liu, Qian, Jiao, Zhang, Li, Cui, 2022a, Xu, Fu, Cao, Zhao, Xu, Cao, Zhang, 2025）作为一种有效的替代方案应运而生。诸如Point-BERT（Yu et al., 2022）、Point-MAE（Pang et al., 2022）、ACT（Dong et al., 2023）、RECON（Qi et al., 2023）和Point-GPT（Chen et al., 2023）等近期方法利用大规模无标签数据学习可迁移的表示，提升了模型在下游任务中的性能。然而，这些方法通常需要对微调进行大量的存储和计算开销，限制了其在资源受限环境中的部署。参数高效微调（PEFT）（Han et al., 2024），尤其是提示调优，通过仅优化少量参数同时保持预训练模型参数冻结的方式解决了这一限制。近期研究，包括IDPT（Zha et al., 2023）、DAPT（Zhou et al., 2024）和DAPTE-X（Li et al., 2024），已表明提示调优在点云分析中可以用显著更少的可训练参数达到与全量微调相当的性能。尽管这些研究能够以更高效的方式优化点云模型，但它们基于单一预训练模型，导致表达能力有限，容易受到噪声、异常值和对抗样本的影响。这在对安全性要求极高的应用中引发了担忧（例如自动驾驶和医学诊断），因为在这些场景中鲁棒且可靠的性能至关重要。为此，在本工作中，我们考虑整合来自具有不同提示信息的多样化预训练模型的特征。该策略缓解了单个模型偏差，同时生成更丰富、更具表现力的特征表示。例如，预训练模型Point-BERT（Yu et al., 2022）能够捕获全局语义信息，而Point-MAE（Pang et al., 2022）则强调局部几何特征。具体来说，Point-BERT（Yu et al., 2022）基于语义掩码预训练任务，使用多头注意力机制，更专注于对点云数据中全局依赖关系的建模并捕获全局语义信息。Point-MAE（Pang et al., 2022）基于自编码预训练任务，采用更为紧凑的编码器-解码器架构，强调局部几何特征的建模。基于这一思路，我们提出了一种新颖的参数高效提示调优（PEPT）框架，基于自适应融合预训练模型。图1展示了来自单一预训练模型的传统提示生成和任务头与基于不同预训练模型的多层级提示生成（MLPG）以及轻量级任务头（LightHead）之间的对比。PEPT整合了来自多个具有各自提示信息的预训练模型的特征。通过这种方式，PEPT可以利用来自不同预训练模型的互补优势，生成更丰富、更全面的特征表示，减少单个预训练模型固有的偏差。考虑到直接组合多个预训练模型会增加可训练参数，我们引入了MLPG模块，以减少生成提示所需的参数。此外，我们开发了LightHead，它能够根据输入和任务需求自适应地融合每个预训练模型的特征，增强了模型在下游任务中的鲁棒性和适应性。在ModelNet40（Wu et al., 2015）、ScanObjectNN（Uy et al., 2019）和ShapeNetPart（Yi et al., 2016）数据集上进行的广泛实验证明了PEPT在点云分类、少样本学习和部件分割任务中的有效性。我们的方法在微调更少参数的同时实现了具有竞争力的性能。我们的主要贡献总结如下：- 我们提出了一种基于自适应融合预训练模型的新型参数高效提示调优（PEPT）框架。它整合了多样化模型并利用其互补优势。- 我们引入了一个多层级提示生成（MLPG）模块，可高效地为不同层级特征的协同表示生成提示。在减少可训练参数数量的同时，学习更具判别性的提示信息。- 我们提出了一个轻量级任务头（LightHead），能够有效地学习和组合来自多个预训练模型的信息。根据输入特征和任务需求优化每个模型。- 在包括ModelNet40、ScanObjectNN和ShapeNetPart在内的具有挑战性的基准数据集上进行了广泛实验，结果表明PEPT在大多数任务中仅需0.4M可训练参数即可实现具有竞争力的性能。本文其余部分组织如下。第2节回顾了有关预训练点云模型、点云提示调优和多模型学习方法的相关文献。第3节详细阐述了我们的PEPT框架及其理论基础。第4节呈现了全面的实验结果与分析，第5节为结论。## 章节摘要### 预训练点云模型点云（Feng, Jiao, Zhu, Sun, 2020, Gao, Zhang, Zhou, Liu, Yan, Zhou, Geng, 2025, He, Zhao, Zhang, Yu, Wang, 2025, Huang, Li, Xu, 2025, Ryu, Park, Hwang, 2025）为物理空间和物体的3D场景理解提供了高度精确且详细的3D表示（Ai, Qin, Nie, Wang, Yuan, Liu, 2025, Bai, Li, Gong, Zhang, Xiao, Yang, Li, 2024a, Bai, Li, Gong, Zhang, Xiao, Yang, Li, 2024b, Du, Cai, Wang, Su, Huang, Zelek, Junior, Li, 2025, Ma, Ma, Jiao, Li, Liu, Liu, Yang, Guo,### 方法在本节中，我们阐述了我们为3D场景理解设计的PEPT。我们首先在第3.1节介绍PEPT的总体框架，然后在第3.2节展示MLPG模块的架构，该模块能够利用不同层级特征高效地生成提示。最后，我们在第3.3节描述我们的LightHead，以学习并自适应地组合来自不同预训练模型的信息。### 实验为评估所提出的PEPT框架的性能，我们在三个基准数据集上进行了广泛实验：ScanObjectNN（Uy et al., 2019）、ModelNet40（Wu et al., 2015）和ShapeNetPart（Yi et al., 2016）。这些实验旨在证明PEPT在各种3D点云任务中的有效性，包括物体分类、少样本学习和部件分割。### 结论与局限性讨论本文介绍了PEPT，一种用于3D点云理解的新型框架。通过引入多个预训练点云模型并提出MLPG模块，我们的方法显著增强了特征提取能力。在ModelNet40、ScanObjectNN和ShapeNetPart数据集上进行的广泛实验表明，PEPT在显著减少可训练参数的同时，实现了与现有方法相比具有竞争力或更优的性能。我们的方法还存在一些局限性。### CRediT作者贡献声明**Xinyan Huang：** 写作—审稿与编辑，写作—初稿，可视化，验证，监督，软件，项目管理，方法学，调查，资金获取，形式化分析，数据整理，概念构思。**Fang Liu：** 写作—审稿与编辑，验证，监督，资源，项目管理，方法学，资金获取，形式化分析，概念构思。**Licheng Jiao：** 写作—审稿与编辑，验证，监督，资源，项目### 利益冲突声明作者声明，他们没有已知的会出现在本文所报告工作中的竞争性经济利益或个人关系。### 致谢本工作得到了国家自然科学基金重点项目（编号62431020，编号62231027）、中央高校基本科研业务费（编号ZYTS25211，编号ZYTS25086）、国家自然科学基金联合基金重点项目（编号U22B2054）、高等学校学科创新引智计划（111计划）（编号B07048）以及高校长江学者和创新研究团队发展计划的资助。Xinyan Huang｜Fang Liu｜Licheng Jiao｜Yaming Yang｜Shuo Li｜Puhua Chen｜Lingling Li｜Xu Liu｜Wenping Ma