PFPT:针对预训练点云模型的基于先验知识的细粒度提示调优

《Neurocomputing》:PFPT: Prior-Aware Fine-Grained Prompt Tuning for Pre-trained Point Cloud Models

【字体: 大 中 小 】 时间:2026年04月21日 来源:Neurocomputing 6.5

编辑推荐:

  预训练Transformer在点云学习中的应用面临存储成本高和过度依赖任务数据的问题。本文提出Prior-Aware Fine-Grained Prompt Tuning(PFPT),通过细粒度提示生成利用局部空间特征,结合先验感知的提示增强模块引入预训练数据原型,再通过几何一致性融合模块保持点云结构。实验表明PFPT在参数量减少6.3%的情况下性能超越全微调及现有SOTA方法,尤其在ScanObjectNN PB 50 RS等复杂数据集上表现优异。

  
Jiatong Xu|Daxin Liu|Zhenyu Liu|Qide Wang|Jianrong Tan
浙江大学计算机辅助设计与计算机图形学国家重点实验室(CAD&CG),杭州,310058,中国

摘要

预训练的变换器显著推动了点云学习的发展,但传统的“预训练+全微调”范式要求为每个下游任务分别训练微调模型,这导致了巨大的存储成本。虽然提示调优(prompt tuning)提供了一种参数效率更高的替代方案,但现有方法难以有效利用局部空间信息,并且过度依赖任务特定数据进行提示生成,从而影响了模型的泛化能力。本文提出了基于先验知识的细粒度提示调优(Prior-Aware Fine-Grained Prompt Tuning, PFPT)方法来克服这些限制。PFPT引入了一种细粒度提示生成器,该生成器利用局部空间特征生成每个标记(token)的提示,有效捕捉点云中的局部几何结构。此外,还提出了一个基于先验知识的提示增强模块,以减轻对任务特定数据的依赖。该模块利用从预训练数据中提取的原型,并与输入点云建立几何关联,生成增强后的提示。最后,设计了一个几何一致性融合模块,以确保最终提示与点云标记之间的几何一致性。大量实验表明,PFPT在调整模型参数不到6.3%的情况下,就能达到与全微调相当甚至更好的性能。值得注意的是,我们的方法在ScanObjectNN PB 50 RS等具有挑战性的数据集上超越了现有的参数高效微调方法。

引言

点云学习在3D计算机视觉中至关重要,它支持各种任务,如3D重建[1]、分类[2]、分割[4]、[5]和点云配准[7]、[8]。然而,点云数据的固有不规则性和数据获取的局限性给深度学习表示带来了重大挑战。为了解决这些问题,基于视觉变换器(Vision Transformer, ViT)的方法[9]、[10]、[11]、[12]受到关注,这些方法利用大规模的预训练数据和自监督学习范式生成更健壮和泛化的表示。
点云变换器模型通常采用“预训练+全微调”的范式进行下游任务的迁移学习。虽然这种方法加快了收敛速度并减少了下游任务数据的需求,但也存在两个主要问题。首先,全微调需要调整所有模型参数,从而产生巨大的存储成本,尤其是对于大规模模型而言。当需要适应多个下游任务时,存储负担会进一步加重,因为每个任务都需要单独的微调模型。其次,这种方法可能限制模型提取泛化表示的能力,尤其是在预训练数据与下游任务数据之间存在显著领域差异的情况下[13]。
为了减轻全微调的缺点,最近的研究探索了参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)技术[14]、[15]、[16],特别是提示调优[17]、[18]。提示调优起源于自然语言处理(Natural Language Processing, NLP)领域,并已成功应用于2D视觉领域[19]、[20]、[21]、[22]。视觉提示调优(Visual Prompt Tuning, VPT)[23]会冻结预训练模型的参数;相反,它将一小部分可学习参数(称为“提示”)嵌入到输入表示中,并对其进行调整以获取下游任务的知识。然而,传统的VPT方法使用静态提示处理所有任务实例(图1a),在3D领域效果有限。最近的方法如IDPT[24]、DAPT[25]和Point-PEFT[26](图1b)通过生成动态的、任务特定的提示,实现了与全微调相当甚至更好的性能。
尽管取得了这些进展,现有的预训练点云模型方法仍存在局限性。首先,它们使用全局提示,这阻碍了它们充分利用点云局部区域的空间相关性和语义信息。其次,这些方法仅从任务特定数据生成提示,这种过度依赖限制了提示结合更广泛上下文信息的能力,从而可能增加过拟合的风险并限制泛化能力[27]、[28]。
为了解决这些限制,我们提出了基于先验知识的细粒度提示调优(PFPT),这是一种针对预训练点云模型的新型PEFT方法(图1c)。PFPT不依赖于全局提示,而是使用细粒度提示生成器生成每个标记的提示,提供更精确的指导。此外,为了对抗对任务特定数据的过度依赖,我们引入了一个基于先验知识的提示增强模块。该模块利用从预训练数据中提取的原型,并通过与输入点云建立几何关联来生成增强后的提示。最后,几何一致性融合模块将这些增强后的特征与细粒度提示集成在一起,确保最终提示能够有效指导模型适应下游任务。
PFPT设计为可以与各种流行的预训练点云模型(如Point-BERT[9]和Point-MAE[10])无缝集成。在多种数据集和设置下的广泛实验表明,PFPT在调整模型参数不到6.3%的情况下,就能达到与全微调相当甚至更好的性能。值得注意的是,PFPT在ScanObjectNN PB 50 RS等具有挑战性的数据集上的表现超过了当前最先进的3D点云PEFT方法。
我们的主要贡献总结如下:
  • •
    我们提出了一种细粒度提示调优方法,用于处理点云中的复杂局部几何结构,这是以往研究经常忽略的方面。该方法生成专门的、每个标记的提示,有效捕捉点云的局部几何结构。
  • •
    我们提出了一个基于先验知识的提示增强模块,以减轻现有方法对任务特定数据的过度依赖。该模块通过将输入点云与从预训练数据中提取的原型相关联,生成增强后的提示,从而提高泛化能力。
  • •
    大量实验表明,PFPT在调整参数远少于6.3%的情况下,就能达到与全微调或其他最先进的提示调优方法相当甚至更好的性能。
  • 部分内容摘录

    预训练点云模型

    基于监督学习的点云模型[30]、[31]、[32]在分类和分割等任务中表现出色,但它们往往难以学习通用的3D表示,并且严重依赖点云注释[33],而这些注释难以获取。相比之下,预训练点云模型利用自监督学习来提取这样的通用表示。预训练中的有效参数初始化显著减少了训练时间

    方法

    本章介绍了针对预训练点云模型的基于先验知识的细粒度提示调优(PFPT)。第3.1节概述了PFPT的流程。第3.2节详细介绍了细粒度提示生成器和基于先验知识的提示增强模块。

    实施细节

    为了确定最佳的原型数量J,我们采用了肘部法则(elbow method)。我们评估了一系列J值,并最终选择了22。为了确保公平比较,我们为每个基线使用了与默认微调方法相同的实验设置。我们固定了预训练基线模型中的所有参数,仅在PFPT模块中更新新引入的参数。所有实验都在单个A100 GPU上进行。

    真实世界对象分类

    ScanObjectNN数据集[29]

    结论与局限性

    本文提出了一种针对预训练点云模型的新型基于先验知识的细粒度提示调优方法(PFPT)。PFPT利用点云局部区域中的丰富语义信息生成细粒度、几何一致的提示,并通过一种新颖的几何一致性融合模块实现提示增强。此外,PFPT建立了下游任务实例与预训练数据之间的关联,以实现基于先验知识的提示增强。

    CRediT作者贡献声明

    Jiatong Xu:撰写——原始草稿、可视化、软件实现、方法论、概念化。Daxin Liu:撰写——审稿与编辑、监督、资源协调、方法论、资金获取、概念化。Zhenyu Liu:撰写——审稿与编辑、监督、资源协调、资金获取、概念化。Qide Wang:验证、方法论。Jianrong Tan:监督、资金获取。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

    致谢

    本工作部分得到了浙江省重点研发计划(Grant 2025C01033)的支持,同时也得到了国家自然科学基金(Grant Nos. U22A6001和52075480)的支持。
    Jiatong Xu目前正在浙江大学计算机辅助设计与计算机图形学国家重点实验室攻读博士学位。他的当前研究兴趣包括3D视觉和机器人装配。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号