点云语义分割作为计算机视觉和3D数据分析中的基本任务(Yue, Wang, Huang, & Zhang (2025); Xie, Tian, & Zhu (2020); Xu et al. (2024)),已广泛应用于自动驾驶、城市规划和文化遗产保护等领域。然而,传统的点云语义分割方法通常依赖于大规模、密集标注的训练数据,这需要大量的数据收集和标注成本(Xie et al. (2020); Zhang, Zhao, Chen, & Lu (2019); Pei et al. (2025))。此外,这些方法往往无法准确分割训练期间未出现的对象实例。为了克服数据稀缺和泛化能力差的限制,推进少样本点云分割的研究至关重要(Zhao, Chua, & Lee (2021))。
传统的点云少样本语义分割方法经常采用多原型表示结合传递式推理技术(Zhao et al. (2021); Dai et al. (2024); He, Jiang, Jiang, & Ding (2023); Li, Wu, & Liu (2024); Shen, Ma, Wang, Zheng, & Zhong (2024))。这些方法旨在通过利用多个原型来更好地捕捉类内变化,同时利用查询集中的结构信息来提高分割性能。然而,生成多个原型的有效性在很大程度上取决于支持集中的样本质量和数量,而聚类算法的选择和簇的数量K是影响整体性能的关键和敏感因素。此外,传递式推理方法通常会产生较大的计算成本。随着深度学习的进步,基于深度神经网络的点云少样本语义分割方法得到了广泛研究并不断改进(Zhao et al. (2021); Ren, Tang, Sun, Zhao, & Han (2023); An et al. (2024); Catalano & Matteucci (2023); Du et al. (2025))。这些方法主要基于“首先学习通用表示,然后快速适应新类别”的原则。总体而言,现有的模型框架可以分为两类:基于迁移或微调的表示学习方法,以及基于原型匹配的度量学习方法。前者(An et al. (2025b); Zhu et al. (2023b)采用大规模预训练或提示微调策略,直接将从基础类别学习到的通用3D表示适应到新的、未见过的类别。相比之下,后者(Dai et al. (2024); An et al. (2024); Liu et al. (2024); Lai et al. (2022a); Ning, Tian, Lu, & Pei (2023)提取支持每个类别的前景点特征,将这些特征压缩成“原型向量”,然后通过最近邻匹配对查询集进行逐点分类。这使得端到端的少样本分割流程成为可能,无需额外的辅助程序。由于其有效性,原型匹配范式已成为该领域最突出和广泛采用的方法之一。
这些方法论框架最初涉及预训练一个强大的共享3D编码器,将点云投影到高维向量空间(Sarker et al. (2024)。随后,通过最大化不同类别向量之间的距离同时最小化同一类别向量之间的距离(Zhu, Zhou, Yao, & Zhu (2023a),这些方法促进了“新类别的出现”现象。在训练过程中,采用漏斗策略,从大规模数据逐步过渡到更小的任务。最后,计算每个点与查询点的逐点距离或相似度,然后应用Softmax函数将每个点分配到概率最高的类别。基于原型方法的性能在很大程度上取决于学习到的点嵌入的质量(Xie et al. (2020); Zhang et al. (2019); Landrieu & Boussaha (2019)。为了提高表示能力,最近的工作引入了基于Transformer的架构作为强大的嵌入模块,以模拟点云中的长距离依赖性和复杂几何关系(Wang, Chakraborty, & Yu (2022); Chen et al. (2025); Zeng, Wang, & Chen (2022); Ai et al. (2025))。尽管有这些进步,现有的基于Transformer的方法在应用于少样本点云分割时仍面临根本性限制。标准的自注意力依赖于计算和内存复杂度为二次方的密集Softmax注意力O(L2),这对于高分辨率点云来说是不可行的。此外,密集注意力机制往往引入冗余的交互作用,通常无法充分捕捉细粒度的局部几何结构(Lu et al. (2021); Keles, Wijewardena, & Hegde (2023); Sun, Li, Liu, Chai, & Wu (2026)。尽管卷积或邻域聚合操作器在模拟局部几何结构方面有效,但它们通常缺乏捕捉全局上下文依赖性的能力。因此,现有方法往往难以同时平衡全局上下文建模、局部几何敏感性和计算效率。这些观察表明,一个有效的少样本点云分割框架应满足三个基本要求:(1)选择性地建模信息丰富的点交互作用,以避免冗余计算;(2)在多个空间尺度上自适应地捕获上下文信息,以处理对象大小和空间分布的大变化;(3)保持大规模点云的内存效率和可扩展性。然而,现有方法都无法同时满足所有这些要求。
为了解决这些挑战,我们提出了一种用于少样本点云语义分割的动态稀疏注意力(DSA)机制。DSA不是构建一个完整的注意力得分矩阵,而是动态地为每个查询点在局部窗口内选择Top-K个最具信息量的键值对,从而显著减少计算冗余和内存消耗。在此基础上,以块级方式在注意力头之间计算稀疏注意力,进一步降低GPU内存使用峰值。此外,我们引入了一个多尺度块级注意力框架,在多尺度空间邻域(例如32、64和128)下并行计算注意力,以捕获细粒度的局部结构和更广泛的上下文依赖性。全局特征预测器动态地为不同尺度分配融合权重,输出通过一种数学上等同于传统基于连接的融合的记忆高效线性公式进行融合。此外,还采用了自适应门控网络来生成每个头的门控系数,增强判别相关性,同时抑制噪声交互。总体而言,所提出的设计在保持对局部几何细节的敏感性的同时,保留了全局上下文意识,为少样本点云语义分割提供了一个原理性和必要的解决方案。图1
通过全面的实验评估证明了所提出方法的有效性,结果表明其具有显著优势。总之,本研究的主要贡献如下:
•我们提出了一种新的动态稀疏注意力(DSA)模块,大幅降低了计算和内存需求,同时保持了建模全局上下文信息的能力。 与传统的Softmax注意力的全连接结构相比,DSA自适应地识别出最相关的计算点,从而将二次复杂度降低到近似线性级别,并消除了由冗余依赖性引起的匹配歧义。
•我们开发了一种多尺度块注意力融合(MBAF)模块,旨在捕获多个粒度上的关键点对,使模型能够同时表示局部几何结构和全局语义关系。 通过使用动态加权的多尺度块融合,MBAF明确解决了单尺度建模的固有局限性,从而提高了点云表示的全面性和鲁棒性。
•我们提出了一种自适应门控上下文增强(AGCE)模块,通过结合门控网络学习点对之间的自适应权重来增强注意力的判别能力。 AGCE在建模过程中动态抑制了冗余或噪声点对交互作用,强调了关键点之间的有效依赖性,从而提高了分割结果的鲁棒性和准确性。
•在ScanNet和S3DIS上进行的广泛实验验证了所提出的框架,取得了新的最佳结果,同时保持了低内存需求。