通过动态多尺度稀疏注意力机制结合自适应门控上下文增强技术实现少样本3D点云分割

《Expert Systems with Applications》:Few-shot 3D point cloud Segmentation via Dynamic Multi-scale Sparse Attention with Adaptive Gated Context Enhancement

【字体: 大 中 小 】 时间:2026年04月11日 来源:Expert Systems with Applications 7.5

编辑推荐:

  针对少样本3D点云分割中全局表征依赖度高、计算负担重及局部结构建模不足的问题,本文提出动态稀疏注意力(DSA)机制,通过自适应选择关键点对减少计算量,同时设计多尺度块级注意力融合(MBAF)模块捕捉不同空间尺度特征,并引入自适应门控上下文增强(AGCE)模块优化注意力权重。实验表明,在ScanNet和S3DIS数据集上,本方法相比SOTA方法平均精度提升5.80%,同时保持低内存消耗。

  
陈一琳|李俊|卢涛|吴一奇|李慧|邹璐
武汉工业大学计算机科学与工程学院,中国武汉,430073

摘要

少样本3D点云分割(FS-PCS)旨在使模型在仅训练了少量样本后就能识别和分割新类别的对象。然而,少样本点云分割的进展受到对全局表示的依赖限制,这不仅忽略了关键的局部和上下文特征,还导致了较大的计算负担。为了解决这些挑战,我们提出了一种称为动态多尺度稀疏注意力与自适应门控上下文增强(DMSA-GCE)的新方法。首先,我们提出了一种动态稀疏注意力(DSA)范式,它能够自适应地选择最相关的点对进行关系建模,从而在保持必要的全局和局部信息的同时大幅降低计算和内存需求。此外,我们开发了一种多尺度块级注意力融合(MBAF),使模型能够捕获多个尺度上的语义特征,并将它们整合到更丰富的上下文表示中。进一步地,我们提出了一个自适应门控上下文增强(AGCE)模块,该模块与动态稀疏注意力结合使用,压缩多头信息以获得每个点的聚合特征,并自适应地学习当前点在全局上下文中的重要性。这使得注意力模块更倾向于关注语义相关的点,提高了类别边界的区分能力。与最先进的方法相比,我们的方法在ScanNet和S3DIS的多个参数上平均准确率提高了5.80%。全面的实验结果证实了我们的方法在性能和鲁棒性方面具有显著优势。代码可在https://github.com/lijunznib/DMSG获取。

引言

点云语义分割作为计算机视觉和3D数据分析中的基本任务(Yue, Wang, Huang, & Zhang (2025); Xie, Tian, & Zhu (2020); Xu et al. (2024)),已广泛应用于自动驾驶、城市规划和文化遗产保护等领域。然而,传统的点云语义分割方法通常依赖于大规模、密集标注的训练数据,这需要大量的数据收集和标注成本(Xie et al. (2020); Zhang, Zhao, Chen, & Lu (2019); Pei et al. (2025))。此外,这些方法往往无法准确分割训练期间未出现的对象实例。为了克服数据稀缺和泛化能力差的限制,推进少样本点云分割的研究至关重要(Zhao, Chua, & Lee (2021))。
传统的点云少样本语义分割方法经常采用多原型表示结合传递式推理技术(Zhao et al. (2021); Dai et al. (2024); He, Jiang, Jiang, & Ding (2023); Li, Wu, & Liu (2024); Shen, Ma, Wang, Zheng, & Zhong (2024))。这些方法旨在通过利用多个原型来更好地捕捉类内变化,同时利用查询集中的结构信息来提高分割性能。然而,生成多个原型的有效性在很大程度上取决于支持集中的样本质量和数量,而聚类算法的选择和簇的数量K是影响整体性能的关键和敏感因素。此外,传递式推理方法通常会产生较大的计算成本。随着深度学习的进步,基于深度神经网络的点云少样本语义分割方法得到了广泛研究并不断改进(Zhao et al. (2021); Ren, Tang, Sun, Zhao, & Han (2023); An et al. (2024); Catalano & Matteucci (2023); Du et al. (2025))。这些方法主要基于“首先学习通用表示,然后快速适应新类别”的原则。总体而言,现有的模型框架可以分为两类:基于迁移或微调的表示学习方法,以及基于原型匹配的度量学习方法。前者(An et al. (2025b); Zhu et al. (2023b)采用大规模预训练或提示微调策略,直接将从基础类别学习到的通用3D表示适应到新的、未见过的类别。相比之下,后者(Dai et al. (2024); An et al. (2024); Liu et al. (2024); Lai et al. (2022a); Ning, Tian, Lu, & Pei (2023)提取支持每个类别的前景点特征,将这些特征压缩成“原型向量”,然后通过最近邻匹配对查询集进行逐点分类。这使得端到端的少样本分割流程成为可能,无需额外的辅助程序。由于其有效性,原型匹配范式已成为该领域最突出和广泛采用的方法之一。
这些方法论框架最初涉及预训练一个强大的共享3D编码器,将点云投影到高维向量空间(Sarker et al. (2024)。随后,通过最大化不同类别向量之间的距离同时最小化同一类别向量之间的距离(Zhu, Zhou, Yao, & Zhu (2023a),这些方法促进了“新类别的出现”现象。在训练过程中,采用漏斗策略,从大规模数据逐步过渡到更小的任务。最后,计算每个点与查询点的逐点距离或相似度,然后应用Softmax函数将每个点分配到概率最高的类别。基于原型方法的性能在很大程度上取决于学习到的点嵌入的质量(Xie et al. (2020); Zhang et al. (2019); Landrieu & Boussaha (2019)。为了提高表示能力,最近的工作引入了基于Transformer的架构作为强大的嵌入模块,以模拟点云中的长距离依赖性和复杂几何关系(Wang, Chakraborty, & Yu (2022); Chen et al. (2025); Zeng, Wang, & Chen (2022); Ai et al. (2025))。尽管有这些进步,现有的基于Transformer的方法在应用于少样本点云分割时仍面临根本性限制。标准的自注意力依赖于计算和内存复杂度为二次方的密集Softmax注意力O(L2),这对于高分辨率点云来说是不可行的。此外,密集注意力机制往往引入冗余的交互作用,通常无法充分捕捉细粒度的局部几何结构(Lu et al. (2021); Keles, Wijewardena, & Hegde (2023); Sun, Li, Liu, Chai, & Wu (2026)。尽管卷积或邻域聚合操作器在模拟局部几何结构方面有效,但它们通常缺乏捕捉全局上下文依赖性的能力。因此,现有方法往往难以同时平衡全局上下文建模、局部几何敏感性和计算效率。这些观察表明,一个有效的少样本点云分割框架应满足三个基本要求:(1)选择性地建模信息丰富的点交互作用,以避免冗余计算;(2)在多个空间尺度上自适应地捕获上下文信息,以处理对象大小和空间分布的大变化;(3)保持大规模点云的内存效率和可扩展性。然而,现有方法都无法同时满足所有这些要求。
为了解决这些挑战,我们提出了一种用于少样本点云语义分割的动态稀疏注意力(DSA)机制。DSA不是构建一个完整的注意力得分矩阵,而是动态地为每个查询点在局部窗口内选择Top-K个最具信息量的键值对,从而显著减少计算冗余和内存消耗。在此基础上,以块级方式在注意力头之间计算稀疏注意力,进一步降低GPU内存使用峰值。此外,我们引入了一个多尺度块级注意力框架,在多尺度空间邻域(例如32、64和128)下并行计算注意力,以捕获细粒度的局部结构和更广泛的上下文依赖性。全局特征预测器动态地为不同尺度分配融合权重,输出通过一种数学上等同于传统基于连接的融合的记忆高效线性公式进行融合。此外,还采用了自适应门控网络来生成每个头的门控系数,增强判别相关性,同时抑制噪声交互。总体而言,所提出的设计在保持对局部几何细节的敏感性的同时,保留了全局上下文意识,为少样本点云语义分割提供了一个原理性和必要的解决方案。图1
通过全面的实验评估证明了所提出方法的有效性,结果表明其具有显著优势。总之,本研究的主要贡献如下:
  • •
    我们提出了一种新的动态稀疏注意力(DSA)模块,大幅降低了计算和内存需求,同时保持了建模全局上下文信息的能力。 与传统的Softmax注意力的全连接结构相比,DSA自适应地识别出最相关的计算点,从而将二次复杂度降低到近似线性级别,并消除了由冗余依赖性引起的匹配歧义。
  • •
    我们开发了一种多尺度块注意力融合(MBAF)模块,旨在捕获多个粒度上的关键点对,使模型能够同时表示局部几何结构和全局语义关系。 通过使用动态加权的多尺度块融合,MBAF明确解决了单尺度建模的固有局限性,从而提高了点云表示的全面性和鲁棒性。
  • •
    我们提出了一种自适应门控上下文增强(AGCE)模块,通过结合门控网络学习点对之间的自适应权重来增强注意力的判别能力。 AGCE在建模过程中动态抑制了冗余或噪声点对交互作用,强调了关键点之间的有效依赖性,从而提高了分割结果的鲁棒性和准确性。
  • •
    在ScanNet和S3DIS上进行的广泛实验验证了所提出的框架,取得了新的最佳结果,同时保持了低内存需求。
  • 相关工作

    相关工作

    少样本学习(FSL)使模型能够在仅有少量标注样本的情况下快速适应新类别(Tsoumplekas, Li, Sarigiannidis, & Argyriou (2024)。当应用于点云语义分割时,FSL通过利用有限的标注支持云集对查询扫描进行密集的逐点标注(Zhao et al. (2021); Su, Chen, & Wang (2025); Laazoufi, El Hassouni, & Cherifi (2026)。近年来,这一研究领域引起了越来越多的兴趣,现有方法可以

    问题设置

    FS-PCS任务可以使用经典的情节范式(Vinyals, Blundell, Lillicrap, Wierstra et al. (2016)进行表述,遵循先前工作的设置(Zhao et al. (2021); An et al. (2024)。每个情节对应一个N-way K-shot分割任务,包括一个支持集S={(Xsnk,Ysnk)nk}nNn和一个查询集Q={(Xqn,Yqn)nn。这里,Xs/q和Ys/q分别表示点云及其对应的点级标签。支持集S包含N个目标的样本

    实验设置

    数据集。我们在两个数据集上进行评估:S3DIS(Armeni et al. (2016)包含272个具有不同风格(如大堂、走廊、办公室、储藏室)的点云。点云的标注对应于12个语义类别加上一个表示杂物的类别。ScanNet(Dai et al. (2017)包含707个独特室内场景的1,513个点云。点云的标注对应于20个语义类别加上一个表示未标注空间的类别。遵循Zhao et al.(Zhao et al. (2021)的方法

    结论

    在本文中,我们研究了高效的注意力和多尺度上下文建模,用于少样本3D点云语义分割。我们提出了DMSA-GCE,这是一种新的FS-PCS框架,解决了在有限监督下局部几何表示和全局上下文推理之间的不平衡问题。DMSA-GCE引入了DSA来选择性地建模信息丰富的点交互作用,同时降低内存成本,并通过MBAF在不同的空间尺度上聚合上下文线索。这些组件

    作者声明

    陈一琳:监督、项目管理、写作 - 审稿与编辑、资金获取
    李俊:概念化、方法论、软件、验证、调查、写作与初稿、可视化
    卢涛:监督、写作 - 审稿与编辑
    吴一奇:写作 - 审稿与编辑
    邹璐:项目管理、写作 - 审稿与编辑
    李慧:写作 - 审稿与编辑

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号