
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于类内相关性增强与迭代原型融合的小样本点云语义分割方法
【字体: 大 中 小 】 时间:2025年05月19日 来源:Computer Vision and Image Understanding 4.3
编辑推荐:
针对小样本点云分割中类间相似性与类内多样性导致的噪声干扰及原型-查询特征分布差异问题,研究人员提出融合类内相关性增强(ICE)模块与迭代原型融合(IPF)模块的创新框架。通过跨注意力机制优化特征空间,在S3DIS和ScanNet数据集上实现超越现有方法的分割精度,为动态场景下少标注3D场景理解提供新思路。
随着自动驾驶和虚拟现实等技术的快速发展,精确的3D点云语义分割成为场景理解的核心任务。然而,点云数据固有的无序性、稀疏性和尺度差异使得人工标注成本极高,而传统全监督方法难以适应动态环境中新类别的出现。尽管弱监督和自监督学习能减少标注依赖,但其泛化能力受限。小样本学习(Few-shot Learning)虽在图像领域取得突破,但在点云分割中仍面临原型表征不准确、类间相似性干扰等挑战。吉林大学的研究团队通过创新性融合类内相关性增强(Intra-class Correlation Enhancement, ICE)与迭代原型融合(Iterative Prototype Fusion, IPF)模块,显著提升了小样本条件下的分割性能,相关成果发表于《Computer Vision and Image Understanding》。
研究采用跨数据集验证策略,基于S3DIS和ScanNet两个室内点云基准数据集。关键技术包括:1)ICE模块通过通道注意力与跨注意力机制抑制类间相似性噪声;2)IPF模块通过多轮次原型自适应调整缩小支持集-查询集分布差异;3)双向特征全局化(Bidirectional Feature Globalization)优化原型表征。
类内相关性增强模块设计
ICE模块针对沙发与床等几何相似类别的误分割问题,构建双重注意力机制。通道注意力筛选判别性特征维度,跨注意力则量化同类点间的拓扑关系,实验显示该模块使同类特征在嵌入空间中的聚类紧密度提升23.6%。
迭代原型融合机制
IPF模块通过迭代更新策略解决初始原型偏差问题。每轮迭代中,查询集特征通过交叉注意力动态修正原型向量,最终融合各轮次原型形成鲁棒表征。在5-way 1-shot任务中,该机制使mIoU(mean Intersection over Union)较基线方法BFG提高8.3%。
跨数据集性能验证
在S3DIS和ScanNet的跨场景测试中,该方法在15个新类别上的平均分割精度达62.1%,显著优于2CBR和attMPTI等对比模型。消融实验证实ICE与IPF的协同作用可使边缘噪声减少41%。
该研究通过仿生学思路模拟人类从少量样本中归纳共性的认知过程,首次将迭代优化思想引入点云小样本分割领域。ICE模块的创新性在于将传统图像处理的注意力机制拓展至非结构化点云数据,而IPF模块通过原型动态调整突破了支持集样本不足的瓶颈。实验证明该方法在医疗影像重建和工业零件分拣等场景具有迁移潜力,其核心思想为未来开发零样本(Zero-shot)3D理解系统提供了理论基础。研究获得吉林省自然科学基金(20240101366JC)支持,相关代码已开源。
生物通微信公众号
知名企业招聘