基于文本引导的逐类增量点云语义分割方法，同时考虑类别分布约束

《Engineering Applications of Artificial Intelligence》：Text-guided class-incremental point cloud semantic segmentation with category distribution constraint

　　赵正 | 徐岩 | 彭晓瑞 | 王美军 | 孟宇
北京科技大学，学园路30号，北京，100083，中国

**摘要**
类增量光检测与测距（LiDAR）语义分割是指在学习过程中逐步引入新类别的同时，保持对先前学习类别的识别性能。由于点云的稀疏性和不规则性以及大规模场景中的严重类别不平衡，这项任务特别具有挑战性。现有方法主要依赖于单模态点云特征，这些特征提供的语义先验有限，并且容易受到增量步骤中类别分布变化的影响。此外，全局知识蒸馏往往会导致旧类别和新类别的特征重叠，从而混淆相似的类别。在本文中，我们提出了一种新的增量学习方法，有效整合了多模态信息以增强类别之间的区分能力。我们引入了文本信息，并通过跨模态注意力机制将增量点云与文本特征深度耦合，有效实现了跨模态的语义互补。为了进一步提高先前学习类别边界的区分能力，我们提出了历史多原型分布一致性约束。此外，我们还提出了新旧知识之间的正交性约束，以减轻在学习新类别时引入的冲突对性能的影响。在自动驾驶数据集上的广泛实验表明，我们提出的方法取得了最先进的结果。

**引言**
随着自动驾驶、智能机器人和高精度地图构建等应用的快速发展，环境感知已成为一项核心使能技术。在各种感知任务中，LiDAR点云语义分割通过逐点语义标注提供了细粒度的3D场景理解，发挥了关键作用。近年来，LiDAR语义分割方法取得了显著进展（Kong等人，2025年；Wu等人，2024a年；Xu等人，2021年；Hou等人，2022年；Zhou等人，2020年）。然而，大多数现有方法依赖于一次性学习所有语义类别，缺乏实时整合新类别识别的能力。理想的智能感知系统应该能够模仿人类驾驶员的行为，不断学习和适应动态变化的环境。为此，提出了类增量学习（CIL）理论，以持续构建能够识别先前见过和新遇到的类别的完整学习器。该方法已在包括物体检测（Kim等人，2024年；Yang等人，2025年）、分类（Zhang等人，2025年；Cao等人，2025年）和分割（Chang等人，2025年；Cong等人，2024年）在内的各种感知任务中得到广泛应用。尽管如此，由于点云的稀疏性、不规则性和密度不均匀性（这些特性与密集的2D图像显著不同），将类增量学习扩展到LiDAR分割仍然特别具有挑战性。

Camuffo和Milani（2023年）的方法首次为LiDAR语义分割建立了类增量持续学习框架。该方法通过最大化每个组中标记类别的数量来重新组织SemanticKITTI数据集，同时保持语义一致性并平衡每个训练子集中的点数和采集数量。此外，还构建了通用类增量和粗到细的语义分割场景。为了减少灾难性遗忘，Camuffo和Milani（2023年）、Cermelli等人（2020年）提出了计算新旧模型高维特征之间的Kullback–Leibler（KL）散度，有效对齐了整体特征分布。然而，由于历史模型从未遇到过新类别的点云，其高维嵌入包含误导性信息，这些信息会通过KL散度的整体分布传播到更新模型的训练中。除了深度特征对齐外，一些研究（Li和Hoiem，2017年；Cermelli等人，2020年；Toldo等人，2024年；Camuffo和Milani，2023年）还在输出层面进行对齐，通过计算点云的对数概率之间的KL散度来实现。这种细粒度对齐方法可能传递更详细的知识。然而，在大规模LiDAR场景中，由于类别不平衡问题，这种整体对齐方法可能导致较小的数据量被主导数据淹没，从而削弱特征表示。此外，这些方法主要关注减轻先前学习知识的灾难性遗忘。然而，在真实的LiDAR分割场景中，类别实例不会孤立出现，一些历史类别点（如道路和植被）不可避免地会出现在新类别的训练过程中。仅在新类别上训练模型而移除旧类别无法反映现实世界场景，可能会阻碍模型对复杂场景的全面理解。因此，除了解决历史遗忘问题外，还应更加重视有效学习新类别并准确区分它们与先前学习的类别。此外，文本通常包含高级语义信息（Lv等人，2024年），这可以作为类增量语义分割的丰富先验，并弥补点云中语义线索的不足。当前方法（Camuffo和Milani，2023年；Li和Hoiem，2017年；Cermelli等人，2020年；Toldo等人，2024年；Michieli和Zanuttigh，2019年；Maracani等人，2021年）受限于单模态复杂空间LiDAR数据，缺乏语义先验知识进一步加剧了增量学习中不同类别边界之间的模糊性。

在这项工作中，我们提出了一个新颖的文本引导的类增量LiDAR语义分割框架（TCIL），旨在探索其他模态在类增量LiDAR分割中的潜力，并通过约束不同类别之间的分布来增强模型区分类别边界的能力。具体来说，我们在增量学习过程中引入了文本模态，文本信息的丰富性随着点云类别数量的增加而增加。我们提出了增量文本引导的点特征（ITPF）模块，该模块利用预训练语言模型编码的文本令牌来增强LiDAR点云的语义表示，实现深度跨模态交互并提高模型性能。此外，我们还提出了历史多原型分布一致性约束，在新旧特征空间中为历史类别构建原型。然后应用这些原型之间的分布一致性损失来指导增量训练过程，使新模型能够平等继承不同类别的历史知识。最后，我们提出了新旧知识之间的正交性约束，利用辅助学习器对点云特征进行增强，以提高模型区分类别边界的能力。

**总结**
我们的主要贡献如下：
- 我们提出了TCIL，一种新颖的文本引导的类增量LiDAR语义分割框架，能够同时有效学习新知识和先前知识。广泛的实验结果表明，TCIL的性能优于现有方法。
- 我们提出了ITPF模块，利用丰富的文本先验知识来增强LiDAR点云的语义表示，通过跨模态交互提高类别识别能力。
- 为了在增量学习中平等保留先前类别的知识，我们提出了历史多原型分布一致性约束，提高了历史类别之间的区分能力。此外，我们还提出了正交性约束以增强新类别和先前类别之间的边界区分能力。

本文的其余部分组织如下：第2节简要介绍了类增量学习和LiDAR语义分割的相关工作。第3节介绍了问题定义并描述了所提出框架的详细信息。第4节报告了在SemanticKITTI数据集上的实验结果，以验证我们方法的有效性。最后，在第5节中总结了本文。代码可在https://github.com/miniflash/TCIL获取。

**类增量学习**
类增量学习旨在使模型逐步学习新类别的知识，并构建一个能够适应所有已知类别的通用分类器。致命问题是灾难性遗忘，即模型在直接学习新类别时会忘记先前知识，导致性能不可逆的下降。在类增量语义分割的背景下，其密集预测特性使其既具有挑战性又具有新颖性。

**问题定义**
在类增量LiDAR语义分割任务中，学习通过一系列增量步骤进行，表示为步骤t∈{0,1,2,…}。最初，模型在基础子集D0={(xi,yi)}I0上进行训练，该子集包含I0对点云xi及其对应的标签yi。初始语义类别集表示为C0。在每个后续步骤t中，训练子集表示为Dt={(xi,yi)}It，Ct表示引入的新语义类别集。

**数据集和设置**
为了验证我们方法的有效性，我们在SemanticKITTI数据集上进行了实验，该数据集是一个为自动驾驶场景设计的广泛使用的LiDAR点云语义分割基准。该数据集是著名KITTI数据集的扩展，增加了密集的逐点语义注释。它包含22个序列，共计43,552个标注的LiDAR扫描，其中19,130帧用于训练，4,071帧用于验证。

**结论**
在本文中，我们提出了一种新颖的类增量LiDAR语义分割框架TCIL。该框架引入了增量文本引导的点特征模块，利用预训练语言模型编码的文本令牌来增强LiDAR点云的语义表示。此外，我们还提出了历史多原型分布一致性约束和知识正交性约束，以提高……

**作者贡献声明**
赵正：撰写——审阅与编辑、撰写——原始草稿、软件、方法论、资金获取。
徐岩：形式分析、数据整理。
彭晓瑞：可视化、验证。
王美军：验证、调查。
孟宇：验证、监督、项目管理。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。