CoTeach-CLIP：跨模态协作教学系统，用于零样本点云识别

《Neurocomputing》：CoTeach-CLIP: Cross-modal collaborative teachers for zero-shot point cloud recognition

　　左家宝|张浩峰|周全晨|赵亚飞|王欢|任明武
南京理工大学计算机科学与工程学院，南京，210094，中国

**摘要**
由于3D点云数据标注的成本较高，零样本学习方法在3D理解领域引起了越来越多的研究兴趣。最近的研究探索了利用CLIP（一个大规模的视觉-语言预训练模型）来转移其丰富的跨模态知识，以实现零样本3D点云识别。然而，现有的基于CLIP的方法面临一些挑战，包括视觉和文本表示之间的模态不对称性、3D投影深度图与CLIP训练数据之间的领域差异，以及用于描述3D几何结构的手工文本模板的表达能力有限。为了解决这些挑战，我们提出了CoTeach-CLIP，这是一个基于双教师协同蒸馏的零样本点云识别框架。具体来说，该框架利用CLIP中的视觉和文本教师共同监督深度编码器的学习，从而通过互补的跨模态指导来弥合模态差异。我们进一步设计了一个稀疏CLIP-MoE视觉编码器，使用稀疏专家混合（Mixture-of-Experts）来扩展模型容量，同时保持计算效率，并通过专家专业化捕获多样化的几何模式。对于文本模态，我们引入了一种“看-然后写”策略，该策略利用视觉-语言模型从深度图自动生成具有几何意识的描述，克服了手工模板在捕获3D结构信息方面的局限性。在ModelNet40和ScanObjectNN上的广泛实验表明，CoTeach-CLIP分别实现了59.08%和45.89%的准确率，优于现有的零样本方法，并且在真实世界场景中对背景噪声和几何扰动表现出很强的鲁棒性。代码可在以下链接获取：https://github.com/Zuo-Zuo/CoTeach-CLIP/tree/main

**引言**
对3D点云的精确语义理解是各种新兴技术的基础前提，这些技术包括自动驾驶[1]、机器人操作[2]和增强现实。尽管深度学习方法在各种3D感知任务中取得了显著的成功[3]，但其性能仍然严重依赖于大规模标注数据集的可用性。由于高昂的标注成本和数据获取的复杂性，现有3D数据集的类别覆盖范围仍然有限，使得模型在实际的开世界应用中不可避免地会遇到未见过的对象类别。为了解决这一挑战，零样本学习（Zero-Shot Learning，ZSL）吸引了越来越多的研究关注[4]。其主要目标是利用语义知识将已学习的表示从已见类别转移到未见类别，从而无需额外标注即可识别新目标[4]。为此，利用大规模预训练的视觉-语言模型（VLMs），如CLIP[5]，进行跨模态知识转移已成为零样本3D学习中的主导范式。为了实现3D几何表示与CLIP语义空间之间的有效对齐，现有研究主要遵循两种技术路线。第一类是基于点的编码方法，如ULIP[6]和ULIP-2[7]，它们直接将3D点云特征映射到CLIP语义空间。第二类是基于投影的方法，这些方法将3D点云渲染成多视图2D图像，并利用预训练的视觉编码器与视觉-语言模型对齐。在基于投影的方法中，利用多视图深度图表示的方法显示出特别的前景。早期的工作PointCLIP[8]率先使用多视图深度投影来建立3D点云与CLIP空间之间的对齐。后续研究从不同角度扩展了这种方法：CLIP2Scene[9]用于场景级理解，CLIP2Point[10]通过图像深度预训练，PointCLIP V2[11]通过提示学习，以及DualCLIP[12]用于多模态机器人感知。在这些多视图表示中，深度图相比RGB渲染具有明显的优势，因为它们能够精确保留几何拓扑结构，同时有效过滤掉颜色和材料属性等非几何属性。此外，作为规则的2D结构，深度图可以直接利用预训练的视觉Transformer来捕获细粒度的几何细节。尽管有这些优势，现有的基于深度的方法在实现与CLIP语义空间的精确对齐时仍面临三个核心挑战。

**第一挑战是几何、视觉和语义模态之间的模态不对称性。**在零样本3D识别中，这些模态在信息粒度和分布上存在固有的不对齐，而现有的单模态方法难以平衡它们的互补性。仅依赖视觉指导（图1），深度编码器缺乏明确的语义锚点，难以建立稳健的分类边界；相反，仅依赖文本指导，则无法捕获细粒度的几何特征。这种不对称性导致具有相似拓扑结构的对象（如不同型号的椅子）的区分能力不足。在真实世界场景中，这种不对称性进一步加剧，极端点云稀疏性会破坏细粒度的几何特征，加剧不对齐[13]。

**第二挑战是跨模态对齐中的语义噪声。**传统方法通常采用CLIP的通用文本模板[5]（例如，“一张[类别]的照片”）。然而，由于深度图是纯几何表示，缺乏颜色和纹理，这些通用描述引入了非几何噪声[11]。这种不匹配导致深度编码器学习到“伪特征”，使得学习到的表示偏离真实的几何语义。这种漂移严重削弱了模型对未见类别的泛化能力。**第三挑战是领域差异和有限的编码器容量导致的表示瓶颈。**具体来说，3D形状的合成多视图RGB渲染与CLIP预训练中使用的自然图像之间存在明显的领域差异[5]。标准视觉编码器在处理自然图像时表现出色，但在处理这些多视图RGB渲染时面临领域偏移和容量限制。因此，它们难以同时捕获全局拓扑和细粒度的几何细节，从而限制了可用于跨模态蒸馏的视觉知识的质量。**

为了解决上述挑战，我们提出了CoTeach-CLIP，这是一个基于双教师跨模态蒸馏的零样本3D学习框架，它通过协同监督指导深度编码器学习稳健的几何对齐表示。具体来说，我们的框架包括三个关键组成部分：（1）利用联合视觉-文本监督的双教师蒸馏机制；（2）生成具有几何意识的文本描述的“看-然后写”策略；（3）通过专家混合（Mixture-of-Experts）扩展模型容量的稀疏CLIP-MoE视觉编码器。具体而言，学生深度编码器通过将每个深度视图与（i）从配对RGB渲染中提取的视觉特征和（ii）从具有几何意识的描述中编码的语义特征共同对齐来学习统一的几何嵌入。在推理时，我们将测试点云渲染成多个深度视图，并汇总各视图的相似性logits以获得最终预测。

**首先，为了解决模态不对称性，我们设计了一个双教师蒸馏机制，该机制利用视觉和文本模态的互补监督。**具体来说，CLIP中的视觉和文本教师通过一个带有不确定性权重的联合目标共同约束深度编码器，在共享的语义空间内进行监督，其中视觉分支提供来自配对RGB渲染的监督，文本分支提供语义锚点。与仅依赖视觉或文本模态的单教师方法不同，我们的双教师范式能够同时学习具有区分能力的视觉特征和分类语义知识。这种机制确保了生成的深度表示具有细粒度的几何敏感性和明确的语义边界，有效补偿了单模态监督中固有的信息缺陷。**

**其次，为了减轻语义噪声，我们引入了一种基于视觉的“看-然后写”策略，该策略生成以几何为中心的文本描述。**与依赖通用模板的现有方法不同，我们利用3D视觉命令引导多模态大型模型“观察”深度渲染并生成以几何为中心的描述，然后由冻结的CLIP文本编码器进行编码，以提供基于几何的语义监督。这种策略在源头上过滤掉非几何噪声，确保文本语义和深度-几何特征之间的严格对齐。**

**第三，为了克服这种表示瓶颈，我们提出了稀疏CLIP-MoE视觉编码器作为更强的视觉教师。**该编码器在多视图RGB渲染上运行，将专家混合（MoE）机制[14]集成到CLIP骨干中。它利用专家多样化，其中路由模块动态地将视觉补丁表示分配给最合适的专家。通过稀疏激活，多个轻量级专家可以并行提取多样化的全局拓扑和细粒度的几何细节。这种设计有效地扩展了视觉教师的表示能力，提供了更丰富和更稳健的视觉指导，以促进零样本识别。**

**本工作的主要贡献可以总结如下：**
我们提出了CoTeach-CLIP，这是一个基于双教师协同蒸馏的零样本3D学习框架，通过联合视觉-文本监督实现稳健的深度-CLIP对齐。
我们引入了一种基于视觉的“看-然后写”策略，利用VLMs从深度图生成以几何为中心的描述，消除了通用文本模板中的语义噪声。
我们开发了一个稀疏CLIP-MoE视觉编码器，通过稀疏门控的专家混合扩展了3D几何模式的表示能力，同时保持计算效率。
在ModelNet40和ScanObjectNN上的广泛实验表明，我们的框架实现了卓越的零样本性能，全面的消融研究验证了每个组件的有效性。

**部分代码片段**
**3D识别的零样本学习**
零样本学习旨在利用辅助语义信息来识别未见过的类别。理论框架的系统总结可以在[15]中找到。早期的方法主要通过属性空间或词向量空间建立语义桥梁。例如，标签嵌入方法[16]学习视觉特征和属性向量之间的映射，促进不同类别之间的语义关联。为了解决潜在的数据污染问题，更多的...

**问题定义**
在3D点云零样本分类任务中，我们将样本空间定义为，其中每个样本是一个包含3D坐标的点云。类别标签空间表示为，每个对应于一个语义类别。

**为了利用多模态知识，我们定义了与点云相关的以下模态：**
**RGB视觉模态：**来自的点云的多视图RGB渲染，用作视觉教师网络的输入。

**数据集和实验设置**
我们在实验中使用了三个数据集：ShapeNet55[52]用于训练，ModelNet[53]和ScanObjectNN[54]用于零样本评估。ShapeNet55包含来自55个类别的51,127个CAD模型及其多视图RGB渲染。ModelNet包括两个子集：ModelNet10包含来自10个类别的4899个预对齐的形状（908个测试样本），ModelNet40包含来自40个类别的12,311个形状（2468个测试样本）。ScanObjectNN是一个具有2902个样本的具有挑战性的真实世界数据集，涵盖15个类别。

**结论**
本文提出了CoTeach-CLIP，这是一个基于CLIP的零样本3D点云识别框架。通过构建双教师协同蒸馏机制，我们的方法减轻了3D几何特征与视觉-语言语义空间之间的模态不对称性。稀疏CLIP-MoE架构和“看-然后写”策略的整合展示了在有限的3D训练数据下增强零样本泛化的两种有效方法：扩展模型容量。

**CRediT作者贡献声明**
左家宝：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据策划、概念化。
张浩峰：撰写——审阅与编辑、方法论、资金获取。
周全晨：撰写——审阅与编辑、数据策划。
赵亚飞：撰写——审阅与编辑、形式分析。
王欢：撰写——审阅与编辑。
任明武：监督。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作部分得到了中国国家自然科学基金（项目编号62371235和U25A20444）的支持，部分得到了江苏省重点研发计划（产业预见和关键核心技术项目）（项目编号BE2023008-2）的支持。
左家宝于2020年在华侨大学获得信息科学与工程硕士学位，目前正在南京理工大学攻读计算机科学与技术博士学位。她的研究主题主要包括：计算机视觉、点云理解。