HiFi-CLIP：面向三维零样本分类的高保真投影与属性对齐

《Pattern Recognition》：HiFi-CLIP: High-fidelity projection and attribute alignment for 3D zero-shot classification

　　

• 提出了一个面向3D零样本分类的高保真框架。• 统计加权深度投影提升了几何信号质量。• 属性引导的文本生成增强了细粒度语义判别能力。• 基于LoRA的微调高效地适配CLIP到3D几何结构。• 层次化推理细化了相似类别间的模糊预测。

**引言**

近年来，深度学习推动了计算机视觉领域的重大进展，在目标识别[1]、缺陷检测[2]和图像分割[3]等任务中取得了强劲的性能。然而，传统2D图像本质上缺乏空间深度信息，限制了其在自动驾驶和机器人交互等需要精确空间感知和结构理解场景中的适用性。得益于LiDAR和RGB-D相机等3D感知技术的成熟，点云数据的获取门槛已显著降低，推动了3D视觉的快速发展。

以PointNet [4]、PointNet++ [5]和JSPNet [6]为代表的开创性工作，利用特征自相似性，通过精心设计的编码器提取点云特征，在封闭集基准上展现了强劲的性能。尽管全监督范式在特定数据集上取得了卓越表现，但它严重依赖昂贵的人工标注数据，且受限于封闭集设定；因此，当模型需要识别训练集中不存在的未见类别时，其判别能力往往会显著退化。此外，点云数据的庞大、无序和离散特性给全监督训练带来了高昂的计算开销和漫长的收敛周期，限制了模型在适应新引入或未见类别时的灵活性。

在2D视觉领域，Radford等人[7]提出了对比语言-图像预训练模型（CLIP），该模型利用从互联网上爬取的4亿个图文对进行对比学习。自那以后，2D领域的零样本学习通过原型校正[8]等技术持续推进。此外，这种强大的跨模态范式已成功扩展到其他复杂模态；例如，Wang等人[9]将冻结的CLIP适配用于视频理解，结合了参数高效微调与层次化提示。这些视觉-语言模型的巨大成功激励了研究界探索将CLIP的零样本泛化能力迁移到3D领域，旨在缓解3D数据的标注瓶颈。在基于CLIP的3D识别出现之前，早期研究已经探索了3D点云对象的零样本学习，通过将有见类别的语义知识迁移到未见类别，包括传统的归纳式3D零样本分类[10]和迁移式3D零样本分类[11]。

与少样本3D识别（仍需要每个目标类别的少量标注样本）相比，零样本3D分类在特定类别的3D标注昂贵、不可用或部署后难以更新时尤为吸引人。然而，由于高质量的点云-文本配对数据极度稀缺，直接复制CLIP的训练流程仍然充满挑战。近期研究尝试通过基于投影的CLIP适配、深度图像预训练、生成式渲染、多视角聚合和大规模3D表示学习，将视觉-语言模型迁移到3D识别中。这些努力提升了CLIP在点云上的适用性，但仍有若干问题未被充分探索，包括投影保真度、语义粒度、特征校准和细粒度判别。

**相关工作**

虽然某些方法在有限规模的数据集上从零开始训练以完成特定下游任务（例如GhostMLP [12]），但它们可能对有限的封闭集分布过拟合，并且对未见类别的泛化能力较差。近期的工作如OpenShape [13]通过合并多个公开数据集来扩大3D-文本配对；然而，编译如此庞大的3D数据集会产生巨大的标注和训练成本。鉴于从零开始进行大规模3D训练的难度，越来越多……

**CLIP概述**

CLIP [7]（对比语言-图像预训练）采用双编码器架构，包含一个图像编码器??和一个文本编码器??。它通过对比学习将视觉和文本输入映射到一个共享的嵌入空间中。

给定一个输入图像??和文本??，CLIP将它们分别编码为L2归一化的特征向量???=??(??)和???=??(??)。模型随后通过计算这些特征之间的余弦相似度来计算预测概率。

在零样本的语境下……

**数据集**

为了全面评估模型在不同场景下的零样本分类性能，我们选择了三个广泛使用的3D基准数据集：ModelNet10、ModelNet40 [37]和ScanObjectNN [38]。

ModelNet10和ModelNet40是合成CAD模型数据集，具有干净的背景和完整的结构，主要用于测试模型识别规范几何结构的能力。ScanObjectNN数据集包含2902个数据样本，涵盖15个类别。

**结论**

现有的基于投影的零样本3D分类方法往往面临视觉信号退化和语义表示粗糙带来的局限性。为了解决这些问题，我们提出了HiFi-CLIP，它结合了高保真深度重建、语义增强、视觉校准和判别式层次推理。这些组件提升了基于深度的视觉表示质量，并增强了结构相似类别之间的判别能力。在……上的实验结果表明……

**CRediT作者贡献声明**

张宏钢：撰写——初稿，软件，方法论，概念化。张旭：撰写——审阅与编辑，监督，资金获取。涂大伟：撰写——审阅与编辑，监督，资源，资金获取。华志杰：撰写——审阅与编辑，验证，形式化分析。

**利益冲突声明**

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

**致谢**

本研究由国家自然科学基金资助（编号：52327805和62176149）。

张宏钢 | 张旭 | 涂大伟 | 华志杰