《Patient Education and Counseling》：OV-Pro: Enhancing open-vocabulary 3D object detection by prototype contrastive distillation
编辑推荐：
开放词汇3D目标检测框架OV-Pro通过原型知识蒸馏提升对未知物体的检测能力，采用跨视角实例一致性约束生成高质量原型，结合原型对比蒸馏模拟人类认知机制，并设计原型传播策略增强模型鲁棒性，在nuScenes数据集上达到最优性能。
作者：葛同高、王俊银、杜成虎、李慧、刘慧凯、熊胜武
中国海南省三亚市，武汉理工大学三亚科学与教育创新园
摘要 开放词汇3D物体检测（OV-3DDet）旨在打破传统3D物体检测器中固定词汇的限制。现有的OV-3DDet方法通常使用2D视觉语言模型（VLMs）来扩展检测词汇。然而，点云数据的稀疏性以及伪标签中的大量噪声导致对新物体的检测准确性和泛化能力不佳。为了解决这些问题，我们提出了OV-Pro，这是一个基于原型知识蒸馏的新框架，旨在提高模型对新物体的定位和分类能力。具体来说，OV-Pro首先使用跨视图实例一致性约束的原型生成（C3PG）方法来构建具有更全面几何表示的开放词汇原型，这减少了伪标签中的噪声并提高了原型生成的质量。其次，受到人类识别不完整物体能力的启发，OV-Pro采用原型对比蒸馏（PCD）方法在实例层面传递原型知识，从而增强模型对不完整新物体的识别能力。最后，OV-Pro利用原型传播策略（PPS）来传播原型知识并模拟难例，提高模型对新物体的鲁棒性。在nuScenes数据集上的广泛实验表明，所提出的框架在OV-3DDet任务中达到了最先进的性能。代码可在以下链接获取：
https://github.com/ovpro3d/OV-Pro 。
引言 3D物体检测是计算机视觉中的一个基本任务，其目标是在3D场景中精确地定位和分类物体[1]，[2]。然而，当前主流的3D物体检测方法在实践中存在一个显著的限制：它们的检测能力受到训练期间看到的预定义类别词汇的限制。这种封闭集定义限制了模型适应现实世界复杂和动态需求的能力。特别是对于自动驾驶而言，无法检测和准确定位临时道路施工设备、动物或其他非常规物体会带来严重的安全风险。相比之下，开放词汇物体检测在2D图像领域取得了显著进展[3]，[4]，[5]，这在很大程度上得益于大规模的标注数据集。然而，由于LiDAR传感器和手动3D标注的成本过高，很难在3D点云领域复制这样的进展。
为了实现开放词汇3D感知，最近的研究尝试从2D领域转移知识[6]，[7]，[8]，[9]或数据[10]，[11]，[12]，[13]。具体来说，这些方法通常利用2D视觉语言模型（VLMs）[4]，[5]来识别潜在的新物体。随后，利用VLMs的先验信息结合传感器外部校准来估计这些物体在点云数据中的3D位置。然后生成相应的3D伪标签来监督边界框回归和分类，以便于检测不属于预定义训练类别的新物体。然而，这些伪标签通常受到大量噪声的影响。这种低质量的伪标签阻碍了有效的模型训练，并导致对新物体的检测结果不可靠，尤其是当物体只部分可见时（例如，只显示侧面或背面）。如图1所示，当新物体从特定角度接近本车时可以被正确检测到。然而，当物体的点云表示因移动而改变时，即使点云密度增加，该物体也会被忽略。这种现象由于伪标签的质量低而被称为视角依赖性。
基于上述观察，我们想到了人类识别部分完整物体的能力。具体来说，人类可以从部分视图识别物体，前提是他们之前观察过其完整结构。这种能力源于人类认知中编码的先验知识，有助于将部分观察与完整物体关联起来。因此，我们提出了以下问题：我们能否模拟这种认知机制？ 受到基于原型方法[14]，[15]，[16]，[17]的启发，这些方法为3D物体检测构建了几何原型，一种潜在的方法是构建和传递原型知识以提高模型对新物体的泛化能力。此外，最近在3D物体检测中的知识蒸馏（KD）[18]，[19]，[20]，[21]表明，在教师网络和学生网络之间对齐中间特征是知识转移的有效方法。这鼓励我们通过基于原型的知识蒸馏来模拟上述类似人类的识别机制，如图2所示。因此，在这项工作中，我们提出了一种原型对比蒸馏方法，该方法利用KD来弥合部分观察和完整物体理解之间的差距，旨在提高模型对新物体的鲁棒性和泛化能力。该方法还结合了对比学习[22]来增强学习特征的区分能力，从而进一步提高模型区分不同新物体的能力。
鉴于原型在这个框架中的核心作用，另一个关键挑战是如何构建高质量的原型。一种直接的方法是使用时空聚类在多个帧中的3D伪标签内聚合点云，从而生成更具几何完整性和无视角限制的新物体原型。然而，在现代自动驾驶系统中，多视图相机配置已成为标准配置（例如，在nuScenes [23]和Waymo Open Dataset [24]中可以看到）。在这种配置下，单个物体实例经常出现在多个相机视图中，如图3所示。当VLMs独立应用于每个视图时，生成的2D边界框提议通常只能部分覆盖物体。这导致单个实例与多个3D提议候选者匹配，其中许多无法完全包围该实例，并在细化过程中被过滤掉，从而导致假阴性结果。或者，即使选择了单个3D候选者，也可能不是最佳匹配。这种情况最终不仅降低了生成原型的质量，还会在训练过程中积累错误。为了解决这个问题，我们提出了一种跨视图实例一致性约束的原型生成方法，有效减少了3D伪标签中的错误并提高了新物体生成原型的质量。最后，为了最大化原型对比蒸馏的效果，我们提出了一种原型传播策略。该策略通过采样高质量原型和模拟难例的检测来丰富训练样本，从而进一步提高模型的检测性能。
总结来说，这项工作旨在解决阻碍开放词汇3D检测的两个核心挑战：（1）伪标签中固有的大量噪声，通常由跨视图不一致性和不准确的2D到3D提升引起；（2）由于遮挡和稀疏性，新物体的点云表示不完整。我们的贡献如下：
• 我们设计了一个名为OV-Pro的新开放词汇3D物体检测框架，该框架基于一种结合了原型学习和对比学习的新知识蒸馏架构。
• 我们提出了一种跨视图实例一致性约束的原型生成方法。该方法通过减轻由跨视图实例不一致性引起的3D伪标签拟合错误来提高原型质量。
• 我们引入了一种原型对比蒸馏方法。该方法受到人类识别不完整物体能力的启发，将原型知识从教师网络传递到学生网络，结合对比学习来增强新物体的区分能力。
• 我们提出了一种原型传播策略，在训练迭代过程中通过采样新物体原型和执行难例模拟来传播原型知识。
部分内容 开放词汇3D物体感知 3D场景理解的任务最近已经从依赖固定类别标签转向了开放词汇范式。在2D视觉语言模型（2DVLMs）[3]，[4]，[5]强大的零样本识别能力的基础上，主要研究重点是将2DVLMs的知识适应到3D数据领域。开创性工作[6]通过将3D特征与2D视觉语言模型的丰富语义知识对齐，证明了这种方法的可行性，使得
我们的方法 图4展示了OV-Pro的总体架构。在第3.1节正式定义任务后，我们在第3.2节详细介绍了跨视图实例一致性约束的原型生成（C3PG），然后在第3.3节描述了原型对比蒸馏（PCD），并在第3.4节描述了原型传播策略（PPS）。
该框架遵循以原型为中心的渐进式流程。首先，C3PG通过纠正跨视图不一致性来构建高质量的原型。
数据集 我们在nuScenes数据集[23]上评估了OV-Pro，这是一个用于自动驾驶的大规模多模态基准数据集。它包含1,000个场景（40,000个关键帧），涵盖了多样的驾驶场景，提供了同步的LiDAR点云和RGB图像，并标注了10个类别的140万个3D边界框。
实验设置 基础和新类别划分。 为了评估OV-Pro并便于与现有方法进行比较，我们在nuScenes数据集上建立了三个基准分区。
结论 在这项工作中，我们提出了一个基于原型知识转移的新开放词汇3D物体检测框架OV-Pro。首先，我们引入了一种C3PG方法，有效减轻了3D伪标签噪声，同时提高了生成原型的质量。其次，受到人类识别不完整物体认知能力的启发，我们提出了一种PCD方法，增强了其对新物体的泛化能力。最后，我们设计了一种PPS，有效地
CRediT作者贡献声明 葛同高： 写作——审阅与编辑，撰写——原始草稿，验证，软件，方法论，概念化。王俊银： 写作——审阅与编辑，撰写——原始草稿，概念化。杜成虎： 可视化，验证，调查。李慧： 写作——审阅与编辑。刘慧凯： 资源。熊胜武： 资源，资金获取，概念化。
利益冲突声明 在准备这项工作期间，作者仅使用Gemini来提高语言和可读性，作者对最终内容负全责。
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
致谢 这项工作部分得到了中国国家重点研发计划（项目编号2022ZD0160604）和国家自然科学基金（项目编号62176194）、湖北省重点研发计划（项目编号2023BAB083）、三亚崖州湾科技城项目（项目编号SCKJ-JYRC-2022-76，SKJC-2022-PTDX-031）、武汉理工大学三亚科学与教育创新园项目（项目编号2021KF0031）以及基础研究基金的支持。
