PACE：基于深度感知伪点增强与跨模态原型对比学习的无监督3D目标检测

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：PACE: Depth-aware pseudo-point augmentation with cross-modal prototype contrastive learning for unsupervised 3D object detection

　　

**摘要**

尽管近期的无监督3D目标检测方法取得了令人瞩目的进展，但由于激光雷达点云固有的稀疏性，它们在远距离和小尺寸目标上仍普遍难以维持强劲性能。一方面，仅基于激光雷达的伪标签生成完全依赖几何聚类，对于反射点稀缺的区域，根本无法拟合可靠的标签。另一方面，尽管已有方法尝试引入图像语义来生成伪标签，但在检测器训练阶段又丢弃了这些图像线索，仅基于稀疏的激光雷达特征训练网络。为解决上述问题，我们提出PACE，一种配备深度感知伪点增强与跨模态原型对比学习的无监督3D目标检测器，旨在贯穿伪标签生成与检测器训练全程利用图像语义信息。具体而言，为弥补激光雷达稀疏性，我们提出一种语义伪标签生成流程，将从2D实例掩码和度量深度估计中反投影得到的伪点用于增强稀疏的激光雷达点云。随后通过深度感知投影校正与类别精化，生成高置信度3D伪标签及覆盖更广泛的BEV伪标签。为在训练阶段利用图像语义，我们引入一种多模态无监督3D目标检测框架，通过三阶段跨模态原型对比学习融合激光雷达与图像的BEV特征，利用3D伪标签进行定位与回归监督，利用BEV伪标签进行特征挖掘。在KITTI和nuScenes数据集上的大量实验表明，PACE优于当前最先进的无监督3D目标检测方法，尤其在远距离和小尺寸目标上表现突出。具体而言，在KITTI数据集上，PACE将初始伪标签生成精度提升6.27%、召回率提升5.87%，并将训练后检测器在Cyclist类别上的Moderate与Hard AP分别提升9.9%和10.7%。组件消融实验以及对BEV特征和原型特征的可视化进一步验证了PACE在检测精度、BEV目标特征响应以及原型可分性上的持续改进。

**引言**

无监督3D目标检测旨在直接从原始传感器数据流中定位和分类目标，消除对人工标注3D标签的依赖（Guo et al., 2021）。在自动驾驶与移动测绘等应用场景中，跨多种环境与地理区域扩展标注数据集的成本极为高昂，降低标注需求有助于促进检测器在实际中的广泛部署（Li et al., 2024, Gao et al., 2026）。

当代无监督3D目标检测方法（You et al., 2022, Zhang et al., 2023, Baur et al., 2025, Wu et al., 2024, Wu et al., 2025b, Xia et al., 2026, Wu et al., 2025a, Lentsch et al., 2024, Ji et al., 2025, Guo et al., 2026, He et al., 2026）通常将任务分解为两个顺序步骤：伪标签生成，即从无标注数据中发现候选3D边界框并作为伪标签；以及检测器训练，即在伪标签的监督下，神经网络学习从传感器输入中定位3D目标。如图1(a)所示，早期方法完全基于激光雷达点云操作（You et al., 2022, Zhang et al., 2023, Baur et al., 2025, Wu et al., 2024, Wu et al., 2025a）。它们根据局部密度和平面性等几何统计量对点进行聚类，为每个聚类拟合3D边界框，并通过自训练迭代精化伪标签。然而，由于原始点云缺乏语义区分能力，这些方法只能以类别无关的方式检测移动目标，无法区分车辆、行人与骑行者等细粒度类别。此外，激光雷达点云呈现出近密远疏的特性：激光束随距离发散，因此近处目标包含密集的反射点，而远距离和小尺寸目标由于在传感器视场中的立体角较小，反射点更少。因此，为远距离和小尺寸目标拟合伪标签十分困难，迭代自训练也难以检测它们。

近期的一些尝试在伪标签生成阶段引入了图像语义（Lentsch et al., 2024, Ji et al., 2025, Guo et al., 2026, He et al., 2026），如图1(b)所示。通过将图像语义标签投影到点云上，这些方法为3D点赋予了类别信息，实现了有效的多类别无监督检测。然而，它们仍然仅依赖激光雷达点来拟合目标边界框，且检测器在训练时仅采用单模态激光雷达作为输入。因此，激光雷达点云的近密远疏特性仍然限制了远距离和小尺寸目标的检测性能。

我们认为，激光雷达点的稀疏性是限制远距离和小尺寸目标检测性能的关键瓶颈。一方面，在伪标签生成阶段，远距离和小尺寸目标区域内固有的反射点稀缺，从根本上使得无法为这些对象生成可靠的伪标签。另一方面，在检测器的特征提取过程中，稀疏卷积操作将远距离和小尺寸目标所占据的体素视为空体素并将其排除在特征更新之外，导致这些对象无法被检测。幸运的是，得益于2D视觉基础模型的快速发展（Jocher and Qiu, 2026, Lin et al., 2026, Carion et al., 2026, Siméoni et al., 2025），如今可以快速准确地获取图像中的语义信息。值得注意的是，在点云中稀疏出现的远距离和小尺寸目标可以在图像中被可靠地检测到。因此，我们认为将图像中密集的语义特征整合到无监督3D目标检测的两个步骤中，是一条提升远距离和小尺寸目标检测性能的有效途径。

受此启发，我们提出PACE，一种配备深度感知伪点增强与跨模态原型对比学习的无监督3D目标检测器。如图1(c)所示，它在伪标签生成与检测器训练全程利用丰富的图像语义信息。为应对阻碍仅激光雷达伪标签生成的空间稀疏性问题，我们设计了一种带有深度感知伪点增强的语义伪标签生成流程。该流程通过将图像像素反投影为深度感知伪点来增强稀疏的激光雷达点云，并利用图像语义发现纯点云方法遗漏的远距离和小尺寸目标。具体而言，我们首先从时序图像分割模型获取2D实例掩码，并估计度量深度图以将像素反投影为伪点云。随后，我们设计投影校正算法以减少深度估计误差。接着，利用点云聚类间的空间关系与目标常识知识来校正错误分配的点的类别。最后，我们生成两类伪标签：用于目标定位与回归的高置信度3D伪标签，以及用于BEV特征对比学习的覆盖更广泛的BEV伪标签。

为应对检测器训练阶段远距离和小尺寸目标的特征缺失问题，我们设计了一种带有跨模态原型对比学习的多模态无监督3D目标检测框架，在整网络学习过程中利用图像语义信息。该框架采用类似BEVFusion的架构（Liu et al., 2023, Liang et al., 2022），额外的图像分支通过骨干网络提取图像特征，然后通过LSS算法（Philion and Fidler, 2020）配合深度监督将其提升到BEV空间。得到的图像BEV特征随后与激光雷达BEV特征融合，进行联合表示学习。在此融合表示基础上，我们采用三阶段原型对比学习策略：记忆库预热阶段通过聚类初始化类原型；原型稳定阶段通过动量更新的原型在高置信度标签上稳定特征学习；特征挖掘阶段通过伪热力图与背景感知对比学习发现额外的前景特征。我们进一步引入跨模态原型对比学习以对齐图像与激光雷达的BEV特征。这些机制确保伪标签生成之后，语义信息仍能持续引导检测器的特征表示。

我们在KITTI（Geiger et al., 2012）和nuScenes（Caesar et al., 2020）数据集上进行了大量实验以验证所提出PACE方法的有效性。实验结果表明，PACE优于当前最先进的无监督3D目标检测方法，尤其在远距离和小尺寸目标检测上表现突出。具体而言，我们首先在两个数据集的训练集划分上直接评估第一步生成的伪标签，结果显示PACE始终产生比最先进方法更高质量的伪标签。例如，在KITTI训练集划分上，BEV精度从61.40%提升至67.67%，BEV召回率从70.34%提升至76.21%，验证了我们的语义伪标签生成流程的有效性。同时，我们在两个数据集的验证集划分上评估训练后的检测器，结果表明PACE取得了优异的检测性能，尤其在远距离和小尺寸目标上。例如，在KITTI验证集划分上，PACE将具有挑战性的Cyclist类别在3D-IoU 0.5下的Moderate和Hard AP分别从41.9%提升至51.8%和从36.7%提升至47.4%。在nuScenes验证集上，Cyclist的AP也从7.2%大幅提升至16.6%。这些结果证实我们的多模态框架学到了更具判别力的特征。此外，组件分析与BEV及原型特征的可视化验证了PACE的贡献，展示了检测增益的一致性、远距离和小尺寸目标更强的BEV响应，以及跨模态对齐带来的原型可分性提升。

本文的主要贡献总结如下：

- 我们提出PACE，在伪标签生成与检测器训练全程利用丰富的图像语义信息。
- 我们提出一种语义伪标签生成流程，将2D实例掩码配合度量深度估计反投影为3D伪点，以增强稀疏的激光雷达点并生成更高质量的伪标签。
- 我们提出一种多模态无监督3D目标检测框架，结合三阶段跨模态原型对比学习，在检测器训练中利用图像语义。
- 大量实验表明，PACE取得了最先进的无监督3D目标检测性能，尤其在远距离和小尺寸目标上。

**章节片段**

**无监督3D目标检测**

现有无监督3D目标检测方法主要聚焦于提升伪标签质量，根据是否利用图像语义可分为两个分支。

**仅激光雷达几何方法。** 早期方法仅利用激光雷达点云的几何分布模式生成伪标签。MODEST（You et al., 2022）通过常识启发式方法发现的种子标签，从迭代自训练引导中启动检测器，例如目标……

**方法**

如图1(c)所示，PACE是一种两步无监督3D目标检测框架，配备深度感知伪点增强与跨模态原型对比学习，在伪标签生成与检测器训练全程利用图像语义信息。第一步中，PACE将从2D实例掩码和度量深度估计反投影得到的深度感知伪点增强稀疏的激光雷达点云，随后校正投影误差并拟合两者……

**实验**

我们在KITTI（Geiger et al., 2012）和nuScenes（Caesar et al., 2020）数据集的无监督3D目标检测设置下评估PACE。我们首先直接评估生成的伪标签以验证带有深度感知伪点增强的语义伪标签生成流程在提升伪标签质量与覆盖率方面的有效性。然后我们用这些伪标签训练检测器以验证多模态融合与跨模态……的有效性。

**结论**

本文提出PACE，一种多模态无监督3D目标检测框架，联合利用深度感知伪点增强与跨模态原型对比学习。我们首先设计了一种语义伪标签生成流程，将2D实例掩码配合度量深度估计反投影为深度感知伪点，从而补偿稀疏的激光雷达反射并为远距离和小尺寸目标拟合更多伪标签。随后，我们引入投影……

**CRediT作者贡献声明**

Liu Xinpu（刘新普）：撰写——初稿、可视化、验证、软件、方法论、调研、获取资助、概念构思。Liu Zhen（刘震）：验证、监督、软件、资源、方法论、获取资助。Xu Ke（徐科）：监督、资源、方法论、调研、获取资助。Wang Hanyun（王瀚云）：撰写——审阅与编辑、监督、资源、获取资助。Guo Yulan（郭玉兰）：撰写——审阅与编辑、监督、资源、项目管理。

**利益冲突声明**

作者声明，不存在任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

**致谢**

本研究部分由国家自然科学基金（资助号42271457与U24B20138）、教育部基础学科与交叉学科突破计划（资助号JYB2025XDXM110）以及国防科技大学研究生创新项目（资助号XJQY2025013）资助。

Liu Xinpu | Liu Zhen | Xu Ke | Wang Hanyun | Guo Yulan