面向仅用LiDAR场景的实时三维目标检测：半监督学习、点云密度增强与知识蒸馏

《Computer Vision and Image Understanding》：Towards real-time 3D object detection in LiDAR-only scenario: Semi-supervised learning, point cloud density augmentation and knowledge distillation

　　我们开发了一种轻量级的仅LiDAR三维检测器，在去除图像/深度补全阶段的同时，实现了接近深度补全级别的性能，并显著加快了推理速度。我们系统地分析了仅LiDAR推理下的半监督学习、知识蒸馏和数据增强策略，以确定实用的训练方案。我们提出了点云密度增强（PCDA），这是一种仅用于训练的致密化方法，在不增加任何额外推理成本的情况下提高了远距离鲁棒性。**引言**三维（3D）目标检测任务利用LiDAR点云和图像等输入来识别三维空间中的目标（Alaba et al., 2024, Pravallika et al., 2024, Qian et al., 2022）。早期的三维目标检测研究主要依赖LiDAR点云作为唯一输入。然而，这种单模态方法表现出显著的性能局限性，尤其是在LiDAR点云稀疏且不完整的环境中（Deng et al., 2021, Zheng et al., 2021b）。研究人员已确定点云稀疏性是导致这些局限性的关键因素，从而促使他们探索多模态技术以整合RGB图像和深度图等额外数据源（X. Wu et al., 2022, Tian et al., 2024, Zhu et al., 2023）。引入RGB图像可以通过提供补充信息（包括LiDAR数据中缺失或缺乏的颜色和纹理）来提高目标检测精度。类似地，深度补全模型通过生成深度图来致密化稀疏的LiDAR数据，从而改善更远距离下的检测性能。然而，这些多模态方法导致计算复杂度和推理时间增加。因此，尽管多模态三维目标检测取得了进展，但由于计算开销和处理速度较慢，大多数模型在实现实时执行方面仍面临相当大的挑战（Drobnitzky et al., 2024）（Arnold et al., 2019）。这一局限性限制了它们在自动驾驶和机器人等时间敏感应用中的部署，而这些场景中快速准确的决策对于安全性和性能至关重要。随着自主系统规模扩大，对在保持精度的同时降低计算负载的更高效模型的需求变得更为重要。例如，VirConv（Wu et al., 2023b）是一种具有代表性的多模态模型，它从RGB图像和LiDAR数据生成虚拟点以解决点云稀疏性问题。VirConv达到了最先进的性能，但面临计算需求的挑战，尤其是在实时应用中。VirConv演变为两阶段过程，如图1所示。第一阶段通常涉及使用深度补全模型生成虚拟点，而第二阶段专注于目标检测。如前所述，生成虚拟点的理由源于通过物理传感器收集的LiDAR点随着距离增加而变得越来越稀疏，导致检测精度下降。然而，生成虚拟点计算成本高昂，即使使用双GPU也难以实现实时目标检测。这一问题在自动驾驶等需要快速决策的应用中尤为关键。此外，依赖RGB图像和深度补全模型在恶劣条件下（如光线不足、雾天或雨天）会引入脆弱性，因为虚拟点的质量可能下降。此外，这种依赖性使多模态模型在各种现实环境中的部署变得复杂。因此，探索降低计算复杂度同时保持检测精度的替代方法至关重要，特别是在可能无法使用虚拟点的仅LiDAR系统中。（Wu et al., 2023b）提出了多种减少虚拟点数量以提高处理速度的方法。然而，这些方法基于虚拟点存在的假设。因此，深度补全模型的运行是必不可少的，使其在实际三维目标检测场景中效率低下。实现实时三维目标检测的潜在方法是从检测过程中消除深度补全模型。因此，本研究调查了旨在不依赖虚拟点的情况下实现有竞争力性能的训练方法。我们主要专注于在仅LiDAR环境中开发和评估三维目标检测，探索替代深度补全的替代方法，以在保持性能的同时提高处理速度。本研究的第一个贡献是，据我们所知，这是第一项系统比较在仅LiDAR推理下保持基于深度补全检测器精度的训练策略的研究。其次，所提出的方法通过省略深度补全阶段实现了处理速度的显著提升。第三，提出了点云密度增强（PCDA）作为一种训练专用技术，旨在提高检测精度而不增加推理期间的计算复杂度。最后，通过实施本研究中识别出的性能最高方法，该模型在KITTI排行榜上实现了检测精度与推理速度之间的最佳权衡。**章节摘要****背景**本节回顾了三维目标检测关键主题的先前研究，包括仅LiDAR检测、结合RGB图像等输入的多模态方法，以及计算机视觉中常用的高效训练策略。**问题设定**设 **P** 为原始LiDAR点云，**V** 为深度补全模型从 **P** 和RGB图像生成的虚拟点。基于深度补全的检测器（如VirConv和SFD）在训练和推理时同时接收 **P** 和 **V**。它们相对于仅LiDAR检测器的精度优势来自 **V** 填补了 **P** 在远距离上的稀疏区域，而其延迟劣势来自必须为每一帧生成 **V**。我们的目标是获得一个在推理时仅需要 **P** 的检测器。因为深度**组件与研究设计**遵循第3节中提出的统一框架，本节总结了核心训练组件以及我们评估的替代变体，以得出最终配置。为便于阅读，我们在此重点关注基本定义，并在第5节中报告详细的实证比较。**实验**本节以清晰的顺序呈现我们的实验结果。我们首先描述实验设置，然后报告SSL、增强/PCDA和KD的逐组件结果，最后总结最终框架（第3节）在基准/排行榜上的性能。此外，第5.5节对性能增益的距离分箱分析、第5.6节关于距离目标的控制实验分析了PCDA在何处以及为何有帮助，第5.7节在早期融合骨干上测试PCDA，以及**在SFD模型上的应用**在本节中，通过将所提出的方法应用于另一个三维目标检测模型SFD（X. Wu et al., 2022）进行了进一步研究。与VirConv变体不同，SFD构建在具有标准稀疏卷积的普通Voxel-RCNN骨干上，因此本节还测试了结论是否适用于非VirConv骨干。SFD模型包括一个专用的虚拟点绘制分支，该分支需要图像。为适应仅LiDAR设置，该分支被完全**消融研究**本节展示了一项消融研究，考察了关键超参数对PCDA的影响。具体而言，该研究调查了在每个LiDAR点周围生成的额外点数 n 的变化，以及保留用于处理的输入点云百分位数 k 的影响。不同 n 和 k 值的实验结果分别列于表13和表14。两个结果均表明，添加补充点能有效增强模型的三维**局限性**首先，所有实验均在KITTI上进行。多模态教师依赖于在KITTI深度补全基准的密集深度真值上训练的深度补全模型，而nuScenes和Waymo不提供可比的密集深度标注，因此在这些数据集上无法构建相同形式的教师。附录中的初步nuScenes研究表明，PCDA及其占用机制可迁移到32线传感器和完全稀疏骨干，但全面验证**结论**在本研究中，我们调查了当推理仅使用LiDAR时，基于深度补全的多模态检测的精度优势能在多大程度上保留。我们通过实验比较了传递多模态信息的候选训练策略，涵盖半监督学习变体、输入致密化和知识蒸馏，并确定了在实践中有效的组合。离线伪标注和跨模态特征蒸馏改善了每个骨干**CRediT作者贡献声明****Jisu Kang：** 写作 – 初稿，可视化，验证，软件，方法论，调查，资金获取，形式分析，数据管理，概念化。 **Wooseok Shin：** 写作 – 审阅与编辑，验证，数据管理，概念化。 **Sung Won Han：** 写作 – 审阅与编辑，监督，概念化。**利益冲突声明**作者声明，他们不知道可能影响本文所报告工作的任何已知竞争经济利益或个人关系。Jisu Kang | Wooseok Shin | Sung Won Han