显式-隐式密集到稀疏的知识蒸馏方法，用于高效实现稀疏三维目标检测

《Pattern Recognition》：Explicit-implicit dense to sparse knowledge distillation for efficient sparse 3D detection

3D目标检测轻量化方法通过知识蒸馏与特征扩散提升效率与精度，在KITTI等数据集上实现参数减少2.9倍、mAP提升6.56%。

　　

黄宇琦|张浩楠|康科|高颖珂|刘龙军

中国西安交通大学人工智能与机器人研究所，国家视觉信息与应用工程技术研究中心，人机混合增强智能国家重点实验室

摘要

基于激光雷达的3D物体检测在高级自动驾驶方案中得到广泛应用。然而，大多数3D检测器中的复杂模块导致了较大的计算开销。知识蒸馏（KD）可以有效压缩3D检测器，但以往的方法难以扩展到密集检测器向稀疏检测器进行知识蒸馏的场景。为此，我们提出了一种简单而有效的显式-隐式密集到稀疏知识蒸馏（EI-D2S）框架，以加速基于激光雷达的检测器。首先，为了解决密集检测器和稀疏检测器之间预测位置的差异，我们引入了一个轻量级的特征扩散（FeaD）模块来传播重要特征。其次，为了提升紧凑型检测器的性能，我们提出了显式-隐式KD方案，以在密集检测器和稀疏检测器之间传递知识。在该方案中，我们不仅对齐了蒸馏对之间重要位置的特征和类别预测，还将教师模型的高质量预测融入到学生模型的真实值中，打破了传统的一对一蒸馏范式的限制。在KITTI、nuScenes和Waymo Open数据集上的大量实验证明了我们方法的有效性。例如，在KITTI数据集上，我们提出的稀疏检测器SECOND-S获得了71.19%的mAP值，其参数数量比VoxelNeXt少约2倍，FLOPs数量也少了约1.6倍。

引言

基于激光雷达的3D物体检测（LiDAR-3DOD）在自动驾驶[1]、[2]、[3]、[4]、[5]和机器人技术[6]、[7]等领域具有重要的应用价值。随着计算机视觉和机器人技术中深度学习的发展，3D物体检测方法[8]、[9]、[10]、[11]、[12]、[13]也取得了快速进步。模型性能的提升通常伴随着更多的参数和更大的计算开销，这可能阻碍基于DNN的3D检测器的实际应用。因此，我们需要探索有效的模型压缩方法来解决这一问题。

知识蒸馏（KD）是一种非常有用的模型压缩技术，广泛应用于2D视觉任务[14]、[15]、[16]、[17]、[18]。它利用大型模型的监督信息来训练小型模型，旨在提高效率和准确性。最近，一些方法[19]、[20]、[21]、[22]、[23]、[24]探索了其在3D检测中的应用。这些方法通常在包含3D主干网络和2D主干网络等丰富模块的学生网络上进行KD，但仍会导致较高的计算成本。

为了实现更快的检测速度，一些稀疏3D检测架构[25]、[26]、[27]、[28]去掉了2D主干网络，直接利用稀疏3D特征进行预测。中心特征缺失是稀疏3D检测的主要挑战[25]。以往的方法[25]、[26]、[27]、[28]面临两个主要问题：（1）它们需要手动调整大量超参数来完成中心特征的生成；（2）用于处理稀疏3D特征的额外模块仍然非常耗时，如图1所示。

为了解决这些问题并实现高精度的稀疏检测器，我们提出了一种简单而有效的显式-隐式密集到稀疏蒸馏框架（EI-D2S）。首先，我们提出了一个更高效的稀疏检测器，在推理阶段表现出更好的性能。在所提出的模型中，我们引入了一个包含单层焦点稀疏卷积（Focals Conv）[29]的模块来传播重要特征，从而避免了中心特征缺失的问题。然而，直接应用Focals Conv缺乏更强、更有效的特征传播指导，导致检测能力不佳。因此，我们提出在训练过程中根据教师模型的体素特征大小来确定学生模型需要传播的特征。

此外，为了提升稀疏检测器的识别能力，我们提出了显式-隐式KD方法，将知识从密集检测器传递到稀疏检测器，因为密集检测器可以利用更丰富的知识执行更准确的推理。在本文中，我们将传统知识蒸馏中关注对齐蒸馏对之间响应、特征和关系的方法称为显式KD。在显式KD中，蒸馏所有元素会导致次优的结果，因为多余的背景知识也会被传递，从而导致特征对齐不平衡。因此，我们开发了一种通过非最大值抑制（NMS）选择重要位置的方案，然后在这些位置蒸馏教师模型和学生模型的特征及类别预测。值得注意的是，密集教师模型和稀疏学生模型的知识需要详细阐述并完全对齐，因为架构差异会影响蒸馏过程。

为了更好地利用教师模型的优秀预测结果，同时不将其限制在一对一的教学范式中，我们将这些预测结果融入学生模型的真实值中。为了区分这种方法与显式KD，我们将其称为隐式KD。在显式KD中，选择关键位置的策略不能直接应用于隐式蒸馏以选择高质量预测。这是因为评估预测的准确性不仅需要分类置信度，还需要考虑预测边界框位置的精确度。为此，我们联合评估类别预测和交并比（IoU）来选择教师模型的高质量预测。此外，高质量预测的数量不应过多，因为过多的预测可能导致训练发散。

我们的贡献可以总结如下：

• （1）
  我们在稀疏架构中引入了教师引导的特征扩散模块，有效解决了稀疏推理过程中中心特征缺失的问题。
• （2）
  我们提出了显式-隐式KD方法，在密集检测器和稀疏检测器之间进行知识蒸馏，实现了跨异构检测器架构的有效知识传递。
• （3）
  我们在KITTI[30]、nuScenes[31]和Waymo Open Dataset（WOD）[32]上进行了大量实验，证明了我们的EI-D2S可以实现更快、更准确的稀疏检测器。例如，在KITTI数据集上，通过EI-D2S得到的稀疏检测器CenterPoint-S的参数数量比CenterPoint减少了2.9倍，同时在 moderate mAP@R40 上提高了6.56%。

本文的其余部分组织如下：第2节介绍相关工作；第3节首先介绍本文使用的符号，然后介绍我们提出方法的细节；第4节通过各种基准测试来展示我们方法的优越性，并与现有的KD方法进行比较；第5节通过消融研究进一步证明了EI-D2S的有效性；最后在第6节进行总结。

激光雷达基于的3D物体检测

3D物体检测旨在预测3D空间中关键物体的位置、大小和类别。根据用于预测的特征类型，它可以分为两种类型：

用于LiDAR-3DOD的密集检测器。目前，大多数主流的基于体素的3D检测器[9]、[10]、[11]、[33]、[34]、[35]都是基于密集特征进行预测的。它们首先将点云体素化成离散的网格表示，然后应用传统的3D稀疏神经网络和2D卷积网络。

初步介绍

我们首先简要介绍我们方法中的符号。给定一个包含$N^P$帧的点云数据集，每帧首先被体素化并通过3D主干网络提取体素级特征$V{R}^C$$DH$，其中$DH$表示通道数，表示其大小。这些特征沿着$F_3\in$RC?D×H轴连接起来，形成$F_3$。在$F_3$上，稀疏检测器生成类别和位置预测，而密集检测器将$F_3$输入到2D主干网络中

实验

在本节中，我们进行了大量实验来展示EI-D2S的优越性。

消融研究

在本节中，我们进行了一系列消融研究，以展示EI-D2S中各个组件的有效性。

结论

在本文中，我们提出了EI-D2S方法，将知识从密集检测器传递到稀疏检测器，以实现高效的稀疏3D物体检测。一方面，我们提出了一个不包含2D主干网络的检测架构，并引入了FeaD模块来传播前景特征，从而提供了可蒸馏的特征表示；另一方面，我们利用显式-隐式KD来弥合不同检测器架构之间的性能差距，从而获得准确的检测结果。

CRediT作者贡献声明

黄宇琦：撰写——原始草稿、可视化、验证、软件、方法论、数据整理、概念化。张浩楠：撰写——审稿与编辑、验证、软件、方法论、形式分析、概念化。康科：撰写——审稿与编辑、软件、方法论。高颖珂：撰写——审稿与编辑、监督、资源管理、项目协调、资金获取。刘龙军：撰写——审稿与编辑、监督、资源管理、项目协调

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国自然科学基金（项目编号：NSFC62088102）、国家ReRAM基础加强研究计划（项目编号：2022-00-03）、中央高校基本科研业务费（项目编号：xzy012024066）、北京控制工程研究所开放基金（项目编号：OBCandETL-2024-04）、CPSF博士后奖学金计划（项目编号：GZC020251201）以及中央高校基本科研业务费的支持。