面向自动驾驶系统的多级嵌入与Dropout策略用于改进基于RoI的3D LiDAR目标检测

《Advanced Robotics Research》：Multilevel Embedding and Dropout for Improved 3D Object Detection in Autonomous Driving Systems

　　

在时间与存储方面的性能与模型复杂度之间的平衡，对于部署有效且实用的自动驾驶系统至关重要。然而，近期3D LiDAR目标检测中的一些进展以计算时间显著增加或额外依赖多传感器数据融合为代价，限制了其潜在部署。本文中，研究人员引入一种创新框架，旨在利用广泛的基于感兴趣区域（region-of-interest, RoI）的3D目标检测架构中的潜在信息来增强其性能，同时仅极小幅度增加其时间消耗和模型复杂度。更具体地，研究人员开发了一种多级嵌入与Dropout策略（multilevel embedding and dropout, MED），以增强检测头在不同级别RoI特征上生成预测的能力。这些预测在训练阶段用于训练整体3D目标检测器网络，在测试阶段用于为输出投票。通过这种方式，RoI特征中的多级信息得到深入探索，预测的鲁棒性也得到提升。研究人员在三个广泛使用的数据集：KITTI、Waymo和ONCE上开展了大量实验，以全面评估该方法的有效性。结果表明该方法的优越性，在平均精度均值（mean average precision, mAP）上平均持续优于主流基于点（point-based）、基于体素（voxel-based）和点-体素（point-voxel-based）的3D检测器1.21%。值得注意的是，这一持续改进仅以计算时间增加3.5 ms和模型大小增加2.7 MB为代价。

研究背景与问题：3D目标检测是自动驾驶等实时应用和服务中场景感知的基础组件。典型3D目标检测器从LiDAR点云原始数据提取3D特征表示，随后经进一步处理生成最终感知结果。点（point）和体素（voxel）是LiDAR点云原始数据的两种常用基线特征表示。基于点的方法通常以原始点云为输入，使用若干点集抽象层（point set abstraction layers）通过点采样和邻域分组减少点数量并增加特征维度，随后用于细化区域提议；其保留精确点位置信息，但由于点云数据非结构化存储，计算可能低效。基于体素的方法先将整个空间划分为小体素，将点云数据分配到体素化区域，再应用3D稀疏卷积（3D sparse convolution）提取深层特征表示，用于生成和细化区域提议；其对卷积自然高效，但随着卷积操作加深可能丢失部分位置信息。部分方法尝试结合点与体素优势。按处理阶段，3D目标检测方法可分为单阶段、两阶段和多阶段。单阶段方法直接利用深层特征进行边界框回归和置信度估计，端到端训练且效率最高，但速度常以相对较低精度为代价；两阶段方法在初始阶段后增加细化阶段，通常引入感兴趣区域（region-of-interest, RoI）感知池化模块，为每个RoI收集中间特征并改进边界框预测，精度常更好但计算时间更多；多阶段方法以第二阶段细化边界框为输入，尝试收集更细节特征进行细粒度回归，但因特征池化耗时通常更慢。近期一些进展依赖多模态融合或多阶段细化，提升基线检测器性能，但常增加复杂度和处理时间，限制实际部署。因此，需要一种在几乎不增加时间消耗和模型复杂度的情况下，深度利用现有RoI特征信息的策略。

研究人员开展了什么研究，得出什么结论，有什么意义：研究人员提出一种新颖且高效的多级嵌入与Dropout（multilevel embedding and dropout, MED）策略，用于深度利用现有RoI特征中隐藏的信息。不同于将RoI感知池化得到的多级特征直接拼接为单一特征向量，研究人员将特征划分为若干级别，为不同级别组合设计特定掩码以Dropout非相关特征，并设计对应嵌入表示这些配置。经Dropout后的RoI特征向量与配置嵌入拼接，形成新的RoI特征向量，送入检测头进行边界框回归和分类。训练时随机选择这些特征组合训练网络；推理时每种特征组合均送入检测头生成预测，最终结果取平均。这样检测头能跨不同级别RoI特征生成预测，组合预测包含有用信息，提高检测准确性和可靠性。研究人员在KITTI、Waymo和ONCE上进行大量实验，结果表明该方法持续提高主流3D检测器的平均精度（average precision, AP），平均mAP提升1.21%，而仅增加3.5 ms计算时间和2.7 MB模型大小。该研究意义在于提供即插即用策略，可无缝集成广泛主流3D目标检测架构，在性能和效率之间取得良好平衡。

关键技术方法概括：研究人员提出即插即用MED策略，将RoI特征按稀疏卷积层级别或特征维度划分为多级；为单级、双级和无Dropout等配置设计Dropout掩码与配置嵌入，拼接后输入检测头；训练时随机选取一个掩码，推理时应用全部掩码并对预测平均投票。该方法在PointRCNN、Voxel-RCNN、PV-RCNN等不同RoI池化框架中实现。实验使用KITTI、Waymo和ONCE样本队列：KITTI按标准划分3712训练和3769验证；Waymo使用798训练和202验证序列，因计算资源仅用1/5训练样本并全验证集评估；ONCE含20个标注序列约19000帧，6训练、4验证、10测试。训练设置采用OpenPCDet默认、Onecycle Adam优化器及随机翻转、缩放、旋转、真值采样等增强。

研究结果：
5.1 Dataset and Metrics：通过KITTI、Waymo和ONCE三个数据集评估。KITTI由7481训练和7518测试样本组成，按标准划分得到3712训练和3769验证；Waymo含798训练和202验证序列，每序列约200样本，因计算资源限制仅用1/5训练样本并在全验证集评估；ONCE为大规模数据集，覆盖多种场景和天气，含20个标注序列约19000帧，其中6训练、4验证、10测试。结论：三个数据集用于全面评估方法有效性。

5.2 Setup Details：训练和推理设置与基线方法相同。KITTI用一块RTX 3090 GPU，batch size为4；Waymo和ONCE用两块RTX A6000 GPU，batch size为16；保持OpenPCDet中Onecycle Adam优化器默认设置，使用随机场景翻转、缩放、旋转和真值采样等数据增强；推理batch size为1。结论：设置保证与基线公平比较。

5.3 Comparison with Baselines：在KITTI val的Car类上，MED持续提升基于点、基于体素和点-体素基线，中等难度AP_3D平均提高1.21%。Voxel-RCNN提升0.93%，仅增加2 ms；PointRCNN提升2.78%，仅增加1.6 MB；TED的easy、moderate、hard AP_3D分别提升2.30%、0.43%、0.15%，增加4 ms和3.3 MB。Waymo上用1/5训练样本训练PV-RCNN、Voxel-RCNN和PV-RCNN++，在Vehicle、Pedestrian、Cyclist上持续提升，LEVEL1和LEVEL2平均增量为+0.9/+1.2和+0.8/+0.9，平均增加3.1 MB和4.4 ms；小目标Pedestrian提升更明显，表明对小型困难目标鲁棒。ONCE上PV-RCNN、Voxel-RCNN、PV-RCNN++平均mAP提升0.87%，增加3.1 MB和4.4 ms；小目标行人优于中型骑车人和大型车辆，因MED训练检测头探索多级物体信息，捕获更多细节。结论：MED跨数据集和架构有效且开销低。

5.4 Comparison on Efficiency：通过计算ΔAP_3D和ΔTime以及ΔAP_3D/ΔTime比较效率。TED和VirConv-L精度提升较大但运行时间显著增加，ΔAP_3D/ΔTime较小；MED取得中等精度提升但耗时最低，ΔAP_3D/ΔTime为0.415，高于CasA的0.060、TED的0.050和VirConv-L的0.008。结论：MED在单位时间性能提升上更高效。

5.5 Ablation Studies：消融表明，仅向RoI特征添加Dropout掩码会损害性能，因为检测头被变化输入混淆；仅添加嵌入不改变精度，因为未提供额外特征信息；针对不同Dropout掩码的嵌入提供上下文信息，因此优于基线。不同Dropout掩码配置中，三个双级Dropout平均预测差于基线，因为丢弃2/3特征导致信息不足；三个单级Dropout优于基线，因为保留大部分信息且平均投票降低噪声；一个无Dropout结果甚至优于基线，因为MED训练充分探索各级特征；3双级+3单级+1无Dropout取得最佳。多级Dropout优于均匀和随机Dropout；嵌入维度从32增至128改善，之后增益边际，采用256作为性能与效率折中。结论：多级Dropout与配置嵌入协同有效。

5.6 Visual Comparison：定性比较显示，对远处稀疏点困难物体，MED使用七种Dropout掩码取得3D IoU为0.8195，高于双掩码0.6293和单掩码0.6693；在Waymo验证集上比较MED与PV-RCNN，MED对Vehicle、Pedestrian、Cyclist持续生成更准确3D边界框，定位和朝向更好，尤其远处、部分遮挡和稀疏采样物体。结论：视觉结果支持MED更好利用RoI特征。

讨论与结论：原文结论部分可翻译为：本文中，研究人员引入一种新颖的MED策略，以充分探索RoI特征中的信息，从而改进3D目标检测性能。不同于使用单一RoI特征向量进行边界框回归的传统方法，研究人员将RoI特征划分为若干级别，并设计特定Dropout掩码和对应嵌入，以从不同级别生成多种更新后的RoI特征。这些更新后的RoI特征在训练期间用于计算损失，在推理期间用于为最终结果投票。通过这种方式，RoI特征中的信息将得到充分探索，从而带来更好的预测精度和鲁棒性。研究人员在KITTI、Waymo和ONCE数据集上进行了大量实验，证明该方法持续提升若干主流3D检测器的性能，包括PointRCNN、PointRCNN-IoU、Voxel-RCNN、PV-RCNN、PV-RCNN++和TED，平均提升1.21%。值得注意的是，这一增强仅以低于3.5 ms（4.7%）的计算时间增加和2.7 MB（2.4%）的模型大小增加为代价。