MKFusion：用于自动驾驶中4D雷达点云分割的多模态知识蒸馏技术

《Knowledge-Based Systems》：MKFusion: Multi-Modal Knowledge Distillation for 4D Radar Point Cloud Segmentation in Autonomous Driving

语义分割在自动驾驶中至关重要，但4D雷达点云存在稀疏性和特定噪声问题。本文提出MKFusion框架，通过多尺度深度感知融合（MSDAF）模块整合雷达与相机多模态特征，并设计稀疏对齐蒸馏（SAD）模块实现LiDAR知识高效迁移，有效缓解雷达特征语义不足和深度歧义问题。实验表明在VoD和TJ4DRadSet数据集上达到SOTA性能。

　　

杨云婷|刘军|刘洪思|蒋光峰

中国科学技术大学电子工程与信息科学系，合肥，230027，中国

摘要

4D雷达点云的语义分割是一种新兴的方法，旨在利用雷达的低成本和鲁棒性来实现自动驾驶中的关键安全3D感知。然而，这些点云极其稀疏，并且存在雷达特有的伪影，如多路径干扰、部分穿透以及相对于图像平面的深度模糊，这使得精确的点对点分割和鲁棒的雷达-相机融合变得具有挑战性。为了解决这些挑战，我们提出了MKFusion，这是一个稀疏的多模态网络，它结合了多尺度雷达-相机融合与知识蒸馏技术，显著提高了4D雷达点云分割的性能。具体来说，我们的多模态分支通过多尺度图像特征采样和深度感知融合（MSDAF）整合了相机信息，丰富了雷达特征的语义表示，并减轻了雷达噪声导致的性能下降。此外，我们设计了一个稀疏对齐蒸馏（SAD）模块，使雷达特征能够有效地从LiDAR表示中学习，从而在稀疏框架内实现语义对齐。实验结果表明，与现有方法相比，所提出的模块显著提高了雷达点云分割的性能，并在View-of-Delft和TJ4DRadSet数据集上取得了最先进的结果。代码可在以下链接获取：https://github.com/guineapig5151/mkfusion

引言

语义分割在大规模室外场景理解中起着至关重要的作用，在自动驾驶中有广泛的应用[1]、[2]、[3]、[4]。在现有的传感器中，由于LiDAR具有精确的空间测量能力，它已成为3D点云分割的首选[1]、[5]。然而，LiDAR传感器的高成本以及在恶劣天气条件下的性能下降[6]、[7]、[8]限制了它们在现实世界自动驾驶系统中的可扩展性。

相比之下，4D毫米波雷达由于其成本效益和在恶劣天气条件下的鲁棒性而成为了一个有前途的替代方案。4D雷达不仅能够捕获物体的距离、方位角和多普勒速度，还能捕获它们的仰角，从而生成高分辨率的3D空间信息。然而，与LiDAR相比，4D雷达生成的点云仍然本质上是稀疏的[9]，并且存在雷达特有的伪影，如多路径干扰和部分穿透。这些因素，加上雷达回波相对于图像平面的深度模糊，使得精确的点对点分割和细粒度的雷达-相机融合特别具有挑战性。为了缓解这一限制，通过利用来自相机的丰富语义信息[9]、[10]、[11]、[12]、[13]，有效地丰富了点云表示。受此启发，我们的分割方法结合了多模态信息以提高基于雷达的感知质量。细粒度的4D雷达-相机分割需要高度异构模态之间的鲁棒特征融合。一个关键挑战在于在融合时弥合稀疏雷达点云和密集图像特征之间的模态差距，同时解决深度模糊问题。为了解决上述细粒度雷达-相机融合中的挑战，我们提出了一个多尺度深度感知融合（MSDAF）模块。该模块有效地将雷达和相机特征整合到一个统一且信息丰富的场景表示中，实现了准确和鲁棒的语义分割。具体来说，我们引入了一个自适应学习器融合机制来缓解异构传感器之间的模态差距。此外，我们加入了一个深度先验，使融合过程具有深度感知能力，有助于减轻由透视投影引起的深度模糊。广泛的实验表明，解决这些问题显著提高了分割性能。

此外，我们观察到LiDAR特征提供了高级的语义理解和精确的几何结构。为了进一步缩小雷达和LiDAR之间的性能差距，从LiDAR到雷达网络的知识蒸馏是一个有前途的策略，且不会增加推理时间开销[14]。然而，现有的多模态蒸馏方法主要关注物体检测[14]、[15]或占用预测[16]，通常在鸟瞰图（BEV）领域操作，这限制了它们在细粒度、点对点语义分割中的应用。考虑到LiDAR和雷达都以点云的形式表示，并且可以在统一的网络中处理，我们提出了一个稀疏对齐蒸馏（SAD）模块，以实现有效的细粒度知识转移。所提出的SAD模块通过两阶段过程，将来自LiDAR-雷达教师网络的知识转移到仅包含雷达的学生网络中。这有助于在保持雷达传感固有优势（如对恶劣天气的鲁棒性、低成本和快速响应）的同时，实现丰富的 semantic 信息转移。

我们的贡献总结如下：

• •
  我们提出了MKFusion，这是一个以雷达为中心的新颖语义分割框架，它在稀疏架构中整合了多模态融合和知识蒸馏。
• •
  我们提出了一个多尺度深度感知融合模块，有效缓解了雷达-相机融合中的模态差距和深度模糊，丰富了雷达特征的语义表示。
• •
  我们提出了一个稀疏对齐蒸馏模块，实现了从LiDAR-雷达教师模型到点对点领域的有效知识转移。该模块促进了鲁棒的跨模态蒸馏，显著提高了仅包含雷达和雷达-相机学生模型的性能。
• •
  我们在广泛使用的View-of-Delft（VoD）和TJ4DRadSet数据集上进行了广泛的实验，我们的方法显著优于基线方法，并在4D雷达点云分割上取得了最先进的性能。

我们文章的其余部分结构如下。第2节简要回顾了点云分割、多模态融合和知识蒸馏的最新进展。第3节介绍了我们提出的网络。第4节介绍了实验设置、实现细节、与最先进方法的比较以及消融研究分析。最后，第5节总结了我们的工作。

部分摘录

基于LiDAR点云的3D点云分割

LiDAR语义分割的目标是预测一系列LiDAR点云中每个单独点的语义类别。当前文献中的语义分割方法通常分为四大类：基于体素的方法[4]、[17]、基于投影的方法[3]、[18]、[19]，以及基于点的方法[20]、[21]、[22]、[23]。

基于体素的方法首先将原始点云转换为规则的体素网格，从而可以使用卷积神经网络进行处理

整体架构

网络的总体架构如图1所示，它由三个主要组成部分构成：雷达和相机特征提取模块、MSDAF模块以及SAD模块。

• 1.
  雷达和相机特征提取模块独立地从两种模态中提取语义特征。
• 2.
  MSDAF模块通过跨模态融合结合了图像语义和深度线索，以增强雷达特征表示。
• 3.
  SAD模块在

数据集

我们在为自动驾驶量身定制的公共4D雷达数据集上评估了我们的方法：VoD数据集[48]和TJ4DRadset数据集[49]。

VoD数据集包含了来自真实驾驶场景的多传感器数据，包括4D雷达、64波束LiDAR、立体相机和GNSS/IMU。它提供了全面的注释，如2D/3D边界框、跟踪ID和自车运动数据。总共，该数据集包含超过26,000个行人的3D边界框注释

结论

在这项工作中，我们提出了MKFusion，这是一个新颖的4D雷达点云语义分割框架，它在稀疏架构中有效地结合了多模态融合和知识蒸馏。通过利用多尺度深度感知融合整合相机特征，并通过我们的稀疏对齐蒸馏模块从LiDAR转移结构知识，MKFusion解决了雷达稀疏性和噪声的问题。在VoD和TJ4DRadSet数据集上的广泛实验表明

CRediT作者贡献声明

杨云婷：撰写——原始草稿、方法论、调查、形式分析。刘军：撰写——审阅与编辑、资源、方法论、资金获取、概念化。刘洪思：撰写——审阅与编辑、可视化、验证、数据管理。蒋光峰：撰写——审阅与编辑、验证、调查。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

这项工作部分得到了中国国家自然科学基金（合同编号62471450）和安徽省自然科学基金（资助编号2208085J17）的支持。