SDCBNet：一种用于激光雷达语义分割的稀疏到密集圆柱-BEV融合网络

《Neural Networks》：SDCBNet: A sparse-to-dense cylinder-BEV fusion network for LiDAR semantic segmentation

　　

• •
  SDCBNet：一种用于激光雷达分割的新型柱体-BEV双流网络。
• •
  多阶段注入在稀疏分布下增强了全局上下文。
• •
  SDFA模块稳健地聚合稀疏柱体特征与密集BEV特征。
• •
  CRFS自适应地控制特征注入以抑制噪声并提升精度。
• •
  在自采集的16线数据集上进行零样本测试，验证了其在真实场景中的鲁棒性。

引言

理解周围环境是机器人和自动驾驶车辆最基本的任务之一。激光雷达语义分割能够提供对周围环境的细粒度语义理解。导航、控制和规划等下游任务高度依赖于感知方法的确定性，因此激光雷达语义分割对精度、一致性和可靠性提出了更高的要求。激光雷达提供了远距离感知能力以及精确的几何结构和反射强度测量，使其成为自动驾驶感知系统中广泛使用的传感器。

传统的基于点的方法由于需要处理密集点云，通常面临巨大的计算成本，难以满足自动驾驶的实时性要求。此后，基于体素的方法被提出，该方法将点云量化为体素网格，显著减少了需要处理的数据量。随后，稀疏卷积方法被提出，该方法仅对占据的体素执行三维卷积操作（Choy等，2019），使体素方法通常能够达到最先进的性能。为了克服直接处理大规模三维点云数据所带来的高计算复杂度，研究者广泛采用了基于投影的分割策略，通常将点云投影为距离图像（Milioto等，2019）和鸟瞰图（Zhang等，2020）。这些方法通常将无序的三维点云降维为结构化的二维表示，最常见的形式包括通过球面投影生成的距离图像和鸟瞰图（BEV）。得益于高度优化的二维卷积神经网络（CNN）架构，基于投影的方法显著降低了计算时间，充分保证了系统的实时性。然而，这种降维投影过程不可避免地破坏了点云的原始几何结构完整性。距离图像的生成过程受限于球面网格的离散化，容易产生量化误差和边界模糊；此外，投影过程中的一对多映射可能导致空间遮挡问题，造成关键深度和拓扑几何信息的丢失，限制了分割精度的进一步提升。为解决这一问题，多视角融合方法被提出，通过融合不同视角并在最后通过点级交互进行特征融合，充分利用不同视角的互补信息，使多视角方法成为研究主流。

由于激光雷达点云具有显著的稀疏性和空间分布不均特性，Cylinder3D（Zhu等，2020）依赖于圆柱内的局部特征聚合来建模空间结构。然而，其建模范围受限于单个圆柱的几何边界，难以有效捕获跨圆柱的水平空间相关性。对于自行车和行人等几何尺寸较小、高度依赖上下文语义区分的少数类目标，这种局部建模方法容易导致判别性证据不足，使其特征淹没在周围占主导地位的类别（如建筑物、道路）中。

为缓解上述问题，本文在Cylinder3D基线模型的基础上引入了BEV流，并进一步在编解码架构中提出了一种多阶段特征聚合机制，在多个中间层将柱体特征显式融合到BEV空间中。不同于将BEV作为并行分支或仅在其输出阶段使用，我们在不同尺度上将稀疏柱体特征投影到BEV平面上，使模型能够在XY平面内聚合跨柱体的语义信息，从而构建更完整的水平上下文表示。此外，在将柱体特征映射到BEV的过程中，本文设计了一种双分支稀疏到密集聚合策略，将基于注意力的散射聚合与最大池化相结合，在保留局部显著几何响应的同时，突出同一BEV单元内语义一致的点特征。为避免投影柱体特征对原始BEV表示造成过度干扰，我们进一步引入了一种门控残差融合机制，在特征聚合阶段选择性地将柱体信息注入到BEV特征空间中。通过上述多阶段、柱体到BEV的特征注入设计，本文提出的方法有效弥补了柱体单一表示在水平上下文建模方面的结构缺陷，并在多个稀疏和上下文敏感类别上取得了显著的性能提升。

为进一步评估我们模型在标准公共基准（如SemanticKITTI（Behley等，2019）和nuScenes（Caesar等，2019））之外的泛化能力，我们额外使用配备16线激光雷达的移动平台采集了一个自定义的真实校园数据集。与标准基准相比，该自采集数据的点分布显著更加稀疏。通过利用该数据进行零样本定性测试，我们观察到SDCBNet对域偏移表现出良好的鲁棒性。具体而言，我们BEV流所增强的水平上下文感知能力，即使在不受约束、高度稀疏的物理环境中也能有效维持结构连续性，证明了其在处理稀疏真实场景激光雷达数据方面的有效性。

我们将主要贡献总结如下：

• •
  针对柱体表示在上下文建模方面的局限性，我们提出了一种具有多阶段柱体到BEV特征注入的柱体-BEV双流网络，增强了全局上下文感知。
• •
  为实现稀疏且分布不均的点云下稳健的柱体到BEV特征聚合和自适应特征注入，我们设计了两个模块：稀疏到密集特征聚合（SDFA）和条件路由特征选择（CRFS）。
• •
  为评估所提方法的有效性和泛化能力，我们在SemanticKITTI和nuScenes上进行了实验，并进一步在自采集的稀疏16线校园数据集上提供了定性零样本评估，表明其在真实激光雷达场景中的适用性。

章节摘要

基于体素的方法

基于体素的方法将点云离散化为稀疏体素网格，其中多个点可能落入同一个体素并被赋予统一的体素标签。随后仅在占据的体素上执行三维卷积，这显著提高了计算效率。MinkowskiNet（Choy等，2019）为时空三维点云数据提出了一种通用的稀疏卷积框架，将时间维度作为空间维度的一部分进行建模。Cylinder3D（Zhu等，2020）增加了

方法

所提方法框架如图1所示。原始点云由两个并行分支处理以提取互补的特征表示。在柱体划分分支中，输入点首先经过逐点MLP编码并离散化为柱体坐标，然后输入三维稀疏卷积网络以捕获体素结构信息。与此同时，BEV分支将点云通过

实验

本节展示了所提模型的实验评估结果。我们在两个大规模公共基准SemanticKITTI（Behley等，2019）和nuScenes（Caesar等，2019）上进行了全面的实验，将我们的方法与代表性的基于点的方法、基于投影的方法、基于体素的方法以及多视角融合架构进行了比较。为进一步验证模型的泛化能力，我们在自定义的真实数据集上提供了额外的评估。本节其余部分

结论

本文提出了SDCBNet，一种用于激光雷达语义分割的稀疏到密集柱体-BEV网络。所提方法解决了柱体表示在水平上下文建模方面受限的问题，即目标特征可能在相邻圆柱边界处变得碎片化。通过引入BEV流和多阶段柱体到BEV的特征交互，SDCBNet聚合了跨圆柱的上下文信息，在保留其

资助

本工作得到了湖北省自然科学基金青年学者项目B类（项目编号：2026AFB241）、中国博士后科学基金第74批面上项目（项目编号：2023M740018）、湖北省教育厅青年基金项目（项目编号：Q20231712）以及咸宁市科学技术局科技计划项目（项目编号：2025GXYF118）的支持。

CRediT作者贡献声明

刘新宇：撰写—初稿、可视化、验证、调查研究。程军：撰写—审阅与编辑、指导、资源、资金获取。

利益冲突声明

作者声明不存在可能影响本文工作的已知财务利益冲突或个人关系。

程军于2022年获得中国武汉理工大学交通工程博士学位。此后，他加入武汉纺织大学，成为讲师。2023年，他还加入了武汉理工大学智能交通系统研究中心（ITSRC）从事博士后研究。他的研究兴趣包括视觉同步定位与建图（SLAM）、多传感器信息融合、多车协同，

刘新宇|程军