PointSSM：融合状态空间模型与卷积网络的大规模LiDAR点云语义分割新方法

本文针对Mamba模型在大规模LiDAR点云语义分割中存在的长程崩溃、后向感知缺失和单序列化偏差三大难题，创新性地提出PointSSM框架。通过引入卷积作为信息传播器、设计双向Mamba模块以及采用位移希尔伯特曲线序列化策略，显著提升了全局建模能力。在多个室内外数据集上的实验表明，该方法在保持高效计算的同时实现了优于现有技术的性能表现，为大规模点云处理提供了新的解决方案。

　　

随着三维传感技术的快速发展，LiDAR点云语义分割在遥感、自动驾驶、虚拟现实和机器人等领域的应用日益广泛。与二维图像不同，点云数据具有丰富的空间结构信息，但其不规则性和稀疏性也给处理带来巨大挑战。近年来，基于深度学习方法在该领域取得显著进展，其中Transformer架构因其强大的长程依赖捕捉能力备受关注。然而，Transformer的二次计算复杂度限制了其在大规模点云上的直接应用，通常需要将点云分割成块进行处理，这限制了全局交互建模能力。

状态空间模型（SSM）尤其是Mamba模型的出现为解决这一问题提供了新思路。这种架构特别适合处理序列化点云，能够以较低计算成本实现高效的全局信息获取和交互。但现有Mamba方法如PointMamba和Mamba3D仍需依赖分组策略进行块嵌入，要么只能处理小样本量，要么在大规模点云上性能不佳。更深入的分析表明，原始Mamba模型直接应用于大规模点云时面临三个核心困境：长程崩溃导致远距离信息严重失真；后向感知缺失使得序列中的点无法感知后续点；单序列化偏差使得固定排列方式造成空间局部关系偏差。

针对这些挑战，研究人员开展了名为PointSSM的创新研究。该方法首先引入卷积操作作为信息传播器，解决长程崩溃问题；然后重新设计双向Mamba增强后向感知能力；最后采用位移希尔伯特曲线序列化策略缓解单序列化偏差。这些改进构成了PointSSM的核心模块——MambaConv块。

此外，研究还探索了Mamba的选择性特性，将其应用于下采样阶段。传统方法通常在最远点采样（FPS）或网格采样后通过池化操作进行特征聚合，但这会导致大量局部特征丢失。PointSSM利用希尔伯特曲线的分形特性，提出基于Mamba的下采样模块DSamba，在保持局部空间结构的同时实现选择性特征聚合。

关键技术方法包括：基于希尔伯特曲线的点云序列化策略；结合稀疏卷积的MambaConv模块设计；双向扫描机制实现全序列感知；以及基于状态空间模型的DSamba下采样模块。实验在ScanNet v2、ScanNet200、S3DIS、nuScenes和DALES等多个室内外数据集上进行验证。

研究结果方面，在架构设计上，通过可视化Mamba注意力矩阵^-K^-，研究人员证实了长程崩溃现象的存在——后部点无法感知前部点，形成左下角空白区域。引入卷积作为信息传播器后，该现象得到显著改善。通过PCA可视化进一步验证，单独使用Mamba会导致碎片化聚类，而加入卷积后获得语义连续性表示。

在有效感受野（ERF）分析中，原始Mamba显示出后向感知缺失问题，双向扫描设计有效解决了这一局限。位移希尔伯特曲线序列化策略通过xyz、yzx和zxy三种轴序排列最大化中心点周围相邻点的多样性，近似实现K最近邻拟合。

DSamba模块通过选择采样步长内的最后一个点，使每个采样点包含该步长内的隐藏状态信息。数学分析表明，该方法通过隐式计算未选择点的梯度，实现自适应权重选择性地聚合有用信息。

实验结果表明，PointSSM在ScanNet v2验证任务上达到78.1%的mIoU，在ScanNet200上达到35.7%，在S3DIS Area 5上达到72.8%，在nuScenes上达到80.7%，在DALES上达到82.3%，均达到最先进性能。效率方面，PointSSM在保持竞争力的参数数量（38.8M）的同时，实现了最快的推理时间（59ms）。

消融研究系统验证了各组件贡献：从原始Mamba（66.5%）开始，逐步添加双向设计（68.1%）、卷积（76.2%）、位移序列化（77.3%）和DSamba（78.1%），性能持续提升。不同组合实验表明"后卷积"模式优于"前卷积"模式，隐藏状态维度32实现最佳性能-计算平衡，求和融合配合层归一化效果最佳。

讨论部分指出，与PointMamba和Mamba3D相比，PointSSM的关键差异在于：直接处理整个场景点云而非分组处理，实现真正的全局建模；沿通道维度连接特征并在整个场景上执行双向扫描，确保全范围信息流；去除分组步骤，使用稀疏卷积作为信息传播器，在增强Mamba全局建模的同时有效捕获局部几何细节。

结论认为，PointSSM成功解决了Mamba在大规模点云学习中的三大困境，无需聚类和分块即可捕获大规模点云信息。该方法不仅为大规模点云处理提供了新解决方案，也为状态空间模型在三维视觉领域的应用开辟了新途径。其高效的全局建模能力和良好的性能-计算平衡，使得PointSSM在自动驾驶、遥感和机器人等实时应用场景中具有重要价值。

该研究发表于《International Journal of Applied Earth Observation and Geoinformation》，为地球观测和地理信息学领域提供了创新的点云处理方法，对促进三维地理信息系统发展具有重要意义。