点耦合模型：稀疏窗口注意力与状态空间建模的混合分割架构

《Pattern Recognition》：Point Coupling Model: A hybrid segmentation architecture of sparse window attention and State-Space Modeling

　　

•一种新颖的点耦合模型（PCM）混合分割架构，将稀疏窗口注意力与 Mamba 的线性时间全局感知能力相结合。
•设计了一个高效的全局选择门（GSG）模块，通过利用全局潜在 Δ 补偿非显著状态来细化全局上下文。
•PCM 在 S3DIS (79.3% mIoU) 和 ScanNetV2 (79.2%) 上达到了最先进水平（SOTA），值得注意的是，无需外部块。在 S3DIS 上，PCM 比 Mamba（点云 Mamba，74.1%）和 Transformer（PTv3，73.4%）基准高出 5% 以上，且比 PTv3 少使用 1.9M 个参数。

引言
三维（3D）点云通常由 3D 扫描仪、激光雷达（LiDAR）和 RGB-D 相机等传感器获取 [1]，并作为空间模式识别的主要数据。通过对物体表面进行高密度采样，点云直接提供了可测量的物理尺度和视图一致的几何信息，有效解决了 2D 图像在 3D 一致性方面的局限性。因此，点云感知已成为需要精确空间理解和 3D 模式识别的关键应用中不可或缺的技术，包括自动驾驶 [2], [3]、机器人 [4] 和虚拟/增强现实 (VR/AR) [5], [6]。

在几何保真度与计算效率的权衡中，点云理解领域经历了多次范式转变。早期方法主要采用降维或离散化策略，例如依赖经过成熟 2D 卷积处理的 2D 投影 [7]，或在体素化后使用 3D 卷积进行特征提取 [8]。然而，这些操作引入了固有的局限性：2D 投影不可避免地破坏了点云的内在 3D 拓扑结构，导致深度信息和邻域关系的丢失，同时使特征表示对视角变化高度敏感 [1]。同时，体素化引入的量化误差擦除了细粒度的几何细节 [1], [9]，且内存消耗随网格分辨率呈立方增长，很快超过了硬件限制 [8]。尽管随后的稀疏卷积网络 [10], [11] 通过仅计算非空体素提高了效率，但由于其有限的感受野，其规则算子难以捕捉长程依赖，这对于大规模场景中的全局语义识别至关重要。

与此同时，另一类工作专注于直接从无序点集学习。PointNet [9] 开创了使用共享 MLP 和最大池化来处理点云并提取全局特征的先河（模型范式如图 1(a) 所示）。然而，由于缺乏显式的局部几何建模，它难以有效地捕捉细粒度的几何结构。尽管随后提出了如 PointNet++ [12] 等分层方法，以及如 KPConv [13] 和 PointCNN [14] 等基于核的方法，以显著增强局部几何特征的表示，但这些基于邻域聚合的方法的感受野仍局限于小规模。因此，它们难以有效地捕捉远处点之间的上下文依赖关系。这种局限性最终阻碍了对大规模点云场景中全局语义信息的全面理解和获取。近年来，Transformer 的成功推动了点云建模向注意力机制范式的转变。Point Cloud Transformer [15] 创新性地利用自注意力显式建模长程依赖。随后，Point Transformer V1 [16] 使用向量注意力捕捉复杂的几何关系。然而，自注意力机制的 O(N2) 二次复杂度在处理大规模点云时构成了严重的计算瓶颈。尽管随后的基于局部窗口或补丁的方法，如 PTV2/V3 [17], [18]，减轻了这些开销（模型范式如图 1(b) 所示），但区域的物理划分不可避免地截断了跨窗口的长程依赖，从而降低了全局上下文的一致性。这种局限性在大规模场景中尤为明显，其中全局感知仍然受到限制。

最近，Mamba 状态空间模型（SSM）[19] 由于其 O(N) 线性复杂度和优越的长程建模能力而展现出前景。受此启发，研究人员迅速将其原理扩展到 3D 点云，出现了如 Point Cloud Mamba 和 Pamba [20], [21] 等工作（模型范式如图 2(a) 所示）。然而，在处理不规则 3D 点云时，现有的“固定扫描 + 单尺度 SSM”策略仍然不足，缺乏针对点云分布不均匀及其突出的局部几何特征的设计。尽管随后的研究，如 HybridTM [22]，首次提出了一种混合范式，通过“层内”顺序策略将 Transformer 和 Mamba 集成，但这种简单的顺序堆叠结构在大规模场景中容易出现信息流衰减或计算冗余等问题。

为了克服大规模场景中 3D 模式识别中长期存在的局部几何保真度与全局上下文感知之间的权衡问题，本研究重新审视了核心瓶颈：如何将注意力机制的二次复杂度限制在局部窗口内，同时保留局部算子的内在几何归纳偏置，并以 O(N) 线性效率实现跨窗口的长程依赖建模。为此，我们提出了点耦合模型（PCM），一种用于大规模 3D 场景理解的新颖“局部 - 全局耦合”架构。PCM 通过显式集成稀疏窗口注意力和 Mamba 实现了多尺度特征的协同感知（如图 2(b) 所示）。具体而言，PCM 构建了双路径信息流：局部路径保留补丁级向量注意力以捕捉细粒度几何拓扑，同时将计算开销保持在局部窗口内；全局路径引入了全局选择门（GSG）模块，该模块通过线性选择机制动态过滤关键的长程依赖，并为非显著点提供上下文补偿。随后，两条路径的输出通过索引对齐机制逐点融合成统一的信息流，然后进入 Mamba 进行全局状态更新，从而实现高效的全局序列建模。通过避免复杂度的二次增长，同时保留高效的全局建模能力，PCM 构建了一个可扩展且高效的架构，能够在大规模点云场景中实现高性能的三维模式识别。

总之，本工作做出了以下贡献：
1.我们提出了一种新颖的点耦合模型（PCM）——一种专为大规模 3D 场景理解量身定制的显式局部 - 全局耦合框架——通过将稀疏窗口注意力的几何归纳偏置与 Mamba 的 O(N) 线性时间状态空间建模（SSM）高效集成，解决了 3D 几何模式识别中长期存在的权衡问题。该设计为大规模点云场景中的 3D 模式识别建立了一个可扩展的范式，确保了高特征保真度和线性计算效率。
2.我们设计了一个高效的全局选择门（GSG）模块，通过动态解决序列点云数据中的冗余和显著性来增强 Mamba 的全局建模。GSG 模块通过允许显著状态进行细粒度更新来显式过滤关键的长程依赖，而非显著状态则由全局潜在上下文 (Δ) 高效补偿。这种选择性机制为随后的 Mamba 模块提供了更具代表性的全局信息，显著提高了模型的语义和全局模式一致性。
3.我们在大规模室内语义分割基准 S3DIS 和 ScanNetV2 上进行了广泛的实验验证，取得了突出的最先进水平（SOTA）性能。具体而言，PCM 在 S3DIS 上达到 79.3% mIoU，在 ScanNetV2 上达到 79.2% mIoU，显著优于纯 SSM 基准（例如，Point Cloud Mamba 在 S3DIS 上为 74.1% mIoU）5% mIoU 以上。这些结果表明，PCM 的耦合架构仅依靠其在大规模点云场景中的 3D 模式识别能力即可实现 SOTA 性能，无需外部增强或协作块。

章节片段
深度点云学习
不规则 3D 数据的早期处理主要关注投影方法 [7] 或体素化方法 [23]。尽管这些方法为将 CNN 应用于 3D 领域奠定了基础，但它们存在细节丢失和内存开销过大的问题。PointNet [9] 首次实现了直接从原始点学习，开创了新局面。随后，PointNet++ [12] 和 KPConv [13] 通过分层结构和...显著增强了局部特征表示

预备知识
本节概述了支撑我们研究的基础技术。我们简要概述了序列化策略和基于 Mamba 的状态空间建模，以建立我们提出框架的数学和概念基础。

骨干网络
提出的网络采用基于标准 U-Net 的编码器 - 解码器架构（如图 4(a) 所示），利用门控注意力 Mamba (GAM) 块作为特征提取的核心单元。输入点云首先通过空间序列化转换为高维特征，然后嵌入层输入编码器。编码阶段跨越五个层级：Level 0 在不降采样的情况下细化初始嵌入，而 Level 1–4 采用序列化池化来

实验设置
数据集。本研究使用两个权威的室内点云分割基准来评估提出的框架：斯坦福 3D 室内语义数据集 (S3DIS) [31] 和 ScanNetV2 [32]。S3DIS 数据集包含六个区域的 271 个房间，涵盖了包括办公室和礼堂在内的各种室内环境。每个点包含 XYZ 坐标、RGB 值和 13 个语义标签之一。遵循标准实验协议，我们使用 Area 5 作为测试集，并且

结论
本文介绍了点耦合模型（PCM），一种新的混合学习架构，结合了稀疏窗口注意力和状态空间模型 (SSM)。它旨在更好地平衡大规模 3D 点云语义分割任务中的准确性和效率。该架构采用鲁棒的空间序列化方法，有效地编码无序点云，为序列建模提供合适的输入序列。关键创新是 GAM（门控注意力 Mamba）

CRediT 作者贡献声明
Wenhao Huang：写作 - 初稿，可视化，验证，方法论，调查，形式分析，数据管理，概念化。Lei Wang：写作 - 审查与编辑，监督。Wei Wang：写作 - 审查与编辑，监督。Xiaolong Zhou：写作 - 审查与编辑。

利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Wenhao Huang 报告设备、药物或物资及统计分析由天津师范大学提供。如果有其他作者，他们声明他们没有已知的竞争财务利益或可能被认为影响了本论文报告工作的个人关系。

Wenhao Huang|Lei Wang|Wei Wang|Xiaolong Zhou