EAF-net：基于外部注意力融合与密度加权网络的高效大规模点云语义分割方法

《Neurocomputing》：EAF-net: External attention fusion and density-weighted network for efficient large-scale point cloud semantic segmentation

　　陆嘉伟|叶佳俊|曾超毅|钟扬生|肖刚 中国浙江工业大学，杭州 摘要：由于点云结构不规则、密度变化剧烈、局部细节建模不足，以及现有方法在捕捉长距离上下文依赖关系方面的能力有限，大规模点云语义分割仍然面临诸多挑战。为解决这些问题，我们提出了EAF-Net，这是一种用于大规模点云语义分割的高效编解码器网络。具体而言，该算法引入了基于密度的下采样策略，以在保持随机采样效率的同时，更好地保留稀疏区域中具有结构信息的点。在特征学习阶段，嵌入了外部注意力模块，以便以较低的计算复杂度对全局上下文依赖关系进行建模。同时，设计了三重信息编码模块，用于编码局部邻域内的几何、颜色和语义特征。基于这些编码后的特征，进一步提出了三重融合注意力池化模块，该模块能够在全局特征的引导下自适应地聚合邻域信息，从而提升局部区分度和边界识别能力。在包括Toronto-3D、S3DIS和Semantic3D在内的三个基准数据集上的大量实验表明，所提方法具有高效性和稳定性。EAF-Net在这三个数据集上分别取得了82.93%、66.7%和75.5%的mIoU值，同时还具备良好的整体准确率。此外，消融实验也验证了各组件的有效性和互补性。代码地址为：https://github.com/viivan/EAF-Net。引言：随着包括移动激光扫描、车载LiDAR和结构光在内的3D传感技术的发展，点云数据可以更便捷地获取，且覆盖范围更广，已被广泛应用于自动驾驶、智慧城市、3D重建、数字孪生等领域[1]、[2]、[3]。点云语义分割是为场景中的每个点分配语义类别标签，这是3D场景理解的一项基础任务。其性能直接决定了后续如3D建模、环境感知和决策等关键步骤的有效性[4]。为提升分割性能，研究人员基于不同的数据表示方式开发了多种技术路径，这些方法主要分为多视图投影、体素化和基于点的方法。多视图投影方法将3D点云映射到2D图像空间，然后利用成熟的2D卷积神经网络进行特征提取和语义推理[5]、[6]。体素化方法则将离散的点云划分为规则的体素网格，以便应用3D卷积运算并建模空间结构[7]、[8]。尽管这些方法可以利用成熟的卷积架构，但它们不可避免地会增加额外的数据转换步骤，提高预处理复杂度，且在投影或离散化过程中常常会导致几何细节的不可逆损失[9]。同时，更高分辨率的体素表示会带来较大的计算和存储开销，这限制了其在大规模场景中的应用效率[10]。相比之下，基于点的方法直接在原始点集上学习特征表示，无需构建中间表示，从而保留了点云的固有几何信息。PointNet[11]首先利用共享的多层感知器和对称聚合函数，从无序点集中学习排列不变性。其后续版本PointNet++[12]通过递归划分点云并提取多尺度局部特征，构建了分层特征学习框架。后续研究通过引入图卷积[13]和连续核卷积[14]来改进局部几何建模，还提出了Transformer架构[15]、[16]、[17]，并开发了针对大规模场景的高效处理方案[10]，推动了这一领域的发展。基于点的方法具有高度灵活性、良好的几何保真度，且能够很好地处理包含数百万到数十亿个点的点云，因此已成为3D点云语义分割的主要框架[4]。深度学习极大地推动了点云语义分割的发展，但目前用于大规模点云语义分割的现有方法仍面临若干关键挑战。大规模点云是无序且非结构化的，其密度会随着扫描距离、视角和遮挡情况发生显著变化。在噪声和异常值的干扰下，很难稳定地捕捉局部几何结构和语义边界[12]。在复杂的城市场景中，语义特征往往分布在较长的空间范围内，仅依靠局部邻域聚合会导致上下文信息不足，从而限制模型捕捉长距离关系和全局一致性的能力[4]。现有方法通常通过在编码阶段进行下采样和邻域特征聚合来控制计算成本，但这一过程也可能导致精细的几何信息丢失[10]。在点云密度不均匀的场景中，稀疏区域的结构信息在采样过程中很可能无法完整保留[14]。在特征聚合时，简单的池化等粗粒度操作无法自适应地体现邻域点的重要性差异，从而削弱了边界细节和小物体类别的表征能力[18]。更重要的是，这些挑战还伴随着严格的计算和内存限制，要求模型在提升精度和保证可扩展性之间找到平衡。近年来，点云语义分割的特征学习主要沿着三个方向发展：局部邻域编码、基于注意力的聚合以及高效的全局建模[10]、[12]、[14]。现有研究通常通过几何编码加强局部邻域内的结构关系，或利用注意力机制自适应地对邻域特征进行加权与聚合[19]、[20]。与此同时，针对大规模场景的基于Transformer的方法引入了稀疏窗口和线性化注意力等设计，以降低全局上下文建模的计算负担。尽管这些研究从不同角度提升了点云表征能力，但大多数仍只侧重于局部结构建模、邻域聚合或全局交互中的一个方面。因此，几何信息、颜色属性和语义特征之间的互补关系仍未得到充分探索。此外，局部聚合模块和全局上下文模块往往被单独设计，难以实现充分的信息交流和协同表征。因此，在保持计算效率和可扩展性的同时，共同建模多源局部信息和全局语义表征，仍是大规模点云语义分割领域的重大课题。为此，本文提出了一种名为EAF-Net（外部注意力融合与基于密度加权的网络）的高效网络，用于大规模点云语义分割。EAF-Net采用编解码器结构，在编码阶段整合了基于密度加权的下采样、基于外部注意力的全局上下文建模以及多源局部信息聚合。具体而言，引入基于密度的下采样，可减少点云密度不均匀场景中因随机采样导致的局部结构信息损失。在特征学习阶段嵌入外部注意力模块，以较低的计算成本加强全局上下文建模。同时，三重信息编码模块负责编码几何、颜色和语义特征，以丰富局部上下文信息，而三重融合注意力池化模块则进一步将局部聚合与全局上下文引导相结合。通过这种协调的设计，EAF-Net增强了局部细节与全局语义之间的交互，从而在复杂场景中提升分类能力和边界描述质量，同时保持计算效率。本文主要有四项贡献：1. 提出了用于大规模点云语义分割的EAF-Net，它在保持可扩展性的同时，提升了全局和局部特征的联合表征能力。2. 设计了外部注意力模块，以较低的计算开销实现全局上下文建模，解决了传统自注意力在处理大量点时的效率瓶颈问题。3. 设计了三重信息编码模块以及三重融合注意力池化模块，通过几何、颜色和语义特征丰富局部上下文信息，并通过注意力池化实现更有效的邻域特征聚合。4. 提出了基于密度加权的下采样方法，以提高点云密度不均匀情况下的采样稳定性和信息保留率，进而提升大规模场景下的分割性能。章节概述：基于变换的方法许多早期研究直接采用图像领域的表示方法和网络结构来处理3D点云。然而，点云本质上是不规则且无序的，因此必须将离散的点集转换为规则且紧凑的形式，如2D投影图或3D体素网格，这样才能利用成熟的2D或3D卷积网络进行特征提取和语义预测。根据不同的变换形式，这些方法通常被分为不同类别。方法部分详细介绍了所提出的EAF-Net架构及其主要组成部分。EAF-Net由外部注意力融合模块和基于密度加权的下采样策略构成。EAF模块包含三个组件：外部注意力模块、三重信息编码模块以及三重融合注意力池化模块。外部注意力模块用于高效地进行全局上下文建模，而三重信息编码模块和三重融合注意力池化模块则旨在丰富多源局部上下文信息。实验部分为了评估EAF-Net在大规模点云语义分割中的性能，我们在三个公共点云数据集上进行了实验，包括Toronto-3D数据集[58]、S3DIS数据集[59]和Semantic3D数据集[60]。此外，还设计了多项消融实验，以分析所提各组件的作用。结论部分本文提出了一种用于大规模点云语义分割的EAF-Net。为解决现有方法在建模长距离依赖关系和处理非均匀采样方面的局限性，EAF-Net引入了两项关键设计：外部注意力融合残差模块和基于密度加权的下采样策略。其中，外部注意力模块利用外部记忆单元，以线性复杂度高效地捕捉全局上下文信息。三重信息编码模块和三重融合注意力池化模块则通过特定方式增强对局部细节的描述能力。CRediT作者贡献声明：陆嘉伟：写作——审稿与编辑、验证、监督、资源协调、项目管理、资金获取、概念构思。叶佳俊：写作——初稿撰写、可视化、软件开发、方法设计、实验研究、概念构思。曾超毅：写作——审稿与编辑、验证、实验研究。钟扬生：验证、方法设计、实验研究。肖刚：监督、资源协调、项目管理、资金获取、概念构思。利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。致谢：本研究得到了中国浙江省的“先锋”和“领雁”科研计划（编号2025C01022）以及国家自然科学基金（编号62476249）的支持。陆嘉伟于2007年在中国浙江工业大学计算机科学与技术学院获得硕士学位，目前是中国浙江工业大学机电工程学院的副教授。他的研究兴趣包括图像处理、大数据、软件架构和服务计算。他是CCF和ACM的成员。