基于深度学习的语义分割方法：利用Transformer增强版的PointNet++架构对机载激光雷达点云进行处理 作者：Hacer Kubra Sevinc 和 Ismail Rakip Karas

《Geomatics》：Deep Learning-Based Semantic Segmentation of Airborne LiDAR Point Clouds Using a Transformer-Enhanced PointNet++ Architecture Hacer Kubra Sevinc and Ismail Rakip Karas

　　亮点
主要发现是什么？
提出的Transformer-enhanced PointNet++模型在Oregon LiDAR数据集上取得了最高的整体mIoU（51.74%），超过了基线和最先进的架构。
将基于变换器的尺度感知特征融合与集成学习和测试时增强相结合，提高了分割的稳定性和类别平衡性。

主要发现的意义是什么？
在LiDAR语义分割任务中，基于变换器的自适应多尺度特征融合为固定的特征聚合方法提供了一个强大的替代方案。
该方法是解决实际 airborne LiDAR应用（如城市映射和智慧城市系统）中的类别不平衡和几何复杂性问题的实用且可扩展的解决方案。

摘要
机载LiDAR（光检测和测距）数据被广泛用于城市建模和三维空间分析研究。然而，LiDAR点云的不规则结构、点密度的变化以及数据集中的类别不平衡使得语义分割变得困难。本研究解决了四类语义分割问题（未分类、植被、地面和建筑物），特别关注多类分割。Oregon LiDAR Program数据集是通过OpenTopography平台获得的，用于本研究。点云数据被重采样到4096个点，以确保输入尺寸固定；每个点都使用了X、Y和Z坐标以及RGB和强度特征。实验研究将提出的方法与基线模型（PointNet、PointNet++ MSG和VoxelNet Lite）以及最近的最先进架构（包括Point Transformer、KPConv和RandLA-Net）进行了比较。此外，基于PointNet++ MSG架构开发了PointNet2 MSG Transformer模型，并包含了一个基于变换器的特征融合模块。评估了不同的损失函数和训练配置，并分析了集成学习和测试时增强策略对模型性能的影响。实验结果表明，提出的方法在测试数据集上的平均交并比（IoU）为51.74%，准确率为61.50%。这些结果表明，将多尺度特征提取与基于变换器的特征融合相结合是LiDAR点云和多类分割任务的有效方法。

1. 引言
机载LiDAR被广泛用于大规模3D映射和城市建模。LiDAR系统生成高密度的点云数据，能够高精度地表示地面及其上的物体的几何结构。LiDAR数据在城市地区的各种应用中得到了广泛利用，包括土地覆盖和用途的分类、数字高程模型（DEM）和数字表面模型（DSM）的生成、建筑物和道路的提取、3D城市模型的创建、林业分析以及灾害管理[1,2,3,4,5,6]。
在LiDAR数据分析的背景下，语义分割涉及将点云中的每个点自动分配到其指定的类别（例如，道路、建筑物、车辆、行人、树木）。这有助于从几何和语义上理解真实世界的3D场景。在这些应用中，准确分类这些类别尤为重要，例如城市建模、基础设施监控和自动驾驶[7,8,9]。然而，由于LiDAR点云数据的不规则结构、点密度的变化以及物体之间的复杂空间关系，LiDAR点云的语义分割仍然具有挑战性[8,10,11]。
传统的点云分类方法依赖于手动设计的几何特征和经典的机器学习算法。这些方法通常需要大量的特征工程，并且可能难以捕捉大规模数据集中的复杂空间模式[8,12,13]。
近年来，在使用深度学习方法进行点云分析方面取得了显著进展。有三种主要的基于深度学习的方法来解决这个问题：基于点的、基于体素的和基于投影的（将3D点转换为2D范围图像）[7,14,15]。PointNet是一种深度学习架构，它接受三维点云作为输入而无需进行任何转换，并以排列不变的方式运行，即不受点顺序的影响。在初始阶段，该网络独立处理每个点，并使用称为最大池化的对称函数将提取的特征组合成一个全局特征，以执行对象分类和分割等任务[16]。PointNet++是一种分层神经网络架构，用于使用深度学习方法处理3D点云。为了解决PointNet在捕捉局部结构方面的局限性，PointNet++采用了一种策略，即将输入数据划分为较小的子区域，并从点云内点之间的物理或数学距离中提取特征[17]。这些架构是目前许多点云语义分割研究中使用的一些基本方法。基于体素的方法（例如VoxNet、3D-ShapeNet）将点云转换为3D网格并应用3D卷积；虽然这些方法有效地捕捉了全局上下文和体积结构，但由于空体素的存在，内存和计算成本呈立方增长[18,19,20,21]。相反，基于投影的方法将3D点投影到2D范围图像上，利用预训练的2D CNN架构。3D-MiniNet和许多LiDAR网络通过这种方法实现了实时自动驾驶的高速度。然而，应该注意的是，在投影过程中可能会丢失一些空间精度和深度细节[14,22,23,24]。
从机载LiDAR点云数据中区分建筑物、地形和植被是具有挑战性的，因为它们在几何上相似且数据质量有限。地面和建筑物屋顶通常表现为宽阔、平坦且坡度较小的表面，这导致仅依赖基本几何特征（如高程或平面性）的方法会出现建筑物与地面的混淆[25,26]。在植被密集的区域，地面点的数量变得稀少甚至完全消失。LiDAR脉冲被树冠遮挡，导致植被生长形成类似平坦表面的外观[27,28]。特别是低矮的灌木、草地和靠近地面的植被在高度和粗糙度上接近地面，进一步增加了分类的复杂性[28,29]。
在现代开发和自然植被共存的复杂城市区域，同一区域内三个类别的重叠进一步模糊了类别边界。这个问题因点云稀疏、采样不规则以及不同尺度的物体而加剧[29,30,31]。因此，最近的研究集中在使用多特征空间（高度、形状、纹理、密度）、自适应邻域选择和先进的机器学习/深度学习模型（随机森林、XGBoost和深度神经网络）同时分离建筑物、地面和植被。尽管如此，特别是在植被密集、阴影和复杂的屋顶-树木交互区域，错误和歧义仍然显著[12,29,30,31,32,33]。
3D LiDAR传感器为从自动驾驶到智慧城市基础设施的各种领域提供了详细的环境点云表示。由于密度和尺度的变化、噪声、不规则采样以及大数据量，直接在3D空间处理这些数据具有挑战性。因此，近年来，作用于点云的3D深度学习方法——特别是语义分割模型——在自动理解复杂场景方面发挥了关键作用。然而，高效处理大规模开放区域场景和数据相关问题（如类别不平衡）继续限制了现有方法的性能[34,35]。
本研究的目的是提出一种针对机载LiDAR点云的语义分割方法，重点是多类语义分割，特别是建筑物类别。根据研究，使用通过OpenTopography平台获得的Oregon LiDAR数据集定义了一个四类分割问题（未分类、植被、地面和建筑物）。
本研究的主要贡献可以总结如下：
在同一数据集上比较了不同的深度学习架构（包括基线架构PointNet、PointNet++ MSG和VoxelNet Lite）以及最近的最先进方法（如Point Transformer、KPConv和RandLA-Net）的点云分割性能。
提出了一种基于PointNet++ MSG架构的基于变换器的特征融合方法PointNet2 MSG Transformer，该方法支持多尺度特征提取。
分析了不同训练配置、损失函数、集成学习和测试时增强方法对模型性能的影响。
实验结果表明，提出的方法在测试数据集上的mIoU为51.74%，准确率为61.50%。
点云分割的主要挑战源于数据结构的不规则性和稀疏性、密度变化、噪声以及几何不确定性。此外，导致类别特定性能下降的主要因素包括：不平衡和相似的类别、微小和关键的物体、不同的标记方案以及繁琐的标记过程。为了应对这些挑战，必须采用旨在保持类别平衡的采样技术，以有效利用上下文信息的方式使用网络，并使用标准化的高质量标签。本研究提出了一种增强型Transformer-enhanced PointNet++ MSG架构，实现了自适应多尺度特征融合。此外，还采用了模型集成和测试时增强（TTA）来提高预测稳定性，特别是在具有挑战性的边界区域。提出的方法针对多类LiDAR分割进行了评估，特别关注建筑物类别。与依赖固定多尺度特征连接的传统PointNet++方法不同，本研究提出了一种尺度感知的变换器融合机制，该机制动态学习不同尺度上特征的重要性。这使得在类别不平衡条件下能够更好地表示复杂的结构，如植被和建筑物边界。
本文的其余部分组织如下：第2节回顾了文献中关于LiDAR点云分割和基于深度学习的方法的相关研究。第3节详细讨论了使用的数据集、数据预处理、采样策略以及提出的PointNet2 MSG Transformer架构。第4节展示了实验结果和性能分析，第5节讨论了研究结果。第6节总结了研究得出的总体结论并概述了未来的工作。

2. 相关工作
2.1. 基于点云的语义分割
点云是一组在三维坐标系中的（x, y, z）点，表示物体或表面的轮廓。在机载LiDAR系统中，这些坐标可能还包含其他属性，如反射强度、返回数和扫描角度[36]。有时，还包括RGB颜色信息。点云与传统数字图像最根本的区别在于它们的非结构化和无序特性[37]。
语义分割涉及将点云中的每个点分配到一组预定义的语义类别中（例如，地面、建筑物、高植被或水体）[38]。这个过程确定了物体的位置，并通过指示每个数据点代表什么来提供对场景的完整理解[39]。
语义分割在机载LiDAR数据中有广泛的应用。例如，在城市规划中，自动分割建筑物屋顶和立面对于创建3D城市模型至关重要。在林业中，树木物种分类、生物量估计和森林健康分析直接依赖于分割的准确性[40]。在基础设施检查过程中，如电力线和杆检测，基于深度学习的分割方法被广泛用于减少人工工作量并提高安全性。在文化遗产保护工作中，语义分割是详细分析历史结构不可或缺的工具[41]。
机载LiDAR数据由于其能够调查比地面激光扫描（TLS）更大的区域，并且传感器安装在移动平台（飞机或无人机）上，因此带来了独特的挑战。最大的挑战是点密度变化的问题。飞行高度、速度和扫描角度的变化导致地面点的分布不均匀。这会导致在低密度区域搜索固定半径邻域的经典算法失败[42]。
第二个主要挑战是“遮挡”（阴影）效应。当激光束以垂直或倾斜角度发射时，建筑物或密集树冠下方的部分无法被完全扫描。这会导致数据集中出现间隙或缺失的几何形状[43]。机载LiDAR场景通常由数百万甚至数十亿个点组成。处理如此大规模的数据在内存管理和计算时间方面带来了重大挑战[44]。最后，由于传感器噪声和大气条件导致的错误反射（异常值）显著降低了准确性，特别是在分割细小结构（如电力线）时[45]。

2.2.PointNet及相关架构方法
在深度学习时代之前，点云分析主要依赖于手动创建的几何特征。这些方法涉及计算每个点周围局部邻域内的统计值，如曲率、法线、线性或平面性，以尝试进行分类[41]。然而，这些特征不足以捕捉复杂场景中的语义变化，且需要针对不同的数据集手动调整参数。另一种称为“体素化”的方法通过将点云转换为规则的3D网格，使得3D卷积神经网络（CNN）得以应用。但这种方法会因处理空域而浪费内存，并且随着网格分辨率的提高，计算成本呈指数级增长[46]。此外，将数据适配到网格会导致小几何细节的丢失，使得难以区分精细物体，尤其是在航空LiDAR数据中。这些限制促使人们开发出可以直接处理原始数据并直接从原始坐标学习特征的架构。

PointNet于2017年提出，是第一个将点云作为直接输入并独立于点顺序提取特征的深度学习架构[47]。其成功基于对每个点分别应用多层感知器（MLP），然后使用全局对称函数（通常是最大池化）[48]。这种结构确保无论输入集中点的顺序如何变化，都能产生相同的全局特征向量。PointNet使用称为“T-Net”的对齐网络来增强模型对数据几何变换（如旋转和缩放）的鲁棒性。这些网络通过在处理前将数据对齐到规范空间，使模型能够独立于视角进行学习[49]。尽管PointNet在对象分类和部分分割任务中取得了突破性成果，但其独立处理每个点的架构未能捕捉点与空间上下文之间的局部关系[50]。这一方法上的局限性导致其在区分建筑物特征结构或大规模航空LiDAR场景中树木的复杂局部纹理时性能显著下降。

PointNet++通过扩展CNN的层次结构到点云中，解决了PointNet中缺乏局部特征的问题。它包含“集合抽象”层，这些层逐步将数据划分为更小的子集，并从每个子集中提取局部特征[51]。这些层包括三个主要步骤：采样、分组和PointNet层。在采样阶段，最远点采样（FPS）算法选择最能代表场景的中心点。在聚类阶段，使用球形查询（固定半径）方法或K最近邻（KNN）方法将这些中心点周围的点分组[52]。最后，对每个局部组应用一个小规模的PointNet来提取该区域的几何概要。这种层次化方法通过先学习小细节再学习更广泛的结构，显著提高了分割性能。

航空LiDAR数据的一个主要挑战是点密度变化。PointNet++架构通过使用多尺度分组（MSG）机制解决了这一问题。使用固定半径进行分组会导致数据密度低的区域采样不足，而在数据密度高的区域则产生不必要的计算负担[53]。MSG为每个采样点定义了不同半径值的多个邻域区域，并将来自这些区域的特征连接起来[54]。例如，小半径可以捕捉到建筑物的烟囱等细节，而大半径有助于理解建筑物的整体形状，如屋顶。这种方法确保模型即使在密度不同的区域也能产生一致的特征。在航空LiDAR数据中，MSG机制在保持分割精度方面起着关键作用，尤其是在飞行路径交汇的密集区域和稀疏边缘区域之间的过渡处[55]。

2.3. 变换器模型和集成学习方法
虽然PointNet++在处理航空LiDAR数据的局部几何结构方面表现良好，但处理大规模扫描中的全局上下文和不同密度的需求促使人们转向基于变换器的架构[56]。与通常依赖固定邻域半径或K最近邻（KNN）策略的传统方法不同，变换器可以动态地权衡每个点与其他所有点（或指定区域内的点）之间的关系。这种方法的最大优势在于能够建立长距离依赖关系。例如，在城市规模的扫描中，不仅可以通过局部几何特征，还可以在整个场景的背景下理解建筑物屋顶与地面物体之间的语义关系。变换器模型可以评估在相同背景下空间上相距较远但具有相似语义特征的点，同时保持大场景的结构完整性[56]。这种能力使得能够更准确地确定物体边界，特别是在具有密集植被的复杂城市区域或地形中。

最近在点云分割方面的进展催生了多种适用于大规模和复杂场景的架构。基于变换器的模型，如Point Transformer[57]，利用注意力机制捕捉点之间的上下文关系，并在复杂环境中表现出更好的表示能力。除了基于注意力的方法外，基于卷积的方法（如KPConv[58]）和高效采样网络（如RandLA-Net[59]）也通过专注于几何特征提取和大规模点云的可扩展性而取得了良好的性能。

航空LiDAR 3D点云中的类别不平衡是一个重大挑战，特别是由于稀有或微小物体（例如电线、交通标志和烟囱）的实例通常数量很少。这种不平衡导致基于深度学习的分割和分类模型主要集中在常见类别（如地面、建筑物、树木）上，从而在少数类别上的准确性较低[35,60,61]。近年来开发的方法中，数据增强（如剪切粘贴、合成样本生成）、采样策略（过采样/欠采样）、加权损失函数（如焦点损失）以及针对稀有类别的注意力机制特别值得注意[60,62]。这些方法已被证明能够适应航空LiDAR数据的不规则和稀疏特性以及大规模场景的复杂性[63]。这种适应性提高了稀有类别的识别能力并改善了整体分割性能。尽管如此，仍需进一步研究以开发出在现实应用中实现完全平衡性能的新方法[64]。

尽管取得了这些进展，但在多尺度特征表示和不同点密度方面的挑战仍然存在，尤其是在航空LiDAR数据的背景下。本研究提出的方法专注于在PointNet++ MSG框架内自适应融合多尺度特征，以提高异构航空LiDAR场景的鲁棒性。

总之，虽然现有的方法（包括基于变换器和基于卷积的方法）在LiDAR点云分割方面取得了显著进展，但它们在处理类别不平衡、捕捉多尺度几何结构和同时建模长距离依赖关系方面仍面临挑战。特别是，使用固定的多尺度特征融合限制了这些方法在复杂场景中的适应性。为了解决这些限制，本研究提出了一种结合变换器增强和集成学习策略的多尺度特征融合方法，以提高分割的鲁棒性和稳定性。

3. 材料与方法
3.1. 数据源和数据集结构
本研究使用的LiDAR数据集是俄勒冈州地质与矿产工业部（DOGMI）LiDAR项目的一部分，通过OpenTopography平台获取[65]。研究区域覆盖了俄勒冈州立大学周围的区域（图1）。图1. 研究区域。原始LiDAR点云数据使用CloudCompare v2.14.alpha软件程序被划分为100米×100米的正方形瓦片。这一过程确保数据被划分为更小、更易于管理的单元用于训练。共获得了580个瓦片，其中480个用于训练，100个用于测试（图2）。图2. 测试-训练瓦片。在模型训练期间，20%的训练数据被留作验证用途（val_split = 0.2）。因此，480个训练瓦片中有384个用于模型训练，96个用于验证。组成测试数据的100个瓦片没有参与训练过程，仅用于最终的性能评估。

数据集中的每个点都包含X、Y和Z坐标、红、绿、蓝颜色值、强度信息以及类别标签。因此，数据包含了几何和辐射度属性。定义了四个类别用于语义分割：0表示“未分类”，1表示“植被”，2表示“地面”，3表示“建筑物”。表1显示了数据集中这些类别的点分布情况。表1. 按类别划分的点分布。从表1可以看出，植被类别占数据集的57.21%，而地面类别占27.89%；建筑物和未分类类别各占约7%。这表明数据集中的类别分布不平衡。这些比例在模型训练和性能评估时被考虑在内。

数据集存在显著的类别不平衡问题，其中植被占据了超过一半的点数，而建筑物和未分类类别合计不到10%。这种不平衡直接影响学习过程，促使本研究使用专门的损失函数和评估策略。

3.2. 固定点采样策略
PointNet和PointNet++架构设计为处理固定大小的输入张量。因此，无法直接将包含不同数量点的原始LiDAR点云输入模型。为了确保模型可以接受相同大小的输入样本，所有点云段都被转换为包含固定数量的点。然而，在LiDAR场景中，并没有单一的“正确”点数。典型的点数范围取决于任务和对象或场景的规模。例如，对于包含简单对象的小规模研究，通常选择1024-2048个点；而对于包含更复杂对象的场景，则选择2048-4096个点[66,67]。在本研究中，每个点云样本在训练阶段包含4096个点。这种采样大小在基于PointNet++的语义分割研究中常用，并为层次化特征提取提供了足够的几何细节[68]。

在确定点数时考虑了两种情况：如果点云段包含4096个或更多点，则应用随机子采样[69,70]，随机选择4096个点作为输入；如果瓦片中的点数少于4096个，则进行填充，从现有集合中重新采样点以将输入大小增加到4096。这种方法确保数据集中的所有样本都包含在训练过程中[71,72]。在模型输入中，每个点由包含七个属性的特征向量表示：X、Y和Z坐标、R、G和B颜色值以及LiDAR强度数据。因此，模型可以利用点的空间位置和其辐射度属性。

为了降低推理阶段的计算成本，点云被下采样到2048个点。然后模型为这些点生成类别预测，并将其插值到原始点云上。为此使用了最近邻插值方法。对于每个原始点，找到下采样集中的最近点，并将其预测分配给相应的原始点。因此，获得了整个点云的类别预测[73]。这种插值技术在PointNet++生态系统中有效，可以将从稀疏点学到的知识转移到全分辨率点云上，从而降低计算成本。

3.3. 对比的深度学习模型
本研究应用了四种不同的模型架构来评估LiDAR点云的语义分割性能。所讨论的模型包括PointNet、PointNet++ MSG、VoxelNet Lite以及本研究开发的PointNet2 MSG Transformer模型（表2）。选择这些模型进行比较是因为它们采用了不同的点云表示方法。PointNet采用直接的基于点的方法，PointNet++采用了一种先进的基于点的方法，该方法可以层次化地建模局部几何关系，而VoxelNet Lite则使用基于体素（voxel）的表示方法。因此，这些模型为评估所提出架构在不同数据表示策略下的性能提供了合适的基础。表2展示了整体性能比较。PointNet是最早设计用于直接处理点云数据的深度学习架构之一。该模型将点云视为一组无序的点，并对每个点使用共享的多层感知器（MLP）层进行特征提取。然后通过对称池化操作将这些点特征组合起来，得到一个全局特征向量。尽管这种方法简单且计算效率高，但它只能在一定程度上表示局部几何关系[16]。PointNet++是PointNet架构的增强版本，它利用层次结构更有效地捕捉局部几何特征。该模型通过逐步下采样点云来提取不同尺度的特征，这一过程是通过Set Abstraction层实现的。本研究使用了PointNet++架构的多尺度分组（Multi-Scale Grouping, MSG）变体。MSG方法通过在不同半径上形成邻域组来实现多尺度特征学习[17]。第三种用于比较的架构是VoxelNet Lite。基于VoxelNet的方法将点云转换为规则的体素网格结构，并使用3D卷积操作进行特征提取。这使得点云的空间结构能够以更规则的表示形式被建模。在本研究中，使用了VoxelNet Lite的轻量级版本来降低计算成本[21]。这三种模型代表了不同的数据表示策略：PointNet采用直接的基于点的方法；PointNet++采用考虑局部特征的层次化基于点的方法；VoxelNet Lite采用基于体素的表示方法。因此，这些模型为评估所提出架构的性能提供了合适的基础。

3.4. 提出的模型：PointNet2 MSG Transformer
本研究提出了一种基于PointNet++ MSG的模型架构，旨在提高LiDAR点云语义分割的性能。该模型结合了多尺度特征提取和基于Transformer的特征融合机制，命名为“PointNet2 MSG Transformer”（图3）。PointNet++架构旨在从点云中进行层次化特征提取。它通过逐步下采样点云并通过Set Abstraction（SA）层在不同尺度上学习几何特征。每个SA层选择一定数量的点并从周围区域提取局部特征。在此过程中使用最远点采样（Farthest Point Sampling, FPS）方法来选择代表点云空间分布的样本点。在模型输入端，每个点由一个七维特征向量表示。其中，坐标x、y、z表示点的空间位置；值r、g、b表示颜色信息；值I表示LiDAR强度信息。为了确保固定的尺寸，作为模型输入的点云已被标准化为4096个点。这种采样尺寸在基于PointNet++的语义分割研究中常用，并为层次化特征提取提供了足够的几何细节。

PointNet2 MSG Transformer架构包含四个Set Abstraction层。这些层中的点数逐渐减少。这种层次结构有助于识别点云中的局部和全局几何特征。在较低层次学习小尺度几何细节，而在较高层次表示更广泛的空间上下文。在PointNet++ MSG架构中，每个Set Abstraction层创建具有不同半径的邻域区域以进行多尺度分组。这种方法可以同时表示不同大小的几何结构。本研究将经典的PointNet++ MSG架构扩展了尺度感知的Transformer融合机制（图3）。

3.4.1. 尺度感知的Transformer融合
本研究提出了一种改进传统PointNet++ MSG架构中使用的标准多尺度特征融合方法的方法，即称为尺度感知的Transformer融合（Scale-Aware Transformer Fusion）的融合机制。该模块的目标是通过为不同尺度获得的特征应用权重来建立更具适应性的表示，这些权重由特征内容决定，而不是由预定的融合规则决定。如图4所示，多尺度特征被转换为令牌（tokens），然后由Transformer编码器处理，接着通过自适应门控机制进行融合。多尺度MSG特征被转换为令牌（T = 3），由Transformer编码器处理以捕捉尺度间的依赖性，并使用基于softmax的门控机制进行自适应聚合，从而产生融合特征表示。符号“*”表示逐元素乘法。在PointNet++ MSG架构中，每个Set Abstraction（SA）层从以相同质心点为中心的不同半径的三个邻域区域生成三个不同的特征。以下是这些特征的定义：在这种情况下，每个特征代表了t尺度上的特征。B表示批量大小，S表示质心数量，T表示尺度数量。本研究中使用的完整符号表示法总结在表3中。

考虑到不同尺度间通道数量的潜在变化，所有特征通过线性投影层转换为共同维度。在此过程之后，来自三个尺度的特征被视为每个质心的序列。因此，每个质心创建三个“令牌”。这种变换独立应用于每个质心点，从而重新组织数据。这种架构表明，尺度感知的Transformer融合模块仅建模尺度间的关系。总之，模型针对每个质心计算三个尺度上的注意力，而不是整个点云。

Transformer编码器采用多头自注意力机制。对于输入的令牌，计算查询矩阵（query）、键矩阵（key）和值矩阵（value）：注意力机制定义如下：通过这一过程，每个尺度都会根据来自其他尺度的信息进行更新。本研究使用的架构包括两个Transformer编码器层，每个层都包含残差连接（residual connections）、LayerNorm和GELU激活函数。图5展示了自注意力如何模拟单个质心对应于不同空间尺度的令牌之间的关系。每个令牌对应于在不同邻域尺度上提取的特征（T = 3）。Transformer编码器通过多头自注意力建模尺度间的关系，使得小尺度、中等尺度和大尺度特征能够在自适应聚合之前进行交互。与直接基于注意力的点云模型（如Point Transformer）相比，所提出的架构仅对每个质心的三个尺度建立注意力。Point Transformer旨在通过计算所有点或广泛邻域的注意力来建模空间关系。然而，所提出的架构仅对每个质心的三个尺度建立注意力；也就是说，它专注于建模尺度间的关系。虽然Point Transformer中的注意力成本随着点数的增加而增加，但在这种方法中，注意力操作在固定的T = 3个令牌上，因此计算成本较低，同时保持了PointNet++的层次结构。

在这种方法中，每个头的注意力矩阵大小仅为3 × 3，从而限制了模型的计算开销。与在整个点云上使用全局注意力的方法不同，这种设计提供了更高效的架构配置。Transformer编码器的输出如下：这种输出表示更新后的特征，其中包含了每个质心点的跨尺度交互，并传递到自适应尺度聚合模块，在下一阶段对这些尺度进行加权组合。因此，尺度感知的Transformer融合为每个位置提供了一种动态学习的融合机制，而不是固定地聚合多尺度特征。这种方法有助于在存在不同几何结构的LiDAR场景中实现更平衡的表示。

3.4.2. 自适应尺度聚合
尺度感知的Transformer融合模块已被证明可以生成包含每个质心点跨尺度交互的更新后的令牌表示。此阶段获得的输出表示如下：在这种情况下，每个质心点有三个尺度令牌，记为T = 3。这些令牌通过一种称为自适应尺度聚合（Adaptive Scale Aggregation）的加权聚合机制合并为单个特征向量。该机制的目的是确定三个尺度中哪个对每个质心点更重要，并据此进行聚合。这一过程由一个可学习的门控结构辅助完成。首先，为每个令牌计算一个得分值：这个过程使用由线性层和激活函数组成的小型网络完成：然后使用softmax函数对获得的得分进行归一化，并转换为权重：利用这些权重，对三个尺度令牌进行加权组合：最终，每个质心点得到一个单一的特征向量：将这一过程应用于所有质心点后，输出得到如下转换：融合模块的超参数，包括质心数量、令牌维度和Transformer设置（例如，头数和前馈维度），在不同编码器层中有所不同，总结在表4中。正是这种结构使模型能够动态选择每个位置的尺度，从而避免了固定聚合方法的需要。总之，该模型能够在某些区域赋予小半径（注重细节）特征更大的权重，在其他区域赋予大半径（注重整体结构）特征更大的权重。所提出的自适应尺度聚合机制与固定融合方法（如经典连接或平均）不同。虽然固定方法对所有尺度一视同仁，但在这种方法中，每个尺度的贡献取决于数据内容。这种方法在存在不同几何结构的LiDAR场景中提供了更灵活的表示。

此外，门控机制生成的权重可用于分析。利用这些权重可以研究模型在特定区域偏好的尺度，从而提供额外的信息，增强可解释性。在Set Abstraction层和提出的融合模块中获得的特征通过原始PointNet++架构中定义的标准特征传播（Feature Propagation, FP）层传播回更高分辨率的点表示。这些层通过将低分辨率特征插值到更密集的点集中来实现点级预测。模型的最后阶段包括一个分割头，其中使用多层感知器（MLP）层计算每个点的类别概率。在本研究中，语义分割使用了四个类别：未分类、植被、地面和建筑物。模型输出是一个向量，表示每个点的类别概率。在此上下文中，zc表示类别logit值，C表示类别总数。所提出的架构旨在通过结合基于PointNet++ MSG的多尺度特征提取和基于Transformer的特征融合机制来学习更强大的点云表示。与依赖于固定特征连接的传统PointNet++ MSG架构不同，所提出的模型引入了基于Transformer的融合机制，实现了多尺度特征的自适应加权。这使得模型能够根据输入结构动态关注最具信息量的空间尺度，这对于复杂类别（如植被和建筑物边界）特别有益。

3.5. 训练配置
所提出的模型和对比模型使用基于PyTorch的训练流程进行训练。训练过程中使用了Adam优化器。初始学习率设置为0.001，权重衰减设置为1 × 10^-4。应用L2正则化以防止模型参数过拟合。Adam优化算法使用一阶和二阶矩估计来更新参数。训练阶段中，批量大小设置为8。最大训练时长设置为50个周期。然而，为了避免在模型性能没有进一步提升时继续训练，实施了提前停止机制。在这个机制中，监控了在验证数据集上计算出的验证mIoU指标，如果连续15个周期内没有观察到改进，训练就会停止。在整个训练过程中，使用CosineAnnealingWarmRestarts调度器来更新学习率。这种方法通过利用余弦函数逐渐降低学习率，并在指定的周期间隔执行温暖重启，帮助模型避免陷入局部最小值。调度器参数设置如下：T0 = 10；Tmult = 2；ηmin = 10^-6。训练过程使用RTX 5070 Ti GPU（16 GB VRAM）进行。在模型训练期间观察到了GPU加速的利用，而CPU则专门用于数据加载操作。

3.6. 损失函数
在这项研究中，评估了一系列损失函数，以确定它们对模型训练性能的影响。主要使用了Dice损失函数。Dice损失函数在具有类别不平衡的语义分割问题中特别有利，因为它与交并比（IoU）指标有直接关联。Dice系数的计算方法如下：在这种情况下，符号表示模型预测的概率值，而yc表示真实类别标签。总Dice损失值是通过取所有类别计算出的Dice系数的平均值得到的。除了Dice损失，还评估了与交叉熵损失结合使用的组合损失函数。总损失函数的计算方法如下：在本研究中，α的值被设置为0.5。此外，还基于Focal Loss的FocalDice损失函数进行了实验评估，以便更加重视从困难示例中学习。

3.7. 评估指标
为了评估模型的性能，使用了交并比（IoU）、总体准确率（OA）、平均IoU（mIoU）、精确度、召回率和F1分数等指标。这些指标在语义分割领域被广泛使用。一个类别的IoU值计算方法如下：在这种情况下，TPc表示真正例，FPc表示假正例，FNc表示假负例。平均交并比（mIoU）在语义分割任务中广泛使用，它是为所有类别计算的平均IoU值。其中K是类别的总数。每个类别的精确度、召回率和F1分数定义如下：所研究的分类系统包括四个类别：未分类、植被、地面和建筑物。此外，还计算了总体准确率（OA）指标，以评估模型的整体性能。所有指标都是基于每个点计算的，并报告了类别级别的值，以提供不同语义类别下模型性能的详细评估。除了总体指标外，还分析了每个类别的IoU、精确度和F1分数值。为了确保数值稳定性，在计算指标时在分母中添加了一个小常数。总体准确率（OA）是作为所有点的全球指标计算的。相比之下，IoU、精确度和召回率以及F1分数是按类别定义的，然后对类别进行平均（宏观平均）以获得mIoU、平均精确度、平均召回率和平均F1分数。这种区分允许评估同时捕捉整体性能和类别级别的行为，这在不平衡的点云数据集中尤为重要。

3.8. 集成和测试时增强
为了提高模型的性能并增强预测的鲁棒性，结合使用了集成方法和测试时增强（TTA）。集成方法基于结合在不同配置下训练的多个模型的输出的原则。这种方法的目标是在不受单个模型错误限制的情况下生成更可靠的预测。在这项研究中，PointNet2 MSG Transformer架构使用不同的训练配置进行了训练，从而创建了多个模型变体（图6）。在进行了实验评估后，确定在验证数据集上表现最佳的三个模型将被用于集成框架中（表5）。图6. 用于最终预测的集成和测试时增强推理流程。符号“*”表示加权平均步骤中的乘法。表5. 集成中使用的模型变体。需要注意的是，这些模型的训练使用了不同的架构结构和损失函数，因此每个模型产生的错误模式各不相同。集成方法的采用利用了这些差异来生成更平衡的预测。在集成阶段，每个模型基于相同的输入点云生成独立的预测。然后将这些预测结合起来产生最终的类别预测。每个模型生成的类别概率使用加权平均方法组合。集成预测可以表示如下：这里，M表示集成中使用的模型数量，Pi(c)表示第i个模型对类别c生成的概率值。wi系数表示分配给每个模型的权重。根据实验评估，使用了以下权重值：这些权重分别对应于‘dice_only’、‘deeper_head’和‘combined’模型。除了集成方法外，还使用了测试时增强（TTA）来提高模型预测的稳定性。在TTA方法中，输入点云在经过各种变换后多次输入模型，然后将得到的预测结果组合起来。在这项研究中，对每个点云应用了五种不同的增强方法。模型针对每种增强方法重新运行，最终预测是通过平均得到的预测概率获得的。在最后阶段，将集成和TTA的输出结合起来得到最终预测（表6）。这种方法提高了模型的整体性能，特别是在类别不平衡的情况下产生了更平衡的预测。表6. 集成和TTA方法对性能的影响。结果表明，使用集成模型和测试时增强可以提高模型性能。值得注意的是，“建筑物”类的IoU分数提高了约2.12%。

4. 实验和结果
本节评估了所提出的PointNet2 MSG Transformer模型在LiDAR点云语义分割问题上的性能。实验是在涉及未分类区域、植被、地面和建筑物的四类语义分割问题上进行的。使用mIoU和总体准确率指标分析了模型性能。还进行了全面的消融研究，以调查不同损失函数、架构变化和推理策略对性能的影响。

4.1. 实验设置
实验使用基于PyTorch的训练基础设施进行。所有模型都使用Adam优化算法进行训练，初始学习率为0.001。对于开发的模型，使用了Cosine Annealing with Warm Restarts调度器，以确保学习率的更新更加稳定。在模型训练期间，批量大小设置为8，每个训练样本使用4096个点。如果点数超过4096，则使用随机子采样将点云样本减少到固定的4096个点；如果点数少于4096，则使用重复样本进行填充。在训练期间应用了提前停止策略，保存了具有最佳验证性能的模型检查点。模型输入特征包括一个七维特征向量：(x, y, z, r, g, b, intensity)。这里，x, y, z表示坐标信息，r, g, b表示颜色值，intensity表示LiDAR强度值。在所有实验中，使用以下指标评估模型性能：平均交并比（mIoU）、总体准确率、精确度、召回率和F1分数。尽管精确度、召回率和F1分数在第3.7节中有定义，但本研究的评估主要关注mIoU和总体准确率，因为这些是LiDAR语义分割基准中使用的标准指标。

4.2. 基线模型比较
研究的第一阶段涉及比较不同深度学习架构在LiDAR点云分割上的性能。评估了三种不同的传统模型架构（PointNet、PointNet++ MSG和VoxelNet Lite）以及最近的先进架构，如Point Transformer、KPConv和RandLA-Net。研究结果表明，虽然所提出的方法达到了最高的总体mIoU（51.74%），但不同架构在特定类别上的效果存在差异。例如，Point Transformer在建筑物类别上表现最佳（48.28% IoU），而KPConv由于其可变形的卷积机制在植被类别上表现更好。这项研究的发现表明，不同的架构设计可以捕捉LiDAR数据的独特几何特性（表7）。表7. 所提出方法与先进深度学习架构在Oregon LiDAR数据集上的性能比较。所提出的方法在比较的方法中实现了最高的总体mIoU。所提出的模型在比较的架构中实现了最高的总体性能，达到51.74%的mIoU和61.50%的准确率。与PointNet++ MSG相比，该模型在总体分割性能上有明显的提升。虽然Point Transformer在建筑物类别上表现更好，但所提出的方法在所有类别上的性能更加平衡。这表明，将多尺度特征与基于变换器的融合相结合有助于在复杂场景中产生更稳定的预测。这些模型使用相同的数据集和相似的训练参数进行训练，并比较了它们的性能。初步实验显示，PointNet++ MSG模型的表现优于其他架构（图7和图8）。特别是，观察到该模型由于其多尺度分组机制，能够更有效地学习不同尺度的几何特征。图7. 基线模型比较—总体准确率。图8. 基线模型比较—mIoU。因此，研究的后续阶段涉及基于PointNet++ MSG架构开发新模型。为了确保公平比较，所有模型都必须使用相同的数据集分割、点采样策略（4096个点）和预处理流程进行训练，包括归一化和特征标准化。所有模型都应用了相同的最大训练预算（50个周期）和基于验证mIoU的提前停止标准。然而，为了确保每个模型的最佳性能，采用了特定的架构训练策略。虽然基线模型使用交叉熵损失和StepLR调度进行训练，但所提出的PointNet2 MSG Transformer使用Dice损失和cosine annealing with warm restarts进行训练。尽管使用的优化策略不同，但在共享的测试数据集上对模型进行了统一的评估，从而确保了内部一致性并实现了可靠的比较。

4.3. 消融研究
进行了全面的消融研究，以评估不同训练配置对所提模型性能的影响。作为研究的一部分，测试了各种损失函数和架构变化。结果表明，使用Dice Loss显著提高了模型的性能。使用Dice Loss的模型在mIoU上相比使用Cross-Entropy Loss的基线模型提高了约2.79%（表8）。表8. 不同训练配置的性能比较。然而，增加分割头层的数量并没有带来预期的性能提升。尽管更深层次的头部结构增加了模型参数的数量，但这并没有显著提高整体性能。同样，结合Focal Loss和Dice Loss导致模型性能显著下降。总体而言，这些结果表明Dice Loss函数更适合LiDAR点云分割（图9和图10）。图9. 消融研究—测试总体准确率。图10. 消融研究—测试mIoU。为了进一步提高模型性能，采用了集成和测试时增强方法。集成方法涉及结合使用不同配置训练的三个模型的预测。集成中使用的模型如下：- 使用Dice Loss训练的模型；- 使用DeeperHead架构的模型；- 使用组合损失的模型。然后使用加权平均方法组合模型预测。

4.4. 集成和测试时增强的效果
如表6所示，结果表明，当使用集成和测试时增强方法时，模型性能得到了提高。具体来说，当集成方法和测试时增强（TTA）结合使用时，模型的mIoU值提高到了51.74%。与基线模型相比，mIoU提高了大约4.03%。按类别分析显示，“建筑”类别的改进最为显著。使用集成方法后，“建筑”类别的IoU值提高了约2.12%。图11、图12和图13展示了不同预测策略对模型性能的影响。使用单一模型时，mIoU值为50.50%，而应用测试时增强后，该值提高到了51.15%；使用集成方法后，mIoU值提高到了51.55%；将集成方法与测试时增强结合使用后，达到了最高的性能51.74%。图11显示了集成方法与TTA对测试准确性的影响；图12显示了它们对测试mIoU的影响；图13显示了它们对准确性和mIoU的影响。在准确性指标上也出现了类似的模式：最佳单一模型的准确率为60.83%，而集成方法与测试时增强结合使用后，这一数值提高到了61.50%。图14展示了基于类别的IoU结果。最终模型在所有类别上都略有改进，特别是“建筑”类别的IoU值从39.9%提高到了42.0%。除了定量指标外，还使用测试数据集中的选定点云片段进行了视觉比较，以分析模型输出的空间行为。这些比较针对相同样本在四个面板中展示：输入点云、真实标签、最佳单一模型的预测（使用Dice Loss训练的模型）以及最终方法的预测（集成方法+测试时增强）。图15a和图15b展示了测试样本的输入点云、真实标签、最佳单一模型预测（使用Dice Loss训练的模型）和最终模型预测（集成模型+测试时增强）的对比显示。图16展示了同一测试样本的输入点云、真实标签、PointNet++ MSG、PointNet2 MSG集成+TTA预测、RandLA-Net和Point Transformer的对比显示。在可视化中，每个类别用不同的颜色表示：“未分类”用灰色表示，“植被”用绿色表示，“地面”用棕色表示，“建筑”用红色表示。图15(a)展示了代表性机载LiDAR瓦片的定性分割结果（样本12）：(a) 输入点云，(b) 真实标签，(c) 使用Dice Loss训练的最佳单一模型预测，(d) 提出的方法（集成方法+TTA）预测。提出的方法产生了更一致的预测，并减少了误分类噪声，特别是在复杂区域。图16展示了同一测试样本（样本12）上不同模型的定性比较。该图显示了输入点云、真实标签以及PointNet++ MSG、提出的方法（集成方法+TTA）、RandLA-Net、Point Transformer和KPConv的预测结果。与基线模型相比，提出的方法在预测的稳定性和类别间一致性方面表现更好。对视觉结果的分析表明，该方法在准确识别建筑边界方面非常有效。最终模型通过集成方法和测试时增强产生了更一致的类别分布，并减少了误分类。特别是，在建筑类别中，屋顶表面的分割更为全面，与地面重叠导致的错误也减少了。尽管植被类别在数据集中的点密度最高，但由于其几何多样性，它是最难分割的类别之一。检查模型预测发现，在植被和地面类别之间的某些边界区域可能会发生错误。然而，最终模型在这些区域产生了更平衡的结果。如图17所示，提出的模型在学习过程中的训练行为是显而易见的。如图所示，训练损失在各个时期都呈现出持续下降的趋势，表明网络正在逐步从LiDAR点云中获取具有辨识力的几何特征。损失的最大下降发生在初始训练阶段，尤其是在前十个时期。之后，下降变得更为平缓。图17展示了训练过程中提出的模型的学习曲线。该图显示了25个时期内训练损失和验证mIoU的演变。随着训练的进行，损失函数逐渐减少，验证mIoU也随之增加并趋于稳定。这一结果表明模型达到了稳定的收敛和一致的学习行为。同时，验证mIoU总体上呈现上升趋势，从初始时期的约35%上升到训练后期的约50%。尽管在中间阶段观察到一些波动，但总体趋势表明学习行为是稳定的。值得注意的是，验证曲线保持稳定，没有严重的过拟合现象，表明模型保持了平衡的学习过程，并能够有效地泛化到未见数据。学习曲线表明，模型在大约15-20个时期后达到了相对稳定的收敛。因此，可以得出结论，提出的PointNet2 MSG Transformer架构和应用的集成策略为多类别LiDAR点云分割提供了一种有效的方法。为了更全面地评估模型的基于类别的性能，计算了最终模型的混淆矩阵。如图18所示，从测试数据集得出的混淆矩阵已经按行进行了标准化。对混淆矩阵的详细检查显示，某些类别的预测准确性高于其他类别。“未分类”类别在90%的情况下被正确分类。“地面”类别也表现出较高的分类准确性，准确率为85%（表9）。表9显示了基于LiDAR的语义分割中提出的模型的类别准确性。研究结果表明，不同类别的性能存在差异，地面和未分类点的准确性较高，而植被和建筑类别的性能相对较低。这反映了这些类别中存在的几何和结构变化的复杂性。对混淆矩阵的详细检查显示，某些类别的预测准确性高于其他类别。“未分类”类别在90%的情况下被正确分类。“地面”类别的分类成功率也较高，达到了85%。相反，“植被”类别的准确率较低，虽然大约45%的“植被”类别点被正确分类，但有48%被预测为“地面”类别。这一发现表明，植被和地面之间的几何相似性可能阻碍了模型之间的区分。计算出的“建筑”类别的正确分类率为64%，其中33%的建筑点被错误地预测为植被。这表明在建筑物周围有树木和植被的区域，类别混淆可能发生。混淆矩阵的结果表明，模型在区分地面和建筑类别方面表现出较高的准确性，而植被类别经常与其他类别混淆。在这项研究中，将尺度感知Transformer融合和自适应尺度聚合模块集成到PointNet++ MSG架构中，旨在解决机载LiDAR点云的语义分割问题。研究结果表明，与基线模型相比，提出的方法在整体性能上有所提升（mIoU：51.74%）。尽管这种提升在绝对值上可能看起来有限，但它仍然很有价值，因为模型在不同类别之间实现了更平衡的性能。平均指标（mIoU、IoU、准确性）的微小增加可能与点云数据集中样本数量庞大有关。性能的提升可以归因于对多尺度特征的内容依赖性处理，而不是它们的预定组合。在传统的PointNet++ MSG方法中，来自不同半径邻域的特征被直接组合；然而，在这项研究中，每个尺度被视为Transformer中的一个标记，并对跨尺度关系进行了建模。这种架构有助于对每个质心点从不同尺度获得的信息进行自适应加权。假设这种方法有助于表示具有异构结构的LiDAR场景中的不同几何模式。基于类别的分析提供了对模型行为的更全面理解。尽管提出的方法没有在所有类别中都达到最高的IoU值，但它在整体性能方面产生了平衡的结果。特别是在植被类别中观察到的提升，可以归因于模型表示多尺度结构不规则几何形状的能力。相反，某些基于注意力的方法在建筑类别中表现出更好的性能。这种现象可以归因于建筑表面的固有属性，这些表面通常具有更多的规则和平面结构。因此，直接建模空间关系的架构在这个领域具有竞争优势。然而，提出的方法侧重于多尺度局部特征的自适应融合，而不是在整个点云上建立全局注意力。模型在复杂区域的行为可能与多尺度特征的联合考虑有关。在类别边界处，例如建筑物和植被之间，需要结合使用精细的几何细节和更广泛的上下文信息。本研究使用的融合机制有潜力提高这些领域预测的准确性，因为它模拟了来自不同尺度的信息之间的交互。此外，假设测试时增强（TTA）和集成方法可以帮助减少预测方差，特别是在确定性不足的区域。本研究存在几个局限性。首先，实验使用的是单一的机载LiDAR数据集，这限制了模型泛化到不同数据分布的能力。然而，本研究选择了一个反映现实世界条件的数据集，而不是一个已经完全清洗过的数据集。这一选择是为了评估模型在噪声、类别不平衡和数据异质性等实际挑战下的性能。尽管如此，还需要在不同的数据集上进行进一步验证。此外，提出的基于Transformer的融合架构比固定融合方法需要额外的计算步骤。然而，由于注意力计算是在有限数量的尺度标记（T = 3）上进行的，这种成本在实践中是有限的。在后续研究中，必须在多样化的机载LiDAR数据集上评估提出的方法，并评估其泛化性能。此外，增加数据集的多样性和使用真实世界现场数据进行测试将更准确地反映模型在实际应用中的性能。此外，还可以探索基于Transformer的融合机制的更多变体以及更复杂的架构结构。特别是，研究潜力在于设计用于提高建筑类别性能的类别平衡学习策略和数据增强方法。所提出的方法包括一个基于PointNet++ MSG的编码器结构；在每个集合抽象层之后使用的是尺度感知的Transformer融合模块；一个具有四个特征传播层的解码器；一种基于Dice损失的训练策略；以及加权集成和测试时增强技术的结合。最终系统在测试数据集上达到了51.74%的mIoU和61.50%的准确率，这在所比较的模型中表现最佳。该研究不仅考察了单一模型架构，还研究了不同训练和推理策略的效果。结果表明，在这个类别不平衡的数据集上，Dice损失比基于Cross-Entropy的方法更有效。此外，结合集成和测试时增强策略显著提升了性能，尤其是在“建筑物”类别上，使得最终模型的性能超过了单一模型的表现。研究结果表明，多类别语义分割方法比单一类别方法更适合基于LiDAR的建筑物检测问题。这是因为在现实应用中，“建筑物”、“植被”、“地面”和“未分类”这些类别共存，这些类别之间的边界直接影响模型的性能。在本研究中，植被类别带来了最大的挑战。尽管使用Dice损失在该类别上取得了显著改进，但结果表明还有进一步提升的空间。

这项研究存在一些局限性。首先，实验是在单一的航空LiDAR数据集上进行的，这限制了模型在不同数据分布下的泛化能力评估。虽然特意选择了现实世界的数据集来反映实际情况，但还需要在更多的航空LiDAR数据集上进行进一步验证。此外，数据集中的类别分布不平衡，尤其是植被类别占主导地位。因此，有必要研究模型在不同数据集和不同场景条件下的表现。未来的工作将扩展数据增强策略，并采用类别平衡的采样方法。将测试更先进的基于Transformer的融合架构，并评估后处理方法以提高推理后的空间一致性。此外，通过利用来自不同集成策略和训练变体的额外模型，还可以进一步提高性能。