《Science of Remote Sensing》:Riverine land cover mapping through semantic segmentation of multispectral point clouds
编辑推荐:
在河流环境中进行精确的土地覆盖制图对于有效的河流管理、生态理解以及地貌变化监测至关重要。本研究探索了使用Point Transformer v2(PTv2),一种专为点云数据设计的先进深度神经网络架构,通过语义分割多光谱激光雷达(LiDAR)数据在真实世界河流
在河流环境中进行精确的土地覆盖制图对于有效的河流管理、生态理解以及地貌变化监测至关重要。本研究探索了使用Point Transformer v2(PTv2),一种专为点云数据设计的先进深度神经网络架构,通过语义分割多光谱激光雷达(LiDAR)数据在真实世界河流环境中进行土地覆盖制图。研究人员利用来自3通道LiDAR点云的几何和光谱信息,以绘制包括沙、砾石、低植被、高植被、森林地面和水在内的土地覆盖类别。PTv2模型在芬兰北部Oulanka河的点云数据上使用几何和光谱特征进行了训练和评估。为了提高模型在新河流环境中的泛化能力,研究人员还额外研究了多数据集训练,该训练添加了来自另一个河流数据集的稀疏标注数据。结果表明,使用全特征配置实现了平均交并比(mIoU)为0.950的性能,显著优于几何基线。其他消融实验揭示,强度和反射率特征对于准确的土地覆盖制图是关键。多数据集训练实验显示出改进的泛化性能,表明尽管高质量标注数据有限,仍有开发更鲁棒模型的潜力。研究人员的工作展示了将基于Transformer的架构应用于河流环境中多光谱点云的潜力。该方法为监测沉积物输移和其他河流管理应用提供了新能力。
**河流环境土地覆盖制图:基于多光谱点云语义分割的Transformer架构研究**
**研究背景与意义**
河流环境作为高度动态且生态意义重大的景观,其物理过程(如河流过程与沉积物动力学)与土地覆盖格局的相互作用塑造了河流的形态与功能。准确的土地覆盖空间信息对于有效河流管理、生态理解及地貌变化监测至关重要。然而,传统的制图方法存在显著局限:野外调查劳动强度大且难以规模化;传统的二维(2D)遥感方法(如航空或卫星影像)在复杂河流环境中面临挑战,例如被动光学遥感难以穿透水体(受水体可见度、深度及水柱衰减影响)和茂密植被冠层以揭示林下信息,且2D影像缺乏地形的垂直维度,难以区分某些土地覆盖类型。这些限制阻碍了及时、准确地捕捉河流环境复杂动态三维(3D)表征的能力。
新兴的多光谱激光扫描(multispectral LiDAR)技术为解决这些局限提供了有前景的工具。多光谱机载激光扫描(ALS)系统不仅能获取3D点云,还能获取被映射物体的光谱信息,相比单波长系统,在复杂环境中能实现更精确的土地覆盖分类。芬兰地理空间研究所(FGI)开发了直升机载三波长(TW)激光扫描系统HeliALS-TW,可同时捕获高分辨率3D点云及各波长光谱信息。本研究利用该系统获取河流环境数据,旨在评估基于Transformer架构的深度神经网络在河流多光谱点云土地覆盖制图中的有效性,并探索处理类别不平衡和增强跨区域泛化能力的策略。
**主要技术方法概述**
本研究采用Point Transformer v2(PTv2)架构进行语义分割。数据来源于芬兰Oulanka河的三个弯曲段(Nurmisaari, NS;Honkaniemi, HN;J?k?l?mutka, JM),使用FGI的HeliALS-TW系统(包含1550nm、905nm、532nm三个波长)获取点云。预处理包括体素降采样(2cm分辨率)、统计离群点去除(SOR)、布料模拟滤波(CSF)地面分割,以及利用KD树最近邻方法融合三波长点云(半径0.25m),生成包含几何坐标(XYZ)、三通道强度、反射率、振幅、偏差、回波数等17维特征的多光谱点云。PTv2架构采用分组向量注意力(GVA)、改进的位置编码和基于分区的池化。训练策略包括加权交叉熵损失处理类别不平衡,以及多数据集训练(同时使用NS和HN数据集)以提升泛化能力。所有模型在JM测试集上评估,采用基于类别的交并比(IoU)、准确率和精度等指标。
**研究结果**
**5.1 多光谱数据的重要性**:通过消融实验,从几何基线(XYZ)逐步增加光谱通道。几何基线mIoU为0.643,全特征配置(几何+三通道光谱+脉冲信息)达到最佳mIoU 0.950和mAcc 0.977。沙和砾石类别受益最大,IoU分别从0.487和0.194提升至0.990和0.971。水体类别在所有配置下表现稳健。
**5.2 光谱特征的贡献**:单独使用每个光谱特征进行消融,发现强度和反射率特征表现最佳(mIoU分别为0.937和0.934),对沙和砾石分割尤为关键。振幅和偏差特征性能显著较低(mIoU分别为0.767和0.719),尤其在沉积物类别上。
**5.3 单个通道的贡献**:单独使用每个通道(几何+该通道光谱特征),通道2(905nm)表现最佳(mIoU 0.915),通道1(1550nm)次之(0.865),通道3(532nm)对沉积物类别效果差(mIoU 0.722),因其主要用于水体和水下点。
**5.4 多数据集训练的影响**:比较仅用NS数据集与同时使用NS+HN数据集训练。多数据集训练显著提升mIoU(从0.773到0.950),尤其改善了沙(0.857→0.990)、砾石(0.836→0.971)和森林地面(0.486→0.878)的分割性能,表明稀疏标注数据能有效缓解类别不平衡并增强泛化。
**5.5 与其他模型的基准比较**:PTv2与六个基线模型(DGCNN、RandLA-Net、RF、PointMLP、MinkUNet、StratifiedFormer)比较,PTv2取得最高mIoU 0.950,其次为StratifiedFormer(0.909)。PTv2在沙和砾石类别上表现最优,而DGCNN和RandLA-Net在砾石分割上表现较差。
**5.6 对未见数据的预测**:定性分析显示,全特征模型预测的边界清晰,与正射影像对齐良好。模型能有效捕获沙质点坝、砾石沉积、低植被、高植被、森林地面及水体。挑战性场景包括沙-砾石混合过渡区和浅水覆盖砾石区,这些区域模型置信度降低、熵增加,表明过渡带的分类存在不确定性。
**讨论与结论**
讨论部分指出,模型在过渡带(如沙-砾石混合、浅水-砾石)的预测不确定性较高,这与点云分辨率及k近邻聚合特征导致的类别混合有关。结论部分总结了本研究的核心发现:基于Transformer的PTv2架构在河流多光谱点云土地覆盖制图中表现出强有效性;全特征配置(包括三通道强度、反射率、振幅、偏差及脉冲信息)达到最佳性能(mIoU 0.950);强度和反射率是最关键的光谱特征;通道2(905nm)单独使用时表现最佳;多数据集训练(即使仅使用稀疏标注数据)可显著提升模型性能。该研究证明了将Transformer架构应用于多光谱LiDAR点云的潜力,为监测沉积物输移和河流管理提供了新能力。未来工作可关注实时算法、弱监督/小样本/零样本学习以及域适应策略,以进一步降低对标注数据的依赖并增强跨区域泛化能力。