基于高程引导自适应融合网络的机载激光扫描点云语义分割方法

《International Journal of Applied Earth Observation and Geoinformation》：A novel projection map driven multimodal fusion framework for ALS point cloud semantic segmentation

本文针对现有多模态ALS点云语义分割方法依赖额外传感器的问题，提出了一种新型投影图驱动多模态融合框架EGAFNet。该框架利用ALS自然形成的顶视投影图像增强点云信息感知能力，通过高度自适应缩放模块(HASM)生成高区分度输入表示，并设计双分支网络和自适应融合模块(EGAFM)实现精准跨模态集成。在三个公开数据集上的实验表明，该方法优于当前最优方法，为数字孪生应用提供了可靠的数据基础。

　　

随着数字孪生技术的快速发展，对城市三维环境的精确理解变得尤为重要。机载激光扫描（ALS）作为一种高效获取大范围三维空间数据的技术，已成为城市场景数据采集的理想选择。然而，现有的点云语义分割方法在面对复杂城市环境时仍面临诸多挑战。特别是多模态方法虽然能通过引入额外模态信息提升性能，但它们通常依赖光学传感器等额外设备，当这些传感器不可用时，方法的适用性就受到限制。

针对这一瓶颈问题，武汉大学的研究团队在《International Journal of Applied Earth Observation and Geoinformation》上发表了一项创新性研究，提出了一种名为EGAFNet的新型多模态框架。该框架的创新之处在于充分利用ALS固有的自上而下扫描机制，将自然形成的顶视投影图像作为额外模态，从而减少对特定传感器的依赖，提高了方法的通用性。

研究团队主要采用了以下关键技术方法：首先通过地形去除获得相对高程值，构建包含最大值、均值和标准差三个通道的z感知投影图像；然后设计高度自适应缩放模块（HASM）增强高程信息的表达能力；采用双分支网络架构分别提取局部和全局特征；最后提出高程引导自适应融合模块（EGAFM）基于遮挡关系动态融合2D和3D特征。

3.1. 模型概览

EGAFNet框架包含两个关键组件：输入表示和特征表示。输入点云被划分为局部块，通过地形影响消除后获得相对高程值，进而生成z感知投影图像。特征表示方面采用双分支网络，分别处理点云和多尺度投影图像特征，通过EGAFM模块实现特征融合。

3.2. Z感知投影图像生成

研究提出了一种创新的z感知投影图像生成方法。通过数字高程模型（DEM）消除地形变化影响，计算每个网格单元内相对高程的最大值、均值和标准差，形成三通道投影图像。针对城市环境中物体高度差异大的问题，设计了HASM模块，使用对数函数和可学习参数自适应调整高度信息。

3.3. 自适应多模态融合特征表示

特征提取部分采用ResNet34和改进的Swin Transformer分别捕获局部和全局上下文信息。针对投影中的遮挡挑战，提出的EGAFM模块通过隐式捕获遮挡关系，动态调整2D和3D特征的权重，实现精准的多模态特征融合。

4.4. 结果

在三个公开数据集上的实验结果表明，EGAFNet在多数类别上都优于现有方法。特别是在WHU-Urban数据集上，对Wire和Building类别的识别精度提升显著，mIoU达到68.02%。在DALES数据集上，该方法在Truck、Powerline和Building等关键类别上表现优异。跨域泛化实验进一步证明了方法的鲁棒性。

4.5. 消融研究

消融实验验证了各模块的有效性。HASM模块使mIoU提升1.52%，双分支上下文特征带来1.09%的提升，EGAFM模块相比简单融合策略效果最佳。不同骨干网络的实验表明该方法具有良好的架构灵活性。

该研究的重要意义在于提出了一种不依赖额外传感器的多模态融合新范式，通过充分利用ALS数据自身特性，实现了更精准的点云语义分割。EGAFNet框架在保持较高推理效率的同时，显著提升了分割精度，特别是在复杂城市环境中的表现突出。这项工作为大规模城市数字孪生建设提供了可靠的技术支持，在基础测绘、城市管理、地质灾害监测等领域具有广阔的应用前景。未来研究可进一步探索多尺度特征融合策略，以及在不同地理环境下的适应性改进。