基于空间引导的LiDAR与空间高程特征增强网络，用于高光谱数据与LiDAR数据的融合分类

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Spatial-Guided LiDAR Spatial-Elevation Feature Enhancement Network for Fusion Classification of Hyperspectral and LiDAR Data

　　•逐步特征融合有助于利用互补性。•空间引导的特征增强能够捕捉细微的空间和高程表达。•强大的融合有助于减少对高精度LiDAR设备的依赖。

引言
随着遥感成像技术的持续进步，描述同一空间区域的多模态遥感图像数据变得日益丰富[1]。在这些数据类型中，高光谱数据和光检测与测距（LiDAR）数据受到了研究人员的广泛关注。高光谱图像能够捕获丰富的光谱信息，从而分析不同材料的独特光谱特征[2]、[3]。然而，在对某些对象（如道路和屋顶）进行分类时，相似的光谱反射特性限制了精确分类的难度[4]。另一方面，LiDAR数据提供了精确的目标距离测量，并提供了高程信息，使其非常适合区分不同高度的对象（例如道路和屋顶）[5]。但是，区分同一高度的对象（如草地和道路）则更具挑战性。利用高光谱数据和LiDAR数据的互补特性，在提高分类性能方面显示出了良好的效果[6]、[7]、[8]、[9]、[10]。通过结合高光谱图像的光谱信息与LiDAR数据提供的高程和距离测量信息，研究人员可以利用每种模式的优点并克服各自的局限性[11]。这种联合分类方法已成为当前研究中的一个重要趋势，并应用于多个领域，包括树种分类[12]、城市规划[13]和环境监测[14]。

在研究的早期阶段，传统的机器学习方法（例如随机森林、IGMM、SVM）被广泛用于高光谱数据和LiDAR数据的融合分类。Huang等人[15]将提取的光谱、高程和纹理信息堆叠到一个新的向量中，并使用随机森林分类器进行分类。Wu等人[16]利用无限高斯混合模型对高光谱数据和LiDAR数据的特征进行建模，并通过决策融合对聚类结果进行分类。Gu等人[17]使用特征堆叠方法融合由不同异构特征集组成的图，并使用支持向量机（SVM）进行分类。传统的机器学习方法为未来融合技术的发展提供了宝贵的见解[18]。然而，传统机器学习方法在数据拟合能力上存在固有局限性，这可能会限制它们在高光谱和LiDAR融合任务中达到更高分类精度。

随着深度学习方法的进步，卷积神经网络（CNN）被引入到遥感图像融合分类领域[19]、[20]。基于深度学习的早期融合方法借鉴了传统的一阶段融合方法。Chen等人[21]采用双分支卷积神经网络和全连接神经网络通过连接来融合特征，并通过逻辑回归进行分类。Wang等人[22]利用双分支CNN架构从高光谱数据中提取空间和光谱特征，进一步增强了特征提取能力。Shen等人[23]提出了一种基于洗牌特征增强的融合网络，有效缓解了融合过程中引入噪声的问题。然而，高光谱数据和LiDAR数据在空间和通道特征上存在很大差异。单一层次的融合可能无法充分利用两种数据的特点，导致分类效果不佳。为了利用高光谱数据和LiDAR数据的特点并提高分类精度，一些研究人员采用了多级融合方法来整合不同层次的特征，以获得更精确的分类结果。Wang等人[24]提出对层次化的光谱-空间信息进行多尺度和自适应相互引导学习处理，以生成更适合特定目标的更具区分度的特征。Li等人[25]设计了一种新的三级融合策略，有效整合了来自HSI和LiDAR数据的信息。然而，在提取特征时，CNN对局部细节更敏感，但在捕捉全局信息方面不够稳健。

最近，Transformer网络凭借其独特的序列建模能力和自注意力机制在自然语言处理中表现出色。一些研究人员将其引入到遥感图像分类领域[26]、[27]、[28]。Roy等人[29]在Transformer编码器中加入了外部多模态数据作为外部分类标志，并引入了一种新的注意力机制来增强多模态数据之间的交互。Hu等人[30]设计了一个并联的Transformer结构，其中两个Transformer分别用于特征提取和捕捉跨模态交互。Song等人[31]提出了一种多源Transformer补充器，有机融合高光谱数据和LiDAR数据，以更好地捕捉多模态特征信息之间的相关性。

尽管当前研究取得了显著进展，但仍有一些问题值得进一步探讨和思考：
1. 高光谱数据和LiDAR数据之间的显著维度差异可能导致融合过程中的模态不平衡。由于HSI包含丰富的光谱带，而LiDAR通常只提供一两个与高程相关的通道，融合表示往往被高维的HSI模态所主导。因此，LiDAR提供的互补高程信息可能被低估。因此，有必要减少这种维度不平衡，以确保两种模态对最终融合表示的有效贡献。
2. 与高光谱图像相比，LiDAR数据提供的高程信息维度较低，且空间和高程相关维度之间的交互较少。模态内部表示的局限性阻碍了特征的稳健表达，对高精度分类任务构成了挑战。因此，增强LiDAR数据的内在相关性建模对于与高光谱图像的后续融合至关重要。
3. LiDAR系统依赖于飞行时间原理，通过测量光脉冲在LiDAR系统和物体之间传播所需的时间来计算距离。然而，LiDAR系统的有效性受到不利天气条件的显著影响，这对LiDAR设备提出了严格要求。因此，需要设计一种稳健的融合策略，以减轻噪声LiDAR数据的不利影响，使其能够可靠地应用于实际场景。

为了解决这些问题，提出了一种空间引导的LiDAR空间-高程特征增强网络，称为SGFEN。其目的是利用空间特征引导LiDAR数据吸收高光谱数据的空间信息，从而最小化模态之间的差异。通过利用HSI的丰富特性来增强LiDAR的特征表示，这种方法作为辅助信息，提高了高光谱数据和LiDAR数据融合分类的性能。空间特征提取模块对高光谱数据和LiDAR数据应用两层2D卷积，生成融合的空间信息，结合了两种模态的多级表示。为了编码LiDAR高程数据，使用了一个Transformer编码器，该编码器包含两种注意力机制：自注意力空间-高程池化注意力。自注意力捕捉LiDAR数据原始高程表示的全局上下文，而空间-高程池化注意力从不同角度捕捉空间块和高程通道之间的相关性。与高光谱数据丰富的空间-光谱特征相比，提取的LiDAR原始空间-高程特征的表达能力有限。为了解决这一限制，引入了一个跨模态特征增强模块，利用融合的空间特征来增强空间-高程特征的表示。目标是减小模态之间的差异，实现LiDAR数据的稳健表达。最后，一个深度特征融合模块由滑动窗口交叉注意力组成，有效地融合了高光谱空间-光谱特征和增强的LiDAR空间-高程特征，利用滑动窗口捕捉空间、光谱和高程特征之间的相互依赖性。

本工作的主要贡献总结如下：
(1) 提出了一种用于高光谱数据和LiDAR数据分类的渐进式融合架构。通过充分考虑不同数据模态之间的相关性和维度差异，逐步释放特征交互和引导，以利用空间-光谱-高程特征的互补优势。
(2) 提出了一种针对LiDAR高程信息的空间引导特征增强方法，能够捕捉细致的空间-高程表达。该方法结合了CNN的局部上下文和Transformer的全局视角，从而增强了空间-高程特征，有效促进了高光谱图像的稳健融合。
(3) 据我们所知，这是首次尝试解决噪声LiDAR信号问题，以实现高光谱数据和LiDAR数据的稳健融合分类。与现有的融合方法相比，所提出的方法有助于减少对高精度LiDAR设备的依赖，从而提供了一种成本效益高的遥感监测和调查技术。
(4) 在Houston、Trento、MUUFL和Autumn数据集上进行了广泛的实验，以评估所提方法的准确性和稳健性。实验结果表明，所提出的SGFEN在性能上优于现有的高光谱数据和LiDAR数据融合分类方法。

本文的其余部分组织如下。第2节简要概述了相关工作。第3节详细描述了所提出的方法论。第4节介绍了实验设置和实验结果的分析。最后，第5节总结了本文。

多模态遥感数据融合方法
在多模态遥感数据融合分类领域，融合方法可以分为像素级、特征级和决策级融合[32]。像素级融合是指在像素级别直接融合高光谱数据和LiDAR数据，为每个像素获得多模态特征表示。Morchhale等人[33]修改了CNN的参数以表征分类性能，并证明像素级数据融合可以有效改善...

数据集描述
Houston2013数据集（Houston）：该数据集由IEEE地球科学与遥感协会在2013年提供，是他们数据融合竞赛的一部分。该数据集使用小型机载高光谱成像传感器（CASI）收集，包括HSI数据、MS数据和LiDAR数据，覆盖了349×1905像素的区域。高光谱数据包含144个光谱带，范围从380纳米到1050纳米；多光谱数据有8个带；LiDAR数据包含一个通道...

结论
总之，本文介绍了一种新的空间引导的LiDAR空间-高程特征增强网络，用于高光谱数据和LiDAR数据的融合分类。所提出的方法采用了不同的网络来提取高光谱和高程特征，考虑了两种数据类型的独特特性。具体来说，使用2D卷积有助于从高光谱和LiDAR数据中提取多尺度空间特征。

作者贡献声明
Leiquan Wang：写作 – 审稿与编辑、撰写 – 原稿、方法论、概念化。
Ang Wei：写作 – 审稿与编辑、撰写 – 原稿、可视化、验证、方法论、调查。
Zhongwei Li：调查。
Chunlei Wu：调查。
Cong Wang：撰写 – 原稿。
Mingming Xu：调查、形式分析。
Yabin Hu：资金获取。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。