面向高光谱与激光雷达联合分类的文本增强像元-场景协同网络

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Text-augmented patch–scene collaborative network for joint hyperspectral and LiDAR classification

　　

- 提出了一种用于高光谱-LiDAR分类的文本增强融合框架。
- 通过相互引导融合局部光谱、空间和几何线索。
- 全局LiDAR场景上下文引导地块级别的土地覆盖识别。
- 文本提示增强了视觉特征与土地覆盖类别之间的语义融合。
- 三个公共数据集验证了融合策略的有效性。

## 引言

遥感（RS）提供了一种无需直接接触即可观察和分析地球表面的有效手段[1]。随着航空航天技术和卫星遥感平台的快速发展，使用多种传感器同步获取同一场景的多模态遥感数据已成为可能。不同的遥感模态从不同角度表征土地覆盖目标。因此，多模态数据融合可以提供更全面、更具信息量的地表信息，增强土地覆盖表征，并提高分类性能[2]、[3]、[4]。

高光谱图像（HSIs）包含丰富的光谱信息，能够对地表材料进行详细表征，从而便于其准确识别和分析[5]。高光谱图像在众多遥感任务中展现了显著优势，包括土地覆盖分类[6]、目标检测[7]和变化检测[8]。高光谱图像分类的最新进展进一步证明了利用丰富光谱特征进行土地覆盖区分的有效性[9]。相比之下，激光探测与测距（LiDAR）数据提供三维结构信息，为土地覆盖分析提供有价值的几何线索[10]。由于高光谱图像的光谱信息与LiDAR的空间结构信息之间具有强互补性，联合利用这两者可以克服单一数据源的局限性，显著提高场景表征和分类精度。因此，高光谱图像与LiDAR数据的联合分类已成为多模态遥感图像分类的重要研究方向[11]、[12]、[13]。

得益于其强大的表征学习能力，深度学习及相关学习框架已被广泛应用于多个领域，包括智能交通[14]、安全数据共享[15]、医疗分析[16]和工业故障诊断[17]。在遥感领域，深度学习通过学习任务特定的特征表征极大地推动了图像解释。卷积神经网络（CNNs）已被广泛应用于高光谱图像和LiDAR数据的联合分类[18]、[19]。基于CNN的方法通常使用卷积层来学习高光谱图像的光谱-空间特征和LiDAR的结构特征以进行多源分类。然而，由于卷积操作固有的局部感受野特性，这些方法主要关注局部表征，难以捕捉长程空间依赖关系和全局场景上下文。此外，许多基于CNN的方法采用固定融合策略，无法充分利用异构模态之间的互补性。因此，在有效利用跨模态互补性的同时，联合建模局部特征和全局场景上下文仍是多源遥感分类的关键挑战。

Transformer的出现缓解了CNN在全局上下文建模方面的局限性。Transformer在计算机视觉领域取得了显著成功，其性能与CNN相当甚至超过CNN[20]、[21]、[22]。随后，Transformer及其变体成为联合分类的重要研究方向。通过自注意力机制，它们可以有效地整合来自不同数据源的信息，并建立远距离特征之间的相互作用，从而提高高光谱图像-LiDAR分类的准确性和鲁棒性。然而，自注意力的计算复杂度为二次方，导致其计算和内存开销随输入规模快速增长。

状态空间模型（SSMs），尤其是Mamba，最近因其以线性复杂度高效建模长程依赖关系而受到广泛关注[23]、[24]、[25]、[26]。与Transformer相比，Mamba在保留全局上下文建模能力的同时大幅降低了计算和内存开销。因此，基于Mamba的模型在计算机视觉和遥感研究中受到越来越多的关注[27]、[28]、[29]。

尽管现有方法在联合分类方面表现良好，但它们主要仍依赖于视觉信息进行特征学习，对土地覆盖类型之间的潜在场景依赖关系和文本语义先验的利用有限。这一局限性限制了其区分复杂场景和语义相似类别的能力。为解决这些问题，我们提出了一种文本增强的地块-场景协同网络（TAPSCN），该网络联合建模局部地块特征、全局场景上下文和类别级文本语义先验，以实现语义增强和场景感知的多模态遥感分类。TAPSCN充分利用异构模态之间的互补性，增强全局场景依赖建模，并建立视觉模式与高层次土地覆盖概念之间的语义关联，从而提高复杂场景中的分类准确性和鲁棒性。

本文的主要贡献总结如下：

（1）我们提出了TAPSCN，一种用于高光谱图像和LiDAR联合分类的文本增强地块-场景协同框架。与传统的视觉驱动分类网络不同，TAPSCN通过将局部光谱-几何线索、全局场景上下文和类别级文本语义先验联合整合，将多源遥感分类表述为多层信息融合问题。

（2）我们设计了一个交互式地块融合模块（IPFM），用于挖掘高光谱图像和LiDAR的局部跨模态互补性。通过结合模态特定注意力和两阶段非对称跨模态相互引导机制，IPFM加强了光谱、空间和几何信息的特征级融合，产生了更具判别力的局部地块表征。

（3）我们引入了全局场景引导模块（GSGM），将全图场景上下文融入地块级分类中。基于Shuffle–Reshuffle视觉状态空间块，GSGM建模由LiDAR导出的全局结构依赖关系，并实现局部地块特征与场景级上下文信息之间的协同融合。

（4）我们开发了文本增强对齐模块（TAAM），将类别级语义先验注入多源视觉表征学习。通过强视觉-文本对齐和弱语义重建，TAAM促进了视觉特征与土地覆盖概念之间的语义引导融合。在三个公共高光谱图像-LiDAR数据集上的大量实验证明了所提出融合框架的有效性和竞争力。

本文其余部分安排如下。第2节讨论传统方法、CNN、Transformer、Mamba模型和视觉-语言学习的相关研究。第3节介绍TAPSCN的架构并解释其三个关键模块。第4节介绍实验方案并分析实验结果。第5节总结本工作并指出可能的研究方向。

## 相关工作

本节综述了高光谱图像-LiDAR分类的代表性研究，涵盖传统方法和深度学习模型。我们还介绍了视觉-语言多模态学习的相关研究，这些研究为我们所提出模型的发展提供了有价值的启示。

## 整体架构

设$X_{HSI} \in \mathbb{R}^{H \times W \times C_1}$和$X_{LiDAR} \in \mathbb{R}^{H \times W \times C_2}$分别表示高光谱图像和LiDAR数据，其中H和W分别为图像的高度和宽度，$C_1$和$C_2$分别表示高光谱图像和LiDAR的通道数。鉴于相邻高光谱波段之间存在的强相关性和潜在冗余，首先对$X_{HSI}$应用主成分分析（PCA）以获得紧凑的光谱表征。该预处理在保留...（原文截断）

## 数据集描述

（1）Houston2013数据集：该数据集提供了共配准的高光谱图像和LiDAR观测数据，地面采样距离为2.5米。场景覆盖349×1905个像素。其高光谱图像数据包含从0.38到1.05微米的144个光谱波段，对应的真值图包含15个土地覆盖类别。

（2）MUUFL数据集：该数据集包含在325×220像素场景上采集的成对高光谱图像和LiDAR数据。高光谱图像由...（原文截断）

## 结论

在本文中，我们提出了TAPSCN，一种用于高光谱图像和LiDAR联合分类的文本增强地块-场景协同网络。该方法将多源遥感分类视为多层融合问题，在统一框架内整合局部光谱-几何特征、全局场景上下文和类别级文本语义先验。IPFM、GSGM和TAAM分别从局部融合、场景引导和语义先验建模的角度共同增强了多源表征学习。

## CRediT作者贡献声明

李吕：撰写-初稿，验证，监督，资源，资金支持，数据管理。

谢真扬：撰写-审阅与编辑，可视化，方法学，调查，形式分析，数据管理，概念构思。

高新民：验证，监督。

徐淑芳：验证，监督。

谢华华：验证，监督。

陈文平：验证，监督。

康水平：验证，监督。

## 利益冲突声明

作者声明他们没有已知的竞争经济利益或个人关系可能影响本文报道的工作。

李吕 | 谢真扬 | 高新民 | 徐淑芳 | 谢华华 | 陈文平 | 康水平