基于监督对比学习的跨域少样本高光谱图像多模态紧凑特征融合方法

本文提出了一种融合高光谱（HSI）与激光雷达（LiDAR）数据的跨域少样本分类框架，通过紧凑双线性池化（Compact Bilinear Pooling）实现多模态特征高效融合，并结合监督对比学习（Supervised Contrastive Learning）增强特征判别性，显著提升了少样本场景下的分类精度与泛化能力。

　　

亮点

• •
  1. 1.
     提出了一种新颖的面向高光谱图像（HSI）分类的多模态跨域少样本学习框架，创造性地利用了来自激光雷达（LiDAR）数据的互补高程信息。
• •
  1. 2.
     我们提出了一种新的用于融合HSI和LiDAR数据的紧凑多模态特征融合模块，该模块显著减少了模型参数，实现了高效融合和快速推理，同时降低了过拟合的风险。
• •
  1. 3.
     我们的工作中采用了监督对比学习（Supervised Contrastive Learning），因此我们的模型可以获得更具泛化性的特征。
• •
  1. 4.
     在三个数据集上进行了广泛的实验，定量和定性结果均验证了我们的方法在少样本场景下对于高光谱图像分类的有效性。

少样本高光谱图像分类方法

最近，众多少样本学习方法已被提出用于高光谱图像分类。Nalepa等人引入了一种数据增强策略，以增加高光谱图像分类的训练样本数量，这是一种针对标注数据不足的简单且经济的技术。基于度量的原型网络在少样本高光谱图像分类中被广泛研究。例如，一个多视图校准原型学习框架被提出来整合三个...

少样本学习范式

如前所述，少样本学习指的是一类学习问题，其模型被设计为在仅给出少量训练样本的情况下能够有效适应和泛化。Wang等人提供了一个更正式的定义，将少样本学习描述为一个从经验E中学习的过程，涉及一组任务T和性能度量P，使得模型在T上的性能（由P评估）随着经验E的增加而提高。重要的是...

实验数据集和设置

为了验证所提方法的有效性，我们采用MUUFL数据集作为源域，另外三个知名数据集作为目标域，包括Houston、Trento和Augsburg。以下是对这些数据集的描述。

MUUFL 数据集于2010年11月在美国南密西西比大学海湾公园校区采集。它包含一个基于LiDAR的数字表面模型以及与之配准的高光谱图像。高光谱数据集包含325 × 220个空间像素和64个...

结论

本文提出了一种用于高光谱图像分类的紧凑多模态特征融合少样本方法，在三个流行数据集上实现了最先进的性能。通过采用紧凑双线性池化来融合高光谱和激光雷达数据，我们的模型能够克服高光谱图像空间分辨率较低的局限性，并更有效地反映两种模态之间的各种关系。此外，通过结合...