基于语义锚点的增强原型学习方法在少样本高光谱图像分类中的应用

《Knowledge-Based Systems》：Semantic Anchor Enhanced Prototype Learning for Few-shot Hyperspectral Image Classification

针对高光谱图像小样本跨域分类难题，本文提出SAEPL框架，通过可训练的语义锚点显式捕捉类间关系，结合动态自适应空间遮挡增强数据多样性，实验表明在四个数据集上分类精度分别达到80.49%、81.35%、93.22%，参数减少90%以上。

　　

环彦|金荣和|张向晴|李照奎

中国延安大学数学与计算机科学学院，延安716000

摘要

为了解决高光谱图像分类中样本稀缺的关键问题，本文提出了一种基于语义锚点增强（SAEPL）的原型学习框架，该框架专门针对小样本、跨领域专家系统进行了优化。与传统仅依赖少数支持样本均值的方法不同，SAEPL引入了可训练的、正交初始化的语义锚点，以明确捕捉类间关系并指导原型生成。这些锚点与轻量级的对比学习目标共同优化，使源域和目标域的类原型对齐，从而在异构分布下显著提高泛化能力。此外，还嵌入了一个动态自适应空间遮挡数据增强模块，模拟现实世界中的空间退化现象，进一步增强了模型的鲁棒性，而无需额外注释成本。在四个公开的高光谱数据集（Chikusei→Indian Pines、Houston、Salinas）上的广泛实验表明，SAEPL的总体准确率分别为80.49%、81.35%和93.22%，显著优于八种最先进的算法，并且参数数量减少了多达90%。消融研究和t-SNE可视化分析证实，语义锚点和动态自适应空间遮挡对于实现紧凑、具有区分性的特征簇是不可或缺的。源代码可在以下链接获取：https://github.com/AIYAU/SAEPL

引言

遥感作为现代地球科学的基石，能够在不进行物理接触的情况下获取地表信息。它支持资源勘探、环境监测和灾害管理等关键应用，并支持对大规模地球系统过程（包括土地覆盖变化、植被物候和气候相关动态）的持续观测。近年来，传感器技术和计算能力的进步迎来了高光谱遥感时代。高光谱遥感通过数十到数百个连续的窄光谱带捕捉地表材料的精细光谱特征，显著提高了材料识别和分类的准确性。其在农业等领域的应用日益增多，凸显了其巨大潜力。因此，高光谱图像分类——即将每个图像像素自动分配到相应土地覆盖类别的任务——对于有效利用高光谱数据中的丰富光谱信息变得至关重要。在这方面，Landgrebe [1] 对高光谱数据进行监督分类的基础性工作是该领域早期的重要贡献。

在过去几十年中，高光谱图像分类已经从传统的统计技术发展到复杂的机器学习范式，取得了显著成就。Khan等人进行的全面调查概述了高光谱图像分析的现代趋势，并为后续研究提供了战略指导[2]。早期方法主要依赖于像素级光谱信息。经典机器学习算法，特别是支持向量机（SVM）和k最近邻（k-NN）分类器[3,4]被广泛采用。Melgani和Bruzzone成功将SVM应用于高光谱遥感图像，利用其处理高维数据的能力，从而获得了良好的分类准确性。Samaniego等人[5] 提出了一种改进的k-NN公式，用于遥感图像的监督分类。在此基础上，Camps-Valls和Bruzzone研究了基于核的方法，通过使用非线性映射来提高复杂土地覆盖类别的区分度。Gewali等人[6] 的系统综述总结了各种机器学习技术在高光谱图像分析中的优点和局限性。

然而，高光谱图像不仅包含丰富的光谱信息，还包含宝贵的空间上下文线索。仅依赖光谱特征的分类系统容易受到“相同对象，不同光谱”和“不同对象，相同光谱”现象的影响，常常导致明显的椒盐噪声。为了解决这一限制，研究人员越来越关注光谱-空间分类框架。He等人[7] 对最近的高光谱图像分类进展进行了全面回顾，强调了整合空间上下文的必要性。Ghamisi等人[8] 提出了一种基于属性轮廓和监督特征提取的自动光谱-空间分类框架，有效地将空间结构特征纳入决策过程。

近年来，计算资源的增强和大数据的出现通过深度学习技术带来了重大突破，这些技术在层次化特征学习和抽象方面表现出色。Li等人[9] 对深度学习在高光谱图像分类中的应用进行了系统概述，揭示了它们的巨大潜力。与手工制作的特征相比，深度学习模型（特别是卷积神经网络（CNN）、Transformer [10] 和最近出现的状态空间模型[11] 可以自动从原始高光谱数据中提取多层次的光谱和空间表示。Wang等人[12] 开发了一种基于多特征的高光谱遥感图像分类深度学习方法。Zhong等人[13] 设计了一个基于光谱-空间残差网络的3D深度学习框架，该框架接受完整的高光谱数据立方体作为输入，并同时在光谱和空间维度上学习深度特征，实现了最先进的分类性能。此外，结合多尺度注意力机制和生成对抗网络的方法也被证明可以有效增强特征区分度[14]。

尽管深度学习在高光谱图像分类中取得了显著成功，但其性能严重依赖于大规模、高质量像素级注释的可用性。然而，在实际应用中，获取此类注释既费时又昂贵且技术上具有挑战性。这种差异导致了“小样本问题”：标记的训练样本数量远低于高光谱数据的维度和当代深度模型的参数数量[15]。在这种条件下，深度网络容易过拟合，对未见测试样本的泛化能力大幅下降。现实世界场景中信息不完整的情况进一步加剧了这一问题。为了缓解标签稀缺问题，人们研究了半监督学习范式[16]。为了直接应对训练数据有限的根本挑战，引入了小样本学习（FSL），并迅速成为高光谱图像分类研究的焦点[17]。FSL旨在使模型能够在仅有少量标记样本的情况下快速泛化到新类别。Liu等人[18] 开创了一种用于高光谱图像分类的深度小样本学习框架，实证验证了小样本策略的有效性。随后，Chen等人[19] 提出了一种深度度量学习方法，学习了一个具有区分性的嵌入空间，以促进对新类别的识别。

在各种小样本学习范式中，原型学习因其概念简单、计算效率高和性能优越而受到了广泛关注。其基本前提是在嵌入空间中计算一个代表每个类别的单一“原型”向量。Snell等人[20] 提出的原型网络为小样本任务建立了简单而有效的基线。在此基础上，Qiao等人[21] 结合了层次化嵌入，从而增强了学习表示的区分能力。原型学习的原则与高光谱图像分类的要求高度契合，为缓解“样本依赖”问题提供了新的视角。受此启发，研究人员将原型学习应用于小样本高光谱场景，引入了特定领域的创新。为了解决跨领域挑战，Liu等人[22] 设计了一种多级原型对齐策略，在多个粒度上对齐源域和目标域的原型，有效减少了域间差异。此外，为了利用高光谱数据的多模态特性，最近的研究探索了文本驱动的小样本框架[23]，Li等人[24] 提出了一种多模态原型网络，通过共度量学习融合了异构模态，生成更具代表性的原型，从而显著提高了小样本分类的准确性。

本文的主要贡献可以总结如下：(1)

我们提出了一种SAEPL方法，该方法利用正交语义锚点来指导原型学习。具体来说，为每个类别分配一个专门的语义锚点，以明确捕捉和编码其独特的语义特征。这种简单而有效的设计显著增强了学习原型的表示能力，使得在后续分类阶段能够更准确地区分类别。

(2)

提出了一种动态自适应空间遮挡数据增强策略。遮挡区域、宽高比和空间位置是随机动态采样的，而遮挡程度根据输入高光谱数据的实际尺寸进行自适应缩放。这种增强显著增加了数据多样性，并显著提高了模型在多种高光谱任务中的鲁棒性。

(3)

与最近的最先进方法相比，所提出的SAEPL框架大幅减少了参数数量和训练时间，同时提高了分类准确性，从而在分类速度和精度上实现了双重提升。

本文的其余部分结构如下：第2节回顾了原型学习和多模态表示的基本概念。第3节详细介绍了所提出的SAEPL框架。第4节评估了SAEPL的性能，并展示了其相对于最新先进方法的显著优势。第5节总结了研究并指出了未来研究的方向。

部分摘录

小样本学习

小样本学习（FSL）旨在仅使用少量标记样本，使模型能够快速适应新任务或类别，从而为标记数据稀缺问题提供了关键解决方案。FSL的核心目标是利用有限的注释实现快速泛化[25]。现有策略大致可以分为三类：(i) 模型微调，即对预训练模型进行适应新任务；(ii) 数据增强，

整体网络架构

如图1所示，所提出的SAEPL框架由三个核心模块组成：动态自适应空间遮挡（DASO）模块、特征编码器模块和语义锚点（SA）模块。DASO模块对输入图像应用随机遮挡，以提高模型的鲁棒性和泛化能力。特征编码器模块从高光谱数据中提取空间-光谱特征，并进一步处理这些特征，为后续处理提供基础

数据集

实验针对跨领域场景进行，因此区分了源域和目标域数据集。使用了四个公开的高光谱数据集：Chikusei（CH）、Indian Pines（IP）、Houston（HT）和Salinas（Sal）。CH作为源域，而IP、HT和Sal作为目标域，用于评估所提出方法的有效性。有关这四个数据集的光谱带数量、类别和其他相关特征的详细信息

结论

在这项工作中，我们提出了SAEPL，这是一种新颖的小样本高光谱图像分类框架，它将动态自适应空间遮挡与语义锚点集成在一起。通过在训练过程中引入随机空间掩蔽策略，模型对局部扰动和光谱噪声具有显著的鲁棒性，这在小样本情况下是一个关键优势。同时，所提出的语义锚点机制为特征优化提供了明确的指导，