一种无需训练的无监督自注意力框架，该框架利用随机补丁和多特征融合技术实现高效的高光谱图像（HSI）分类

《Expert Systems with Applications》：A Training-Free Unsupervised Self-Attention Framework Using Random Patches and Multi-Feature Fusion for Efficient HSI Classification

　　程春波|崔文静|韩海青|朱云杰|张胜
湖北工业大学数学与物理学院，湖北省智能输送技术与设备重点实验室，中国湖北省黄石市

**摘要**
本文提出了一种用于高光谱图像（HSI）分类的无监督自注意力框架，该框架整合了多特征融合技术，以克服传统方法的主要局限性，如对标记数据的严重依赖、高计算成本和漫长的训练时间。所提出的方法直接从随机采样的图像块中构建注意力权重，无需基于梯度的优化或预训练网络。因此，该模型无需训练，仅需要一组最小的超参数，从而形成了一个紧凑且高效的架构。通过仅使用未标记数据生成注意力权重，该方法显著减少了对标记样本的依赖。为了提高特征的可区分性和对局部变化的鲁棒性，将旋转不变的局部二值模式（LBPs）与光谱特征结合在一起，形成融合的空间-光谱表示。然后通过基于随机块投影的自注意力机制处理这些组合特征，生成了一个统一且高效的分类流程，该流程结合了手工特征和深度特征的特点。在广泛使用的高光谱图像数据集上的实验表明，所提出的框架在分类准确性方面可与最先进的监督和无监督模型相媲美，同时显著提高了计算效率，并减少了对标记数据的依赖。

**引言**
高光谱成像（HSI）能够捕获数百个狭窄连续波段的详细光谱信息，通过独特的光谱特征实现精确的材料识别（Ghamisi等人，2017年）。这一能力使得HSI在多种应用中变得非常宝贵，包括精准农业、环境监测和矿产勘探（Khotimah、Bennamoun、Boussaid、Xu和Sohel，2025年）。然而，由于高光谱数据的高维性和标注训练样本的普遍稀缺性，其自动分类仍然具有根本性挑战，因为手动标注既昂贵又需要专业知识（Khotimah等人，2025年）。为了减轻对大规模标记集的依赖，最近的研究探索了利用辅助语义信息的方法，例如使用大型语言模型（LLMs）生成特定类别的文本描述，以改善HSI分类中的特征-标签对齐（Hassan等人，2025年）。尽管取得了这些进展，许多方法仍然需要监督微调或预训练的特征提取器，这为无需任何训练阶段即可有效运行的方法留下了空间。

为了解决这些挑战，深度学习，特别是卷积神经网络（CNNs），已被广泛用于学习联合的光谱-空间表示。例如，上下文CNNs（Lee和Kwon，2017年）、协同2D/3D CNNs（Yang等人，2020年）、基于注意力的波段选择模型（Ribalta Lorenzo、Tulczyjew、Marcinkiewicz和Nalepa，2020年）以及混合3D-2D架构（如HybridSN（Roy、Krishna、Dubey和Chaudhuri，2020年）显著提升了性能。诸如具有自监督学习的双分支ResNets之类的扩展进一步增强了特征学习（He、Zhang、Ren、Sun，2016年；Yu、Huang、Song、Wang、Chang，2022年）。尽管取得了成功，基于CNN的方法通常需要大量的标记数据才能有效泛化，并且在模拟光谱-空间上下文中的长距离依赖关系方面存在固有限制。

最近向注意力机制的转变改善了全局特征建模和架构灵活性（Liu等人，2023年）。提出了跨领域框架（Zhang、Chen和Zhong，2025a）和自注意力变换器（Zhang等人，2025b）来捕捉复杂的光谱-空间交互。然而，这些方法主要在监督模式下运行，并且仍然严重依赖丰富的注释，而这些注释往往难以获取。

针对标签稀缺的问题，少样本学习（FSL）范式旨在使用每个类别最少的标记样本来进行分类。早期的FSL策略通常通过使用轻量级的自注意力网络（Xia、Cui、Li、Wang和Wang，2022年）或具有光谱-空间注意力的神经架构搜索（Cao等人，2023年）来降低模型复杂性，以减轻过拟合。虽然这些方法在降低计算需求方面有效，但它们通常缺乏捕捉复杂光谱-空间关系所需的表现力。随后，跨领域少样本学习（CFSL）出现，旨在将知识从标记源领域转移到未标记的目标领域（Khotimah、Bennamoun、Boussaid、Xu、Sohel，2025年；Liu、Peng、Chen、Sun、Ning、Du，2023年）。然而，CFSL方法经常受到传感器、分辨率和环境条件变化导致的显著领域差异的阻碍，限制了其在现实世界中的适用性。

无监督和半监督方法通过利用未标记数据提供了替代途径。这些方法可以大致分为三类：基于聚类的方法、基于生成建模的方法和基于自监督学习的方法。基于聚类的方法通过利用空间或光谱相似性生成伪标签。例如，排序聚类（Fang、Li、Zhang和Chan，2020年）、带有标签校正的超像素聚类（Guan、Li、Li和Tang，2024年）以及基于超像素的伪标记（Ghanbari、Xu和Clausi，2023年）在减少注释依赖性方面显示出潜力。尽管计算效率高，但这些方法通常会产生噪声伪标签，并依赖于手工特征，限制了它们学习区分性表示的能力，导致在具有不同光谱特性的场景中泛化能力较差。基于生成建模的方法旨在在没有监督的情况下学习底层数据分布。最近的例子包括具有稀疏性约束的多尺度引导融合（Yuan、Chen、He和Zeng，2025年）、用于滤波器初始化的深度张量稀疏编码（例如SSRPNet（Cheng、Li、Peng、Cui和Zhang，2021年）、DHTCSCNet（Cheng、Li、Peng、Cui和Zhang，2022年）以及自适应傅里叶分解网络（例如SAFDNet（Cheng、Zhang、Li、Dai和Cui，2024b）；DSAFDNet（Cheng、Zhang、Li和Cui，2023年））。虽然这些方法可以捕获复杂结构，但它们通常涉及昂贵的预训练阶段、大量的计算开销和大量的参数，这阻碍了效率和可扩展性。此外，它们可能过度适应特定领域，并难以泛化到新环境。

自监督学习方法利用伪任务或对比目标从未标记数据中学习可转移的表示。例如，具有多视图一致性的无监督元学习（Gao、Liu、Yu和Yu，2022年）以及无需微调的预训练网络特征提取（Sun等人，2022年）显示出前景。然而，这些方法通常需要大型未标记数据集和复杂的训练策略，其性能在很大程度上取决于伪任务的设计，这可能与HSI分类目标不完全匹配。最近在具有挑战性条件下的特征学习（Xie、Ou、Wen和Tian，2025年）、对抗标签噪声的鲁棒损失函数（Zhou等人，2026a）、高效基于图的聚类（Zhou等人，2026c）和多模态特征融合（Zhou等人，2026b）方面的进展提供了与我们无监督多特征融合框架目标相一致的补充见解。

尽管取得了这些进展，大多数现有的无监督方法仍存在以下一个或多个缺陷：特征可区分性有限、计算成本高、依赖于手工特征或监督先验以及对未见领域的泛化能力差。为了克服标签依赖性、大量预训练和模型复杂性的持续限制，我们提出了一个无需训练的无监督自注意力网络，该网络直接从随机图像块中初始化注意力权重，从而消除了训练或预训练的需要。通过将这些深度特征与旋转不变的LBP纹理描述符结合，我们获得了同时捕捉光谱和空间模式的混合表示，实现了强大的泛化能力，并且计算开销最小。这些手工特征与来自自注意力机制的深度光谱-空间特征结合，形成了一个利用结构和光谱线索的混合表示，采用了一个统一且轻量级的架构。

**主要贡献总结如下：**
- **无需训练的无监督自注意力网络**：我们提出了一种自注意力网络，其参数直接从输入HSI数据的随机提取块中初始化。这种策略消除了对标记数据、外部预训练和昂贵优化的依赖，从而形成了一个轻量级且高效的架构，需要最少的超参数调整，非常适合标签稀缺的场景。
- **结合旋转不变LBP的多特征融合**：我们通过将旋转不变的LBP纹理描述符与光谱特征相结合来丰富特征表示。这种融合提高了局部可区分性和对旋转变化的鲁棒性，形成了改进分类准确性的混合空间-光谱表示。
- **高效HSI分类的集成无监督框架**：我们开发了一个连贯的分类框架，将无监督自注意力特征与手工纹理特征无缝结合。该模型无需监督即可运行，避免了沉重的计算负担，并在极端注释稀缺的情况下提供了强大的泛化性能，为实际HSI分析提供了实用且资源高效的解决方案。

本文的结构如下：第2节介绍了使用随机块和多特征融合提出的无监督自注意力网络。2.1节描述了具有随机块初始化的自注意力机制。2.2节介绍了联合空间-光谱特征提取方法，2.3节详细介绍了特征融合策略。2.4节分析了计算复杂性。2.6节概述了分类框架。第3节提供了实验结果和比较。最后，第4节讨论了结论和未来方向。

**实验和结果**
为了验证使用随机块和多特征融合提出的无需训练的无监督自注意力框架的有效性，我们在Indian Pines（IP）1、PaviaU（PU）2和Salinas（SA）3数据集上进行了实验。

**结论**
本文提出了一种用于HSI分类的无需训练的无监督自注意力框架，该框架利用随机图像块来减少对标注数据、计算开销和模型参数的依赖。该模型直接从图像块中生成注意力权重，无需基于梯度的优化或预训练，不需要可训练的参数和最少的超参数调整。通过有效利用未标记数据，该方法显著降低了……

**作者贡献声明**
程春波：撰写——原始草稿，撰写——审阅与编辑，监督，资源获取，项目管理，方法论，资金获取，概念化。
崔文静：撰写——审阅与编辑，可视化，软件。
韩海青：撰写——审阅与编辑，资金获取。
朱云杰：撰写——审阅与编辑，数据管理，资金获取。
张胜：撰写——审阅与编辑。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。