SSUFormer：用于改进高光谱图像分类的空间-光谱SSUFormer模型

高光谱图像分类中提出空间-光谱融合的SSUFormer模型，结合光谱Transformer和空间注意力U-Net子网络，通过修改Transformer嵌入层和头层实现全局光谱依赖建模，利用SVD辅助的空间自注意力模块抑制噪声并强化关键特征，实验表明该方法在多个公开数据集上精度优于现有方法。

　　

阮顺明|裴国英|柳明植

韩国首尔松Sil大学电子工程系，邮编06978

摘要

对于高光谱图像（HSI）分类，使用局部核的卷积神经网络会忽略全局HSI特性，而变换器网络通常只预测中心像素。本研究提出了一种空间-光谱SSUFormer网络，用于提取完整的局部和全局空间相似性以及长短距离的光谱依赖性，以进行HSI分类。该方法结合了光谱变换器子网络和空间注意力U-net子网络来生成输出。在光谱子网络中，变换器在嵌入层和头部层进行了优化，以生成所有输入像素的预测结果。在空间注意力U-net子网络中，基于U-net结构引入了局部-全局空间特征模型，并采用了奇异值分解辅助的空间自注意力模块，以强调有用细节、减轻噪声影响，并最终学习全局空间特征。所提出的模型在各种公开数据集上的HSI分类任务中取得了与最先进方法相当的结果。

引言

高光谱图像（HSI）能够捕捉几乎所有连续波长的连续光谱信息。与传统颜色或多光谱图像相比，HSI提供了更复杂和全面的场景描述。HSI包含数百到数千个可见光和近红外光谱范围内的波段，每张图像都包含丰富的细节。HSI的一个独特之处在于，图像中的每个像素都携带一个光谱特征。这一特征反映了被观测物体或地面特征的各种物理和化学属性，从而能够对场景进行详细分析[1]。因此，HSI在农业[2]、土地利用/土地覆盖制图[3]、城市环境监测[4]、矿产资源勘探[5]和环境/生态研究[6]等多个领域有着广泛的应用。然而，由于HSI数据的高维度以及环境、传感器限制和大气等因素引起的噪声，HSI分类面临重大挑战：如何有效地利用这些丰富的光谱和空间数据来生成高精度的分类结果。

最近的研究引入了多种深度学习架构来解决HSI分类的挑战。基于CNN的模型在捕捉局部光谱-空间特征方面表现出强大能力[7]、[8]、[9]、[10]，但它们难以建模长距离依赖性。基于变换器的方法[11]、[12]、[13]通过捕捉全局上下文来解决问题，但在噪声区域往往缺乏空间归纳能力和鲁棒性[14]、[15]。为了克服这些限制，提出了混合CNN-Transformer模型[15]、[16]、[17]、[18]、[19]，但许多模型仍然依赖于浅层融合策略或忽略了跨维度依赖性。

为了克服现有方法的不足并提高HSI分类的准确性，我们提出了一种名为空间-光谱SSUFormer的新网络。SSUFormer包括两个分支：光谱变换器（SpecTran）子网络和空间注意力Unet（SpattentionU）子网络，用于提取完全的局部和全局空间-光谱特征。具体来说，我们改变了变换器模块的嵌入层（逐层而非块状）和头部层（3D卷积而非多层感知器），以更好地建模HSI中通道之间的长距离和短距离光谱依赖性。此外，这些修改有助于保留空间信息，从而便于对输入块中的所有像素进行预测。在SpattentionU子网络中，我们设计了一个具有多头注意力模型的新空间Unet，以克服传统卷积Unet的局限性并发挥其优势。该子网络不仅能够利用和合成全局和局部空间特征，还能在编码过程中避免丢失空间信息，从而便于对输入块中的所有像素进行预测。此外，该子网络还通过提出截断奇异值分解（SVD）来最小化HSI中噪声的影响，该技术被应用于空间注意力机制。具体而言，我们采用了[20]中证明的一个假设：具有较高特征值的特征图像具有更高的信噪比。我们建议在空间注意力机制中仅使用具有较高特征值的特征图像的一半来构建注意力图。这将有助于突出重要特征并减少HSI中始终存在的噪声影响。本研究的主要贡献可以总结如下：

• •
  我们提出SSUFormer，以充分利用HSI的局部和全局空间相似性以及长短距离的光谱依赖性，从而提高HSI分类的性能。
• •
  我们提出了全局光谱变换器（GST），其设计灵感来自传统的视觉变换器（ViT）架构。具体来说，输入基于逐层空间表示进行嵌入，整个HSI输入的输出特征图由三维（3D）卷积层生成，而不是多层感知器（MLP）。
• •
  我们还提出了一个SVD辅助的空间自注意力（SSpaAtt）模块，用于生成强调有用特征的特征图。该模块还能减轻特征图中的噪声影响。
• •
  我们在各种数据集上进行了广泛实验，发现该模型在准确性方面优于最先进的方法。

本文的其余部分组织如下：第2节回顾了高光谱图像分类的相关工作。第3节描述了所提出的方法。第4节展示了实验和结果。最后，第5节总结了本研究。

相关工作

相关研究

HSI分类的目标是通过分析数据中的光谱和空间细节，准确地将图像中的像素组分配到不同的地面对象类别。早期的HSI分类方法主要依赖于支持向量机（SVM）[23]、[24]、[25]和随机森林（RFs）[26]、[27]。虽然这些方法在光谱分类方面有效，但它们未能结合空间上下文，导致在异质区域分类准确性降低。

深度学习方法

提出的方法

本节介绍了SSUFormer方法，重点介绍了其整体架构、SpecTran子网络和带有SSPaAtt模块的SpattentionU子网络。

实验

本节使用四个HSI数据集对提出的SSUFormer方法进行了全面评估。各部分的顺序如下：数据集描述、实验设置、结果与分析、可视化以及不同训练样本大小的性能比较。

结论

在这项研究中，我们提出了SSUFormer，这是一种用于提高HSI分类性能的新方法，包括SpecTran和SpattentionU子网络。利用U-net架构，SpattentionU子网络旨在充分利用局部和全局空间相似性，而SpecTran子网络提取长短距离的光谱依赖性特征。我们的方法在SpattentionU内部加入了SSPaAtt模块，有助于强调重要特征

CRediT作者贡献声明

阮顺明：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、方法论、调查、形式分析、概念化。裴国英：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、方法论、调查、形式分析。柳明植：撰写 – 审稿与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。