M3S-Net：一种用于不平衡高光谱图像分类的带有高频残差学习的多尺度谱空选择性网络

《Infrared Physics & Technology》：M3S-Net: A multi-scale spectral-spatial selective network with high-frequency residual learning for imbalanced hyperspectral image classification

　　

# 摘要

高光谱图像（HSI）分类在真实场景中仍面临严峻挑战，这主要源于严重的类别不平衡以及混合像元导致的模糊边界。现有方法通常在数据或损失层面处理类别不平衡问题，却忽视了其与光谱-空间表示学习之间的内在耦合关系。这一局限性往往导致判别性结构的退化以及多数类在特征空间中的主导。为解决这一问题，本文提出了一种多尺度光谱-空间选择性网络（M3S-Net），该网络协同增强特征表示能力，并实现分布感知的特征学习与优化。具体而言，设计了一种高频残差空间注意力（HRSA）模块，受高通残差建模启发，学习平滑的背景响应抑制掩码，从而缓解卷积操作的固有过度平滑效应，增强边界感知表示。此外，开发了一种动态选择性融合模块（DSFM），自适应地聚合浅层空间细节和深层语义特征，有效弥合不同尺度间的语义鸿沟。为应对长尾分布并提升泛化能力，通过结合逆类权重和标签平滑，提出了一种分布均衡的正则化策略，从而协同缓解分布偏差并抑制过拟合。此外，采用了一种测试时增强（TTA）方案，在不引入额外训练成本的情况下增强推理鲁棒性。在四个广泛使用的基准数据集上进行的广泛实验表明，所提方法在少样本和不平衡评估协议下取得了领先或极具竞争力的性能。例如，在Indian Pines数据集上仅使用1%的训练样本，M3S-Net获得了85.69 ± 1.49%的总体精度，超过CLSJE 0.31个百分点，同时保持了平衡的平均精度。

# 引言

高光谱成像是一种先进的遥感技术，能够捕获数百个连续窄波段上的地表反射信息。这使得每个像素都具有精细且连续的光谱表示，通常被称为"光谱签名"[1]。与仅包含三个波段的多光谱图像（HSI）相比，高光谱图像在材料判别和细粒度识别方面具有显著优势。这一能力使其即使在视觉相似条件下也能有效区分土地覆盖类别。因此，高光谱遥感已在精准农业[2]、异常检测[3]、环境监测[4]、矿产勘探[5]、目标跟踪[6]、[7]以及城市规划[8]中得到广泛应用，成为智能遥感解译研究的重要领域。

早期的HSI分类方法主要依赖于传统机器学习模型，如支持向量机（SVM）[9]、k近邻（k-NN）[10]和随机森林（RF）[11]。这些方法依赖于手工设计特征或核函数，限制了其对复杂非线性判别结构的建模能力[12]。此外，缺乏有效的空间上下文建模使其在高维特征空间中更容易受到Hughes现象的影响[13]，特别是在标注样本稀缺时，往往在分类图中产生"椒盐噪声"[14]。近年来，深度学习成为主流范式，卷积神经网络（CNN）通过联合建模光谱和空间信息实现了显著的性能提升[15]、[16]、[17]、[18]、[19]、[20]。此外，Vision Transformer（ViT）[21]、[22]、[23]通过自注意力机制增强了长距离依赖建模，并在基准数据集上展现了令人满意的性能。

尽管取得了这些进展，大多数深度学习模型隐含地假设了平衡的类别分布，这在真实的高光谱场景中很少出现。由于逐像素标注成本高昂且劳动密集，实际数据集往往表现出显著的类别不平衡和长尾分布，少数类代表性不足，多数类则倾向于占主导。例如，在Indian Pines和Pavia University等数据集中，各类别的样本数量可能相差数个数量级。这种不平衡使模型在训练过程中偏向多数类，导致对少数类的判别能力下降和泛化性能降低。

现有处理HSI分类中类别不平衡的方法可大致分为四类。

**(1) 数据层面再平衡方法。** 这些方法通过过采样或欠采样调整类别分布。例如，Feng等人[24]提出了一种基于SMOTE的光谱插值策略，Zheng等人[25]引入空间上下文以增强样本一致性。然而，由于HSI数据中强光谱-空间相关性，简单的复制或插值往往会引入光谱畸变和噪声，从而降低泛化能力。

**(2) 损失重加权方法。** 这些方法为少数样本分配依赖于类别的权重或难度感知因子。代表性方法包括逆频率加权以及Lin等人[26]提出的Focal Loss。尽管有效，但这些方法依赖于静态统计信息，无法适应动态样本难度，并可能放大困难或模糊样本，导致训练不稳定。

**(3) 基于模型和生成模型的方法。** 生成模型，如GAN[27]和VAE[28]，被用于合成少数类样本或增强特征判别性，如基于GAN的光谱生成[29]、伪标签生成[30]和原型学习[31]。然而，HSI数据的高维度往往导致训练不稳定、模式崩溃和有限的光谱保真度，从而限制了其在实际HSI场景中的有效性。

**(4) 半监督和伪标签方法。** 这些方法利用未标注数据缓解标注稀缺问题。例如，Liu等人[32]采用图卷积传播伪标签，而相关工作[33]使用协同训练策略进行高置信度样本选择。然而，在类别不平衡情况下，伪标签倾向于继承并放大对多数类的偏差，导致误差传播和少数类性能下降。

总体而言，尽管现有方法在一定程度上缓解了类别不平衡，但仍存在关键局限性。大多数方法将类别不平衡视为独立问题，忽视了其与光谱-空间特征学习之间的内在耦合。同时，重加权策略和生成策略往往难以在保留少数类与稳定优化之间取得平衡。在真实场景中，类别不平衡还与混合像元、尺度变化和模糊边界相互交织，但统一的建模框架仍然缺乏。更重要的是，类别不平衡导致多数类在特征空间中占主导地位，削弱甚至淹没少数类的决策边界，导致光谱-空间表示中判别性结构的系统性退化。

为应对这些挑战，本文提出了一种多尺度光谱-空间选择性网络（M3S-Net），该网络协同增强特征表示并进行分布感知优化，以在不平衡条件下增强判别学习。

具体而言，引入了一种高频残差空间注意力（HRSA）模块。该模块通过多尺度操作构建受高通启发的残差响应路径，强调边界敏感的判别特征，并缓解少数类决策边界的抑制。此外，设计了一种动态选择性融合模块（DSFM），通过内容感知加权自适应地整合浅层纹理特征和深层语义特征，从而提升多尺度表示能力。在优化层面，通过结合标签平滑和逆类加权损失，采用分布均衡的正则化策略进行训练，同时在推理时应用测试时增强（TTA）以提升预测稳定性。通过这些设计，M3S-Net在特征层面增强了边界判别性，在优化过程中缓解了分布偏差，实现了对类别不平衡问题的统一解决方案。

本文的主要贡献总结如下：

**(1)** 提出了一种受高通启发的残差空间注意力机制（HRSA），用于学习平滑的背景响应抑制掩码，并突出高光谱场景中的边界敏感残差线索。

**(2)** 开发了一种动态选择性融合模块（DSFM），通过内容感知的权重校准自适应地整合浅层和深层特征，提升了多尺度特征表示能力。

**(3)** 提出了一种分布均衡策略，在训练过程中结合标签平滑和逆类加权，同时在推理过程中采用测试时增强，从而提升了小样本和不平衡条件下的鲁棒性。

本文其余部分组织如下。第2节综述相关工作。第3节详细介绍所提的M3S-Net。第4节报告实验结果和消融研究。第5节总结全文并讨论未来方向。

## 相关工作摘要

**基于深度学习的HSI分类**

早期HSI分类主要依赖传统机器学习方法，如SVM[9]和随机森林[11]。这些方法在某些小样本设置中有效，但严重依赖于手工设计特征，且非线性表示能力有限。

随后深度学习成为主流：1D-CNN建模光谱响应[17]，2D-CNN捕获空间上下文[18]，3D-CNN（如HybridSN和SSRN）[19]、[20]或混合模型[34]、[35]联合学习光谱-空间

## 整体架构

传统的U-Net架构通过跳跃连接在一定程度上缓解了因下采样造成的信息丢失。然而，在HSI分类场景中仍存在固有局限。一方面，在编码器早期阶段，连续的卷积和池化操作本质上引入了低通滤波效应，导致高频空间信息过度平滑，从而削弱边界结构和细粒度纹理，

## 实验结果

本节在四个广泛使用的HSI基准数据集上进行了广泛实验，分别是Indian Pines（IP）、Pavia University（PU）、Salinas（SA）和Botswana（BS），以全面评估所提M3S-Net的分类性能和鲁棒性。该评估特别针对训练样本极其有限（IP、PU和SA为1%，BS为每类五个样本）以及完整/测试集中类别分布不平衡的场景。

为验证

## 结论

本文针对HSI分类中的几个根本性挑战，包括标注样本有限、类别不平衡以及混合像元导致的边界模糊。为克服这些问题，我们提出了一种多尺度光谱-空间选择性网络（M3S-Net）。我们引入了一种高频残差空间注意力（HRSA）模块，用于增强空间结构和细粒度光谱变化的表示。该模块学习了一种受高通启发的残差增强机制，用于CRediT作者贡献声明

**作者贡献声明**

Dengxiang Liu：撰写 – 初稿，软件，方法论。Youqiang Zhang：撰写 – 审稿与编辑，调查，资金获取，形式化分析。Jiajun Li：撰写 – 审稿与编辑，概念化。Bisheng Wang：可视化，软件。Boshan Shi：资源，数据管理。Guo Cao：验证，资金获取。Haitao Zhao：项目管理，资金获取。

**利益冲突声明**

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

**致谢**

本工作部分由中国国家自然科学基金（基金号：62201282）支持，部分由江苏省自然科学基金（基金号：BK20231456）支持。

**Dengxiang Liu | Youqiang Zhang | Jiajun Li | Bisheng Wang | Boshan Shi | Guo Cao | Haitao Zhao**

南京邮电大学物联网学院，江苏南京，210003，中国