结合模糊图谱和Mamba融合网络以及KAN（关键区域检测）的高光谱图像分类方法

《Information Fusion》：Fuzzy Graph Mamba Fusion Network with KAN for Hyperspectral Image Classification

提出融合模糊逻辑的FGMKNet，解决高光谱图像分类中的不确定性及复杂特征提取问题。通过模糊增强双向Mamba模块和模糊图卷积构建邻接矩阵，结合KAN的非线性激活函数，显著提升分类精度。

　　

作者：朱永和、李鹏雷、彭江涛、丁卫平、李鹏

单位：河南工业大学信息科学与工程学院，郑州，450001，中国

摘要

近年来，得益于Mamba模型捕捉长距离依赖关系的能力以及图卷积网络（GCNs）在图结构建模方面的优势，基于图Mamba的方法在高光谱图像（HSIs）分类领域受到了广泛关注。然而，现有方法难以有效处理HSIs中普遍存在的不确定性问题。此外，由于受到静态激活函数和线性权重的限制，图Mamba方法在提取复杂特征方面也存在局限性。为了解决这些问题，我们提出了一种结合Kolmogorov-Arnold网络（KAN）的模糊图Mamba融合网络用于高光谱图像分类。具体而言，我们设计了一个模糊增强的双向Mamba模块，该模块通过引入模糊机制来增强对光谱异质性和不确定性的建模能力。接着，我们将模糊逻辑融入图构建过程，使用模糊相似度而非传统的欧几里得距离来构建邻接矩阵，从而更准确地描述混合像素之间的模糊关系。最后，我们利用KAN引入可学习的激活函数，并采用样条参数化的单变量函数替代静态权重参数，实现了更强的非线性特征转换能力，并提高了参数效率。在四个基准HSI数据集上的广泛实验表明，所提出的方法优于现有的最先进方法。

引言

高光谱图像（HSIs）包含数百个连续的光谱带，蕴含丰富的光谱和空间信息。在高光谱图像处理领域，高光谱遥感图像分类是一项关键的下游任务，在植被分类[1]、环境监测[2]和城市规划[3]等应用中具有重要意义。

近年来，由于深度学习在特征提取和表示方面的优势，它被广泛应用于高光谱图像分类（HSIC）任务。卷积神经网络（CNNs）[4]、[5]、[6]在光谱-空间联合特征提取方面取得了显著成果，这得益于它们强大的局部特征学习能力。随着研究的深入，图卷积网络（GCNs）[7]、[8]、[9]被引入用于基于像素间光谱相似性来建模拓扑关系，有效挖掘了高光谱数据的非欧几里得结构特征。此外，Transformer[10]、[11]、[12]通过自注意力机制捕获了全局上下文信息，显著提高了复杂场景下的分类准确性。最近，状态空间模型（Mamba）[13]、[14]、[15]由于其线性计算复杂性和全局建模能力，在高光谱图像分类任务中展示了良好的应用潜力。为了将图结构信息与高效的全局建模能力相结合，图Mamba[16]、[17]、[18]将图卷积与Mamba架构相结合，以线性复杂度高效地捕捉高光谱数据的拓扑结构和长距离依赖关系。这些先进模型在高光谱图像分类任务中取得了显著成果。

然而，现有的图Mamba方法仍面临关键挑战。由于高光谱数据中土地覆盖类别的类内光谱差异和类间光谱相似性，现有方法在建模过程中往往难以完全捕捉同一类别内的细微光谱变化，导致类内特征表示的紧凑性不足。同时，它们在区分具有高度相似光谱曲线的物质类别时能力有限，导致特征空间重叠和误分类，从而加剧了不确定性建模的难度。以印度松树数据集中的“玉米-免耕”和“大豆-免耕”两类为例，图1展示了它们的光谱特征。横轴表示波长，纵轴表示辐射值。具体来说，图1（a）和图1（b）分别显示了玉米-免耕和大豆-免耕类别的平均光谱曲线及其±标准差。在图1（a）中，这两个不同土地覆盖类别的光谱曲线在750–900 nm范围内表现出高度的形态一致性和数值重叠。这种类间相似性导致不同对象具有相同的光谱，使得模型难以仅凭光谱特征划分清晰的类间边界，从而增加了分类的不确定性。图1（b）在平均光谱曲线上叠加了标准差阴影带。宽范围的阴影区域表明，即使在同一土地覆盖类别内，不同空间位置的光谱反射率也存在剧烈波动。这些类内差异反映了数据的高度分散性，导致不同类别的特征分布空间严重重叠，增加了模型提取稳健特征的难度。

面对图Mamba在高光谱图像分类中存在的上述未解决问题，迫切需要探索一种新的特征建模框架，该框架能够同时实现基于不确定性的图结构构建和自适应的非线性光谱-空间特征转换。为了解决这些挑战，我们提出了一种结合KAN的模糊图Mamba融合网络（FGMKNet）。具体而言，我们的方法采用两个并行分支处理高光谱数据。模糊增强的双向Mamba分支在光谱和空间维度上进行双路径并行扫描，以实现高效的高光谱图像建模。同时，模糊图卷积分支通过在整个图结构上传播信息来建模不规则的光谱相似性关系。将两个分支的特征融合后，结果特征被输入到KAN中。利用KAN的强大非线性函数逼近能力，KAN有效建模了高光谱图像中的复杂光谱-空间耦合关系。FGMKNet精确捕获了全局光谱连续性特征和局部空间邻域特征。这种强大的特征表示能力使其能够更好地处理具有复杂几何形状和相似光谱特征的混合像素区域，从而显著提高了分类准确性。

本文的主要贡献如下：

• 我们提出了一种模糊增强的自适应双向Mamba模块，该模块结合了模糊置信门控和自适应权重融合机制。通过动态特征加权，该模块显著增强了模型的判别能力和泛化能力。
• 我们设计了一种结合模糊图构建的模糊图卷积模块，有效解决了HSIC中混合像素和不准确相似性测量的问题，从而显著提高了邻接矩阵的质量。
• 利用KAN的自适应激活函数能力，对融合特征进行深度非线性提取，充分利用了两个分支的协同作用下的判别信息。

部分节选

基于深度学习的高光谱图像分类方法

近年来，由于CNNs强大的局部特征学习能力，它们被广泛应用于HSIC领域。Hu等人[19]采用了一维卷积结构沿光谱维度进行特征学习，成功提取了光谱带之间的判别信息。Song等人[20]引入了二维卷积来提取相邻像素的空间相关模式，实现了对多个光谱的详细空间特征的准确捕捉

整体架构

所提出的FGMKNet的整体架构如图2所示。首先，原始输入数据经过初步特征提取模块处理，以捕获局部空间和光谱特征。这一基础步骤为后续处理阶段提供了全面的特征嵌入。随后，使用模糊增强的双向Mamba模块（FMamba）通过模糊推理机制提取高级空间-光谱特征

数据描述

我们在四个高光谱图像分类基准数据集上进行了实验，分别是Indian Pines、Pavia University、Houston2013和WHU-Hi-LongKou。这些数据集的详细信息总结在表1中。此外，表2详细列出了每个数据集的训练样本和测试样本的具体数量。

超参数设置和实现细节

我们的实验均在PyTorch框架下进行。所有实验都在配备Intel(R) Xeon(R) Platinum 8352V处理器的服务器上完成

结论

在本文中，我们提出了一种用于HSIC的FGMKNet。该方法将模糊逻辑融入图Mamba，并结合KAN的高效特征提取能力，实现了对光谱异质性、不确定性和复杂空间关系的有效处理。在FMamba分支中，设计了一种模糊机制来增强HSI中的不确定性建模。同时，FGCM分支基于模糊相似性构建邻接矩阵，以捕捉混合像素之间的模糊关系

CRediT作者贡献声明

朱永和：撰写——原始草案，资金获取，概念构思。李鹏雷：撰写——原始草案。彭江涛：撰写——审阅与编辑。丁卫平：撰写——审阅与编辑，监督。李鹏：撰写——审阅与编辑，监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。