一种用于高光谱图像分类的脉冲式卷积小世界网络

《Optics & Laser Technology》：A spiking convolutional small-world network for hyperspectral image classification

　　摘要
高光谱图像（HSI）分类需要有效地建模局部空域-光谱连续性和长距离上下文依赖性。现有方法通常侧重于局部表示或全局依赖性建模，这使得在保持HSI结构完整性和长距离交互之间难以达到平衡。此外，大多数基于脉冲神经网络的HSI分类方法采用前馈架构，对拓扑感知的稀疏传播考虑不足。为了解决这些限制，我们提出了一种用于HSI分类的脉冲卷积小世界网络（SC-SWN）。SC-SWN首先将HSI Patch编码为脉冲序列，并通过脉冲卷积前端提取局部空域-光谱特征。然后，提取的特征被投影到一个受坐标约束的小世界时空演化模块中，在该模块中，脉冲驱动的信息通过局部邻域连接和稀疏的长距离捷径进行传播。这种设计能够在保持局部结构一致性的同时，实现拓扑感知的空域-光谱特征传播，并增强高效的长距离上下文交互。在五个具有代表性的HSI数据集上的实验表明，SC-SWN的性能与传统的基于CNN、GCN、Transformer和Mamba的方法相当。消融实验、灵敏度分析和效率分析进一步验证了所提出组件的有效性，并证明SC-SWN为HSI分类提供了一个有前景的拓扑感知脉冲框架，能够实现具有稀疏脉冲动态的竞争性准确性。

引言
高光谱图像（HSI）分类旨在利用连续的光谱特征和空间上下文信息将每个像素分配到相应的土地覆盖类别。与传统的遥感（RS）图像相比，HSI包含数百个连续的光谱带，为精细的物质区分提供了丰富的光谱线索。因此，HSI分类已广泛应用于精准农业[1]、城市监控[2]和其他RS任务中。然而，这种丰富的光谱信息也带来了挑战。高光谱数据的高维性和强烈的波段间相关性往往导致严重的光谱冗余。当标记样本有限时，高维表示与不足的训练数据之间的不平衡可能会引发Hughes现象，从而降低分类模型的泛化能力。此外，HSI数据既表现出强烈的局部连续性，也表现出非局部类别相关性。相邻像素和相邻的光谱带通常高度相关，而相同的土地覆盖类别可能出现在具有相似光谱特征的空间分离区域。这些特性使得HSI分类成为一个具有挑战性的任务，需要有效的局部空域-光谱表示、长距离上下文交互以及在样本有限条件下的计算高效建模。
近年来，深度学习方法显著推动了HSI分类的发展。其中，卷积神经网络（CNN）使用卷积核从局部邻域提取空域-光谱特征，从而有效地保持了局部结构。然而，扩大有效接收场（ERF）通常需要堆叠多个卷积层[3]，并且实际的ERF分布往往不均匀，中心区域比边缘区域贡献更多[4]。基于Transformer的方法通过自注意力机制有效地建模全局上下文依赖性。然而，由于缺乏足够的局部归纳偏差，它们通常需要额外的空域-光谱分词策略或卷积辅助模块来增强局部特征表示[5],[6]。此外，随着令牌数量的增加，自注意力在计算上变得昂贵[7]。最近，基于Mamba的方法被引入HSI分类中，以低计算成本高效地建模长距离依赖性[8],[9]。然而，它们大多数仍然依赖于将空域-光谱特征转换为序列表示的扫描策略。对于HSI来说，这种序列化特别成问题，因为高光谱像素不仅由空间邻域相关性特征化，还由相邻波段之间的连续且高度相关的光谱特征特征化。因此，展平空域-光谱立方体可能会破坏耦合的空域-光谱组织，削弱局部空间邻域、相邻波段的光谱连续性及其联合结构一致性。这些限制表明，在保持HSI特有的空域-光谱结构一致性的同时实现稀疏长距离信息交互仍然是HSI分类的一个关键挑战。
为了平衡局部连续性的保持和长距离信息交换，网络拓扑提供了一个有前景的视角。复杂网络因其结构连通性和拓扑特性而被广泛研究[10],[11]。小世界网络通常具有高的聚类系数和短的平均路径长度[12],[13]，使其与HSI数据的固有特性高度一致。具体来说，相邻像素和相邻的光谱带通常表现出强相关性，因此密集的局部连通性有助于保持空域-光谱邻域的连续性。同时，属于同一土地覆盖类别的像素可能出现在空间分离的区域。在这种情况下，稀疏的长距离连接可以减少信息传输的距离，并促进非相邻区域之间的上下文交互。因此，小世界拓扑可以被视为组织HSI分类中局部特征传播和长距离信息整合的结构先验。
受到标准化解剖坐标系统[14],[15]的启发，我们将坐标信息引入作为测量空间距离和构建节点之间拓扑连接的结构先验。基于这一先验，设计了一个受坐标约束的小世界拓扑。具体来说，我们借鉴了小世界网络的拓扑原理，其中局部密集的连接与稀疏的长距离捷径共存，并将其应用于指导脉冲神经网络（SNN）中HSI空域-光谱特征的传播。从而，所提出的拓扑在保持局部HSI邻域结构的同时，通过稀疏的长距离连接增强了全局上下文建模。

受此启发，我们提出了一种用于HSI分类的脉冲卷积小世界网络（SC-SWN）。该方法首先将HSI Patch编码为离散时间步长上的脉冲序列，并通过脉冲卷积前端提取局部空域-光谱特征，从而保持输入HSI立方体的邻域结构。随后，提取的局部特征被投影到基于小世界网络的时空演化模型（SWN-SEM）中。在这个模块中，通过局部最近邻连接和概率性重连机制构建小世界拓扑，允许脉冲信息在支持局部特征交互和长距离上下文建模的稀疏拓扑中传播。SC-SWN明确结合了拓扑感知的传播，以在小世界连通性下建模空域-光谱特征交互。最后，时间脉冲响应被聚合用于像素级的土地覆盖分类。
本工作的主要贡献总结如下：
(1) 我们通过结合脉冲卷积特征提取器和SWN-SEM模块，开发了一种具有拓扑感知的SC-SWN用于HSI分类。所提出的框架首先从HSI Patch中提取紧凑的局部空域-光谱特征。这些特征通过循环脉冲动态在小型世界拓扑中进一步传播，允许共同建模HSI中的局部邻域信息和空间分离的上下文线索。
(2) 我们将受坐标约束的小世界拓扑引入SC-SWN。基于预定义的三维坐标参考，构建了基于局部坐标的k最近邻连接，以保持邻域连续性，而概率性长距离重连引入了远距离节点之间信息交换的稀疏捷径。这种设计为HSI分类中的局部空域-光谱交互和非局部上下文信息交换提供了稀疏的传播结构。
(3) 在五个HSI数据集上进行了广泛的实验，将所提出的SC-SWN与代表性的最新技术（SOTA）方法进行了比较。此外，还进行了全面的消融研究，以验证每个关键组件对分类性能的贡献。
(4) 进一步评估了所提出方法的计算效率，包括训练时间、参数数量、脉冲发射率以及基于MAC和AC/SOP计数的理论操作级别能量估计，并在RTX 3060平台上测量了推理期间的GPU功耗。
本文的其余部分结构如下。第2节总结了现有的HSI分类方法和图像处理中的SNN。第3节详细介绍了所提出的SC-SWN。第4节介绍了实验数据集、评估指标和实现设置。第5节提供了实验结果，包括定量比较、可视化分析、消融实验和效率评估。最后，第6节总结了本文并概述了未来工作的可能方向。

### 数据集片段
#### 高光谱图像分类
历史上，HSI分类主要依赖于浅层特征工程。早期方法侧重于提取光谱轮廓或手工制作的空间纹理，例如从数学形态学中得到的纹理[16]，然后将这些特征与传统分类器（包括支持向量机（SVM）[17]结合使用。尽管这些传统方法提供了相对清晰的数学可解释性，但它们的有限表示能力使得难以建模复杂的光谱特征。

#### 脉冲神经元模型
我们首先描述所评估的脉冲神经元模型中的LIF模型。对于神经元i，其膜电位的亚阈值动态可以表示为：
$$
\tau_{md}^{vi}(t) = \int_{t} \frac{d}{dt} v_i(t) = -v_i(t) + I_i(t),
$$
其中 $v_i(t)$、$\tau_m$、$I_i(t)$ 和 $V_{th}$ 分别表示膜电位、膜时间常数、整合的突触前电流和发射阈值。脉冲状态 $s_i(t) \in \{0, 1\}$ 由Heaviside函数 $H(\cdot)$ 定义，对于 $x \geq 0$ 有 $H(\cdot) = 1$，否则 $H(x) = 0$。

#### 数据集
SC-SWN的有效性在五个具有代表性的HSI数据集上进行了评估，包括Indian Pines (IP)、Pavia University (PU)、Salinas (SA)、Dioni[50] 和 WHU-Hi-LongKou (WHLK)[51],[52]。这些数据集的基本特征在表1中列出。根据标准实验协议，每个类别随机选择150个和50个标记样本分别用于训练和验证，所有剩余的标记像素用于测试。

### 不同配置下的分类性能
为了选择适合HSI分类的配置，本节对不同的编码模型、神经元模型和训练方法进行了比较实验。为了清晰起见，采用了一种统一的命名约定，格式为“编码模型-神经元模型-训练方法”。例如，DE-LIF-ADM表示使用DE进行脉冲编码、LIF作为神经元模型以及ADM作为训练方法的配置。不同配置的定量结果在结论中展示。

### 结论
我们提出了一种具有拓扑感知的SC-SWN用于HSI分类，它将脉冲卷积特征提取器与受坐标约束的小世界时空演化模块相结合。在五个HSI数据集上的实验结果表明，SC-SWN实现了具有竞争力的分类准确性，并生成了空间连贯的分类图。消融结果进一步确认了性能提升得益于脉冲卷积特征提取器、坐标约束的小世界拓扑和时空演化模型的共同作用。

### 作者贡献声明
叶轩：撰写-审稿与编辑、撰写-原始草案、可视化、验证、方法论、数据分析、概念化。
赵全华：撰写-审稿与编辑、监督、项目管理、数据分析、概念化。
李宇：撰写-审稿与编辑、监督、软件开发、项目管理、研究、概念化。
贾书涵：撰写-审稿与编辑、监督、项目管理、资金筹集。
曹爱华：

### 利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。