用于高光谱图像分类的门控脉冲注意力Transformer

《Remote Sensing》：Gated Spiking Attention Transformer for Hyperspectral Image Classification

　　

在资源受限的边缘或非轨道平台上部署用于高光谱图像分类（HSIC）的深度学习模型由于高能耗和计算成本而具有挑战性。为了解决这一问题，本文提出了一种轻量级的脉冲驱动视觉Transformer（Vision Transformer, ViT），称为“GS-SpikeFormer”，利用高能效的脉冲神经网络（SNNs）。该研究做出了三项关键贡献。首先，研究人员引入了一种门控脉冲注意力（Gated Spiking Attention, GSA）机制，该机制仅使用逻辑与（AND）操作将昂贵的矩阵乘法替换为二进制事件驱动特征门控。其次，研究人员将分组卷积（groupwise convolution）集成到自注意力（self-attention）和前馈（feedforward）模块中，将可训练参数减少至仅 M，同时保留了局部光谱-空间特征提取。第三，在四个基准高光谱数据集上的大量实验表明，在有限训练样本下，GS-SpikeFormer仅需4个时间步即可取得有竞争力的结果（例如，在Indian Pines上为 ，在Pavia University上为 ，在Salinas上为 ，在Houston2013上为 ）。与先前基于SNN的HSIC方法相比，该模型在参数效率和能量效率方面均表现出优越性。

高光谱图像分类（Hyperspectral Image Classification, HSIC）旨在利用数百个连续光谱波段捕获的数据为地物分配像素级标签，在环境监测、农业管理、城市规划和国防等领域具有广泛应用。然而，高光谱图像（Hyperspectral Imagery, HSI）的高维性、复杂非线性结构以及标记样本的有限性使分类任务极具挑战。现有深度学习方法中，卷积神经网络（Convolutional Neural Network, CNN）能有效提取局部光谱-空间特征，但受限于感受野小和参数量大，在训练数据稀缺时易过拟合；视觉Transformer（Vision Transformer, ViT）通过自注意力捕获长程依赖，但缺乏局部特征提取的归纳偏置，且对高维HSI数据引入高昂计算成本；混合CNN-Transformer模型虽在效率与性能间取得平衡，但仍属于人工神经网络（Artificial Neural Network, ANN）范畴，继承了密集浮点运算的高能耗。脉冲神经网络（Spiking Neural Network, SNN）因其事件驱动、二进制脉冲计算特性，可实现超低功耗推理，但现有SNN-based HSIC方法（如SNN-SSEM、AFSA）或需大量时间步，或未能充分利用Transformer的全局建模能力。为克服上述局限，研究人员在《Remote Sensing》上发表了论文“Gated Spiking Attention Transformer for Hyperspectral Image Classification”，提出了一种全新的全脉冲驱动ViT架构——GS-SpikeFormer，旨在解决HSIC中高维数据与有限标记样本的双重挑战，同时实现极致的参数与能量效率。

该研究的主要技术方法包括三个关键设计：首先，门控脉冲注意力（Gated Spiking Attention, GSA）机制将自注意力重新解释为可学习的二进制选通过程，通过可学习卷积核隐式学习全局空间关系并生成二进制掩码，仅使用逻辑与（AND）操作和加法完成特征选通，完全消除乘法运算，保持全脉冲驱动计算。其次，分组卷积（groupwise convolution）被集成到GSA的输出投影和前馈网络（Groupwise Spiking Feedforward Network, GWSFFN）中，极大减少可训练参数，同时保留局部光谱-空间特征的联合提取能力。第三，前端处理模块包括光谱校准（Spectral Calibration, SC）和空间校准（Spatial Calibration, SP），自适应处理光谱维度并提取局部特征，将原始输入转换为脉冲兼容表示。所有脉冲计算均基于泄漏积分点火（Leaky Integrate-and-Fire, LIF）神经元模型。实验采用四个公开基准数据集：Indian Pines（IP）、Pavia University（PU）、Salinas（SA）和Houston2013（HU），采用类感知划分策略，类别数≥100时每类75个训练样本、25个验证样本，其余为测试样本；类别数<100时按4:1:5比例划分。模型在PyTorch 2.5.1、CUDA 12.1、NVIDIA GeForce RTX 2080 Ti GPU上训练，使用随机梯度下降（SGD）与Nesterov动量，初始学习率0.1，ReduceLROnPlateau调度器，权重衰减1×10^-4，训练100轮，批量大小64，每次实验重复10次取平均±标准差。

研究结果部分通过一系列实验验证了模型的有效性：

**超参数分析**：系统评估了空间块大小、时间步数T、注意力头数n_h和分组数g对分类性能的影响。空间块大小方面，不同数据集最优块大小不同：IP为13×13（OA 80.93%），PU为11×11（OA 95.87%），SA为25×25（OA 98.89%），HU为7×7（OA 92.75%），表明块大小需根据场景结构调整。时间步数方面，T=4时取得最佳平衡，进一步增加T仅带来微小提升但计算成本线性增长，故默认T=4。注意力头数方面，n_h=8在多数数据集上达到最优或接近最优，且性能随头数变化稳定（波动<1%）。分组数方面，g=16时性能最佳，且模型对g值鲁棒（波动<0.5%）。

**消融实验**：在IP数据集上设计了三种配置：Baseline（SpikingResformer-HSI）、Baseline+Front-end（加入SC+SP模块）和Full Model（加入GSA和GWSFFN）。结果表明，前端模块在IP上使OA从80.77%提升至82.15%（增益1.38%），在PU上从94.69%提升至95.48%（增益0.79%），在SA上从98.69%提升至98.80%（增益0.11%），在HU上从91.49%提升至92.08%（增益0.59%），证实了前端模块对光谱冗余压缩和局部特征增强的有效性。进一步替换为GSA和GWSFFN后，Full Model在IP上OA达83.60%（额外增益1.45%），在PU上达96.17%（增益0.69%），在SA上达98.89%（接近饱和），在HU上达92.75%（增益0.67%），验证了GSA在捕获全局依赖方面的优势，且GWSFFN有效细化局部光谱-空间特征。配对t检验表明，除SA外，IP、PU和HU上的OA提升均具有统计显著性（p<0.05）。

**与SNN-based HSIC方法比较**：将GS-SpikeFormer与SNN-SSEM和AFSA对比，在不同时间步下，GS-SpikeFormer在所有数据集上均取得最高OA、最低参数和最高能量效率。例如IP上，T=1时GS-SpikeFormer OA达79.82%，分别比SNN-SSEM（63.64%）和AFSA（64.04%）高16.18%和15.78%，参数仅 M（比SNN-SSEM的 M减少60%以上），SOPs为 G（与SNN-SSEM的 G相当，但精度更高），推理速度更快（0.009 s/image vs. 0.017 s/image）。在PU、SA和HU上结论一致，表明GS-SpikeFormer在低时间步下即可实现高精度，且参数效率与推理速度显著优于现有SNN方法。

**与SOTA HSIC方法比较**：将GS-SpikeFormer与CNN-based（PResNet、HybridSN）、Transformer-based（SSFTT、GSC-ViT）和SNN-based（SNN-SSEM、AFSA）方法对比。在IP上，GS-SpikeFormer OA达83.60%，超过所有对比方法，尤其对难分类别（如Corn-notill、Soybean-mintill）提升显著，t-SNE可视化显示其特征聚类更紧凑、类间分离更清晰。在PU上，OA达96.17%，在Meadows、Bitumen等类上表现最优，但Trees和Bare Soil类略低于部分方法，总体精度仍领先。在SA上，OA达98.89%，与SNN-SSEM（98.89%）持平，多数类接近完美，仅Grapes-untrained等个别类稍逊。在HU上，OA达92.75%，全面超越所有对比方法，在Grassland、Synthetic Grass、Water等类上取得最高精度，但Commercial和Road类略低于GSC-ViT。分类图显示GS-SpikeFormer产生更锐利的边界和更少的误分类。

讨论部分总结了研究人员的发现：GS-SpikeFormer在仅4个时间步和 M参数下达到领先精度，验证了用事件驱动逻辑与门控替代自注意力中的乘加运算的可行性，且与分组卷积协同作用，既保留了局部光谱-空间特征提取能力，又利于硬件高效部署。模型在HU上仅用个标记像素即可达到92.75% OA，估计能耗低至 mJ/图像，适用于资源受限的实时或星上处理。但存在局限性：最优空间块大小因数据集而异，仍需一定调参；对严重不平衡类别（如IP中的Oats、PU中的Trees），固定4时间步编码有时表现不如基线；能量消耗为基于45nm CMOS的理论上界，实际神经形态硬件上的能效有待验证。未来方向包括：设计自适应时间步机制、在Loihi/TrueNorth等芯片上部署、利用GSA的可解释二进制掩码进行特征归因分析、扩展至多源多时相HSI数据及下游任务、结合STDP微调或小样本元学习等。

翻译研究结论部分：在本研究中，研究人员介绍了GS-SpikeFormer，一种轻量级且全脉冲驱动的视觉Transformer架构，旨在解决HSIC中高维数据和有限标记样本的双重挑战。该方法的核心在于新颖的门控脉冲自注意力（GSA）机制，通过将脉冲驱动自注意力重新表述为可学习的二进制门控过程，将分组可分离卷积的高效分组原则适配到脉冲领域。这一关键创新，连同前端处理和GWSFFN，使得在全脉冲兼容范式下联合提取局部光谱-空间特征和全局上下文依赖成为可能。在四个基准HSI数据集上的大量实验表明，GS-SpikeFormer在显著提升模型效率的同时实现了最先进或极具竞争力的分类精度。值得注意的是，该模型在极少的训练样本下取得了优越性能，并将参数数量减少至仅 M。更重要的是，通过保持端到端的二进制脉冲激活，该架构保留了SNN的事件驱动、低功耗特性，使其高度适用于资源受限的边缘设备部署。这项工作有效地弥合了高效分组卷积设计与脉冲Transformer架构之间的差距，为高性能、低功耗遥感系统提供了一条实用路径。