面向星载高光谱图像分类的轻量化光谱-空间统一前馈卷积Transformer框架

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：A Lightweight Spectral-Spatial Unified Feedforward Convolutional Transformer Framework for Spaceborne Hyperspectral Image Classification

本文针对星载高光谱图像(HSI)分类面临的计算资源受限、模型复杂度高、实时性差等挑战，提出了一种轻量化的光谱-空间统一前馈卷积Transformer(SSUFCT)框架。研究团队设计了内存高效的矩阵投影降维(MBP)方法，在降低60%以上内存消耗的同时保持了光谱-空间结构完整性；开发了卷积增强Transformer(CET)模块，在单一编码器内实现了全局-局部特征深度融合。实验结果表明，该模型参数小于35K，FLOPs低于300M，GPU内存占用小于1.5GB，检测时间减少20%以上，在三个大型HSI数据集上达到了与先进方法相当的精度，为星上实时处理提供了新的效率-精度范式。

　　

随着对地观测技术的飞速发展，星载高光谱成像技术以其大规模、高精度的分类能力，为快速发现地表异常提供了重要手段。然而，海量的高光谱数据给实时应用带来了巨大挑战。传统的高光谱图像分类(HSIC)方法在处理高维非线性数据时存在局限，而深度学习(DL)方法虽然提高了精度，却因模型复杂度和计算资源需求过高，难以在资源受限的轨道平台上部署。现有的轻量化方案，如模型剪枝(MP)、权重量化(WQ)和知识蒸馏(KD)，往往面临性能下降或训练复杂度增加的困境。紧凑网络设计通过简化卷积模块减少参数，但仍需足够深度来保证精度，平衡分类精度与计算复杂度仍是一个开放挑战。

为解决上述问题，研究团队在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了一项创新研究，提出了一种名为光谱-空间统一前馈卷积Transformer(SSUFCT)的轻量级框架。该研究旨在建立一种卓越的内存-时间-精度HSIC范式，实现星上实时高光谱图像分类。

研究团队主要采用了三个关键技术方法：首先，提出了一种新颖的二维内存节约降维(MBP)方法，通过计算多层宽谱矩阵的平面平均协方差，避免了传统方法中因处理超大矩阵而导致的内存溢出和计算偏差，显著增强了原始HSI在低主成分数下的细节表达能力。其次，设计了卷积增强Transformer(CET)模块，该模块在单一编码器内使用最少的卷积块实现了全局和局部知识的深度融合，具体包括轻量级光谱-空间编码标记器(SSET)和前馈瓶颈卷积网络(FBCN)。最后，采用全局压缩特征替代类别标记来优化分类精度，并结合分层随机采样和空间不相交采样策略全面评估模型性能。

光谱导向的MBP与特征映射

传统的PCA等方法需要将三维HSI数据重塑为二维矩阵进行计算，不仅内存和计算需求大，还容易丢失空间结构信息。本研究提出的MBP策略直接对三维HSI进行特征提取，通过计算w×b方向的平均协方差矩阵，显著降低了存储空间占用。复杂度分析表明，MBP的空间复杂度为O(wb+b²)，远低于PCA的O(lwb+b²)和SVD的O(lwb+b²+b)。在HHK、HOU13和HOU18数据集上的实验显示，MBP在保持95%以上信息保留率(IRR)的同时，平均梯度(AG)值比SVD和PCA方法高出2.7%-8.1%，且内存消耗最低（如HHK上仅71.3MB）。

卷积增强Transformer模块

CET模块是SSUFCT框架的核心创新之一。该模块首先通过SSET提取光谱-空间特征，其中使用标准三维卷积层初步提取特征，再通过二维深度可分离卷积(DSC)层进一步融合局部空间特征。参数和FLOPs分析表明，这种设计在保证特征提取能力的同时显著降低了计算复杂度。随后，CET利用多头自注意力机制(MHSAM)捕获全局光谱依赖关系，并通过FBCN在多层感知器(MLP)中增强局部空间特征。与LocalViT等模型相比，本研究采用的降维CNN结构进一步减少了模型参数，提升了局部区域内的知识交换能力。

分类策略

不同于经典Transformer直接使用类别标记进行分类，SSUFCT首先通过全局平均池化(GAP)将三维特征图转换为一维向量，再通过全连接(FC)层输出分类结果。这种策略有效减少了类标记引入的噪声和不稳定性，提高了像素级分类的准确性。损失函数采用交叉熵损失，并结合分层随机采样和空间不相交采样策略评估模型性能。

实验结果与分析

在三个大型高光谱数据集（GF-5 HuangHeKou、Houston2013和Houston2018）上的实验表明，SSUFCT在分类精度和计算效率方面均表现出色。在HHK数据集上，SSUFCT的总体准确率(OA)、平均准确率(AA)和Kappa系数分别达到95.0%、94.0%和93.5%，均优于对比方法。同时，模型参数始终保持在35K以下，FLOPs低于300M，GPU内存占用小于1.5GB，整图映射时间最快（如HOU13上仅19.82秒）。与八种先进深度学习方法（包括HybridSN、CS2DT、CNN-Swin等）相比，SSUFCT在保持高精度的同时，显著降低了计算复杂度。特别是在空间不相交采样条件下，SSUFCT仍能保持较强的鲁棒性，进一步验证了其在实际应用中的可靠性。

消融实验

消融实验深入验证了各模块的有效性。结果显示，MBP策略在降维过程中有效保护了HSI的空间结构特征，使SSUFCT的分类精度显著高于基于PCA的CET模型（PCA_CET）。同时，移除FBCN模块（onlySSU）或SSET模块（onlyFCT）均会导致精度下降，证实了全局-局部特征深度融合的必要性。与最新的EATN和MCTGCL等局部-全局光谱-空间编码方法相比，CET在参数量、FLOPs、GPU内存和推理速度上均具有明显优势，进一步证明了其轻量化和高效性。

该研究通过创新的MBP降维策略和CET网络设计，成功实现了高精度与低复杂度的统一。SSUFCT框架不仅为星载高光谱图像分类提供了高效的解决方案，其轻量化的骨干网络还有望扩展到目标检测、变化检测等其他复杂遥感任务中。研究成果对推动实时在轨智能遥感技术的发展具有重要意义，为资源受限环境下的深度学习模型部署提供了新的思路。