基于混合视觉变换器和图卷积网络的高光谱图像分类

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Hyperspectral Image Classification Using a Hybrid Vision Transformer and Graph Convolutional Network

　　

摘要：

高光谱图像分类在农业、环境监测和城市规划领域发挥着重要作用。尽管已有大量研究，现有方法仍面临诸多挑战，包括高光谱维度、类别不平衡以及局部特征与全局特征整合不足等问题。卷积神经网络在长距离依赖建模方面表现较弱，而视觉变换器和图卷积网络则常常存在数据需求大和计算成本高的问题。为解决这些局限，我们提出了HyperViTGCN这一混合框架，它将3D-CNN、轻量级视觉变换器以及注意力引导的图卷积网络有机结合在一起。该架构包含以下特点：（1）基于自注意力的动态图结构，用于捕捉精细的像素间关系；（2）自适应多尺度块嵌入机制，以更好地处理场景的多样性；（3）经过剪枝和蒸馏优化的简化版Transformer-GCN模块，以提高计算效率。此外，基于自编码器的归一化处理以及GAN驱动的少数类增强技术，有助于缓解数据不平衡问题并提升特征表示能力。在包括Indian Pines、Houston2013、PaviaU、Botswana、HJ-1A、ZY-1-02D以及WHU-OHS在内的多个基准数据集上的实验表明，与现有的混合方法相比，HyperViTGCN在保持最优性能的同时，还能将计算复杂度降低30%。尤其是在ZY-1-02D这类不同传感器获取的数据以及WHU-OHS这类大规模城市场景中的测试结果，进一步证明了该模型在领域适应性高光谱图像分类任务中的强大性能和良好扩展性。