编辑推荐:
针对 HSI 分类中 CNN 提取深层特征困难、传统方法难处理光谱变异等问题,研究人员提出融合 CNN 与 Transformer 的框架,引入 GSF 块增强空间 - 光谱特征融合。在 4 个数据集上 OA 达 99.47% 等,为 HSI 分类提供新方向。
在农业监测、环境评估等领域,高光谱图像(HSI)凭借丰富的光谱信息成为地物分类的重要工具。然而,HSI 数据的高维度、光谱变异以及类内差异等问题,导致传统卷积神经网络(CNN)难以有效提取深层特征,且单一模型难以兼顾局部空间细节与全局语义关联。如何突破这些瓶颈,提升分类精度,成为遥感领域亟待解决的关键问题。
为应对上述挑战,意大利研究人员开展了一项融合 CNN 与 Transformer 架构的 HSI 分类研究。其成果发表在《Computers and Electronics in Agriculture》,为高光谱图像分析提供了新的技术范式。
研究采用的核心技术方法包括:
- CNN 模块:利用 2D 和 3D 卷积提取局部空间 - 光谱特征,通过门控移位融合(GSF)块增强特征交互;
- Transformer 模块:引入高斯加权特征标记器和 Transformer 编码器(TE),捕捉长距离上下文依赖;
- 注意力机制:设计专用模块优化特征提取,提升对判别性信息的敏感度。
实验结果与分析
数据集与评估
研究在 Indian Pines、Pavia University、WHU-Hi-LongKou 和 WHU-Hi-HanChuan 四个基准数据集上展开测试,以总体精度(OA)为核心指标,对比现有主流模型。
分类性能突破
- Indian Pines 数据集:通过 GSF 块与 Transformer 的协同作用,模型 OA 达 99.47%,显著优于传统 CNN 和单一 Transformer 架构,验证了空间 - 光谱特征融合的有效性;
- WHU-Hi-LongKou 数据集:在复杂地物场景中,模型 OA 高达 99.86%,表明其对高光谱数据中细微光谱差异的强大辨别能力;
- 泛化能力验证:在不平衡数据集(如 Pavia University)中,模型通过注意力机制抑制噪声干扰,分类精度较同类方法提升 3%-5%。
结论与意义
该研究构建的 CNN-Transformer 框架,通过 GSF 块强化局部特征交互,结合 Transformer 建模全局语义,成功解决了 HSI 分类中光谱变异与长距离依赖的建模难题。实验结果不仅刷新了多个数据集的精度记录,更揭示了混合架构在遥感领域的巨大潜力。其创新点在于:
- 模块化设计:GSF 块可无缝集成至现有 CNN 架构,提升特征融合效率;
- 计算优化:通过高斯加权标记器降低 Transformer 输入维度,在保证精度的同时减少计算开销;
- 应用价值:为农业病虫害监测、城市土地利用分析等场景提供了高精度分类工具,推动 HSI 在智能遥感中的实际应用。
该研究突破了单一模型的性能瓶颈,为高光谱图像分析领域开辟了新路径,其混合架构设计思路对医学影像分析、多模态数据处理等交叉学科亦具参考价值。未来可进一步探索动态特征分组策略,以提升模型对异质性数据集的适应性。