基于多尺度光谱注意力模块的高光谱语义分割方法研究

《IEEE Open Journal of the Computer Society》：Multi-Scale Spectral Attention Module-based Hyperspectral Segmentation in Autonomous Driving Scenarios

　　摘要：自动驾驶（AD）领域的最新进展凸显了高光谱成像（HSI）在增强环境感知方面的潜力。然而，现有的语义分割架构主要是为RGB图像设计的，未能充分利用HSI数据中丰富的光谱信息。当前HSI处理方法的一个关键局限在于，光谱波段通常被独立或均匀处理，限制了对不同材料相关光谱关联的捕获能力。本文提出了一项实证研究，将多尺度光谱注意力模块（MSAM）集成到UNet跳跃连接（UNet-SC）中，用于HSI语义分割。MSAM采用三个并行的一维卷积，核尺寸在1到11之间选取，以探究在小样本、类别不均衡及光谱覆盖异构的条件下，多尺度光谱滤波是否能提升分割性能。所提出的配置在公开可用的多类别城市HSI数据集上进行了评估。与UNet-SC基线相比，UNet-MSAM在所有数据集和骨干网络深度上平均提升了2.32%的mIoU和2.88%的mF1，同时保持了与现有注意力机制相比具有竞争力的GPU推理延迟和性能。结果还表明，最佳核组合因数据集而异，其中(1;5;11)和(3;7;11)等配置在多个数据集上展现出强大且一致的性能。这些发现提供了实证证据，表明多尺度光谱特征提取可以改善高光谱分割性能，并为自动驾驶辅助系统（ADAS）/自动驾驶感知应用中自适应光谱注意力机制的未来研究奠定了基础。