基于推扫式神经网络的机载实时高光谱亚像素映射技术

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Onboard Real-Time Hyperspectral Subpixel Mapping With Pushbroom Neural Network

　　

摘要：

卫星高光谱图像能够提供精细的光谱信息，但通常空间分辨率较低。这可能导致混合像素中包含多种土地覆盖类型，从而降低传统分类方法的性能。亚像素映射技术旨在为每个粗略像素内的多个子像素分配类别标签，从而生成超分辨率的分类图。现有的方法依赖于先验知识，这些先验知识要么是手工制作的，要么是通过大型深度学习架构获得的，需要大量的内存和计算资源进行离线处理。在这项工作中，我们专注于直接在卫星上进行处理的情况，这种情况下没有可用的先验知识，并且对计算复杂度有严格限制。具体来说，我们提出了一种基于线的深度亚像素映射网络，专为卫星上的实时部署设计，其处理策略与高光谱传感器的推扫式采集方式相匹配，称为深度推扫式亚像素映射（Deep Pushbroom SubPixel Mapping，DPSPM）。该模型利用相邻线条的空间-光谱信息以及通过高效的状态空间模型获取的前一条线条的长距离信息来预测超分辨率分类图。该方法实现了快速的推理，并且对内存需求较低，适用于资源受限的卫星平台。实验表明，所提出的方法达到了亚像素高光谱映射领域的最先进水平，同时支持以与线条采集速率相匹配的实时推理能力，这已在低功耗加速器上得到了验证。代码和预训练模型将在 https://github.com/DavidePiccinini98/DeepPushbroomSubPixelMapping 上发布。