LoLA-SpecViT：结合LoRA技术的局部注意力SwiGLU视觉变换器，用于高光谱成像

《International Journal of Applied Earth Observation and Geoinformation》：LoLA-SpecViT: Local attention SwiGLU vision transformer with LoRA for hyperspectral imaging

土地覆盖分数监测对气候变化和人类活动影响研究至关重要，传统方法存在简化过渡区域和零膨胀问题。本文比较了LSTM、RF和Markov模型在年及16天时间步尺度上的表现，发现RF在处理零膨胀数据时更优，而LSTM和PostLSTM在时间序列稳定性和变化检测方面具有优势，尤其是PostLSTM模型通过后处理显著提升年OA至67%，同时保持密集时间序列的准确性。研究证实深度学习在土地覆盖动态建模中的潜力，但需改进模型架构和数据处理方法。

　　随着全球气候变化和城市及工业扩张，土地覆盖变化的监测变得愈发重要。传统的土地覆盖分类方法通常将土地覆盖划分为离散的类别，这可能会对过渡性和异质性区域造成过度简化。本研究通过将土地覆盖类型以分数形式进行映射，提出了一个更精确的表示方法，不仅能够更准确地反映空间分布，还能捕捉到时间上的变化，这对变化检测至关重要。然而，当前方法在时间序列上存在不一致或对变化动态进行过度简化的现象。与此同时，基于时间序列的深度学习和密集时间序列建模展现出广阔的应用前景，但尚未被广泛探索。

本研究对比了新型的长短期记忆网络（LSTM）和后处理LSTM（PostLSTM）模型与基准的随机森林（RF）和马尔可夫链模型，用于多类别土地覆盖分数回归和后处理。研究使用了Landsat-8数据，生成了100米空间分辨率的分数时间序列，包括年度和新型的密集（16天）时间步长。模型的训练和验证基于全球分布的样本点收集的年度土地覆盖分数记录。结果表明，LSTM模型在关注那些预测或验证为至少1%的类别时，优于RF模型。然而，由于对剩余0%的处理较差，LSTM模型未能在整体上超越RF模型。由于RF模型生成的时间序列波动较大，PostLSTM模型实现了最高的年度总体准确率（OA），超过了67%。与受限于其马尔可夫属性的马尔可夫链模型相比，PostLSTM模型在稳定时间序列的同时保留了真实的变化。

所有密集模型在年度OA上与它们的年度对应模型相似，但能够为终端用户提供关于土地覆盖分数变化的有价值的信息。本研究展示了时间序列深度学习的潜力，并提供了重要的新见解，有助于提高年度和密集土地覆盖分数映射的准确性。研究结果表明，尽管LSTM模型在处理某些类别时表现优异，但其在处理零填充问题时仍存在不足，而RF模型通过中位数投票机制在这一点上表现更好。因此，未来的研究可以探索更有效的零填充处理方法，以提高模型的稳定性。

此外，研究还讨论了不同的模型结构，如LSTM和PostLSTM模型，以及它们在处理土地覆盖变化时的优势和局限性。LSTM模型能够直接处理时间序列，通过创建递归连接来捕捉长期信息，而PostLSTM模型则通过后处理RF预测来提高准确性。马尔可夫链模型虽然能够平滑波动，但在保留复杂变化方面存在不足。因此，研究建议未来可以探索更先进的模型结构，如Transformer网络，以及结合其他卫星和辅助数据来提高土地覆盖监测的精度。

研究还指出，密集的土地覆盖建模虽然计算成本较高，但能够提供更详细的时间序列信息，有助于检测季节性变化和小规模变化，例如湿地的季节性波动、小型水体的变化、干旱地区植被的逐渐退化以及火灾或采伐后的植被恢复。这些信息对于政策制定和环境管理具有重要意义。同时，研究强调了高分辨率卫星数据和详细参考数据的重要性，以提高土地覆盖监测的精度。

总体而言，本研究为时间序列深度学习在土地覆盖监测中的应用提供了重要的参考，展示了其在提高精度和稳定性方面的潜力。未来的研究可以进一步探索更先进的模型结构、优化后处理技术、利用更密集的参考数据，并结合其他卫星和辅助数据来提升土地覆盖监测的性能。这些进展将有助于更准确地监测土地覆盖变化，支持全球范围内的生态保护、粮食安全和城市规划等领域的决策。