基于基础模型与提示微调技术的南海热带气旋强度预报增强研究

《Engineering Applications of Artificial Intelligence》：Enhancing tropical cyclone intensity forecasting over the Bien Dong Sea with foundation model and prompt tuning

本文提出CIFOMI模型，创新性地将预训练基础模型（Foundation Model）与提示微调（Prompt Tuning）技术相结合，以解决南海（Bien Dong Sea）热带气旋（TC）强度预报中的数据稀缺难题。该模型融合ECMWF高分辨率（HRES）数据与最佳路径（best track）数据，在短期预报中显著降低平均绝对误差（MAE），较基线模型提升21.8%，为灾害预警提供了高效精准的AI解决方案。

　　

Highlight

我们的研究亮点在于引入了CIFOMI（一种基于Transformer的深度学习模型），它通过利用预训练的基础模型并应用提示微调，有效地克服了数据稀缺的挑战，从而显著提升了南海热带气旋强度预报的准确性。

1. Introduction

热带气旋（TCs）是最具破坏性的自然灾害之一。准确的TC强度预报对于最小化风暴相关影响至关重要，但这仍然是一个重大挑战，原因在于TC事件发生频率有限，且在数值天气预报（NWP）中难以复杂地表征TC结构。尽管深度学习（DL）在该领域显示出巨大潜力，但其有效性往往受限于TC特异性数据集的稀缺性，限制了充分利用在其他领域已取得重大成功的大规模模型的能力。为了克服这一难题，我们提出了CIFOMI。

2. Proposed method

2.1. Problem formulation

我们将TC强度预报问题形式化为一个时空预测任务。

2.2. Method overview

CIFOMI的核心思想是利用预训练的基础模型（如Vision Transformer, ViT）的强大表征能力，并通过提示微调技术，使其能够高效地适应有限的TC数据。我们设计了一个嵌入器模块，将输入的NWP数据映射到与基础模型兼容的维度。此外，我们还引入了一种融合多种数据类型（如NWP、HRES）的机制，旨在提高预测精度。

3. Results and discussion

3.1. Comparison with baselines

广泛的实验表明，CIFOMI在TC强度预报中显著减少了误差，特别是在关键的短期预报范围内，其平均绝对误差（MAE）比其他基线模型降低了21.8%，并且比HRES产品实现了31.4%的显著提升。

3.2. Ablation studies

消融研究突显了基础模型和提示微调等关键组件对CIFOMI性能的重要贡献。移除任何主要组件都会导致性能显著下降。

4. Discussion

本研究介绍的CIFOMI，是一种基于深度学习的预报模型，它通过利用基础模型和提示微调来增强预测精度。通过结合欧洲中期天气预报中心（ECMWF）的HRES数据和历史最佳路径记录，CIFOMI有效捕捉了演变的风暴模式并降低了预报不确定性。

我们的结果表明，CIFOMI在不同预报时效上，将MAE显著降低了27.29%至47.37%。消融研究强调了基础模型和提示微调技术的关键作用。该方法为利用基础模型处理数据稀缺的气象预报任务提供了一个有前景的范例。

5. Conclusion

总之，CIFOMI作为首个将基础模型和提示微调整合用于TC预报的方法，提供了一个可扩展、高效且高精度的解决方案，以加强早期预警系统和灾害准备。