基于时空视觉Transformer的非自回归台风强度概率预测方法

《Remote Sensing》：Interval-Based Tropical Cyclone Intensity Forecasting with Spatiotemporal Transformers Tao Guo, Hua Zhang, Tao Song and Shiqiu Peng

　　

研究人员提出了一种基于时空视觉Transformer（Vision Transformer, ViT）的非自回归概率预测框架，用于热带气旋（TC）强度的多时次区间估计。该方法采用编码器仅结构，通过分位数回归（Quantile Regression）直接输出未来多个时刻的强度预测区间，避免了递归解码带来的误差累积。模型引入标量-影像融合模块（Scalar–Image Fusion Block, SIFB），将历史强度及辅助标量特征自适应注入视觉表征，增强物理一致性。实验结果表明，该框架在确定性精度与概率校准方面均优于传统递归及卷积基线模型，并能稳定生成10–90%中心预测区间。

研究背景与意义

热带气旋（TC）强度预测对防灾减灾至关重要。现有方法多依赖递归神经网络（RNN）或卷积神经网络（CNN），存在长时序依赖建模不足、误差随时间传播等问题。传统数值模式计算成本高，难以满足实时业务需求。视觉Transformer（ViT）在时空序列建模中展现出优势，但尚未充分结合物理标量信息与概率预报。为此，研究人员开展了一项基于ViT的非自回归概率预测研究，旨在实现高精度、校准良好的多时次强度区间估计，相关成果发表于《Remote Sensing》。

关键技术方法

研究采用IR（红外）与WV（水汽）卫星影像作为输入，历史强度（V_max）及辅助标量（MSLP、R35_4qAVG、Lat、Lon）构成多源特征。模型主干为PredFormer，采用Quadruplet_TSST交替时空自注意力策略，去除重建解码器，仅保留编码器。通过全局平均池化获得紧凑潜表征，经SIFB模块实现标量特征门控注入。预测头采用两阶段训练：第一阶段优化中位数（q=0.5）回归，第二阶段联合优化分位数（Q={0.1,0.25,0.5,0.75,0.9}）的Pinball损失，同步输出8个未来时刻的概率区间。

研究结果

3.2.1 时空编码与全局聚合

研究人员将输入影像划分为patch序列，添加正弦时空位置编码，经N_depth层PredFormer处理。每层的Quadruplet_TSST策略交替进行时→空（TS）与空→时（ST）分支的自注意力计算，实现高效全局交互。最终潜张量Z∈?^B×T×P×D经时空维度全局平均池化，得到紧凑表征z∈?^B×D。

3.2.2 标量–影像融合块（SIFB）

历史标量序列s∈?^B×S（S=T×K_scalar）经两层MLP映射至同维空间s_feat。视觉表征z通过门控向量g=σ(W_gz+b_g)自适应调节标量注入强度，融合后特征z′=z+g⊙s_feat保留原始视觉信息的同时增强物理约束。无标量输入时SIFB退化为恒等映射。

3.3 基于分位数的概率强度预测

融合特征z′输入轻量MLP，直接输出8个时次、5个分位数的预测值?=?(z′)∈?^{B×T_out×|Q|}。预测函数包含GELU激活与形状重塑操作，避免自回归递推。Stage 1仅预测中位数（q=0.5），Stage 2扩展至全分位数，提升训练稳定性。

讨论与结论

研究表明，非自回归ViT框架能有效捕捉台风强度的时空演变规律，SIFB模块显著提升物理一致性。概率预报通过Pinball损失实现区间校准，10–90%预测区间覆盖率高且无过度离散。相比ConvLSTM、PredRNN等递归模型，该方法在8–24小时预报中均体现更优的确定性与概率性能。研究证实，结合多源卫星影像与标量特征的视觉Transformer，可为热带气旋强度预测提供一种高精度、低延迟的业务化解决方案。