一种面向大规模电力系统可扩展时空学习的物理引导块稀疏Transformer

《IEEE Potentials》：A physics-guided block-sparse transformer for scalable spatiotemporal learning in large-scale power systems

　　

摘要：

准确高效的时空建模对于现代大规模电力系统的运行至关重要，但现有方法在可扩展性、任务泛化能力和计算复杂度方面存在局限。本文提出了一种物理引导的块稀疏时空图Transformer，将每个节点-时间对视为一个标记，并利用电气分区和时间窗口来约束注意力机制的复杂度。跨块通信通过基于物理信息超图上的轻量级路由标记来恢复。统一的预训练框架结合掩码标记建模和物理感知目标，为多个下游任务提供可迁移的表示。在包含多达16,257个节点的综合输配电系统上的评估表明，该模型在预测精度、可行率以及应对拓扑变化和数据缺失的鲁棒性方面均优于代表性的时空学习基线方法，同时将每批次推理延迟降低了4-7倍，峰值GPU显存占用减少了60-70%，相较于标准Transformer。代码和数据已在 https://github.com/zyh1996saa/block_sparse_attn 公开可用。