基于掩码预训练和提示微调的跨城市少样本时空图预测

《Neural Networks》：Cross-city few-shot spatiotemporal graph forecasting via masked pre-training and prompt tuning

　　

摘要

时空图（STG）预测在城市计算领域具有重要意义。然而，数据稀缺的挑战给这项任务带来了重大障碍。虽然跨城市少样本学习提供了解决方案，但现有方法面临两个基本挑战：1) 从数据丰富的源城市中元知识提取不足，以及 2) 知识转移机制的通用性有限。在本文中，我们提出了一种名为 ST-MPPT 的新型 STG 少样本学习框架，该框架通过掩码预训练和提示词微调解决了这两个挑战。在预训练阶段，我们在数据丰富的源城市上执行时空解耦掩码预训练，使模型能够更全面地学习长期时空模式。在下游预测阶段，我们利用预训练编码器获取鲁棒的空间和时间表示。然后利用这些表示构建图结构并增强下游时空预测器。为了实现更通用的知识转移，我们引入了一种新型提示网络。该网络不是进行刚性模式检索，而是动态生成特定于输入的提示，以引导预训练编码器适应不同城市间不同的数据分布。在四个真实世界时空数据集上的大量实验证明了 ST-MPPT 优于强大且具代表性的基线方法。源代码将在论文被接收后公开。

引言

利用物联网感知城市动态构成了城市计算的基础。城市动态数据在空间和时间上不断生成，通常表示为时空图（STG），如图 1 所示。时空图预测（例如交通预测 Li et al. (2017); Wang et al. (2021b); Yu et al. (2017) 和空气质量预测 Liang et al. (2023); Wang et al. (2021a)）旨在基于历史观测预测未来的图结构数据。在过去十年中，基于深度学习的方法在时空预测领域取得了显著进展。然而，这些方法通常依赖于充足的训练数据，这可能不适用于数据可用性有限的城市。

为了解决这个问题，研究人员提出了基于跨城市迁移学习的各种方法 Fang et al. (2022); Jin et al. (2022); Liu et al. (2023); Lu et al. (2022); Wang et al. (2018); Yao et al. (2019)。这些方法的主要目标是将从一个或多个数据丰富的源城市获得的时空元知识有效转移到数据稀缺的目标城市，如图 2 所示。在这方面，许多现有方法主要专注于建模基于网格的时空数据，例如 RegionTrans Wang et al. (2018)、MetaST Yao et al. (2019)、CrossTRes Jin et al. (2022) 和 STAN Fang et al. (2022)。然而，将这些方法直接应用于图结构数据是不可行的。图神经网络（GNNs）已被广泛应用于处理图结构数据，例如自闭症谱系障碍识别 Luo et al. (2025) 和分子性质预测 Zhao et al. (2024)。随着 GNN 的发展，另一类工作专注于基于图的建模。ST-GFSL Lu et al. (2022) 利用从数据丰富的源城市提取的时空元知识为下游时空神经网络生成参数。受 MAE He et al. (2022) 和 STEP Shao et al. (2022a) 启发，TPB Liu et al. (2023) 采用预训练掩码自编码器从数据丰富的源城市中提取元知识。像 ST-GFSL 这样的方法难以捕捉长期时空上下文中的依赖关系。尽管 TPB 采用掩码预训练来学习长期依赖关系，但它局限于时间维度。由于忽略了空间预训练，TPB 未能学习关于空间依赖的可迁移知识，导致对源城市动态的理解不完整。 因此，第一个挑战在于从多个源城市可用数据中更全面地提取时空元知识。

时空模式不仅在不同城市之间表现出巨大差异，在同一城市内的不同区域之间也是如此。跨城市知识转移在实现有效的少样本时空预测中起着至关重要的作用。现有方法通常涉及从数据丰富的源城市中检索与目标城市相关的元知识。例如，RegionTrans Wang et al. (2018) 利用辅助数据计算源城市和目标城市区域之间的相似度。TPB Liu et al. (2023) 通过离线聚类构建静态模式库，通过检索和匹配过程适应新的数据分布。此类方法严重依赖于复杂的模式匹配，甚至需要可能无法始终可用的辅助数据。 因此，第二个挑战在于实现更通用的知识转移。

为了解决上述挑战，我们提出了一种基于 Spatial-Temporal Masked Pre-training 和 Prompt Tuning 的新型 STG 少样本学习框架，称为 ST-MPPT。为了解决第一个挑战，我们引入了一种时空解耦掩码预训练范式。通过在空间和时间维度上分别掩码和重构数据，ST-MPPT 学习更全面的时空元知识。为了克服第二个挑战，我们设计了一个轻量级提示网络。该网络学习生成自适应的、特定于输入的提示。这些提示作为指令，调节大型、冻结的预训练编码器的行为，以适应不同城市间不同的数据分布，实现无需完全微调的灵活且数据高效的适应。我们的贡献总结如下：

• •
  我们提出了一种新型跨城市少样本 STG 预测框架 ST-MPPT，通过引入时空解耦掩码预训练和自适应提示生成，系统地扩展了现有方法。
• •
  我们引入了一种时空解耦掩码预训练策略，以提取更全面的元知识，解决了现有仅时间掩码预训练方法的局限性。
• •
  我们设计了一个时空提示网络，这是一个参数高效模块，其自适应提示生成机制使预训练的空间和时间编码器能够以更通用的方式适应不同城市间不同的数据分布。
• •
  在四个真实世界时空数据集上的大量实验验证了 ST-MPPT 在少样本 STG 预测任务中的优越性。

本文后续章节组织如下。第 2 节涵盖 STG 预测和时空少样本学习的相关工作。在第 3 节中，我们介绍了初步知识并构建了跨城市少样本 STG 预测问题。所提出的 ST-MPPT 在第 4 节中描述。全面的性能实验在第 5 节进行，随后在第 6 节给出本文的结论。

章节摘要

时空图预测

最近，时空图预测因其有价值的应用而引起了广泛关注。STG 本质上是多元时间序列。早期研究主要集中在传统时间序列预测方法，例如历史平均（HA）、自回归积分滑动平均（ARIMA）Williams and Hoel (2003)、向量自回归（VAR）Chen et al. (2001) 和支撑向量回归（SVR）Suárez Sánchez et al. (2013)。随着 GNN 的进步，

初步知识和问题构建

本节首先介绍一些相关的初步知识和符号（如表 1 所示），然后构建跨城市少样本时空图预测问题。

方法论

在本节中，我们介绍了所提出的跨城市少样本 STG 预测框架 ST-MPPT。ST-MPPT 的架构如图 3 所示，主要分两个阶段运行。首先，在预训练阶段（第 4.1 节），我们使用掩码自编码目标 He et al. (2022) 在数据丰富的源城市上训练空间和时间编码器。这使得模型能够从长期上下文中学习通用且鲁棒的时空表示。其次，在下游预测

实验

在本节中，我们首先介绍常用的真实世界数据集，并突出比较的基线方法。随后，我们进行全面实验以评估所提出的 ST-MPPT 的有效性。

结论

在本文中，我们提出了一种名为 ST-MPPT 的新型跨城市少样本 STG 预测框架。它首先进行时空掩码预训练以实现更鲁棒的时空表示学习。具体来说，预训练阶段在空间和时间维度上重构长期输入的掩码块，实现对长期时空上下文中依赖关系的学习。其次，ST-MPPT 引入时空提示网络以自适应地

CRediT 作者贡献声明

郭先威：撰写 – 初稿，软件，方法论，数据整理。 余志勇：撰写 – 审查与编辑，监督，资金支持。 王江涛：撰写 – 审查与编辑，监督，调查。 黄方婉：撰写 – 审查与编辑，可视化，概念化。 陈兴：撰写 – 审查与编辑，资金支持。 杨定奇：撰写 – 审查与编辑，资金支持。 徐科：撰写 – 审查与编辑。

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系，可能影响本文报告工作的。

郭先威于 2025 年获得福州大学计算机科学与技术博士学位。他目前是中国福州闽江大学计算机与数据科学学院的副教授。他已在主要会议/期刊上发表论文，例如 IEEE/ACM Transactions on Networking、IEEE Transactions on Mobile Computing、IEEE Internet of Things Journal、Neural Networks 等。他的研究兴趣包括普适计算、移动

郭先威 | 余志勇 | 王江涛 | 黄方婉 | 陈兴 | 杨定奇 | 徐科