利用检索增强型正交地标变换器和掩码式师生学习方法进行在线时空预测

《Neural Networks》：Online Spatio-Temporal Forecasting with Retrieval-Augmented Orthogonal Landmark Transformer and Masked Teacher–Student Learning

　　我们提出了一个高效且准确的在线时空预测框架。该框架结合了可学习的共享地标注意力机制和线性时间正交优化算法，用于时空建模。教师-学生在线学习机制通过三种设计的损失函数，在快速适应性和知识稳定保留之间取得了平衡。

引言
在线时空预测是复杂系统中数据驱动决策的核心能力，例如交通管理（Li等人，2017年）、天气预报（Espeholt等人，2022年）和实时能源调度（Dong等人，2025年）。虽然深度预测模型在离线环境下能够提供具有竞争力的准确率，但许多现实世界的时空应用本质上是流动的，观测数据会随着时间的推移持续到来。随着数据分布和时空依赖性的变化，模型必须在线更新以适应这些变化。如果没有持续更新，离线训练的预测器会迅速过时，导致准确率下降和下游决策的可靠性降低。
大多数现有的时空预测模型都是在离线学习范式下开发和评估的。早期的研究主要采用图神经网络架构来建模给定拓扑结构上的空间依赖性，例如DCRNN（Li等人，2018年）和STGCN（Yu等人，2018年）。最近的方法则利用基于Transformer的架构，其中自注意力提供了一种灵活的机制，可以统一地建模复杂的空间和时间依赖性。通过捕获长距离相互作用并在变量和时间步骤之间动态调整依赖权重，这些模型对时空序列具备了强大的表示能力，这一点在ASTTN（Feng和Tassiulas，2022年）、PDFormer（Jiang等人，2023年）和STAEformer（Liu等人，2023a）中得到了证明。这些模型通常在大型历史数据集上进行多时期的离线训练，这会带来相当大的计算开销和较长的训练时间。它们还往往基于一个隐含的假设，即数据分布在时间上相对稳定。因此，转移到在线环境中需要在流式数据和有限的计算预算下不断调整模型，这与离线假设有很大不同。尽管如此，只有少数现有工作明确研究了在线时空预测，这一领域仍然相对未被充分探索。
最近，在线时间预测因其从流式观测数据中学习的实际应用而受到越来越多的关注。然而，时空预测比时间预测更具挑战性，因为每个时间步骤涉及多个变量，并且需要同时建模时间动态和变量之间的时变依赖性。因此，时空数据中的非平稳性可能源于时间演变的改变以及变量之间交互模式的变化。尽管现有的在线时间预测方法（如FSNet（Pham等人，2023年）和DSOF（Lau等人，2025年）为流式序列提供了有效的适应机制，但它们主要是为时间序列开发的，通常不显式捕获对时空建模至关重要的变量间依赖性。因此，当变化是由变量间依赖性模式的变化驱动时，它们的有效性可能会受到限制。
一般来说，实际的在线时空预测面临两个核心挑战。首先，它需要在流式场景中实现准确而高效的时空建模。模型必须通过长上下文时空表示来捕捉时变的时间动态和演变的空间依赖性，同时保持更新成本的可管理性。其次，模型必须在分布变化的情况下在快速适应新模式的同时保持稳定，并保留和重用相关的历史知识。然而，许多现有方法通常主要针对效率进行优化，在分布变化改变了时空依赖结构而不仅仅是时间模式时，很难维持这种平衡。
为了探索解决效率挑战的潜在方案，可以采用Transformer的注意力机制，该机制在时空建模中非常有效，但在在线学习中会带来高昂的计算成本。基于Nystr?m的线性注意力（Xiong等人，2021年）是一种有前途的替代方案，它将长上下文压缩为一组小的地标，并将聚合信息广播回查询。然而，现有的设计并不直接适用于在线时空学习，因为流式数据的非平稳性可能导致静态或病态的地标产生不稳定的路由和不可靠的长上下文聚合，这需要结合时间和空间的依赖性。因此，需要一个实用的主干模型，它能够跟踪这些动态变化的依赖性，同时保持计算效率。除了效率之外，在分布漂移下的稳定适应同样重要。检索增强（Han等人，2025年；Tire等人，2024年）将当前窗口与相关的历史片段结合，使模型能够及时适应新的模式，同时保留过去的知识。这种上下文的扩展进一步增加了键和值的长度，给高效的时空注意力带来了额外的挑战。此外，教师-学生策略（如DSOF（Lau等人，2025年）旨在通过蒸馏和重放来稳定持续学习。虽然DSOF使用伪标签和快慢流来提高稳定性，但慢流必须在每一步都进行更新，可能会影响稳定性并在长上下文建模中增加计算量。总的来说，上述方法的这些局限性突显了需要一个先进的框架，它能够同时支持高效的长上下文时空建模和鲁棒的漂移感知在线更新。
为了应对这些挑战，我们提出了基于检索增强和正交地标Transformer的掩码教师-学生在线学习（ROLT-MTSOL），这是一个可用于在线时空预测的可扩展框架。在建模层面，ROLT-MTSOL采用了带可学习正交地标注意力的ROLT（LOLA），这是一种改进的基于Nystr?m的注意力机制，结合了牛顿-舒尔茨正交化，以支持在检索增强下的高效长上下文时空建模。记忆令牌通过包含相关的历史信息来扩大键-值上下文，而LOLA引入了共享的正交地标，使得在扩展上下文中进行稳定和高效的注意力计算成为可能。在学习层面，我们采用了掩码教师-学生在线学习（MTSOL）来实现持续适应。学生模型使用对最近观测数据的掩码监督进行训练，对历史数据进行基于重放的监督，并从定期更新的教师那里进行蒸馏，从而共同提高了适应能力并减少了分布变化下的遗忘。

我们的贡献总结如下：
- ROLT通过检索增强和可学习的正交地标注意力提高了在线稳定性和效率。检索机制重新利用相关历史数据以减少漂移，而LOLA构建了紧凑的共享正交地标，使注意力计算具有线性复杂性。这些地标通过闭合形式的融合对齐和规则化的牛顿-舒尔茨正交化在线性时间内计算出来，实现了高效和稳定的注意力。
- MTSOL是一种掩码教师-学生在线学习框架，用于实现强大的适应能力。MTSOL同时优化了部分观察到的最近窗口中的掩码监督损失以捕捉新兴的动态，基于重放的监督损失以强化历史验证的模式，以及教师引导的蒸馏损失以规范在线更新，从而减少了灾难性遗忘并提高了训练稳定性。
- 在交通、天气、能源和金融等多个时空基准测试中的广泛实验表明，ROLT-MTSOL实现了稳定的预测性能，同时保持了高效和实用的在线更新。

### 技术细节
#### 在线学习用于时空模型
在线学习研究从流式数据中持续更新模型，其中输入分布可能会随时间变化。与离线训练相比，它在计算和内存预算上受到限制，因此强调稳定和高效的更新（Cossu，2025年；Son等人，2024年）。
在时间预测中，最近的在线深度学习方法表明，简单的在线微调可能会不稳定，并可能导致评估泄漏，这激发了更谨慎的更新协议。

#### 时空预测
我们研究在线时空预测，其中在每个时间步骤t，系统观测到一个M维向量xt∈RM，M是变量的数量。每个变量可能对应于一个传感器通道、一个物理量或一个交互实体。这个问题可以被视为多变量时间序列预测，其中M个变量共同建模，由于实体之间的相互作用可能会表现出空间耦合。
给定一个回顾长度L，我们形成了一个固定长度的上下文窗口。

#### 整体框架
ROLT-MTSOL框架旨在用于在分布变化、流式约束和实时预算下的在线时空预测。图1展示了我们的在线学习过程和时空预测模型。我们的框架由三个紧密耦合的组件组成：(i) 用于数据管理的流式缓冲区，(ii) 用于高效长上下文建模的检索增强正交地标Transformer（ROLT）主干，以及(iii) 遮盖教师-学生在线学习（MTSOL）。

#### 数据集
我们在交通、能源、天气和金融等多个时空基准测试上评估了ROLT-MTSOL，并进一步将其扩展到大规模环境预测场景，包括空气质量（air-quality）和风动态（wind dynamics），并在多个预测时间范围内报告结果，如表1所总结的。为了提供更全面的跨异构时空系统的评估，我们包括了China-AQI和Global Wind数据集。

#### 结论
ROLT-MTSOL是一个稳定且高效的在线时空预测框架。它维护了一个有限大小的流式缓冲区来构建在线训练实例，并从重放存储器中检索相关的历史片段来增强当前上下文。在架构上，它采用ROLT作为预测主干，则结合了检索增强和数值稳定的基于地标的注意力机制，使用一小组共享的、近似正交的地标来实现高效的性能。

#### 作者贡献声明
丁金豪：写作 - 原初草案，可视化，软件，方法论，数据整理，概念化。
谢亮：写作 - 审稿与编辑，验证，监督，方法论，概念化。

#### 竞争利益声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

#### 致谢
本工作得到了PCL-CMCC科学创新基金（项目编号2024ZY2B0050）的支持。