面向多变量时间序列预测的缺失感知原型引导状态空间模型

《Neurocomputing》：Missing-aware prototype-guided state space model for multivariate time series forecasting

　　

# 摘要

真实世界系统中的多变量时间序列预测常常受到连续缺失数据的影响。现有的多阶段流水线依赖于在预测前进行插补，可能将重建误差传播到下游预测中。与此同时，尽管最近的状态空间模型（SSM）实现了线性时间效率，但在长时间观测间隙期间，重复的收缩性状态转移可能会累积性地衰减间隙前的信息。为解决这些局限性，我们提出了缺失感知原型引导状态空间模型（MAP-SSM），该模型将缺失性直接纳入状态空间动态中。具体而言，我们设计了一种缺失门控离散化机制，自适应地调节状态转移，使缺失步的同质性动态保持非扩张性，并控制被传输的间隙前分量的累积衰减。此外，引入了原型记忆库，以捕捉结构性时间模式并在观测不可用时提供全局先验信息。在真实世界基准信号上的实验，辅以受控的合成缺失性测试，表明在大多数设置下，MAP-SSM的预测误差低于所评估的基线方法。在受控的块状测试中，MAP-SSM在与直接缺失感知基线方法的全部12次比较中以及在与插补后预测流水线的全部12次比较中均获得了最低的均方误差；其相对于每种设置中最强评估流水线的最大均方误差（MSE）降低幅度约为18.9%，同时推理复杂度保持在序列长度的线性范围内。公开项目仓库见 https://github.com/L1-1001/MAP-SSM。

# 引言

多变量时间序列预测是复杂真实世界系统管理与预测分析的基础操作[1], [2]，涵盖从高频物联网传感器网络[3]、金融市场[4]到健康监测[5]和气候建模[6]。随着这些系统的复杂性不断增加，准确预测高维、长时间时间动态的能力变得越来越关键。然而，在实际运行环境中实现稳健的预测性能仍然是一个艰巨的数学和工程挑战[7]。

实际部署中的一个主要障碍是由于传感器故障、通信中断或不规则采样间隔导致的连续块状缺失[8]。这种结构性缺失加剧了已有的预测挑战，包括长程预测退化[9]、分布偏移和非平稳性[10], [11]，以及多尺度模式提取[12]。当观测间隙跨越数百个时间步时，对于未设计用于显式建模缺失性的架构而言，可用的时间上下文可能变得不足以支持有效预测。

传统处理预测中缺失数据的方法通常依赖"先插补后预测"的流水线[13]。由于缺失区域中的真实值不可用，重建后的值仍存在不确定性，且可能与底层数据分布产生偏差。下游预测器仍然将这些估计值作为完整观测进行处理，使得插补误差传播到多步预测中。

现代序列模型在时间序列预测方面取得了显著进展，但大多数模型并未针对真实场景中的结构性缺失进行原生设计。完整的自注意力机制在其标准形式中具有二次方序列长度复杂度，尽管分块、稀疏注意力和混合变体可以降低此成本。此外，在完整输入上训练的模型可能对被破坏或部分观测的时间上下文敏感[14], [15], [16]。

相比之下，连续时间状态空间模型（SSM），如Mamba，由于其高效的线性时间推理和序列归纳偏置，提供了一种有吸引力的替代方案[17], [18]。然而，在长时间连续缺失的情况下，缺乏信息性输入的重复收缩性状态转移可能会累积性地衰减隐状态中携带间隙前上下文的分量。这种衰减的程度取决于学到的转移速率、离散化步长和间隙长度；足够强的衰减可能导致在预测边界处几乎没有可用的间隙前信息。

为说明这些行为，我们在Solar数据集上进行了合成注入连续缺失块的先导研究（图1）。在这个受控案例中，图1(a)显示随着缺失间隔的增长，所评估的插补流水线的下游误差逐渐增加，所评估的SSM基线的状态衰减也日益显著。这促使我们设计一种机制，以显式控制跨越延长观测间隙的状态传输。

先前的研究通过值重建、循环衰减或缺失感知序列建模来处理缺失性问题，但很少有工作将掩码条件化的状态空间转移与潜在结构先验联合耦合，以实现跨越延长观测间隙的直接预测。这留下了一个开放问题：如何在不完全依赖原始值重建的情况下，通过此类间隙传输历史上下文，同时保持SSM的线性序列复杂度。

为弥补这一差距，我们提出了缺失感知原型引导状态空间模型（MAP-SSM）。与在原始观测空间重建缺失值不同，MAP-SSM通过在状态空间动态中利用结构化潜在先验来处理缺失性。具体而言，我们引入了一个可学习的原型记忆库，用于捕捉重复的时间模式并在缺失区间期间提供潜在上下文。我们还设计了一种缺失门控离散化机制，根据缺失掩码对状态转移进行条件化，以限制被传输的间隙前分量的累积衰减。图1(b)展示了在所评估的Solar案例中的行为。

本文的主要贡献总结如下：

- 我们开发了MAP-SSM，一个端到端预测器，在潜在状态动态中建模不完整观测，无需显式的原始值插补。
- 我们将原型记忆库与SSM递推耦合，在缺失位置检索连续的潜在结构先验，同时不引入二次方序列长度复杂度。
- 我们引入了缺失门控离散化模块，根据观测掩码对零阶保持（ZOH）步长和状态转移算子进行条件化，以限制连续间隙中的过度状态衰减。
- 我们将MAP-SSM与最近的预测器和两阶段基线进行比较。在受控块状缺失下，MAP-SSM在全部12个受评估的插补流水线设置中具有更低的均方误差，并且相对于每种设置中最强评估的两阶段流水线，MSE降低幅度最高可达约18.9%。

## 问题建模与系统动态

设部分观测的多变量时间序列定义为 $X \in \mathbb{R}^{L \times N}$，其中 $L$ 表示回溯窗口长度，$N$ 表示变量数。缺失性通过二值指示掩码 $M \in \{0,1\}^{L \times N}$ 显式捕获，其中 $M_{t,n}=1$ 表示变量 $n$ 在时间步 $t$ 有有效观测，$M_{t,n}=0$ 表示缺失条目。因此，通用模型接受变量特定的掩码 $M$。掩码，而非 $X$ 的数值大小，决定某个条目是否被观测。特别地，一个真实的观测零值表示为 $M_{t,n}=1$ 且 $X_{t,n}=0$。

## 实验设置

**数据集。** 我们在九个真实世界的多变量基准数据集上评估预测精度和受控缺失性鲁棒性，这些数据集在前人研究[22], [27]中被使用。该数据集集合涵盖物理和经济领域，遵循既定的长期时间序列预测（LTSF）评估[28], [30], [42]：

- **ETT（电力变压器温度）：** ETT包含四个数据集（ETTh1、ETTh2、ETTm1、ETTm2），分别以1小时和15分钟采样间隔记录。数据表现出强烈的长期周期性以及局部趋势。

# 结论

本文研究了长时间连续块状缺失条件下的长期预测问题。实验考察了两种相关行为：插补基流水线中重建误差的传播，以及所评估的连续时间状态空间基线中间隙前状态分量的累积衰减。为弥补这一差距，我们提出了MAP-SSM，一种端到端缺失感知预测范式，将缺失性直接纳入状态空间动态中。其核心思想是……

---

**CRediT作者贡献声明**

Yu Li：撰写—审阅与编辑、撰写—初稿、可视化、验证、软件、方法论、调查研究、数据管理、概念构思。
Tao Liu：项目管理。

**利益冲突声明**

作者声明，他们没有任何已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

Yu Li | Tao Liu
湖北大学资源与环境科学学院，湖北省武汉市友谊大道368号，430062，中国