《Neurocomputing》：Missing-aware spectral-temporal graph neural networks for robust multivariate time-series forecasting
编辑推荐：
•提出一个在严重传感器缺失条件下的多变量时间序列预测统一框架。•引入一种感知缺失的空间-时间重建机制，自适应地将时间估计与已观测到的图邻居信息融合。•在不依赖预定义图拓扑的情况下，学习传感器间的潜在依赖关系，用于缺失值重建和频谱-时间预测。•引入一个辅助的缺失分类目标，以正则
- •
提出一个在严重传感器缺失条件下的多变量时间序列预测统一框架。
- •
引入一种感知缺失的空间-时间重建机制，自适应地将时间估计与已观测到的图邻居信息融合。
- •
在不依赖预定义图拓扑的情况下，学习传感器间的潜在依赖关系，用于缺失值重建和频谱-时间预测。
- •
引入一个辅助的缺失分类目标，以正则化预测表示并提供互补的缺失监督。
引言
现代复杂工业系统，如智能交通 [25]、健康网络 [41] 以及先进制造 [8], [44]，使用大量相互连接的嵌入式设备协作执行传感任务。这些空间分散且专用的传感器构成了软感知网络，用于追踪系统本身或周围环境的物理状态，并将记录的数据发送至中央/云数据处理模块，在该模块中执行预测和分类等任务。软感知网络的范式使传感器之间能够交互、协作，并支持数据处理模块中的学习和预测任务，从而赋能日益广泛的智能服务 [39]。多变量时间序列预测在软感知网络中具有至关重要的意义。
软感知网络中可靠的信息传递对于提供高质量服务至关重要 [28]。然而，如果其中任何传感器变得不可用，将会损害系统的监控与控制，其产品的规格将无法达标 [19]。空间分布的传感器可能因诸多意外原因变得不可用，包括设备故障、停电、外部攻击或人为因素（如维护/维修）。在软感知网络实际部署时，传感器缺失问题不可避免，并持续在多变量时间序列预测中被触发 [30]。与数据插补问题 [16]（其中数据在采样尺度上随机缺失）不同，本文关注的是传感器故障持续较长时间（远长于采样周期）的场景，即这些传感器在修复之前一直无法访问。
目前已有很多基于深度学习的软感知多变量时间序列预测 [53], [57] 和分类 [17], [27] 的研究工作。特别是，图神经网络（GNNs）因其处理关系依赖的高能力而广受欢迎 [49]。遗憾的是，最先进的深度学习模型对缺失的传感器/特征非常敏感，因为这些模型通常在完整数据集上训练，且大多数先前工作仅限于在较大特征集内随机缺失特征 [35]。本文探索一个实际场景：在模型开发与部署期间，仅有部分传感器在较长时间内保持可访问，导致输入流持续不完整。与随机缺失的特征/值相比，直觉上这种场景对模型性能的影响更为显著，因为大多数统计插补方法不再适用于在大量连续采样周期中对缺失特征进行插补 [28]。在这种情况下，仅依赖不可用传感器的时间历史可能也不够充分，因此利用来自相关观测传感器的互补信息变得尤为关键。此外，现代软感知网络规模庞大，难以定义网络的图结构，这意味着 GNNs 所需的传感器网络拓扑大多时候是未知的。
我们提出了 MiAGNN（感知缺失的频谱-时间图神经网络），专为严重传感器缺失条件下的多变量时间序列预测而设计。该模型联合结合了时间感知的时域估计、潜在依赖关系学习、基于图信息驱动的空间重建以及频谱-时间预测。对于缺失条目，来自 GRU-D 的时间估计与从已观测到的图邻居聚合的信息进行自适应融合，使缺失信息能够直接影响用于预测的输入。一个辅助的节点分类目标进一步提供了互补的缺失监督。本研究的贡献总结如下：
- 1.
我们提出了 MiAGNN，一个统一的框架，用于解决严重传感器缺失和未知传感器拓扑条件下的多变量时间序列预测问题。
- 2.
我们开发了一种感知缺失的空间-时间重建机制，自适应地将基于衰减的 GRU-D 时间估计与从已观测到的图邻居聚合的信息结合起来。一个可学习的门控根据时间缺失情况和可用的邻居证据来平衡这两种信息来源，从而为下游预测提供更具信息量的输入。
- 3.
我们在不依赖预定义图的情况下，联合学习传感器间的潜在依赖关系与未来时间序列动态，同时引入辅助缺失分类目标以在预测表示中保留观测状态信息并提供互补的缺失监督。
本文其余部分组织如下：相关工作在第2节讨论。所研究的问题在第3.1节中公式化，随后在第3.2节介绍预备知识。技术细节在第4节中介绍。实验结果在第5节中呈现，结论在第6节中给出。
章节摘要
带有缺失值的时间序列数据
传感器故障是软感知与传感器网络中的主要问题。时间序列传感器数据中随机缺失值对传统机器学习模型的影响已经得到了实证研究 [14]。处理缺失时间序列数据有三种常见策略：忽略不完整观测、删除不完整观测，以及插补缺失值 [38]。然而，当缺失率较高时，忽略或删除不完整观测会导致大量
问题公式化
传感器网络可以被视为相互作用的传感单元组，从而在单个组成部分层面以及系统整体层面产生复杂动态。然而，通常我们只能访问单个传感器的特征轨迹，而不知道底层的相互作用或动态模型。我们研究的问题是在部分可观测的传感器网络下预测交互系统的动态，同时推断隐藏的相互作用
总体框架
我们提出了一种感知缺失的频谱-时间图神经网络（MiAGNN），作为在传感器缺失（即大量缺失值）条件下进行多变量时间序列预测的通用解决方案。该框架包含三个关键模块：感知缺失的插补模块、潜在图学习模块和感知缺失的预测模块，如图2所示。插补模块使用 GRU-D 从不完整输入中获得时间感知的时域估计和潜在表示
基准数据
本文选择了五个广泛使用的基准数据集。它们的统计特性总结于表2中，其领域信息描述如下。
PeMS07 是一个通过加州交通局绩效测量系统（PeMS）从加州第7区收集的流量数据集 [6]。该数据集包含2012年5月和6月工作日期间由228个传感器站记录的流量测量值。观测值被聚合为5分钟间隔。
结论
在本文中，我们提出了 MiAGNN，一个专为应对严重传感器缺失条件下的多变量时间序列预测而设计的统一感知缺失频谱-时间图神经网络。该框架在一个连贯的架构中集成了感知缺失的空间-时间重建、潜在依赖关系建模和频谱-时间预测，使三个组件能够相互增强。通过这种联合设计，MiAGNN 能够通过结合来重建不完整输入
CRediT 作者贡献声明
冯英奇（Yingqi Feng）：撰写-初稿，验证，软件，方法学，调查，形式化分析，数据整理，概念化。唐宇飞（Yufei Tang）：撰写-审阅与编辑，监督，项目管理，方法学，资金获取，概念化。黄昱（Yu Huang）：撰写-初稿，可视化，数据整理，概念化。朱兴全（Xingquan Zhu）：撰写-审阅与编辑，监督，项目管理，方法学，资金获取，概念化。
生成式AI及AI辅助技术在写作过程中的声明
在准备本工作期间，作者使用了 ChatGPT 以提高语言质量。使用此工具后，作者对内容进行了审查和编辑，并对出版物的内容承担全部责任。
利益冲突声明
作者声明，他们不存在已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本文所报告的工作。
致谢
本工作部分由国家科学基金会资助，资助编号为 IIS-2302786 和 CMMI-2145571。
冯英奇（Yingqi Feng） 于2021年获美国佛罗里达大西洋大学（Boca Raton, FL, USA）计算机科学学士学位。她目前是该校计算机科学博士研究生。她的研究方向包括图神经网络、时间序列预测、缺失数据建模和时空学习。
冯英奇 | 唐宇飞 | 黄昱 | 朱兴全
