用于多变量时间序列插补的偏差校正多尺度时空网络

《Neurocomputing》:Bias-corrected multi-scale spatiotemporal networks for multivariate time series imputation

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neurocomputing 6.5

编辑推荐:

  针对多变量时间序列缺失值填补问题,提出BMSTN框架,通过改进图卷积结构、引入多尺度时间卷积模块及轻量化门控机制,有效校正预定义图偏差并提升时空依赖建模能力,实验表明其性能优于11种基线方法且训练速度提高超30%。

  
莫世兵|阮浩阳|袁凯欣|滕向义|刘静
西安电子科技大学人工智能学院,中国西安

摘要

从互连传感器网络收集的多变量时间序列中经常包含缺失值,这些缺失值可能是由于传感器故障、通信错误或维护停机时间造成的,这严重阻碍了预测和异常检测等下游任务。准确插补这些缺失值需要同时利用变量之间的时间动态和空间依赖性。基于图神经网络(GNN)的最新方法使用预定义的图或完全自适应的图来表示空间依赖性。然而,尽管预定义的图编码了有价值的拓扑信息(例如道路连通性),但其边权重存在偏差,不能准确反映特定任务的交互强度。同时,完全自适应的图可能会生成密集且难以理解的结构,其依赖性与预定义图中的依赖性相矛盾,从而降低可解释性。此外,大多数现有的时空插补方法仅在单一时间分辨率上操作,限制了它们同时捕捉长期趋势和短期演变模式的能力。为了解决这些问题,我们提出了一种偏差校正的多尺度时空网络(BMSTN)用于多变量时间序列插补。核心思想是将预定义图视为结构原型,并在训练过程中通过有界的Sigmoid门控机制乘法修正其边权重,从而在保留原始拓扑的同时纠正权重偏差。BMSTN由三个模块组成:(1)主要值特征生成(V-FG)模块,配备了一个轻量级图卷积GRU(Lite-GCGRU)用于粗略插值和特征提取;(2)高级时空特征聚合(STFA)模块,集成了多尺度时间卷积模块(MTCN)以捕捉不同分辨率下的动态,以及偏差校正的图卷积网络(BGCN)以学习精细的空间依赖性;(3)解码模块用于生成精细的插补结果。双向架构允许序列在前向和后向两个方向上进行处理,以利用两侧的上下文。在三个真实世界数据集上的广泛实验表明,BMSTN在所有评估指标上均显著优于十一个基线方法,无论是在块缺失还是点缺失的情况下。此外,由于提出了Lite-GCGRU和可并行化的卷积设计,BMSTN的训练时间比最先进的GRIN方法减少了30%以上。

引言

时间序列是在时间上等间隔的连续点处获取的序列,这些数据来自交通、气象、电力等多个领域。预测时间序列并识别其异常模式使决策者能够提前制定计划或实施风险控制措施。因此,近年来提出了许多针对性算法,并取得了显著的性能[1],[2]。然而,来自复杂互连场景的时间序列往往由于某些事故(例如传感器故障)而包含缺失值,这使得应用现有分析算法变得复杂[3]。此外,缺失值可能会影响某些领域(如神经科学或医疗保健)中时间序列的解释[4]。
鉴于此,已经提出了许多插补方法[5],[6],[7]来推断缺失值。在这些方法中,基于深度学习的方法[8],[9]在插补精度方面取得了实质性进展。它们通常使用生成对抗网络(GANs)或循环神经网络(RNNs)来模拟时间动态。最近,基于图神经网络(GNN)的方法[10],[11]尝试通过利用跨变量相关性(即空间相关性)来提高插补精度。特别是,GRIN [10]将消息传递神经网络(MPNNs)集成到双向循环框架中,而SPIN [11]进一步加入了稀疏注意力机制。这些方法在模拟时空依赖性方面表现出相当的能力。然而,我们发现现有方法仍有三个方面尚未得到充分解决(见图1)。
首先,时间序列在不同分辨率下表现出不同的动态。原始时间序列(高分辨率)包含了给定时间戳的所有上下文信息,反映了该时间戳的短期演变模式。下采样时间序列(低分辨率)描绘了宏观特征,如长期趋势。虽然像GRIN [10]和SPIN [11]这样的方法通过循环或注意力机制有效捕捉了短期时间动态,但它们主要在单一时间分辨率上操作,缺乏同时建模多个分辨率下的长期趋势和短期演变模式的明确机制[12]。其次,一些现有技术认为预定义的图结构无法表示真实的空间依赖性,因此构建了完全自适应的图[13],[14]。然而,学习到的图通常非常密集且难以理解。更糟糕的是,学习到的图中的依赖性与预定义图中的依赖性相矛盾。在交通预测的先前研究中探索了结合预定义图和自适应图的方法[15],[16],但结合预定义图的有效性并不总是有保证的,正如在某些配置中观察到的性能下降(例如[DGCN_mask在[16]中)。我们认为,预定义图往往是空间依赖性的有偏表示,而不是无用或多余的表示(详见第3节的定义3)。因此,完全放弃预定义图然后构建一个全新的图可能有些不妥,需要一种更合理的机制来整合预定义的结构知识。第三,许多时空插补方法致力于开发新的消息传递机制来处理空间依赖性,但很少有研究致力于改进捕捉时间依赖性的模块。这些研究通常使用传统的循环单元[10],[17],例如长短期记忆网络(LSTM)单元或门控循环单元(GRUs)。这些相对复杂的单元往往导致过长的训练时间,增加了开发的时间成本,并降低了它们在模型市场中的竞争力[18],[19]。
总之,关键技术挑战有三个方面。(i)图表示困境:预定义图编码了有意义的拓扑先验(例如道路邻接性),但携带了来自地理距离等代理测量的偏差边权重;完全自适应图可以学习特定任务的权重,但缺乏约束,可能会生成与物理结构相矛盾的虚假边,且难以解释。没有现有的插补方法能够提供一种合理的机制,在系统地纠正权重偏差的同时保留预定义图的拓扑结构。(ii)单分辨率时间建模:当前的时空插补方法仅在单一分辨率上处理时间序列,限制了它们同时捕捉宏观趋势(在低分辨率下可见)和细粒度演变模式(在高分辨率下可见)的能力。(iii)循环空间模块的计算开销:增强GNN的循环单元(如GCGRU)每个时间步需要多次消息传递调用,导致高训练成本,阻碍了实际应用。这三个相互关联的挑战需要一个统一的框架来共同解决。
为了解决上述问题,我们提出了一种新颖且高效的偏差校正多尺度时空网络(BMSTN)用于多变量时间序列插补。BMSTN的核心贡献是一种偏差校正的图卷积机制(BGCN),它形式化了有偏但有价值的预定义图的概念(定义3),并通过有界的乘法修正来改进它,从而在纠正不准确边权重的同时保留可解释的结构信息(核心概念贡献)。在此基础上,BMSTN进一步集成了多尺度时间卷积模块(MTCN),该模块改编自现有的扩张卷积设计,以捕捉不同分辨率下的动态,以及轻量级图卷积GRU(Lite-GCGRU),通过三态门设计实现了33%的参数减少(实际工程贡献)。具体来说,该框架包括主要值特征生成(V-FG)模块、高级时空特征聚合(STFA)模块和解码模块。V-FG模块使用Lite-GCGRU生成主要的完整值序列和特征表示。STFA模块通过多尺度TCN(MTCN)和偏差校正的图卷积网络(BGCN)模块进一步捕捉多尺度时间动态和偏差校正的空间依赖性。最后,解码模块生成精细的插补结果。
简而言之,我们的主要贡献总结如下:
  • (1)
    我们形式化了有偏但有价值的预定义图的概念(定义3),并提出了一种基于原理的偏差校正图卷积机制(方程13),该机制通过有界的Sigmoid门控机制乘法修正预定义的边权重,同时保留原始拓扑。这是BMSTN与现有自适应图方法的区别所在。
  • (2)
    基于这一核心思想,我们进一步整合了以下内容,构建了一个完整的插补框架:(a)多尺度时间卷积模块(MTCN),它适应现有的扩张卷积技术以捕捉插补上下文中的不同分辨率下的动态;以及(b)轻量级图卷积GRU(Lite-GCGRU),通过三态门设计实现了33%的参数减少,从而显著节省了训练时间。
  • (3)
    我们在三个真实世界数据集上进行了广泛实验,证明BMSTN在所有考虑的设置中都达到了最先进的插补性能,同时训练时间减少了30%以上。消融研究和进一步分析证实了每个模块的单独有效性。
  • 本文的结构如下。第2节回顾了关于时空GNN和多变量时间序列插补的相关工作。第3节介绍了我们的BMSTN。第4节详细介绍了我们的方法。第5节报告了实验结果。最后,第6节总结了结果并讨论了未来的研究方向。

    章节片段

    时空GNN

    近年来,已经开发了时空GNN [20],[21],[22],[23],[24],用于分析来自不同领域(如交通[25],[26],航班延误[27],城市犯罪[28]和流行病预测[29])的多变量时间序列。它们通常由GNN [30],[31]组成,用于处理空间依赖性,以及时间神经网络[32],[33],用于处理上下文动态。具体来说,李等人[30]引入了扩散卷积层并将其集成到

    初步介绍

    在本节中,我们介绍了问题的表述和一些必要的图相关定义。

    方法论

    在本节中,我们介绍了BMSTN,这是一种创新且高效的插补框架,用于处理不完整的多变量时间序列。BMSTN通过三个精心设计的模块利用了潜在的上下文动态和特定任务的空间依赖性:主要值特征生成(V-FG)模块、高级时空特征聚合(STFA)模块和解码模块。更具体地说,主要的V-FG模块是一个轻量级循环图卷积网络,即Lite-RGCN,

    实验

    在本节中,我们在三个真实世界数据集上进行了广泛实验,以评估BMSTN的性能。以下小节展示了插补性能和时间成本的实验结果,并提供了相应的解释。

    结论、局限性和未来工作

    在本文中,我们设计了一种创新且高效的插补框架BMSTN,用于处理具有缺失值的多变量时间序列,其中主要的V-FG模块用于粗略插值和特征生成。随后,由MTCN和BGCN两个模块组成的高级STFA模块被用来建模潜在的时空依赖性。它们的输出随后被连接起来作为解码模块的输入,以进行精细插补。在几个

    CRediT作者贡献声明

    莫世兵:撰写——原始草稿,方法论,形式分析,数据整理,概念化。阮浩阳:可视化,验证,方法论。袁凯欣:撰写——原始草稿。滕向义:撰写——审阅与编辑,资金获取。刘静:撰写——审阅与编辑,资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    莫世兵于2023年从中国华南农业大学获得电子信息技术学士学位,目前正在西安电子科技大学攻读计算机科学技术博士学位。他的研究兴趣包括VLSI物理设计的人工智能、图基础模型、图神经网络和数据挖掘。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号