基于空间信息瓶颈图结构学习的工业过程多变量时间序列预测方法

《Journal of Manufacturing Systems》:Spatial information bottleneck graph structure learning based multivariate time series prediction for industrial processes

【字体: 大 中 小 】 时间:2026年02月12日 来源:Journal of Manufacturing Systems 14.9

编辑推荐:

  徐迅|郝光荣|曾贤毅|陈雷|李海健 中国上海201620,东华大学,教育部数字化纺织服装技术工程研究中心 摘要 基于预测的图结构学习通过识别预测波动的潜在原因,提升了预测精度与可解释性,因此对工业过程监控具有特殊价值。然而,由于存在多种物理测量指标以及传感器布局冗余

  徐迅|郝光荣|曾贤毅|陈雷|李海健
中国上海201620,东华大学,教育部数字化纺织服装技术工程研究中心

摘要
基于预测的图结构学习通过识别预测波动的潜在原因,提升了预测精度与可解释性,因此对工业过程监控具有特殊价值。然而,由于存在多种物理测量指标以及传感器布局冗余,工业数据往往具有强烈的时空异质性,这给有效的图结构学习带来了巨大挑战。此外,为提高预测精度而增加回看窗口长度时,时间序列的异质性会引入更多噪声,使得图结构学习方法难以建立有效的边连接;而同质时间序列则会产生冗余的空间特征,导致基于预测的图结构学习方法失效。本文首次探讨了如何在多变量时间序列预测模型中控制所学图结构的密度,以实现预测精度与结构精度之间的合理平衡。本文提出了一种空间信息瓶颈(SIB)方法,同时解决上述两个问题。该方法引入了空间特征优先原则,使得预测模型在处理同质时间序列对时优先利用邻域节点特征进行预测,从而帮助图结构学习在同类时间序列对之间建立连接。其次,SIB对每个时间序列特征进行独立信息压缩,不同程度地抑制异质时间序列中与预测无关的噪声,从而减少长序列输入下噪声对预测精度的影响。在具有可用真实图结构的工业过程数据上的实验表明,基于该方法的模型不仅提升了预测精度,还生成的图结构与物理过程相一致,便于结果解读。

引言
在工业信息化快速发展的时代,传统制造工艺积累了大量运行数据。这些数据主要是由工艺变量构成的多变量时间序列,通常具有异质性、冗余性和高维度等特征,这些都是工业大数据的典型特点。然而,这类数据很少能直接揭示关键产品质量变量及其与工艺参数的动态关系,限制了多变量时间序列模型在现实工业应用中的预测性能。为解决这一难题,本文利用运行数据揭示工业系统中多个变量之间的内在依赖关系。通过建模这些潜在关系,所提出的方法显著提升了预测精度和生产效率,从而有助于现代工业操作中的更有效监控、决策和维护[1]、[2]。

在数据驱动的多变量时间序列预测任务中,有效表示时间特征和空间特征仍是模型设计的关键方面[3]。时间特征反映单个时间序列内的历史模式,而空间特征则捕捉不同变量之间依赖关系所带来的预测信息。那些仅利用时间信息、独立处理每个时间序列的模型被称为通道独立(CI)模型。相比之下,那些同时考虑时间动态和跨通道依赖关系的模型则被称为通道依赖(CD)模型[4]。尽管CI模型在许多数据集上取得了优异的预测性能,但由于工业过程数据具有显著的交互特征,CD模型被更广泛地应用。图神经网络作为CD模型中最具代表性的类别,通过利用图结构化表示来建模变量间的空间依赖关系,因此在各种工业过程预测任务中表现出色。基于GNN的多变量时间序列预测性能在很大程度上取决于图结构的准确性。工业过程中的图结构主要可分为预定义图结构和数据驱动的图结构学习(GSL)[5]。预定义图结构主要来源于领域特定的知识源,如流程工业中的管道仪表图[P&ID][6]、控制逻辑图,以及经验丰富的操作员所积累的实践知识[7]。然而,通过领域知识构建的图结构可能并不适合用于多变量时间序列预测。另一种构建预定义图结构的方法是利用数据中的统计关系,如皮尔逊相关系数[8]、余弦相似度[9]或互信息系数[10]。这些方法能够捕捉全局数据集层面的统计依赖关系,但无法自然适应短期时间尺度上的动态依赖关系。

许多GSL方法已被整合到预测模型中,它们通过优化预测误差间接推断出静态或动态图结构。基于GSL的预测模型假定预测精度与所学图结构的精确度之间存在正相关关系,利用神经网络自动从数据中学习更复杂的交互关系。GSL方法主要分为因果GSL[11]、[12]和非因果GSL[5]、[13]、[14]。因果图学习的基本假设是因果关系至少需要一个时间步的延迟,但在采样间隔较长的工业过程中,这一假设往往不成立。本研究聚焦于非因果GSL,它通过不强制要求双向交互关系来放宽这一约束。

在基于GSL的多变量时间序列预测中,研究人员主要关注预测精度,却忽视了所学图结构是否与领域知识相符的问题。例如,在化学工程[14]和水处理[15]等安全关键的工业领域,人们采用各种GSL方法来提升预测性能。在如此高风险的应用场景中,亟需采用双重评估框架,不仅要提升预测精度,还要评估所推断出的图拓扑结构的合理性与可解释性。

工业过程时间序列数据同时具有空间异质性和同质性特征(如图1所示)。空间异质性不仅源于不同的传感器类型[16],还源于单个时间序列内部随时间变化的数据形态[17]。空间异质性指的是不同时间序列在时间模式上的显著差异。在工业过程中,即使是机制上相互关联的时间序列,也会表现出不同的时间模式特征。我们的实验发现,具有不同程度异质性的时间序列会对预测精度和GSL的精确度产生不同影响。考虑到每个时间序列中可能存在的不同时间依赖长度,我们通过延长回看窗口长度来提升整个数据集的预测精度。然而,这种提升是有代价的:更长的输入序列会引入更多噪声和虚假相关性,从而导致所推断出的图拓扑结构精度下降。

对于具有异质交互特性的时间序列,延长的回看窗口可能会引入噪声传播,进而降低预测精度,而GSL模块则可能忽略本应存在的交互边。相反,对于高度同质的时间序列对——比如来自冗余传感器的数据——无论回看窗口长度如何,GSL方法都难以识别出有意义的连接。在这种情况下,冗余传感器之间所学到的边强度会受到模型初始化的极大影响,表现出高度的随机性,从而导致图结构不一致且不可靠。不过,如图1中故意为故障检测而设计的冗余液位传感器对所示,若忽视这些预期的相关性,所推断出的图结构将与工业系统的实际功能和安全机制相矛盾。

本文研究了回看窗口长度、预测精度与GSL精度之间的相互作用。我们发现,延长回看窗口可以通过利用时间模式提升预测精度,但同时会降低空间特征的贡献。这对GSL来说是一个重大挑战:在工业过程中,传统的GSL方法可能无法提供可解释的结果。为此,我们提出了空间信息瓶颈(SIB)方法,以解决长回看窗口下GSL精度下降的问题。SIB框架分为两个阶段:

噪声鲁棒压缩。SIB首先对每个时间序列的历史信息进行独立压缩,以应对在较长时间跨度下异质时间序列携带的不同程度的与预测无关的噪声问题,从而提升整体预测精度。

空间特征优先。为加强空间信息在结构学习中的作用,SIB促使在预测过程中优先使用邻域特征。在涉及同质时间序列的场景中——比如冗余传感器对——该机制鼓励GSL模块建立并强化有意义的空间边。这样一来,所学到的图结构就能更好地符合领域特定的拓扑先验,从而提升可解释性,并与底层物理系统设计保持一致。

本文的主要贡献如下:
1. 我们提出了SIB方法,用于解决具有不同程度时空异质性的多变量工业时间序列中的GSL问题。通过噪声鲁棒压缩和空间特征优先策略,SIB既提升了GSL结果的精度,又保证了预测的准确性。
2. 我们通过变分推断制定了基于SIB的目标函数,并提出了具有节点独立编码的图交互多层感知机(GIM)框架。GIM通过针对不同节点设置不同的压缩强度来应对由异质性引发的噪声,从而优化预测精度;同时,通过掩码机制优先提取空间特征,增强同质序列之间的相关性,进而提升结构学习的精确度。
3. 我们将GIM应用于包含多个子系统的聚酯纤维聚合过程。实验结果表明,基于SIB的GIM不仅能准确预测工艺变量,还能为预测结果提供与现实世界物理交互一致的动态图结构解释。

符号说明
滑动窗口法用于生成形式为S={X,Y}的预测样本,其中X∈RB×N×T为输入,Y∈RB×N×F为预测输出。此处,T和F分别代表回看窗口长度和预测范围。N为变量(或传感器通道)的数量,B代表批量大小。除非另有说明,后续符号中将省略批量维度B以简化表达。X中的第i个单独时间序列记为Xi∈RT。

问题陈述
时间序列中的时间异质性至今仍只是一个概念性表述,尚未形成严格的数学形式化定义。根据近期关于时间序列异质性的研究[17]、[31]、[32],我们用定义1来界定时空异质性。

定义1 时空异质性
时空异质性指的是两个数据窗口之间的数据分布存在显著差异,其中,沿时间维度比较窗口时表现为时间异质性,而……

理论分析
MPGNN中的信息流。图5(a)展示了MPGNN层的架构,它由边缘神经网络fe和节点神经网络fv组成。每个节点会根据底层图结构A聚合来自其邻居的特征。但由于A是未知的,因此需要借助GSL模块来推断出一个数据驱动的近似值A?。基于A?,MPGNN中的多变量时间序列预测模型可表示为:A?=fg(X)Hi=femb(Xi)v→e:E(i,j)=A?ijfe(

实验设置
数据集。聚酯纤维聚合过程(PFPP)主要由四个子系统构成,即浆料混合系统(SMS)、酯化系统(ES)、预缩聚系统(PPS)和最终缩聚系统(FPS)。PFPP的生产过程示意图及其P&ID如图8所示。数据采样时间为2021年3月1日0:00:00至2021年3月15日23:59:00,共计21,600个时间步,采样间隔为1分钟。我们首先确定了关键工艺变量。

结论
本文提出了基于多变量时间序列预测的图结构学习方法SIB。SIB采用一种节点独立的压缩策略,通过分别处理每个节点的时间动态来灵活应对数据异质性。该方法通过独立压缩分离时间特征和空间特征,再借助基于空间特征优先原则的节点选择机制来强调空间依赖关系。这样一来,就能够……

CRediT作者贡献声明
徐迅:撰写——初稿。郝光荣:撰写——审阅与编辑。曾贤毅:监督。陈雷:监督。李海健:软件实现。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金(62403121)、上海浦江计划(22PJ1423400)、上海帆船计划(编号22YF1401300)以及东华大学中央高校基本科研业务费与研究生创新基金(CUSF-DH-D-2023042)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号