用于同时进行过程数据清洗与稳态检测的强大时间序列建模方法

《Computers & Chemical Engineering》：Robust time series modelling for simultaneous process data cleaning and steady state detection

　　张希龙|张雅妮|蒋思琪|向曙光|孙晓燕|陶少辉
中国青岛市266042，青岛科技大学化学工程学院

摘要
在通过工业过程时间序列数据检测稳态时，严重的误差往往会导致检测不准确以及数据质量不可靠。传统方法通常将数据清洗和稳态检测作为独立的步骤依次进行，这使得整体性能容易受到剩余清洗误差的影响，并且在噪声环境下容易出现误差传播。为解决这些问题，本研究提出了一种鲁棒时间序列建模（RSTM）方法，该方法在统一的時間序列回归框架下，以在线滑动窗口的方式同时实现数据清洗和稳态检测。该模型通过有界影响ρ函数和基于局部趋势的残差分析来抑制严重误差的影响，从而在单一建模步骤中重建精确的过程变量值并识别稳态条件。通过连续搅拌罐反应器（CSTR）的动态仿真数据以及延迟焦化装置（DCU）的工业流程数据验证表明，所提出的RSTM方法能够有效消除噪声和异常值，同时保留内在的时间趋势。此外，即使在测量数据严重受污染的情况下，该方法也能保持稳定可靠的稳态判断。由于避免了传统两阶段方案中存在的误差传播和标准不匹配问题，RSTM为实时工业过程监控与控制提供了一种既鲁棒又具有高计算效率的框架。

引言
化工行业是现代经济的支柱，对全球GDP和就业贡献巨大。据最新估算，化工行业约占全球GDP的5.7万亿美元，为1.2亿人提供就业机会（Economics，2019）。在全球化及可持续发展需求的推动下，化工企业正在通过采用工业物联网、人工智能和大数据分析技术加速数字化转型。数字化不仅提升了生产效率和产品质量，还优化了资源分配并减少了排放，从而助力该行业向低碳发展转型。在此背景下，数据清洗和稳态检测已成为实现可靠决策的关键手段。数据清洗通过降低传感器噪声、漂移和异常值来提高信息质量，而稳态检测则用于识别稳定的运行区间。后者是实时优化（RTO）的先决条件，同时在数据对齐、故障检测和模型校准中也起着重要作用。

在数据清洗领域，Leys等人（Ley et al., 2013）提出将中位数绝对偏差（MAD）作为鲁棒的异常值衡量指标，并结合局部估计散点平滑法（LOESS），从而提升方法的鲁棒性和清洗效果。Wei等人（Li et al., 2023）开发了一种融合长短期记忆网络（LSTM）和自编码器（AE）的混合深度学习模型，用于室内空气质量监测中的异常检测。更全面地，C?té等人（2024）对101项关于机器学习数据清洗的研究进行了系统综述，涵盖了特征清洗、标签校正、实体匹配、异常值检测、缺失值填补以及综合策略等内容。

在稳态检测方面，Cao等人（Cao and Rhinehart, 1995）提出了一种基于R统计量的滤波方法，用于区分稳态和瞬态。Dalheim等人（Dalheim and Steen, 2020）则引入了一种基于滑动窗口内的确定性线性趋势模型的高效方法，通过局部趋势分析快速识别稳态。Chen等人（Chen et al., 2023）提出了一种基于时间序列分析的燃气轮机诊断方法，可用于捕捉稳态和瞬态情况。随后，Chen等人（Chen et al., 2024）又开发了一种鲁棒的两步检测流程，首先利用变分模态分解（VMD）和贝叶斯优化进行噪声去除，然后再通过基于经验累积分布的异常值检测（ECOD）来消除孤立异常值。总体而言，这些方法丰富了稳态检测的方法体系，为准确性、鲁棒性和实时性能之间提供了不同的权衡选择。

近年来，一些基于先进深度学习的方法被提出用于处理非平稳的工业过程数据。例如，M2D-VAE采用自监督的概率时空表示学习策略，从存在缺失值的复杂高维过程数据中提取潜在特征（Dai et al., 2024）。这类方法在捕捉复杂的非线性依赖关系和多变量相关性方面表现出较强能力。然而，这类数据驱动的方法通常需要大量历史数据进行离线训练，且依赖于抽象的潜在表示，这可能限制其在工业环境中的可解释性和实时应用能力。

与此同时，也有大量研究致力于使用基于模型或信号处理的技术进行过程数据清洗和稳态检测。现有大多数研究将这两项任务视为顺序执行或松散关联的流程，即先进行数据清洗以消除噪声和异常值，然后再基于清洗后的数据独立进行稳态检测。例如，Milan Korbel等人（Korbel et al., 2014）提出了一种基于小波的方法，结合多尺度分解和软阈值去噪技术来支持稳态识别，而é. Thibault等人（Thibault et al., 2023）则提出了一种基于操作模式的框架，将稳态检测、数据对齐和模式识别相结合。尽管这些方法体现了预处理与状态识别之间的协调性，但它们仍然遵循单向处理流程，即清洗后的数据被传递到后续检测环节，如图1所示。

时间序列建模为克服这种分离提供了天然的统计基础，因为数据清洗和稳态检测本质上都与过程测量的时间结构密切相关（Wang and Wang, 2019; Wen et al., 2022）。从统计角度看，数据清洗旨在抑制违反潜在时间依赖关系的异常干扰，而稳态检测则旨在识别系统时间趋势在统计上不显著的稳定运行时段。通过明确建模过程变量的时间演化规律，时间序列方法使得这两个目标能够在统一框架内得到解决。尤其是，局部趋势模型的参数不仅能表征潜在的过程行为，还能为稳态评估提供量化的决策依据。在所提出的RSTM方法中，通过有界影响回归直接将鲁棒性嵌入到趋势估计过程中，从而在参数估计过程中自动降低异常观测值的权重（Javanfar et al., 2023）。同时，估计得到的斜率的统计显著性则为稳态检测提供了一致且易于理解的标准。这种统一处理方式避免了传统顺序清洗-检测流程中常见的不一致性和误差敏感性问题。

此外，由于时间序列模型与滑动窗口实现方式以及局部平稳性假设相兼容，因此非常适合用于在线工业应用（Valluru et al., 2018）。这些特性使得该方法仅需利用最新数据即可实现持续更新，因此所提出的RSTM特别适用于需要同时高效提升数据质量并实现可靠稳态识别的实时过程监控、控制和优化场景。

尽管将数据清洗和稳态检测整合到统一框架中在概念上颇具吸引力，但在实际操作中实现这种同步处理仍面临诸多挑战。在工业时间序列数据中，严重的测量误差往往与真实的工艺动态相互交织。诸如设定点变化或负荷波动之类的突然操作变化，可能会呈现出与异常值类似的数值特征，这使得使用传统预处理技术难以区分异常测量值与正常的瞬态行为。

此外，数据清洗和稳态检测本身追求的目标存在内在冲突。数据清洗通常旨在抑制噪声并确保数据的平滑性，而稳态检测则依赖于保留细微的趋势变化，以便准确识别状态转变。传统的平滑技术，如多点滤波，虽然能有效降低噪声，但往往会影响或延迟真实的状态转变特征，从而影响稳态识别的及时性和可靠性（Rhinehart, 2013）。相反，如果噪声抑制不足，则会在测量数据受污染的情况下降低检测标准的统计可靠性。

在传统的逐步处理框架中，数据清洗和稳态检测被视为独立的阶段，这些挑战会进一步加剧。当一个模型处理后的清洗数据被另一个检测模型进行分析时，两个阶段之间可能会出现统计上的不一致性（Bai et al., 2021, 2007）。这样一来，剩余的清洗误差可能会影响趋势估计，进而显著降低稳态分类的准确性，尤其是在传感器出现严重故障和工艺发生扰动的同时发生时。

此外，实际的工业应用还面临着严格的实时性要求。稳态检测必须在在线、滑动窗口模式下运行，且计算开销要尽可能小，同时还要具备对噪声、异常值和动态扰动的强鲁棒性。在这种条件下，要在单一分析框架内实现可靠的数据清洗和准确的稳态识别是一项艰巨的任务（Gowal et al., 2021）。为解决这些问题，本研究提出了一种基于鲁棒时间序列建模的统一框架，用于同时实现数据清洗和稳态检测。该方法在单一的鲁棒模型内同时估计局部工艺趋势并评估稳态条件，从而降低对剩余清洗误差的敏感性，提高检测的稳定性。通过动态仿真和工业案例研究验证了该方法的有效性，结果显示其在数据清洗和稳态识别方面都具有更好的鲁棒性。由于其在线实施且对数据量要求较低，该框架非常适合在噪声环境下的实时工业过程监控。

需要强调的是，本研究中所述的稳态是指过程变量围绕恒定均值波动，且不存在持续的系统性趋势的运行状态。尽管从更广泛的运行角度来看，周期性变化或循环式运行模式也是稳定的，但它们不符合这一稳态定义，因此不在本研究范围之内。相应地，所提出的RSTM框架适用于稳态或准稳态的工业过程，而非周期性或振荡式的过程。

虽然工业过程本质上是多变量的，但所提出的RSTM方法是针对单个变量构建的，旨在作为多变量稳态评估的基础构建模块。在实际应用中，通常是通过为关键过程变量应用一致的评估标准，再通过逻辑或统计规则将各个结果结合起来，从而判断稳态条件。因此，本研究重点关注单个变量的鲁棒建模和稳态检测，以便清晰展示所提框架的核心机制及其实际应用价值。

本文的其余部分结构如下：第2节介绍鲁棒时间序列模型，重点阐述用于稳态检测的ρ函数和滑动窗口趋势分析方法。第3节描述数据集、预处理流程及实验设计，并将所提框架与现有的异常值检测方法进行比较，突出其更优的清洗性能和检测精度。最后，第4节对全文进行总结，并探讨将鲁棒时间序列建模扩展到更复杂工业过程的潜在途径。

片段摘录
**用于稳态检测的时间序列建模**
为了利用过程数据检测稳态，采用步长为1的滑动窗口策略，在每个窗口内构建时间序列模型（Li et al., 2021; Qin et al., 2022）。在各种可用模型中，选择了确定性线性趋势模型（Dalheim and Steen, 2020），因为它结构简单、易于实现，且能有效捕捉过程变量中的趋势变化和偏差。本节的其余部分将对此进行详细说明。

**结果与讨论**
本研究中的所有数据预处理、稳态识别及后期分析均使用Python实现。RSTM模型是在Pyomo建模环境中构建的，然后使用IPOPT求解器进行求解。实验在一台配备2.10 GHz CPU和16 GB内存的笔记本电脑上进行。

为了全面评估所提RSTM的性能，同时使用了仿真数据集和工业数据集进行验证。评估主要关注两个关键方面：数据清洗。

**结论**
本研究提出了一种基于鲁棒时间序列建模的统一框架，用于同时实现过程数据清洗和稳态检测，旨在解决复杂工业运行条件下由异常值污染和决策不稳定性所带来的长期难题。通过将滑动窗口策略嵌入到鲁棒的趋势建模框架中，所提出的RSTM能够同时估计局部工艺行为，并通过统计方法评估稳态条件。孙晓燕：写作——审稿与编辑、监督、资源协调、资金筹措。陶少辉：写作——审稿与编辑、监督、项目管理、方法论设计、概念构思。