基于二维注意力的动态潜变量建模用于实时批次过程监控

《Process Safety and Environmental Protection》：Two-Dimensional Attention-Based Dynamic Latent Variable Modeling for Real-time Batch Process Monitoring

　　

摘要

现代批次过程面临来自反馈控制系统和普遍存在的设备惯性的重大动态挑战。然而，现有的监测方法通常忽略这些动态考量。当前方法主要强调时序采样序列中的动态性，而忽视了批次序列之间的动态变化。为了克服这些局限并增强批次过程建模和监测的实际适用性，本研究提出了一种基于二维注意力机制的动态潜变量模型，能够同时捕捉时序维度和批次维度的动态特征。所提出的方法通过三种不同的模型配置——变量注意力、样本注意力和整合变量-样本注意力——利用注意力机制来识别潜变量之间随时间变化的关系。该框架能够更有效地提取每个样本的动态特征，从而促进在线应用中的批次内实时监测。通过一个数值案例研究和一个工业青霉素发酵过程验证了所提出方法的有效性。在数值案例中，基于注意力的方法实现了100%的故障检测率，且无虚警。对于工业过程案例，所提出的方法能够立即且准确地100%检测出故障1和故障2的故障样本，对故障3的检测率为89%，优于大多数现有模型——这些模型往往出现虚警或较低的检测率。这些对比结果清楚地表明了所提出方法在捕捉过程动态性和提升监测性能方面的优越性。

引言

现代批次过程凭借其固有的灵活性、操作机动性、产品多样化和过程可重复性，已在食品加工、生物制药、半导体和精细化学品等多样化生产行业中得到广泛应用（Rendall, Chiang, and Reis, 2019）。然而，这些过程日益增长的复杂性和大规模实施在管理可能导致的重大财产损失或安全隐患的潜在异常事件方面带来了显著挑战。因此，开发能够在复杂工业环境中快速准确地检测异常的可靠监测系统，已成为实践工程师和学术研究者的关键优先事项（Qin and Chiang, 2019, Li et al., 2025）。过程监测方法通常分为三种主要途径：基于模型的方法、基于知识的方法和基于数据的方法（Yin et al., 2014, Wang et al., 2021, Zhang et al., 2026）。尽管基于模型和基于知识的方法在特定应用中展现了稳健性能，但其更广泛的工业实施往往受到获取准确机理模型和全面专家知识固有困难的限制。在许多工业环境中，获取此类信息存在显著挑战，在当前的技术局限和可用专业知识条件下，可能实际上无法实现。

相反，基于数据的方法已获得极大关注，并在当代工业环境中得到越来越多的实施（Qin and Chiang, 2019, Gao et al., 2025）。这些方法不需要对底层过程机理的大量先验知识，从而为过程监测应用提供了灵活且可扩展的替代方案。此外，工业设施内产生的大量易于获取的数据显著加速了基于数据技术的发展和部署，使其成为解决现代工业过程监测需求的有前景的方案。目前，许多研究机构和学者通过聚焦于故障检测与诊断、风险评估以及剩余使用寿命估计的创新研究，为处理安全性和可靠性做出了重大贡献。例如，纽芬兰纪念大学的风险、完整性与工程安全中心主要针对复杂工业系统进行了开创性研究，利用基于数据的方法、统计模型和机器学习技术来解决过程监测、故障隔离和预测性维护中的关键挑战（Amin et al., 2021, Osarogiagbon et al., 2021）。

与传统连续过程不同，批次过程的数据通常组织成三维张量，涵盖不同批次各采样点的多个变量（Xiao et al., 2020）。在常规监测方法中，这些三维张量通常被展开为二维矩阵，随后对其应用统计方法（Zhou and Gao, 2020）。然而，这种展开方法存在两个显著局限性，损害了监测性能（Bagheri et al., 2015, You et al., 2025）：（1）数据结构扭曲：展开操作破坏了固有的批次数据结构并扭曲了变量相关性。（2）模型复杂性：由于数据维度增大和模型参数增加，生成的模型变得显著更复杂。

为了解决这些局限性，基于高阶张量的模型已成为批次过程分析中更有前景的方法（Fanaee-T and Gama, 2016, Liu et al., 2023）。这些基于张量的方法通过沿多个方向压缩数据来保留原始三维数据结构，从而无需展开操作即可建立更可靠和稳健的模型。尽管具有这些优势，张量模型面临一个关键局限：它们需要完整的批次数据进行分析，使得实时批次内监测在实际应用中变得困难。这一约束阻碍了基于张量的模型在批次过程监测应用中的广泛采用。

过程动态性在批次制造系统中构成了重大挑战，主要归因于反馈控制机制的大量实施和固有的设备惯性。研究界已开发出各种方法来解决这些根本问题（Qin et al., 2020, Zhu et al., 2020, Liu et al., 2024, Zhang et al., 2024）。数据增强技术，包括动态主成分分析（DPCA）（Zhang et al., 2020）和修改后的二维DPCA（2-DPCA）（Yao et al., 2009），已成为捕捉批次过程中动态特征的标准方法。2-DPCA方法同时对相邻批次和单个采样点建模，以增强动态特征提取能力（Yao et al., 2009）。然而，这些方法引入了计算复杂性，并且在确定增广批次和样本配置的最优维度方面仍面临持续挑战。一种整合动态核典型变量分析的新型全局建模方案已被开发，以有效地捕捉非线性数据中的双向动态性，从而改善故障检测性能（Zhang et al., 2024）。该方法同时考虑时间维度和批次维度的动态性，并利用核技术处理非线性。子空间辨识模型提供了一种替代框架，利用历史过程数据开发状态空间表示并估计系统参数以实现动态表征（Ding, 2014）。动态潜变量模型的最新进展在通过连续操作中依次考虑潜变量来处理过程动态性方面展现了有效性（Dong and Qin, 2018, Dong et al., 2020）。为了解决传统动态潜变量方法侧重于潜变量预测而非优化直接预测原始质量变量的局限性，最近提出了一种新的潜可预测方差回归算法（Qu et al., 2026）。慢特征分析（SFA）通过建模数据的一阶导数分析展现了提取具有缓变时间特征的潜特征的极大潜力（Liu et al., 2023, Shang et al., 2018）。尽管SFA具有实施简单和可解释性方面的优势，但由于需要展开操作，其在批次过程应用中的采用有限。认识到这一实际挑战，注意力机制——受人类认知注意力分配的启发——近年来已获得重要地位（Liu et al., 2017）。这些机制使模型能够选择性地关注相关信息，同时过滤掉无关细节，从而显著增强性能（Zhou et al., 2025）。注意力机制在深度学习架构中得到了广泛采用并取得了相当成功（Shi et al., 2015, Fu et al., 2026），它们能够在实时调整向量之间的加权，使其对建模时间动态性和演化现象特别有效（Zhang et al., 2025）。迄今为止，注意力机制主要是在深度学习框架内进行的探索。然而，这些模型通常需要大量训练数据，这为在数据可能有限的数据实际工业应用中实现稳健性能带来了挑战。

有效的过程监测需要在批次执行期间具备实时故障检测能力，而非批次后分析。然而，利用变量展开技术的批次内监测方法继承了数据展开方法的固有局限性。现有文献表明，大多数现有监测框架是设计用于批次结束评估而非实时实施的。许多工业批次过程表现出不同的多阶段运行特征，其中动态特征可能在不同的运行阶段发生显著变化或表现出时间变异行为。这种复杂性需要开发能够在不同运行条件下进行实时异常检测的稳健监测系统（Liu et al., 2023）。为批次过程开发可靠的实时监测模型仍然是过程系统工程领域的一个关键且持续存在的挑战。在克服当前方法局限性的同时兼顾多阶段过程动态性，代表了推进批次过程监测能力的重大机遇（Wang and Dong, 2025）。

本文提出了一套用于实时批次过程监测的新型二维基于注意力的动态潜变量建模方法。为了有效地捕捉时间变异动态性，开发了三种不同的注意力机制：一种用于计算变量之间的权重，一种用于样本，一种整合了样本和变量。这些机制增强了从过程数据中提取潜动态时间变异特征的能力。基于提取的特征，建立了用于在线应用的一种监测统计量。这种方法能够更精确、更有效地提取每个样本的动态特征，从而促进批次内实时监测能力。本文的组织结构如下：第2节介绍问题描述和背景，第3节详细说明所提出的二维动态潜变量模型及其基于注意力的变体以及其在在线监测系统中的应用，第4节通过案例研究展示该方法，包括数值模拟和青霉素发酵过程应用，第5节提供结论和未来研究方向。

问题描述

批次过程中收集的数据通常表示为三维张量X∈?^I×J×K，如图1左上角所示，其中I、J和K分别表示批次数、变量数和采样点数。假设每个批次收集的样本数一致。如果各批次间数据长度不一致，可使用基于批次长度同步的监测方法，如动态时间规整，将不等长数据对齐为等长数据。

基于注意力的二维动态潜变量模型

本研究提出基于注意力的二维动态潜变量模型以增强批次过程监测性能。3.1节介绍统一的二维动态潜变量模型，3.2节详细介绍包含注意力机制的改进时间变异动态模型，3.3节探讨在线监测应用。

案例研究

为全面评估所提出方法的有效性和优势，采用数值案例研究和工业青霉素发酵过程进行比较分析。由于大多数先前方法基于变量方向或批次方向展开，案例研究中仅考虑二维动态建模方法以确保公平比较。

结论

本研究提出了用于工业过程监测的二维基于注意力的动态潜变量模型，解决了捕捉此类系统固有时间变异动态性的挑战。通过整合注意力机制，所提出的模型有效地提取并适应不断演变的动态特征，为多种研究目标提供了稳健的框架。提出了统一的注意力机制动态模型框架，专为满足特定工业需求而定制。

伦理批准

不适用。本研究不涉及人类参与者、临床试验或动物实验。

资金支持

本工作部分由中国国家自然科学基金资助（批准号62573081）；部分由辽宁省自然科学基金资助（批准号2024-BS-017）；部分由中央高校基本科研业务费资助（批准号3132026105）；部分由台湾科技部资助（批准号NSTC 114-2221-E-033-007）。

作者贡献声明

Junghui Chen：写作——审阅与编辑、监督、方法论、形式化分析、概念化、资金获取。Feihong Gan：软件、方法论、可视化。Jingxiang Liu：写作——初稿撰写、可视化、方法论、形式化分析、资金获取、软件。

利益冲突声明

作者声明，他们不存在任何可能影响本文所报告工作的已知经济利益或个人关系。

Jingxiang Liu | Feihong Gan | Junghui Chen