基于持续学习的概率PLS方法，用于自适应多模态质量相关过程监控

《Chemometrics and Intelligent Laboratory Systems》：Continual Learning-Enabled Probabilistic PLS for Adaptive Multimode Quality-Related Process Monitoring

多模式工业过程监控中，本文提出融合概率部分最小二乘（PPLS）与改进Riemann流（MRWalk）的CPPLS-MRWalk方法，通过动态平衡模内特征提取与跨模知识保留，结合潜在变量分解实现质量相关与无关故障的有效区分。

　　

吴一博|李帅|傅阳|吴梦清|贾东妮|王一庚

中国科学院沈阳自动化研究所，中国沈阳110016

摘要

工业过程越来越多地在多种操作模式下运行，当出现新的操作模式时，预先训练的过程监控模型无法及时响应，也无法准确区分与质量相关和质量无关的故障。为了解决这一动态适应挑战，本文提出了一种新颖的并发概率偏最小二乘法和改进的黎曼行走（CPPLS-MRWalk）方法，用于自适应的多模态质量相关过程监控。具体来说，采用了黎曼行走（RWalk）的持续学习策略来保留来自先前模式的信息，并将其嵌入到概率偏最小二乘法（PPLS）中，使模型能够监控多种操作模式。同时，引入了一种改进的RWalk策略，该策略结合了任务相似性，以防止由于过度正则化导致的性能下降。此外，我们推导出了正则化嵌入PPLS框架的解决方案，创新性地制定了目标函数，以动态平衡工业过程中连续操作模式之间的特征提取和模式间知识保留。另外，还开发了一种针对PPLS的潜在变量分解方法，使模型能够区分与质量相关和质量无关的故障。通过在田纳西东曼（TE）化学过程和实际贫铁矿矿物加工过程中的实验验证，证明了所提出方法在质量相关过程监控方面的优越性能。

引言

过程稳定性和产品质量是现代制造系统的基石[1]。然而，随着工业系统复杂性的增加和生产过程向更高灵活性发展，原材料批次变化、产品规格的频繁调整以及设备维护和操作策略的变化等因素导致了多种操作模式（多模态过程）的出现。这些模式指的是具有不同操作参数的独特过程条件，包括负载和设定值的变化，以及过程数据的统计特性的差异。因此，过程监控变得越来越具有挑战性[2]，[3]。在过去的二十年里，数据驱动的方法在这一领域取得了显著进展，其中多变量统计过程监控（MSPM）成为最突出和广泛采用的框架之一[4]，[5]。代表性技术包括主成分分析（PCA）[6]、独立成分分析（ICA）[7]、偏最小二乘法（PLS）[8]，[9]及其概率对应方法[10]，[11]，[12]。然而，这些传统方法从根本上缺乏区分与质量相关和质量无关的故障以及监控多种操作模式的能力。

为了解决多模态监控的挑战，已经开发了两种主要策略：单模型方案和多模型方案[13]。单模型方案中的一个关键挑战是如何减轻多模态工业过程中固有的多模态数据分布的不利影响。例如，Song等人[14]提出了一种流形对齐框架，该框架通过非线性嵌入将原本的多模态数据输入空间转换为单模态分布。另一种研究方向专注于自适应方法，通过设计更新规则来动态调整监控模型以实现多模态监控[15]。最近，开发了更先进的多模态过程监控方法来利用不同操作模式之间的关系。例如，提出了一种具有流形意识和稀疏性判别能力的协作表示模型，通过构建模式间和模式内的亲和结构以及共享表示矩阵来捕捉共享和模式特定的特征。此外，引入了稀疏性约束以增强变量选择并提高监控性能[16]。然而，这些方法通常依赖于从历史数据中学习协作表示，可能在有效适应新出现模式的同时仍面临保持先前学习知识的挑战。

多模型方案分别识别每个模式并构建相应的模型，然后通过模式识别将监控数据映射到最优子模型，以实现在线过程监控[17]，[18]，[19]。近年来，开发了多种先进的多模型策略，特别是基于概率建模和非参数贝叶斯学习的策略。具体来说，Yao等人[20]基于高斯混合模型（GMM）构建了一个分层分布式质量监控框架，以实现精确的多模态质量相关故障检测。Cao等人[21]也在GMM的基础上利用了不同模式之间的Kullback-Leibler（KL）散度作为潜在变量来实现多模态过程监控。Wang等人[22]指出，基于GMM的方法需要关于多模态过程中模式数量的先验信息，随后使用狄利克雷过程在没有先验知识的情况下实现自动数据聚类。此外，最近的研究探索了更灵活的聚类和模型选择机制，以增强多模型框架在复杂多模态过程中的适应性[23]。然而，尽管有这些进步，大多数多模型方法仍然依赖于在离线训练阶段覆盖所有操作模式的完整数据集。这样的要求限制了它们在实际场景中的适用性，因为在实际场景中新的模式会随着时间的推移依次出现。面对这些变化条件，模型通常需要从头开始重新训练，从而导致巨大的计算成本和增加的数据存储需求[13]，[24]，[25]。

操作模式的顺序出现是实际工业过程中的一个常见特征。这一特征激发了将持续学习集成到过程监控框架中的想法[26]。这样的方法使模型能够随着新数据的到来逐步更新，同时保留先前学习到的知识，从而减轻灾难性遗忘并提高对变化操作条件的适应性[27]，[28]。基于正则化的持续学习方法根据参数的估计重要性来约束参数更新，在这一背景下得到了广泛应用[29]。代表性方法包括弹性权重整合（EWC）、突触智能（SI）、记忆感知突触（MAS）和RWalk[30]，[31]，[32]。这些方法在维持模型性能方面表现出有效性，并已成功应用于多模态过程监控场景[24]，[26]，[31]。然而，现有研究主要关注过程监控任务，对多模态过程中的质量相关监控关注较少。因此，生成的监控统计可能仍然主要由与质量无关的变化所主导，导致冗余警报和实际可靠性降低[33]。在这些方法中，RWalk通过结合EWC和SI的优势提供了一个统一的框架，从而更稳定地估计参数重要性。然而，它以统一的方式处理这两个组成部分，而没有考虑它们在不同条件下的潜在不同贡献。此外，它缺乏明确的机制来减轻过度正则化，这可能会限制模型在适应新出现模式时的灵活性[34]。

为了解决上述问题，本文提出了一种名为CPPLS-MRWalk的新方法，用于多模态工业过程的质量相关监控。该方法首先使用PPLS对单个模式进行建模。随后，使用改进的RWalk方法来估计模型参数的重要性，从而保留当前模式的重要信息。随着新模式的出现，保留的模式信息被纳入到新模式的建模中；这种连续更新使PPLS能够有效监控多模态过程。最后，考虑到传统PLS的固有局限性，该方法通过分解潜在变量来实现与质量相关和质量无关故障的单独检测；这种分解被称为并发PPLS（CPPLS）。主要贡献简要如下：

(1)

开发了一种用于多模态工业过程质量相关监控的新CPPLS-MRWalk框架，在顺序出现的模式下实现可靠的检测和有效的质量相关与质量无关故障区分。

(2)

提出了一种改进的RWalk策略，该策略引入了加权融合和滑动平均来增强重要性估计的稳定性，同时结合任务相似性来动态调整正则化强度。与标准RWWalk相比，所提出的策略减轻了等权重和过度正则化的限制，从而在多模态过程监控中实现了知识保留和模型适应性之间的更好平衡。

(3)

开发了一种新算法，将正则化系统地纳入PPLS框架中，从而得到一个具有知识保留更新机制的重新构建的模型，有助于有效保留先前模式信息。与简单的集成不同，引入的正则化修改了原始模型结构，并需要专门的推导来确保参数估计的可行性。

(4)

此外，开发了一种新的分解策略，以克服传统PLS中固有的不平衡分解问题，从而更有效地分离与质量相关和质量无关的变化，提高故障检测性能。

部分摘录

PPLS

PPLS提供了对传统PLS的概率重新解释，并通过显式噪声建模进一步增强了潜在变量的精确提取。设过程变量$$和质量变量$$表示观察到的随机行向量，而$$和$$表示它们对应的潜在变量，维度为$$[12]。噪声成分通过随机向量$$，$$和$$进行建模。正式模型结构如下[12]：$$其中参数加载矩阵$$