一种用于变采样率统计过程监控的无模型强化学习框架

《Engineering Applications of Artificial Intelligence》:A model–free reinforcement learning framework for statistical process monitoring with variable sampling rate

【字体: 大 中 小 】 时间:2026年09月22日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   - 提出了一种用于自适应过程监控的无模型强化学习框架。 - 通过马尔可夫决策过程学习采用VSS和VSI采样方案的采样策略。 - 基于神经网络的强化学习模型(NNQ-VSS和NNQ-VSI)优于基于Q表的强化学习模型(Q-VSS和Q-VSI)以及传统自适应控制图。 - 实现了更

  

- 提出了一种用于自适应过程监控的无模型强化学习框架。
- 通过马尔可夫决策过程学习采用VSS和VSI采样方案的采样策略。
- 基于神经网络的强化学习模型(NNQ-VSS和NNQ-VSI)优于基于Q表的强化学习模型(Q-VSS和Q-VSI)以及传统自适应控制图。
- 实现了更好的偏移检测和更高的采样效率。
- 自动成本参数调节机制在满足虚警和采样率约束的同时实现了更快的收敛。

## 引言

统计过程控制(SPC)是监控和改善工业过程稳定性的基本框架。控制图在检测异常变异和维护产品质量方面发挥着核心作用。统计过程监控涉及从生产或服务过程中收集数据,并通过控制图对其进行评估。控制图包括代表目标水平的中心线、定义可接受变异范围的上下控制限,以及随时间绘制的观测值。当过程统计量保持在控制限以内时,过程被视为处于受控状态;超出控制限的点则表明可能存在偏移或异常。传统控制图设计需要选择监控统计量(如均值、方差)、样本量和采样频率。这些选择决定了检测速度、虚警和操作成本之间的权衡。

通过这种方式界定过程,监控可被解释为不确定性下的顺序决策问题,其中每次采样都为下一动作提供信息——这一解释与强化学习范式天然契合。传统的休哈特型控制图采用固定的采样参数和决策限值,在动态或不确定的过程条件下可能效率低下。同样,传统控制图如指数加权移动平均(EWMA)和累积和(CUSUM)依赖于静态设计,限制了适应性。为提升性能,自适应方案——如可变样本量(VSS)和可变采样间隔(VSI)控制图——根据当前过程状态动态调整一个或多个控制图参数。VSS控制图根据监控统计量的位置调整样本量,通常在稳定条件下使用较小的样本量,而在怀疑不稳定时使用较大的样本量。VSI控制图调整连续采样之间的间隔,在潜在偏移附近缩短间隔,在稳定运行期间延长间隔。两种方法都旨在平衡检测效率和操作成本。然而,传统自适应控制图往往依赖于参数化假设或预定义的决策规则,这限制了其在复杂或非平稳环境中的灵活性。

与参数化控制图设计不同,所提出的基于强化学习(RL)的框架是完全数据驱动且无模型的,适用于复杂、非平稳或违反假设的过程。在强化学习语境中,"无模型"意味着智能体无需显式地掌握过程动态的数学或概率模型(如状态转移概率)即可学习有效的监控策略。在统计过程监控中,决策点天然存在:每次采样决策都会影响后续观测到的状态,形成马尔可夫结构。传统控制图和自适应控制图都具有马尔可夫性:在传统控制图中,下一状态取决于当前状态而不取决于所选动作——诸如"继续"或"报警"之类的决策改变轨迹但不改变下一状态观测值。然而,自适应控制图会主动影响下一状态:诸如调整样本量或采样间隔之类的动作直接影响其观测值。这种依赖于动作的转移自然地将问题框定为马尔可夫决策过程(MDP),凸显了自适应控制图设计与强化学习之间的联系。这些概念将在强化学习语境下以更正式的数学形式引入。

强化学习是机器学习的一个分支,智能体通过与环境的交互以及通过奖励或惩罚的反馈来学习做出顺序决策。通过试错,无需对环境有显式知识,智能体就能开发出最大化长期累积奖励的最优策略。与经典强化学习任务类似,过程监控涉及探索(收集更多样本以降低不确定性)与利用(基于当前证据触发报警)之间的权衡,这与自适应控制图中及时检测与虚警控制之间的平衡相呼应。强化学习问题被形式化为MDP(S, A, Pa(St,St+1), Ra(St,St+1), γ),其中S表示状态集,A表示允许动作集,Pa(St,St+1)为转移函数,Ra(St,St+1)为奖励函数,γ∈[0,1]为折扣因子。在MDP框架下,系统满足马尔可夫性质:下一状态仅取决于当前状态和所选动作,与过去轨迹无关。智能体与环境之间的整体交互如图1所示。

在图1中,St表示时间步t时的环境状态,At为智能体采取的动作,Rt为在该状态下执行该动作所获得的奖励。Q学习和SARSA等经典强化学习算法通过逼近价值函数来估计最优策略,无需对环境有显式建模。近年来,强化学习已成为优化和不确定性下顺序决策的强大框架,特别是在准确建模环境困难或不切实际的场景中。

尽管现有的自适应控制图效果显著,但大多数传统设计依赖于参数化假设和预定义采样规则,这限制了其在复杂或非平稳环境中的泛化能力。此外,这些设计通常需要大量分析推导或基于仿真的调参才能实现期望的受控性能指标,如目标平均运行长度(ARL)。

为克服这些局限性,本研究提出了一种基于强化学习的自适应控制框架,该框架通过与过程数据的直接交互自主学习最优采样策略。该模型将控制图设计表述为MDP,学习最优采样策略以平衡检测速度和采样成本,同时维持期望的受控ARL(ARL?)。具体而言,奖励函数整合了三个关键组成部分:(1)采样成本,惩罚过度数据收集;(2)延迟惩罚,反映过程偏移检测速度较慢的问题;以及(3)虚警成本,在受控过程被错误地报为失控时产生。该框架在统一的优化框架内明确地权衡监控效率、可靠性和操作成本,并支持在不同过程条件下实现无模型、数据驱动的自适应调整。

尽管强化学习已被应用于更广泛的过程控制领域,但很少有研究明确地将SPC表述为强化学习问题。现有研究主要使用强化学习来支持或增强传统控制图机制,而非开发完全基于强化学习的监控框架。因此,自适应监控本身在很大程度上仍依赖于针对特定应用的控制图设计和分析推导。例如,Chang和Park(2025)运用强化学习动态调整实时对比(RTC)控制图中的时间窗口参数,作为辅助调参机制而非替代控制图本身。类似地,Al-Buenain等人(2020)将Q学习集成到差分进化算法中以优化X?控制图经济-统计设计中的内部参数。在这两种情况下,强化学习都被用于参数调优,而非作为过程监控的主要决策框架。

本研究通过提出一种完全数据驱动、无模型的强化学习监控框架来弥补这一空白,该框架可直接使用标准SPC性能指标与传统控制图进行比较。与开发另一种针对特定应用的自适应控制图不同,所提出的框架将自适应统计过程监控表述为强化学习问题,采样策略通过直接与监控环境交互学习获得,监控决策由学习到的策略生成,而非从预定义控制图结构或分析设计的决策规则中推导而来。这种表述便于向多元监控和剖面监控问题扩展,无需新的分析控制图设计公式,并为在日益复杂的监控环境中整合更先进的强化学习算法提供了基础。

本文其余部分组织如下。第2节回顾了自适应控制图和强化学习在过程监控中应用的相关工作。第3节介绍了所提出的基于强化学习的模型,包括状态、动作和奖励结构的定义,以及求解方法和实施细节。第4节描述了实验设置并评估了在各种过程偏移下的性能。第5节基于田纳西伊士曼过程(Tennessee Eastman Process)基准提出了一个工业案例研究,展示了所提出框架在现实过程监控环境中的适用性。最后,第6节总结了主要发现并提出了未来研究的方向。

## 文献综述

人工智能(AI)的最新进展大大拓展了统计过程监控的范围。Chang等人(2026)的全面综述确定了SPC中AI的主要应用领域,包括故障分类、控制图模式识别、异常检测和数据驱动过程监控。代表性研究包括基于机器学习的控制图(Mukhtiar等,2024)、基于人工神经网络(ANN)的AI剖面监控等。

## 提出的模型

本节介绍了两个用于单变量过程均值监控、采用可变采样率的基于强化学习的模型。离散状态强化学习模型使用表格表示来描述离散状态,而连续状态强化学习模型则采用神经函数逼近来处理连续状态。每个模型都有两个自适应变体:VSS(Q-VSS、NNQ-VSS)和VSI(Q-VSI、NNQ-VSI),区别在于采样自适应是应用于样本量(VSS)还是采样间隔(VSI)。

### 实施

### 性能评估

本节评估了所提出的基于强化学习的监控方案与其传统对应方案的对比性能,重点关注均值偏移检测能力和采样效率。为清晰起见,结果按两个自适应框架组织为两个子节:基于VSS的均值监控(第4.1节)和基于VSI的均值监控(第4.2节)。在每个子节中,表格Q学习和基于神经网络的实现方案都进行了分析,以评估其对……的影响。

## 工业案例研究:田纳西伊士曼过程

为进一步评估所提出框架在更真实监控环境中的实际适用性,本研究采用田纳西伊士曼过程(TEP)进行了工业基准研究。该过程最初由Downs和Vogel(1993)开发,是目前广泛用于评估过程监控和故障检测方法的标准基准过程之一,本研究所用的基准数据可通过Harvard Dataverse公开获取(……)。

## 结论

本研究引入了一种完全基于强化学习的自适应统计过程监控框架,其中可变样本量和可变采样间隔的决策直接从过程数据中学习获得。通过将监控表述为MDP,策略决策源自智能体与过程环境的交互,而非预定义的分析规则,从而实现了基于累积经验的自适应采样指导。与强化学习在经济或操作控制中的应用不同,本研究……

### CRediT作者贡献声明

Sajede Baratian Rahimi:撰写——初稿、可视化、方法论、调查研究、形式分析、概念构思。Alireza Shadman:撰写——审阅与编辑、监督、项目管理、方法论、概念构思。Ahad Harati:撰写——审阅与编辑、监督、方法论、概念构思。

### 伦理批准

本研究不涉及人类参与者或动物,因此不需要伦理批准。

在从μ?到μ?+δσ?持续偏移下的失控ARL(FSR方案,括号内为100×rARL(δ)):

### 详细信息

| 方法 | δ | 0 | 0.2 | 0.4 | 0.6 | 0.8 | 1 | 1.2 | 1.4 | 1.6 | 1.8 | 2 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| n=4, h=1, Cα=40, Cβ=1: FSR控制图 | | 370.49 (100) | 200.57 (54.13) | 71.59 (19.32) | 27.59 (7.44) | 12.45 (3.36) | 6.30 (1.70) | 3.64 (0.98) | 2.38 (0.64) | 1.72 (0.46) | 1.38 (0.37) | 1.19 (0.32) |
| Q-FSR | | 367.84 (100) | 199.08 (54.12) | 70.84 (19.25) | 27.62 (7.50) | 12.41 (3.37) | | | | | | |

### 人工智能

作者仅使用AI辅助工具进行语言编辑和提高可读性。在方法论、分析或结果的开发过程中未使用任何AI工具。作者对本手稿的科学内容负全部责任。

### 资助

作者未从任何组织获得与本提交工作相关的资助。未收到任何资助来协助本研究的准备或开展。

### 利益冲突声明

作者声明没有已知的可能影响本文所报告工作的竞争财务利益或个人关系。

### 致谢

作者衷心感谢马什哈德 Ferdowsi 大学在本研究过程中提供的宝贵学术和研究支持。

Sajede Baratian Rahimi 是伊朗马什哈德 Ferdowsi 大学(FUM)的博士研究生。她分别在伊朗 Sadjad 科技大学和 Shahed 大学获得工业工程学士学位和硕士学位。她的研究领域包括统计过程控制和强化学习。

Sajede Baratian Rahimi | Alireza Shadman | Ahad Harati
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号