面向批量过程强化学习的注重安全性的动态稀疏训练

《Neurocomputing》：Safety-aware dynamic sparse training for reinforcement learning of batch processes

　　郑佳庆|叶凌健|秦景生|夏宇航|关宏伟|袁晓峰中国浙江省湖州市湖州大学工程学院，邮编313000摘要由于批量过程的动态特性极为非线性且存在严格的操作约束，其最优运行面临很大挑战。近年来，强化学习被视作解决批量过程控制问题的有效方法。然而，传统强化学习智能体通常需要庞大的神经网络，这会影响其在工业应用中的实时性能，因此人们开始研究稀疏强化学习技术。为兼顾批量过程的安全性与性能要求，本文提出了一种具有安全意识的动态稀疏训练方法。该方法通过基于拓扑结构的稀疏初始化以及新的安全意识拓扑演化策略来构建智能体网络，能够在动态权重剪枝过程中有效引导关键安全连接的生成，确保稀疏化不会影响安全性能。此外，本文还提出了一种自适应回放缓冲机制以提高训练稳定性。在两种批量过程上的实验结果表明，所提方法不仅具备更优的控制性能，约束违反率也显著降低，同时模型复杂度大幅下降。引言在现代工业中，批量操作被广泛用于生产高附加值产品，如精细化学品、生物制药、聚合物材料等。与连续生产相比，批量过程的运行因具有非平稳性、非线性动态特性以及各种安全约束，要在满足安全和经济目标的同时实现良好运行十分困难。此外，原材料差异、干扰因素、测量噪声以及模型不匹配等因素带来的不确定性进一步增加了运行难度[1]。批量过程的运行需要先进的控制技术和优化技术。传统上，非线性模型预测控制被用于规范变量轨迹，以应对批量过程的非线性动态特性[2][3]；迭代学习控制则利用批次间的重复性来提升控制性能[4][5][6]；实时优化则通过规避干扰因素的影响来提高经济性目标[7][8]。不过，这些基于模型的控制方法严重依赖精确的工艺模型，一旦面临模型不确定性或未建模的动态特性，其性能就会显著下降。尽管也有学者提出了更为鲁棒和自适应的解决方案来缓解这一问题[9]，但这些方案往往需要牺牲控制的保守性。此外，每次控制间隔都需要解决复杂的在线优化问题，计算负担较重，这也大大限制了这些方法的应用范围[10]。近年来，强化学习因其独特优势而受到广泛关注。与传统控制方法不同，强化学习是通过智能体与环境的交互直接学习控制策略，无需进行系统建模，为批量过程的运行提供了新的解决方案路径[11][12][13][14]。已有研究表明强化学习在批量过程控制中具有良好效果。例如，策略梯度方法已在模型不确定性较大的分批生物反应过程中得到成功应用[11]；还有研究提出通过分段奖励设计来提升多阶段操作中的训练稳定性[14]。Yoo等人[12]则研究了无需模型的批量反应器温度调控方法。不过，标准的强化学习算法并未纳入显式的约束处理机制，这在策略探索过程中可能导致不安全的操作路径[15][16]。强化学习中的一个分支——安全强化学习在约束处理方面取得了进展。典型的方法包括机会约束方法[17]、自适应约束强化方法[18]、拉格朗日原始-对偶方案[19][20]。具体而言，Mowbray等人[17]提出了一种数据驱动的安全机会约束方法，利用高斯过程确保在工厂模型与实际模型不匹配的情况下仍能满足约束条件。Pan等人[18]则开发了一种带有自适应约束强化的Q学习算法，以实现高概率的安全保障。Qin等人[16]则提出了结合贝叶斯预测探索与不确定性感知决策评估的方法，以平衡经济收益与安全风险。虽然这些方法显著提升了探索过程中的安全性，但这类智能体通常依赖密集的全连接神经网络来表示控制策略。这类架构往往存在大量的参数冗余，在数据量有限的工业环境中容易导致过拟合，且在面对未知干扰或操作条件变化时，其泛化能力也会下降[21]。在那些对安全性要求极高的批量过程中，较差的泛化能力尤为成问题，因为在不满足约束条件的情况下进行策略外推，很可能会导致不安全的操作或超出操作极限。因此，除了外部安全机制之外，控制策略网络的结构效率也成为实现稳定可靠运行的重要因素。近年来，剪枝技术作为神经网络稀疏化的重要方法之一逐渐兴起。这一技术受到“彩票票假说”的启发[22]，认为密集的神经网络中可能存在一些核心的稀疏子网络，其性能能够与原始网络相当甚至更优[23][24][25][26]。这一理论见解推动了稀疏化技术在强化学习领域的应用与发展[27][28]。目前常见的稀疏化方法包括基于梯度的剪枝[29]、基于重要性得分的剪枝[30][31]以及本文提出的动态稀疏训练方法[32][33]。其中，动态稀疏训练方法具有显著优势，它能在训练过程中不断调整网络的拓扑结构。Sokar等人[34]首次将动态稀疏训练引入深度强化学习领域，即便仅使用50%的参数，其性能也能超过密集型智能体。目前，该领域的研究仍处于初期阶段。现有关于具有安全意识剪枝方法的研究[35]大多依赖于固定的事后幅度-based剪枝方式，并结合反例引导的权重恢复机制，这类方法无法动态调整稀疏架构，对于状态空间连续且操作条件多变的批量过程来说可靠性较低。此外，批量过程的运行目标往往存在固有的权衡：过于保守的控制策略虽能保障安全，但会降低生产效率；而过度激进的优化策略则可能带来安全风险。在强化学习智能体的训练过程中，由于大部分网络参数可能并非必需，密集型网络架构容易陷入局部最优解。相反，稀疏网络仅保留最关键的神经连接，因而往往具有更高的鲁棒性和抗干扰能力。总体而言，稀疏结构有助于提高深度模型的可解释性，这在批量过程面临原料波动、设备老化等不确定性因素时尤为重要。为解决上述问题，本文提出了一种具有安全意识的稀疏强化学习方法。该工作的主要贡献有三点：首先，提出了一种基于梯度投影引导的连接增长机制，用于动态权重剪枝，能够自主识别并保留关键的安全相关网络结构，确保稀疏化不会影响安全性能；其次，提出了一种结合自适应经验回放缓冲机制的稀疏拓扑演化策略，可在提升训练稳定性的同时构建高效的网络架构；最后，通过两种批量过程的实验验证了所提方法的有效性，结果显示其不仅性能更优，约束违反率也显著降低。本文的其余部分结构如下：第2节介绍批量过程的运行问题以及与强化学习相关的研究工作；第3节阐述所提出的具有安全意识的动态稀疏训练方法；第4节展示在两种批量过程上的实验结果；第5节对本文内容进行总结并展望未来。批量过程的运行问题考虑一类由以下动态方程描述的批量过程：其中，表示当前状态向量与下一个状态向量，表示控制输入向量，表示不确定参数向量；为描述系统动态特性的非线性映射函数。假设该批量过程在长度为的固定时间范围内运行，其优化目标是在满足安全约束的前提下，通过选择最优控制序列，最大化特定的性能指标。具有安全意识的动态稀疏训练强化学习在本节中，我们提出了一种具有安全意识的动态稀疏训练方法，用以解决该方法中的安全问题。首先，我们将详细介绍稀疏网络的初始化方法。案例研究为验证所提方法的可靠性，本节研究了两种存在约束条件的批量过程环境。所提出的方法分别与SAC、SAC-Lag以及Dense算法进行了比较，后者是我们方法的变体，仍采用相同的安全意识训练流程，但使用的是未经稀疏化的全连接网络。在稀疏网络架构中，有80%的参数权重会被剪除。所有案例中标记为“最优”的解都是通过数值模拟得到的。结论本研究提出了一种适用于批量过程的安全意识动态稀疏训练强化学习框架。为解决将深度强化学习应用于工业批量过程时面临的计算成本高、难以满足安全约束以及训练不稳定等问题，该框架将动态稀疏训练与安全约束强化学习相结合，从而构建出轻量且可靠的控制智能体。在两个案例上的实验验证……CRediT作者贡献说明郑佳庆：写作——审稿与编辑、写作——初稿撰写、软件工具、方法论、研究实施、形式分析、数据整理、概念构思。叶凌健：写作——审稿与编辑、指导监督、资金获取。秦景生：写作——审稿与编辑、软件工具。夏宇航：写作——审稿与编辑。关宏伟：写作——审稿与编辑、指导监督。袁晓峰：写作——审稿与编辑、指导监督。利益冲突声明作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。致谢本研究得到了国家自然科学基金（62373147）、浙江省自然科学基金（LY24F030007）以及浙江商业技术学院基础科学研究经费（编号0022101531）的支持。郑佳庆毕业于浙江水利水电大学，获得学士学位，目前就读于湖州师范学院，攻读控制工程硕士学位，其主要研究方向包括强化学习、化学过程建模以及优化控制。