《Journal of Process Control》：State graph reconstruction reinforcement learning based optimal control of regenerative thermal oxidizer
编辑推荐：
Dazi Li|Zilong Liu|Jiahui Xu|Jinglin Zhou•提出了一种基于数据和知识的双驱动强化学习框架。•针对三罐式RTO系统，提出了一种双网络辅助的SGR-DDPG算法。•通过状态图重构方法获得了改进后的状态空间。•该方法提升了能量效率，并优化了控制策
Dazi Li|Zilong Liu|Jiahui Xu|Jinglin Zhou
- •
提出了一种基于数据和知识的双驱动强化学习框架。
- •
针对三罐式RTO系统，提出了一种双网络辅助的SGR-DDPG算法。
- •
通过状态图重构方法获得了改进后的状态空间。
- •
该方法提升了能量效率，并优化了控制策略。
引言
随着全球环境治理压力的增加，控制挥发性有机化合物（VOCs）排放已成为工业领域的重要问题。作为处理VOCs的关键技术，再生热氧化器（RTO）的热效率可超过95% [1]、[2]、[3]。目前，RTO结构大致可分为两罐式RTO、三罐式RTO、旋转式RTO等[4]、[5]、[6]。其中，三罐式RTO具有高效的热回收和污染物分解能力，因此被广泛应用于化学制造、涂料和制药等高排放行业。三罐式RTO的工作原理是先稀释含VOC的废气，再通过分配器和提升阀实现顺序切换。气体首先进入蓄热室进行预热，当温度达到预设阈值后，会被引入燃烧室，在高温下将VOC分解为无害的水和二氧化碳。反应后的气体再经过另一个蓄热室，该蓄热室同时储存热量，为下一循环的废气预热。与此同时，第三个蓄热室则执行净化过程，用空气替换燃烧室内的残留气体，从而有效避免两罐式RTO在切换阶段直接排放VOC [7]。
然而，以往关于RTO的研究主要集中在结构设计、蓄热材料优化以及提高热交换性能方面，比如提升蓄热材料的热导率、优化气流分布以减少热交换损失[8]。相比之下，RTO运行过程中的智能控制优化，尤其是在实现降低能耗、稳定排放以满足标准、抑制燃烧室温度波动以及处理多变量强耦合关系等复杂目标方面，仍是一个相对较少研究的领域[9]。
目前，RTO系统的控制策略主要以传统的PID控制为主。但对于三罐式RTO系统而言，设计多输入多输出（MIMO）PID控制器十分复杂，且存在一定的性能局限[10]。为提升控制效果，研究人员尝试在RTO系统中应用模型预测控制（MPC）方法，取得了较好的效果[11]。不过，由于MPC严重依赖系统模型，其实际应用仍受到限制，尚未得到广泛推广。
人工智能与工业控制技术的深度融合，推动了数据驱动的智能控制方法在过程控制系统中的广泛应用，成为一种变革性的技术范式[12]、[13]。这类技术发展为三罐式RTO等复杂系统提供了极具前景的解决方案，能够提升控制效率并增强系统的适应能力。强化学习作为一种机器学习方法，能够让智能体通过不断的试错与环境互动，学习如何做出最优决策以实现长期目标[14]。它在处理高维度、非线性系统的控制优化任务中展现出显著优势[15]。基于深度强化学习的控制策略能够动态识别其他干扰因素，并结合系统当前的多目标状态确定下一步的多种行动方案，从而实现系统的实时决策与控制[16]、[17]。
深度确定性策略梯度（DDPG）算法是一种强化学习方法，它结合了深度学习强大的函数逼近能力与策略梯度方法高效的决策特性，能够在连续的状态-动作空间中学习最优控制策略[18]。将DDPG算法应用于RTO系统的控制优化，可以有效应对这些系统固有的非线性和强耦合特性，同时还能在复杂多变的运行条件下实现协同优化[19]、[20]。DDPG算法通过引入异步更新的目标网络来提升学习过程的稳定性，同时利用演员网络和评论家网络分别优化动作选择和价值评估[21]。该算法通过经验回放来降低样本相关性，并采用软更新机制，从而加快收敛速度并增强鲁棒性，在处理高维度、连续控制任务时表现优异[22]。为进一步提升训练效果，还引入了图特征重构方法[23]。通过构建状态空间的图结构，可以有效地提取系统状态之间的潜在关联，帮助强化学习模型更好地理解系统动态。采用图特征重构进行训练，能够提升模型的感知和响应能力，增强其在复杂条件下的适应性。由于DDPG训练过程中参数更新存在固有的随机性，且与真实环境的交互成本高昂且存在潜在风险[24]，因此引入了两个人工神经网络分别对主要和次要优化目标进行建模[25]，它们与智能体相互作用，协助DDPG训练。与真实环境相比，基于神经网络的环境运行速度更快，且不存在高昂成本和潜在风险等不确定性，从而提升了模型的泛化能力。
本研究提出了一种创新的基于数据和知识的双驱动强化学习框架，如图1所示。该框架采用分层学习机制，既能从专家示范中系统地提取状态关联知识，又能整合实时环境交互数据。通过专门的状态重构模块，该框架实现了知识引导与数据驱动学习的协同作用，再结合经验回放，共同优化智能体的训练过程。在此基础上，本文提出了一种双网络辅助的状态图重构深度确定性策略梯度（SGR-DDPG）策略，用于三罐式RTO系统的最优控制。首先，使用三罐式RTO数据集训练两个人工神经网络，构建一个替代环境模型，从而准确映射真实的工业流程。为进一步提升DDPG算法对状态间关联的建模能力，将状态变量重构为基于图的表示形式，形成新的状态空间，再输入神经网络进行训练。最后，将训练好的强化学习控制器应用于三罐式RTO系统的仿真模型，验证所提策略的有效性。本文的主要贡献包括：
- (1)
提出了一种双网络辅助的SGR-DDPG算法，作为三罐式RTO系统的控制策略。该方法将强化学习策略应用于MIMO非线性控制系统，能够实时调整阀门开度和燃料流量，从而优化系统性能。它在处理强耦合现象以及动态变化的运行条件时，展现出出色的适应能力和稳定性。
- (2)
所提出的框架采用了基于数据和知识的双驱动强化学习范式，相比传统的DDPG算法具有显著优势。该方法通过状态图重构方法获得改进后的状态空间，再将其输入网络进行训练，从而提升了模型的表征能力和决策精度。
- (3)
引入了两个人工神经网络，分别近似主要和次要优化目标，为DDPG算法的实时决策提供支持。这种方法有效降低了与真实环境直接交互的高成本和潜在风险，同时显著提升了训练效率和模型稳定性。
章节要点
三罐式RTO系统
图2展示了三罐式RTO的工艺流程图。需要处理的废气与稀释空气混合后，由主鼓风机送入RTO系统。随后，在分配器和顺序提升阀的作用下，混合气体首先进入再生器进行预热，然后再流入燃烧室，在高温下将VOC分解为无害的水和二氧化碳。此处使用的提升阀为布尔型阀门
环境构建
本研究中的三罐式RTO控制系统共有146个监测点，累计收集了90,000秒的数据。此外，还单独收集了10,000秒的数据作为测试集。由于许多监测点的数据几乎保持不变，因此被视为与控制过程无关的变量，最终仅选取34个主要监测点作为关键特征。基于这些特征，每秒可记录一个34维的数据向量
实验结果
本章中，使用两个人工神经网络来模拟三罐式RTO系统的动态行为，从而构建一个高保真的强化学习环境。所提出的SGR-DDPG算法在整个训练过程中都与该环境进行交互，最终形成一种针对三罐式RTO系统运行特性的SGR-DDPG控制策略。
结论
本文解决了MIMO三罐式RTO系统的控制优化问题，提出了一种基于双人工神经网络建模的控制策略。通过提取系统的关联矩阵并将其与原始特征结合进行重构，所提出的方法通过基于数据和知识的双驱动框架，提升了强化学习控制的决策能力。在此基础上，进一步提出了一种双网络辅助的SGR-DDPG算法，用于该系统的控制优化
CRediT作者贡献说明
Dazi Li：资金获取、数据整理、概念构思。Zilong Liu：初稿撰写、验证、软件开发。Jiahui Xu：正式分析。Jinglin Zhou：验证工作。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究得到了中国国家自然科学基金的支持（项目编号：62273026）。
