基于深度强化学习的二次冷却水系统控制方法 徐进 程宇 沈成 张青鑫

《Sensors》：Secondary Cooling Water System Control Method Based on Deep Reinforcement Learning Jin Xu, Yu Cheng, Cheng Shen and Qingxin Zhang

　　

摘要

由于回路耦合、热惯性和执行器约束的限制，二次冷却水系统的控制较为困难。此外，当传统的近端策略优化（PPO）使用带有裁剪的高斯动作采样时，采样动作与执行动作之间的不匹配可能会降低学习效果和控制精度，尤其是在执行器接近极限的情况下。为了解决这些问题，本文提出了一种基于Beta策略和PID思想的增强状态近端策略优化框架，称为BPAS-PPO，用于二次冷却水系统。该框架通过添加比例、积分和微分误差特征来增强状态表示，采用Beta分布策略生成有界的连续动作，并为双回路跟踪任务使用分段密集奖励函数。在选定的操作区域内，通过对线性两输入两输出（TITO）模型进行仿真研究，发现完整的PID增强状态在所有测试方法中具有最有效的训练效果。与PID、Fuzzy-PID和高斯PPO相比，BPAS-PPO表现出更低的超调量、更短的稳定时间、更好的设定点跟踪能力和抗干扰能力，以及在执行器接近极限时的更平滑控制动作。所提出的框架在选定的操作区域内对研究系统有效，但其在该区域之外的性能需要进一步验证。