演化辅助安全强化学习在工业回转窑不确定性下的实时生产优化研究

本文提出了一种创新性的演化辅助安全强化学习（EASafeRL）框架，用于解决工业回转窑在原料成分不确定性及复杂工艺约束下的实时生产优化（RTO）难题。该框架整合了基于多工况鲁棒数据协调（RDC）的锌含量实时估计方法、基于原始-对偶深度确定性策略梯度（PD-DDPG）的安全强化学习（SafeRL）算法以及采用状态转移算子（旋转、平移、扩张、轴转）的个体演化算法，显著提升了优化过程的全局探索能力与安全性，为工业过程低碳高效运行提供了新思路。

　　

亮点 (Highlights)

• •
  (1) 提出了一种基于多工况鲁棒数据协调的锌含量实时估计方法，以有效捕捉工业回转窑中原料成分的不确定性。
• •
  (2) 开发了一种基于原始-对偶深度确定性策略梯度（PD-DDPG）的安全强化学习（SafeRL）框架，以避免温度场可控性和生产指标约束的违反。
• •
  (3) 提出了一种演化算法，通过旋转、平移、扩张和轴转等状态转移算子迭代演化行动者网络的权重参数。这种利用状态转移算子的基于个体的演化算法（EA）相比采用高斯变异算子的基于种群的演化算法展现出更优的探索能力。
• •
  (4) 通过将锌含量估计方法与基于个体的演化算法相结合，提出了一种新颖的演化辅助安全强化学习（EASafeRL）框架，该框架利用演化算法（EA）的全局探索能力提升了安全强化学习（SafeRL）的学习和优化性能。

结论 (Conclusions)

针对工业回转窑的不确定性下的实时生产优化，本文提出了一种新颖的演化辅助安全强化学习（EASafeRL）方法。在该框架中，提出了一种基于鲁棒数据协调的锌含量估计方法，以有效表征原料成分的不确定性。该策略将不确定优化问题转化为精确的确定性优化问题，从而改善了优化结果。安全强化学习（SafeRL）算法被用来处理温度场可控性和生产指标约束。此外，所提出的基于个体的演化算法（EA）通过状态转移算子增强了安全强化学习（SafeRL）的探索能力。工业实验表明，与其他方法相比，所提出的EASafeRL方法在降低焦炭消耗、提高生产效率和增强优化效率方面均表现出优越性能。