基于原始-对偶更新的强化学习在电力系统安全最优频率控制中的应用

《IEEE Potentials》：Reinforcement learning with primal-dual updates for safe optimal frequency control in power systems

　　电力系统需要始终在安全的频率范围内运行。本文提出了一种基于强化学习的安全最优频率控制框架，以推广并改进经典的基于线性功降特性的初级频率控制。我们将带有频率限值约束的最优频率控制问题进行了表述，并将其转化为机会约束形式。为解决该问题，我们开发了一种基于孪生延迟深度确定性（TD3）策略梯度算法的强化学习框架。该框架通过对拉格朗日形式的执行者损失函数进行原始-对偶更新，学习用于控制策略设计的执行者-评论者神经网络，其中对偶变量适应约束违反情况，同时稳定策略优化。对39节点测试系统的仿真验证表明，面对未受控（例如可再生能源）发电或负荷的扰动，我们的框架能有效学习非线性去中心化控制器，与现有的代表性方法相比，能够更快地稳定系统并减少振荡，同时将频率限制在限值范围内。