基于鲁棒深度强化学习的协调广域阻尼控制方法，用于处理具有随机延迟式光电式电流互感器（PMU）测量的多模态区域间振荡问题

《IEEE Transactions on Power Systems》：Robust Deep Reinforcement Learning Based Coordinated Wide-Area Damping Control for Multimode Inter-Area Oscillations With Randomly Delayed PMU Measurements

协同广域低频振荡抑制控制方案通过融合深度强化学习与LSTM延迟补偿器，分别针对小扰动和大扰动场景优化电压控制策略，采用minimax算法提升鲁棒性，结合网络时延与物理系统相位角、转速指标构建状态空间，在两大IEEE系统中验证可使抑制效率提升20%-35%且训练成本降低50%。

　　

摘要：

尽管将逆变器式测量单元（PMUs）与广域输电系统集成可以通过传输遥控信号来抑制区域间的低频振荡（LFOs），从而提高系统稳定性，但依赖于通信网络进行信号传输会导致时间延迟，这会显著降低广域阻尼控制（WADC）的性能。本文提出了一种协调式的WADC方案，用于抑制多模态LFOs。对于扰动较小的LFO模式，该方案设计了一种基于深度强化学习（DRL）的WADC，并采用了长短期记忆（LSTM）延迟补偿器。DRL智能体通过设计最优的稳定电压动作集来适应未知的电力系统。对于扰动较大的LFO模式，本文提出了一种基于DRL的鲁棒WADC，通过在线训练实现连续的最优动作集，以稳定存在严重LFO问题的电力系统。极小极大DRL算法优化了所提出策略的最坏情况性能，从而提高了对不确定性的鲁棒性。网络层指标（时间延迟）和物理系统指标（相位角和速度）被独特地结合到状态集中，为DRL智能体提供了充分的网络-物理信息。在两个大型IEEE系统上进行的广泛测试表明，所提出的协调式WADC能够将稳定效果提高20%至35%，并节省50%的训练成本。