可再生能源发电系统的频率紧急控制：一种改进的多智能体强化学习方法

《Sustainable Energy, Grids and Networks》：Renewable energy power system frequency emergency control: An enhanced multi-agent reinforcement learning approach

　　**摘要**
大规模可再生能源的整合增加了有功功率扰动和频率不稳定性的风险，使得紧急频率控制成为电力系统运行的关键。为了满足以可再生能源为主导的电网的频率调节需求，本文提出了一种多智能体深度确定性策略梯度（MADDPG）框架，该框架结合了基于先验知识（PK）的优先经验回放（PER）机制。动态贝叶斯网络（DBN）与马尔可夫决策过程（MDP）相结合，提供了高保真的状态表示，并优化了状态转移建模，解决了传统MDP的固有缺陷。PK-PER机制提高了采样效率和收敛稳定性，并支持过频发电机跳闸（OFGT）和欠频负载削减（UFLS）场景的协调控制。在改进的10机新英格兰IEEE 39节点测试系统上的仿真验证了所提出的PK-PER-MADDPG的优越性：在UFLS情况下，它将最大频率偏差限制在0.15Hz以内（相比标准MADDPG减少了65%），并将准稳态频率恢复到49.93Hz；在OFGT情况下，平均频率变化率（RoCoF）被抑制在0.61Hz/s，提高了91.7%。频率偏差的平均绝对误差（MAE）为0.042Hz，分别比MADDPG和MATD3低58.1%和32.4%。此外，所提出的方法平均奖励比MATD3和MAPPO高出25.3%和28.3%，决策成功率达到了97.2%，训练时间比MATD3缩短了10.8%，展示了其卓越的性能和工程实用性。同时，通过对不同信噪比（SNR）水平下的比较测试，PK-PER-MADDPG仍能在不同噪声水平下满足紧急频率控制的安全约束，表现出优异的抗噪声鲁棒性。

**引言**
在全球可再生能源产业迅速发展的背景下，相关的技术研发和应用已成为促进能源结构优化的关键研究方向[1] [2]。以高比例可再生能源为主的电力系统的演变已成为全球电力行业高质量发展的必然策略。然而，可再生能源发电的固有变化性，加上大规模集成电力电子接口设备导致系统等效转动惯量的显著下降，给现代电力系统带来了显著的频率稳定性挑战[3]。严重的有功功率扰动大大增加了频率不稳定性的风险，从而对紧急频率控制这一最终故障后防护措施提出了更加严格的要求[4]。因此，紧急频率控制在维持安全和稳定的电网运行中发挥着重要作用。

**传统的紧急频率控制方案**主要通过两种措施实施：UFLS和OFGT。现有的UFLS方法分为四类：传统的固定步长[5] [6]、半自适应[7] [8]、自适应[9]和计算机辅助算法[10]。参考文献[10]提出了一种基于增强型多单元频率响应模型和自适应模拟退火算法的最优UFLS策略。通过优化典型运行场景下的削减参数，它减少了总削减容量，并提高了瞬态和稳态频率性能，其有效性通过区域电网案例得到了验证。然而，传统UFLS方案严重依赖于RoCoF的精确计算。实际工程中RoCoF的测量精度有限， often导致不合理和不准确的负载削减动作。

对于OFGT场景，标准化的技术框架尚未完全发展；大多数控制方案基于现场操作经验或时域仿真分析设计[11]。参考文献[11]为高可再生能源输出端的系统开发了一种最优OFGT策略。它量化了频率异常风险，并使用改进的核密度估计算法解决了优化问题，实现了风能和太阳能单元的优先跳闸。在74%的可再生能源渗透率下，该策略将稳态频率保持在50Hz附近，在跳闸分配和适应多种运行场景方面表现优异。

随着可再生能源渗透率的上升和电力电子接口设备的大规模整合，电力网格呈现出越来越复杂的拓扑结构和动态行为，其特征是显著的运营波动性、强烈的非线性扰动和丰富的运营数据。这些趋势暴露了基于固定参数、集中式架构和线性化模型的传统紧急频率控制方案的固有局限性。这些方法需要高保真的系统建模，无法很好地适应现代电力系统中变化多端、不确定的运行条件，并且响应速度缓慢。因此，为以可再生能源为主的电力系统开发专门的紧急频率控制策略对于保障电网安全运行至关重要。

**强化学习（RL）在自主策略学习和动态优化方面表现出色**。它从根本上减少了对精确数学模型的依赖，能够适应复杂的波动电网条件，并解决了传统控制策略的不足，为紧急频率控制提供了有前景的技术方法。在这个领域，单智能体RL已取得进展[12]。参考文献[12]提出了一种DSAC算法，通过捕获价值函数的回报分布来丰富决策信息，提高了收敛速度和负载削减的经济性[13]。参考文献[13]开发了一种无模型控制方法，结合了多Q学习和深度确定性策略梯度算法，能够快速缓解频率偏差，并表现出对随机扰动的强鲁棒性。然而，受独立决策逻辑的限制，单智能体RL无法在复杂运行条件下协调多个控制单元和耦合设备，且不适用于电力网格的分布式、可变特性。

**多智能体强化学习（MARL）**能够实现多个控制单元之间的协作决策，为这一限制提供了可行的解决方案，增强了控制系统的适应性和鲁棒性。尽管研究关注度不断增加，但在以可再生能源为主的电力系统中应用MARL进行紧急频率控制仍面临几个未解决的挑战。最近关于高可再生能源渗透率下低惯性频率调节的综述[14]强调了传统方案的适应性缺陷，并指出智能控制是关键的发展方向，但针对事后应急控制的定制MARL算法仍然稀缺，尚未建立同时应对过频和欠频故障场景的统一框架。现有的针对电力系统优化的MARL研究取得了显著进展：参考文献[15]通过多机制协作优化增强了MADDPG，实现了异构节点适应性和拓扑自适应[16]，而参考文献[16]采用了CTDE框架来平衡运行安全和能源效率[16]。然而，这些工作大多针对单一控制场景，尚未为OFGT和UFLS建立集成的多智能体应急控制架构。此外，低采样效率和不稳定收敛仍然是主流MARL算法普遍存在的瓶颈。虽然标准PER已引入MADDPG中，通过TD误差对样本进行排名以提高训练效率[17]，但这些改进纯数据驱动，优先级评估仅依赖于数据特征，而没有结合电力系统控制的领域特定先验规则，限制了高价值训练样本的充分利用。为了应对纯数据驱动方法的弱泛化和不安全训练问题，先前的研究尝试将领域知识整合到RL流程中。例如，参考文献[18]通过模仿学习将电网安全标准嵌入RL初始化中，以避免早期训练阶段的不安全探索，但知识仅用于策略热身，并未渗透到经验采样和迭代训练的核心过程中，导致收敛速度和策略安全的改进有限。

此外，现有的MARL方法通常在充分状态可观测性和无记忆性理想假设下建立。这限制了对紧急频率控制中出现的随机扰动、测量误差和状态依赖性的准确表征，导致建模适应性和描述不确定性的能力有限。相比之下，DBN为MDP公式化和奖励函数设计提供了高保真的概率状态表示。降维和特征纯化的状态输入有效地消除了冗余信息，加速了收敛并增强了策略的鲁棒性。

为了解决上述问题，本文将基于先验知识的PER机制嵌入MADDPG框架中，构建了一个知识增强的学习架构。结合DBN优化的MDP状态转移建模，提出了一种适用于以可再生能源为主导的电力系统的PK-PER-MADDPG紧急频率控制方法，实现了OFGT和UFLS场景的协调最优控制。本文的主要贡献如下：
1) 本文将DBN整合到MDP中，优化了电力系统频率动态的状态转移建模。进一步将PK-PER混合经验回放策略嵌入MADDPG中，缓解了传统MARL的奖励稀疏和采样效率低的问题，将模型收敛速度提高了约20%，同时提高了频率控制的适应性，并将频率偏差MAE降低了58.1%。
2) 本文建立了一个适用于以可再生能源为主的电力网格的多智能体协作紧急频率控制框架。与仅限于单一类型频率扰动的现有方法不同，所提出的框架能够处理OFGT和UFLS，实现了对复杂可再生能源波动的全范围频率稳定，使过频故障下的峰值RoCoF降低了91.7%，并在欠频事件中将最大频率偏差限制在0.15Hz以内。
3) 在改进的10机新英格兰IEEE 39节点测试系统上进行了仿真。结果表明，所提出的PK-PER-MADDPG方案在控制精度、收敛特性和抗干扰能力方面超过了标准MADDPG和主流MARL方法（包括MATD3和MAPPO），决策成功率为97.2%，平均奖励比MATD3高25.3%，比MAPPO高28.3%，验证了其在高可再生能源电网紧急频率调节中的有效性。
4) 所提出的PK-PER-MADDPG在SNR=20dB、SNR=10dB和SNR=5dB的测量噪声条件下得到了鲁棒性验证。与涉及的基线算法相比，即使在强噪声条件（SNR=5dB）下，该方法也保持了竞争优势，并能够满足电力系统紧急频率控制的安全约束。

**电力系统频率动态的数学建模**
在可再生能源电力系统中，大规模替代同步发电机为电力电子接口的可再生单元从根本上改变了电网的频率响应特性。一方面，系统的等效转动惯量显著减小，因为大多数转换器接口的风能和光伏单元以解耦模式运行，不会自然地为电网贡献惯量。另一方面，系统的主要频率调节能力...

**DBN与MDP的整合**
电力系统的紧急频率控制具有强烈的动态耦合、随机不确定性和时间状态依赖性。传统的MDP框架无法完全捕捉系统状态之间的时变相关性，而DBN在时间序列建模和概率推断方面具有独特优势。MDP和DBN的整合实现了动态状态表征和频率调节的最优决策的深入融合。

**MADDPG算法**
MADDPG算法遵循CTDE范式[29]。在训练期间，每个智能体的评论器可以访问所有智能体的观察结果和动作；在执行期间，每个智能体仅根据其自身的本地策略进行动作[30]。MADDPG由四个神经网络组成：主演员网络μ(?|θμ)、目标演员网络μ′(?|θμ′)、主评论器网络Q(?|θQ)和目标评论器网络Q′(?|θQ′)，其中θμ、θμ′、θQ和θQ′分别表示它们的参数。主演员负责...

**基于改进的10机新英格兰IEEE 39节点测试系统的样本生成**
本研究采用了标准IEEE 10机39节点测试系统，其标称频率为50Hz。考虑到电网中可再生能源发电厂的整合，发电机G05和G08分别配置为风力发电机和光伏发电机，实现了20%的可再生能源渗透率。改进的系统连接拓扑如图6所示。分析在由有功功率波动引起的扰动场景下进行...

**结论**
本文提出了一种用于以可再生能源为主的电力系统紧急频率控制的PK-PER-MADDPG框架，结合了DBN优化的MDP进行状态建模。通过在改进的10机新英格兰IEEE 39节点测试系统上进行PSASP仿真验证，主要结论如下：
1) 所提出的多智能体协作策略实现了OFGT和UFLS的协调调节。对于UFLS场景，最大频率偏差被限制在0.15Hz以内，减少了65%...

**作者贡献声明**
郭成：撰写——审阅与编辑、验证、方法论、调查。
张轩：撰写——审阅与编辑、验证、方法论、调查。
华浩臣：撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、调查、形式分析、数据整理。
李洪江：撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、方法论、调查、形式分析。常东梅：撰写说明及利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金（项目编号：52367002）以及云南省中青年学术和技术领军人才储备项目（项目编号：202405AC350006）的支持。

郭成于2009年在中国成都的西南交通大学获得博士学位，目前担任中国云南省昆明理工大学电气与动力工程学院的教授及博士生导师。
他的研究兴趣包括电力系统稳定性分析与控制、电能质量分析与控制。

作者名单：
郭成（Cheng Guo）| 张暄（Xuan Zhang）| 华浩晨（Haochen Hua）| 李洪江（Hongjiang Li）| 常东梅（Dongmei Chang）| 李俊泽（Junze Li）| 戴瑞（Rui Dai）| 杨金宝（Jinbiao Yang）| 李俊瑶（Junyao Li）