基于深度演员-评论家强化学习的多目标最优控制方法在智能配电网中用于提升光伏集成有源无功补偿器的电能质量

《Scientific Reports》：Deep Actor–Critic Reinforcement Learning (DA-CRL) based multi-objective optimal control of solar PV integrated UPQC for power quality enhancement in smart distribution networks

　　

摘要

当太阳能光伏系统等可再生能源并入现有配电系统时，会出现动态负载波动、谐波失真以及电压下降等问题。采用UPQCs可以减少串联和并联方面的电能干扰。在太阳能发电和电网条件快速变化的情况下，基于PQ的PI控制器将无法正常工作。为解决这些问题，提出了一种基于深度演员-评论家强化学习的多目标最优控制方法，用于具有太阳能光伏系统的UPQC。与PI控制器、模糊控制器以及基于模型的控制器不同，该方法无需数学建模即可从系统交互中学习最优控制策略。演员网络负责持续调节UPQC的串联和并联转换器，而评论家网络则利用多目标奖励函数来降低总谐波失真、电压起伏、直流链路电压以及功率因数。该控制方法适用于存在需求不确定性且太阳能发电具有间歇性的非线性动态电网。MATLAB/Simulink仿真结果表明，所提出的控制器在动态响应、谐波抑制、电压调节以及直流链路稳定性方面均优于PI控制器和自适应控制器。由此找到了一种可靠、灵活且可扩展的深度演员-评论家强化学习方法，可用于具有高比例可再生能源的智能配电系统中的电能质量提升。使用所提出的DA-CRL控制器时，电源电压的总谐波失真值为0.42%，电源电流的总谐波失真值为2.12%。