一种改进的深度Q网络方法，用于混合可再生能源系统中的负荷频率控制

《Scientific Reports》：An enhanced Deep Q-Network approach for load frequency control in hybrid renewable energy system

　　

摘要

在混合可再生能源系统中，负荷频率控制面临着间歇性能源供应和电网惯性降低所带来的挑战。传统的元启发式优化技术（如粒子群优化（PSO）和灰狼优化器（GWO）存在计算复杂度高以及过早收敛到局部最优解的问题。本研究提出了一种改进的深度Q网络（Deep Q-Network, DDQN）方法，用于优化负荷频率控制中的PID控制器参数。该方法分析了一个由两个区域组成的系统：区域1结合了热能发电和太阳能光伏发电，区域2则整合了热能发电和风能发电。其创新之处在于将优先级经验回放（prioritized experience replay）与重要性采样（importance sampling）相结合，同时采用领域特定的奖励函数（domain-specific reward functions）和增强型状态表示（augmented state representation），从而实现了无需模型即可进行学习的能力，并具备比传统方法更强的实时适应能力。实验验证涵盖了六个全面的测试场景，基线性能与PSO-PID、GWO-PID和DDQN-PID控制器进行了对比。结果表明，在关键性能指标上取得了显著提升：调节时间减少了26.3%至39.1%，频率偏差降低了29.0%至51.3%；在不同运行条件下，总体性能提升了24.6%至64%。该控制器在具有挑战性的运行场景下表现出稳健的性能，在参数变化幅度达到±50%的情况下仍能保持稳定，并能有效应对25%的负荷扰动。此外，系统还能有效适应不同时期内可再生能源供应的波动。