基于深度强化学习的电动汽车充电协调机制，用于集成可再生能源的智能能源区

《Scientific Reports》：Deep reinforcement learning–driven electric vehicle charging coordination for renewable-integrated intelligent energy districts

　　

摘要

在整合了可再生能源的智能能源区域中，协调电动汽车的充电工作必须在每季度的运行时间窗口内完成，同时需要平衡光伏发电的不确定性、电价、出行需求以及配电线路的负荷限制。本研究开发并评估了一种闭环混合框架：该框架利用四节点的广义价值函数网络构建预测状态，异步的IMPALA算法协调十个区域的充电控制装置，而SOCP–DistFlow模型则根据放宽后的模型电压和线路负荷约束来制定整体调度方案。该框架在IEEE 69节点的配电网络上进行了测试，使用了两个区域的两年运行数据和70辆电动汽车的相关数据。在测试过程中，IMPALA在第五十个时间节点时达到了90%的峰值奖励目标，保留了前100个时间节点中所获得奖励的99.6%，并且收敛后的方差仅为3.0%。这些数据支持在现有数据范围内选择适用的优化方法，但并未证明某种方法绝对优于其他方法。整个充电流程大约在4.8分钟内完成，而纯优化方法的耗时为26.9分钟，因此运行时间减少了82%，成本偏差约为3%。敏感性分析和联合不确定性分析表明，在测试条件下系统的平均性能较为稳定；然而在极端联合情况下，系统会导致电压波动、线路负荷增加以及成本上升。研究结果表明，预测状态学习、异步协调以及配电线路级的优化措施能够帮助制定符合时间限制的充电计划，并在成本与响应延迟之间实现透明平衡。然而，目前的研究结果仅限于使用了放宽后的SOCP配电线路模型和特定的历史数据；在实际应用之前，仍需进行非线性交流系统的再测试、多次试验、硬件在环测试以及受控的公用事业项目验证。