用于电动汽车充电调度的深度强化学习框架

《Journal of Energy Storage》：Factored deep reinforcement learning framework for electric vehicle charging scheduling

　　**摘要**
电动汽车（EV）的快速增长以及充电基础设施（CI）不均衡的发展，给电网带来了日益增加的压力。有效的电动汽车充电（EVC）调度通过更积极地响应电网信号，为缓解电网压力提供了一种有前景的方法。一般来说，EVC调度涉及在有限的充电期间内进行连续的充电和放电决策。强化学习（RL）因其能够自主建模连续决策问题，长期以来一直被认为是EVC调度的一个有前途的范式。然而，大多数现有的基于RL的EVC框架并没有充分利用EVC调度问题中固有的结构分解。具体来说，在单户充电器的设置中，时间和电池状态是依赖于动作的并且是确定性的，而电价则在价格接受假设下独立于个体充电动作而变化。这种结构指导了我们的网络设计，并支持使用历史价格数据对价格编码器进行预训练。基于这一观察，我们提出了一种两阶段的分解深度强化学习（DRL）框架，用于家庭充电站（HCSs），该框架基于Soft Actor–Critic（SAC）算法，以应对不确定的状态和环境变量，特别是电价的波动。在第一阶段，神经网络预加载（NNP）初始化与分解结构对齐的定制神经网络组件，以便快速适应区域价格变化。在第二阶段，套利失败惩罚（AFP）明确惩罚倾向于风险的行为，允许用户控制他们的风险-回报权衡。此外，该框架引入了一种退火的Munchausen风格奖励 shaping项，以加强早期学习信号。使用真实世界数据集进行的广泛实验提供了重复运行的统计证据，表明所提出的方法在性能上可与选定的代表性DRL基线相媲美，主要改进体现在稳定性、下行风险控制和收敛行为方面。

**引言**
随着全球对低碳和可持续交通的关注日益增加，电动汽车（EV）近年来取得了显著的进展[1]。2023年全球EV销量接近1500万辆，到2035年，预计EV将占总电力需求的6%-8%，远高于目前的0.5%[2][3]。然而，EV的迅速普及对现有的电网基础设施提出了重大挑战，可能导致电网拥堵，在极端情况下甚至可能引发局部停电。尽管过去十年在扩展充电基础设施（CI）方面进行了大量投资，但其发展仍落后于EV的采用，因为电力系统升级和充电设施部署的成本仍然很高。因此，CI与EV之间日益不平衡的现象加剧了对电网的压力。值得注意的是，据统计约70%的充电事件发生在家庭[3]。在这种背景下，有效的电动汽车充电（EVC）调度对于家庭充电站（HCSs）来说是一个有前景的解决方案，可以通过更积极地响应电网信号来缓解电网压力。
本质上，EVC调度问题需要一系列的充电和放电决策。强化学习（RL）由于其内在的模拟不确定性下连续决策问题的能力，为EVC调度提供了一种自然和适应性的范式[4]。基于RL的方法可以以数据驱动的方式捕捉随机和动态特性，与传统数学建模方法相比提供了更高的灵活性和韧性[3][5]。尽管有这些优势，大多数现有的基于RL的EVC调度框架使用的是单一的状态编码器，并没有明确区分状态的异构组件。在本文考虑的单户EV充电场景中，剩余时间和电池相关组件遵循确定性更新，而电价组件是主要的随机组件，在个别家庭的电力不足以影响市场清算价格的情况下可以合理地视为外生的。因此，我们将这种近似的结构分离视为一种归纳偏差，而不是受到[6]启发的精确全局分解定理。这种观点促使我们采用了模块化的演员-评论家架构，其中历史价格由时间编码器处理，而时间和SoC变量由单独的低维分支处理。它还允许在RL训练之前利用丰富的仅价格的历史数据进行神经网络预加载。此外，现有框架主要关注最小化预期电费，而忽略了由于电价波动和不可预测的车辆行为模式导致的成本风险管理。这种疏忽可能导致经济上有风险的充电策略，并对实际部署构成重大挑战。
为了解决这些限制，我们提出了基于Soft Actor–Critic（SAC）算法的分解DRL框架，用于HCSs。该框架旨在处理由电价波动、随机车辆行为、目标SoC变化和其他运营因素引起的多维不确定性。该框架通过两阶段过程运行。在第一阶段，我们采用与问题的分解结构对齐的网络架构。具体来说，NNP利用历史电价数据学习区域价格表示，从而提高对本地价格动态的适应性。在第二阶段，该框架采用退火的Munchausen风格奖励 shaping来促进对用户行为的快速适应。此外，通过引入AFP来处理风险敏感的操作，使用户能够主动管理他们的套利偏好。

**最近几年的研究**
近年来，关于EVC调度的文献不断增加，重点在于提高决策框架的智能性和适应性。早期的方法主要依赖于动态优化（DO）[7][8]、模型预测控制（MPC）[9]和鲁棒优化（RO）[10]。然而，这些基于模型的方法通常需要完整或部分了解底层概率分布，并依赖于明确的假设来处理不确定性。因此，它们往往难以处理实际应用中的未知和复杂系统动态[3]。相比之下，RL因其数据驱动的本质和强大的适应性而在EVC调度方面显示出了相当大的潜力。早期的基于RL的EVC研究主要采用了Q学习和拟合Q迭代算法来建模调度问题。例如，Pang等人提出了一种基于Q学习的粒子群优化（QPSO）算法进行EV充电和放电的最优调度[11]，而Sadeghianpourhamami等人引入了使用拟合Q迭代的批量强化学习来确定EVC协调器的最优充电策略[12]。然而，这些算法严重依赖于表格表示，这限制了它们在高维和连续状态空间中的可扩展性。
深度强化学习（DRL）通过使用深度神经网络进行函数近似来克服这一限制，从而增强了RL框架的表示能力。Hao等人开发了一种基于Deep Q网络（DQN）的方法来处理经验性的出行模式异质性和不确定的电价[13]。Jiang等人采用了基于Proximal Policy Optimization（PPO）的深度策略梯度方法进行协调EVC[14]。尽管如此，这些基于策略的算法样本效率较低，因为它们通常无法重用经验数据，并且需要大量的在线交互，这对于训练数据有限的EVC应用来说是不切实际的假设[15]。离策略DRL方法，如Deep Deterministic Policy Gradient（DDPG）和Twin Delayed Deep Deterministic Policy Gradient（TD3），通过将数据收集与策略更新解耦来提高样本效率[16]。Zhang等人提出了一种充电控制DDPG方法来学习最优充电控制策略[17]。Zhou等人利用TD3算法为混合动力电动汽车推导出了一种智能能源管理策略[18]。虽然这些方法具有更好的可扩展性，但它们通常产生确定性的策略，容易陷入局部最优解。相比之下，随机方法（如SAC）通过熵正则化和随机探索提高了鲁棒性。Li等人引入了一种基于SAC的方法来解决作为受限马尔可夫决策过程（CMDP）的EVC调度问题[19]，而Sun等人引入了一种用于混合动力跟踪车辆能源管理的SAC方法[20]。最近，SAC与增强拉格朗日方法结合使用来解决基于CMDP的EVC优化[21]，Mansour等人提出了一种基于SAC的算法，其输出通过混合整数线性规划（MILP）进一步精细化[22]。
最近的研究进一步将基于DRL的EVC调度扩展到了利益相关者协调、大规模调度和考虑约束的决策制定。Paraskevas等人提出了一个受限深度Q学习框架，用于共同优化公共EV充电站的动态定价和充电控制，旨在平衡充电站运营商和EV用户的利益[23]。Park和Moon开发了一个多智能体DRL框架，具有集中训练和分散执行功能，用于协调智能电网环境中的多辆EV[24]。为了在运营约束下提高可扩展性，Li等人提出了一个用于大规模实时EV调度的循环DRL框架，同时考虑了充电站的功率限制和用户的充电需求[25]。更多的最近研究越来越强调安全性、可扩展性和实时操作。Guan等人将EV充电控制公式化为部分可观测的受限马尔可夫决策过程，并将基于规则的局部和全局屏蔽嵌入到RL框架中，以提高操作安全性[26]。Han等人开发了一种基于DQN的方法进行大规模EV充电调度，结合了增强的状态特征提取、探索和价值估计机制[27]。Li等人进一步提出了一个多智能体DRL框架，用于在车辆到达和离开不确定的情况下实时在线控制EV充电站[28]。这些研究展示了DRL在解决EVC调度的可扩展性、运营约束和不确定性方面的日益增强能力。
尽管基于DRL的EVC调度在多EV协调、约束处理、安全性和实时控制方面取得了显著进展，但现有研究通常使用单一的状态表示，并没有明确利用本工作中考虑的异构转换结构。在单户充电器设置中，剩余时间和电池组件是确定性演变的，而电价演变是在价格接受假设下的主要未知随机组件。这种结构差异激发了我们的模块化演员-评论家架构，并使得可以使用仅价格的历史数据对价格编码器进行预加载。此外，现有的受限和安全RL方法主要关注满足运营约束或防止不安全的行为。相比之下，当前的工作还考虑了与不成功的充电/放电套利相关的经济下行风险，并引入了AFP作为用户可调的奖励 shaping机制。因此，我们的框架侧重于三个互补方面：结构信息丰富的表示设计、仅基于价格的神经网络预加载和可控的套利风险偏好。表1总结了最近基于RL的EVC调度研究的主要特征和贡献，以及我们提出的方法。

**为了利用EVC调度问题中固有的结构分解，我们提出了一种用于HCSs的分解DRL框架。**该框架通过两阶段过程运行。在第一阶段，框架预加载定制神经网络架构的选定组件，从而提高对区域价格波动的适应性。在第二阶段，框架采用退火的Munchausen风格奖励 shaping来加速对用户行为的适应。此外，它通过引入对风险敏感操作的明确惩罚来允许用户管理套利偏好。**本工作的主要贡献总结如下：**
(1) **神经网络预加载（NNP）用于区域价格适应：**通过利用EVC调度问题的近似结构分解，我们设计了定制的深度神经网络架构，并引入NNP来预加载选定的网络组件，从而提高应对日益增加的不确定性的能力，特别是价格波动。这种方法提高了仅价格历史数据的利用率，并为时间价格编码器提供了经验上有效的初始化。
(2) **套利失败惩罚（AFP）用于风险偏好控制：**为了应对多种不确定性来源，特别是电价波动和不可预测的车辆使用模式，我们提出了AFP，它引入了一个风险敏感的惩罚，明确抑制倾向于成本的高风险套利行为。这种机制使学习到的策略能够在实际环境中实现更稳定和可靠的套利绩效，而不会大幅牺牲盈利能力。
(3) **退火的Munchausen风格奖励 shaping用于加速学习：**我们将退火的Munchausen风格对数策略奖励项与指数衰减系数结合到SAC框架中，以在早期训练期间加强学习信号。这种设计在测试环境中经验上加速了早期收敛，同时减少了后期训练阶段由 shaping项引入的潜在偏差。

**本文的结构**
第2节将基于HCS的EVC调度问题表述为MDP，并分析了与近似分解相关的技术机会和限制。第3节介绍了基于SAC的提出分解DRL框架，以及定制的Munchausen风格奖励、NNP、AFP和奖励设计。第4节报告了仿真设置并分析了实验结果。第5节总结了我们的工作成果。此外，我们将转移核分解开来，以明确问题结构并为后续的方法论发展提供依据。

方法论
为了解决家庭电动汽车充电（EVC）调度问题的MDP（马尔可夫决策过程）表述，我们开发了一个两阶段DRL（强化学习）框架，该框架能够适应随机操作条件。本节首先介绍了所提出框架的总体架构，然后详细描述了其关键组成部分，即Munchausen Soft Actor–Critic、神经网络预加载（Neural Network Preload）和套利失败惩罚（Arbitrage Failure Punishment）。我们通过示例进一步阐明了每个组件的功能。图3展示了...

案例研究
本节提出了几个案例研究，以评估所提算法的性能。具体来说，我们将其与多种基准方法进行比较，以检验其在降低成本、减轻经济风险和提高收敛效率方面的能力。

结论
本文提出了一个基于结构信息的DRL框架，用于家庭EVC调度。该框架的灵感来源于对单一家庭充电器转移动态的近似分解，其中剩余时间和电池状态遵循确定性更新，而电价被视为一个外生的随机过程。在SAC算法的基础上，该框架集成了NNP（神经网络预加载）来利用丰富但未对齐的历史电价数据进行区域适应性调整，以及AFP（套利失败惩罚）来...

CRediT作者贡献声明
叶婷娆：撰写——原始草稿、可视化、验证、软件实现、方法论设计、调查研究、形式分析、数据整理、概念化。
田志瑞：撰写——审阅与编辑、方法论设计、调查研究。

利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文报告的工作。

致谢
所有作者均已阅读并同意发布的手稿版本。

叶婷娆 | 田志瑞
中国香港大学深圳学院，广东