自动化决策技术在虚拟电厂运营与控制中的应用综述与展望 邹飞凡、高慈伟

《Energies》：A Review and Outlook on the Application of Automated Decision-Making Technology in the Operation and Control of Virtual Power Plants Feifan Zou and Ciwei Gao

　　摘要：为了解决园区级多源协同供电系统中可再生能源输出功率和负载需求的不确定性，并实现经济系统的运行，提出了一种基于数学规划引导的模仿学习-振荡衰减深度确定性策略梯度（MPG-OD-DDPG）算法的最优调度方法。首先，建立了以最小化系统运行成本为目标 olan 公园级多源协同供电系统的调度模型。其次，为了解决深度确定性策略梯度（DDPG）的低样本利用效率问题，引入了数学规划引导的模仿学习（MPGIL）方法来获取示范经验并指导初始训练过程。然后，针对DDPG探索能力不足的问题，设计了振荡衰减的Ornstein–Uhlenbeck噪声（OD-OU），通过噪声强度的振荡衰减过程来增强算法的探索能力。最后，根据调度模型设计奖励函数，并使用所提出的算法寻找最优的能量调节策略，从而实现公园级多源协同供电系统的最优调度。案例研究结果表明，与DDPG相比，MPG-OD-DDPG将运行成本降低了7.41%。它能够有效利用储能系统（ESS）的能量时间转移能力，降低公园级多源协同供电系统的运行成本。

1. 引言
在全球应对气候变化和追求可持续发展的推动下，能源转型正在稳步推进[1]。当前全球能源革命的主要趋势是化石燃料消费比例逐渐下降，能源系统向清洁和智能化方向发展。随着各国实施碳中和目标，能源生产和消费模式正在发生结构性调整。在这一过程中，由于可再生能源资源丰富、环境友好且成本不断下降，其在能源供应中的份额稳步增加，逐渐成为新能源供应的关键组成部分。随着可再生能源系统、储能系统（ESS）和新型用电设备的日益集成，园区正在积极推动可再生能源的本地消费和新型电力系统的建设。然而，这种集成也显著放大了可再生能源输出功率和负载需求不确定性对园区供电系统的影响，给这些园区的经济运行带来了挑战[2,3]。
目前，全球学术界对电力系统调度的优化给予了大量关注，特别是针对可再生能源功率和负载需求的随机特性。随机规划是一种处理具有不确定性的最优调度问题的经典方法。通过概率化描述不确定因素并进行情景分析，它能够实现含有可再生能源的微电网的最优调度[4,5,6]。相比之下，鲁棒优化构建了不确定性集，并寻找对所有可能的不确定性实现都具有鲁棒性的调度解决方案，从而确保在最坏情况下的可行性[7,8,9,10]。为了克服电力系统最优调度中的非线性带来的计算困难，许多研究人员还采用了智能优化算法。这些算法模拟群体智能方法在解空间中寻找最优解，非常适合具有复杂约束的最优调度问题[11,12,13,14]。然而，这些方法都是基于模型的，并依赖于精确的数学模型。随着可再生能源在供电系统中的集成程度越来越高，这些方法难以快速有效地获得最优调度策略。
深度强化学习（DRL）算法已经得到了广泛研究，并在能源系统优化管理和可再生能源消费方面展现了显著的潜力[15,16]。作为一种无模型的方法，DRL通过不断与环境动态交互来推导最优策略。它可以根据环境状态动态确定行动，因此在处理复杂的序列决策问题时表现出更强的适应性[17,18]。在[19]中，提出了一种基于灵活的Actor–Critic框架的DRL算法，通过适当设计奖励函数等关键方法，实现了集成电力-天然气能源系统的连续动作控制。在[20]中，采用了一种异步优势Actor–Critic算法来解决具有多能源耦合的集成能源系统的最优调度问题，有效降低了平均日运行成本。在[21]中，为孤岛微电网提出了一种改进的进化DRL算法，引入了新颖性搜索，并使用策略新颖性作为适应度度量来指导动作策略的更新方向。在[22]中，为了解决多微电网系统的高计算复杂性，提出了一种改进的多智能体DRL算法，通过基于通信距离约束的模块化价值函数对系统进行划分，从而在保持多微电网系统整体稳定性的同时降低了计算复杂性。这些研究表明，DRL在解决具有连续动作空间的调度问题时具有一定的优势。虽然上述研究中提到的深度强化学习方法在解决涉及连续动作空间的调度问题时表现出优势，但它们没有考虑如何有效利用其他方法的高质量经验。这导致在早期训练阶段样本利用效率低下。此外，它们没有解决如何在训练后期更持久地保持探索能力，以确保足够的探索，这最终影响了训练过程中算法的收敛稳定性。
DDPG算法难以快速适应动态变化的环境特征。同时，包含可再生能源的供电系统的最优调度问题表现出显著的不确定性。这导致在早期训练阶段积累了大量无效经验，随后干扰了算法从高奖励经验中学习的过程，对其学习效率和最终性能产生了不利影响。此外，DDPG算法通过在训练过程中逐渐降低探索噪声的强度来保持探索和利用之间的平衡。然而，这种方法可能导致算法的探索能力下降过快，从而在训练后期探索能力不足。这使得算法容易陷入局部最优解，最终影响最终的调度效果。因此，如何在早期训练阶段引导DDPG从有效经验中学习可行的调度策略，同时在训练后期保持探索能力以避免陷入局部最优解，是提高其在供电系统最优调度中性能的关键。
本研究提出了一种基于数学规划引导的模仿学习-振荡衰减深度确定性策略梯度（MPG-OD-DDPG）算法的公园级多源协同供电系统的最优调度方法。通过寻找储能系统（ESS）的能量调节最优策略，所提出的方法使ESS能够适应光伏（PV）输出，并为负载进行削峰和填谷，从而实现整个系统的经济运行。首先，建立了公园级多源协同供电系统的最优调度模型。其次，为了解决DDPG在早期训练阶段无效经验过多的问题，提出了一种数学规划引导的模仿学习（MPGIL）方法来提高学习效率。然后，设计了振荡衰减的Ornstein–Uhlenbeck噪声（OD-OU），通过噪声强度的振荡衰减过程在训练后期保持算法的探索能力，从而提高其全局优化性能。最后，案例研究表明，所提出的方法具有更高的学习效率和优化性能，能够有效提高PV的利用能力，同时降低公园级多源协同供电系统的运行成本。

2. 问题表述
公园级多源协同供电系统由PV系统、ESS、电网、用户负载和能源管理中心组成。图1展示了系统的内部架构。PV系统将太阳能转换为电能，而ESS提供双向功率调节能力。通过能源管理中心的调节，电力在PV输出高时储存，在PV输出不足时释放。同时，考虑到峰谷电价差异，在电价低时从电网购买电力，在电价高时释放储存的电力。通过这种方式，PV系统、ESS和电网的协同供电满足了园区的用户负载需求。

2.1. 目标函数
通过以最小化系统运行成本为目标，构建了公园级多源协同供电系统的最优调度模型。目标函数主要包括电网电力购买成本和能源储存退化成本：
(1)
其中 表示系统调度范围，(CNY) 表示电网电力购买成本，(CNY) 表示能源储存退化成本。
供电系统的电网电力购买成本计算如方程(2)所示：
(2)
其中 (kW) 表示电网电力购买功率，(CNY/kWh) 表示分时电价，(h) 表示单个时间间隔的持续时间。
在公园级多源协同供电系统的运行过程中，ESS需要在额定运行条件下进行不同放电深度（DOD）的充放电循环。因此，基于DOD循环寿命曲线建立了ESS的退化成本模型[23]。
DOD循环寿命曲线的拟合函数如方程(3)所示：
(3)
其中 表示拟合ESS循环寿命与放电深度之间关系的自然指数函数，(%) 表示放电深度， 和 表示拟合系数，其值是根据测量数据确定的。
方程(3)表示电池在从充满电状态到不同放电深度的充放电循环中的循环寿命。在此过程中，状态容量（SOC）和DOD满足以下关系：
(4)
其中 (%) 表示状态容量。
假设电池在相同的DOD下经历相同的寿命损失，并且充电和放电过程中的寿命损失是对称的，则电池的SOC从100%放电到 时的寿命损失由方程(5)给出[24]：
(5)
其中 表示寿命损失。
假设电池的充放电状态在两个相邻的SOC状态之间保持不变，当SOC从 变化到 时，ESS的退化成本由方程(6)给出[23]：
(6)
其中 (%) 表示时间t时的SOC，(CNY) 表示ESS的电池退化成本，(CNY) 表示ESS的电池更换成本。
方程(6)提出了一个简化的ESS退化成本模型，主要考虑了DOD对循环寿命的影响，没有考虑温度和C-rate等因素。由于其相对简洁的形式，它易于嵌入基于深度强化学习的供电系统最优调度框架中，确保了退化成本计算的准确性和实际应用的可行性。

2.2. 约束
2.2.1. 功率平衡约束
公园级多源协同供电系统不允许将电力卖回电网。其功率平衡约束如下：
(7)
(8)
(9)
其中 (kW) 表示PV功率，(kW) 表示削减的PV功率，(kW) 表示用户负载需求，(kW) 表示ESS的充放电功率。对于 ，正值 () 表示放电操作，而负值 () 表示充电过程。
2.2.2. ESS的运行约束
(10)
(11)
(12)
其中 (%) 和 (%) 表示ESS的最小和最大SOC， 和 表示ESS的充放电效率，(kW) 和 (kW) 表示ESS的最大放电和充电功率，(kWh) 表示ESS的最大能量容量。

3. DDPG的改进
DDPG算法的核心在于其与环境的交互。具体来说，算法根据状态确定一个动作，然后将动作应用于环境以获得奖励 和下一个状态。这个过程形成了一个经验元组，该元组被存储并随机采样以更新算法中的神经网络，最终寻找最大化累积奖励的最优策略函数。

3.1.DDPG中的神经网络参数更新
DDPG构建的神经网络包括Actor网络、目标Actor网络、Critic网络和目标Critic网络，其中、和分别表示相应网络的参数。Actor网络近似策略函数。Critic网络近似动作价值函数，从而评估当前的策略函数。其输出代表预测的累积奖励，即Q值，该值可以通过在状态中执行动作并随后遵循特定策略获得。目标Actor网络和目标Critic网络分别对应于Actor网络和Critic网络，为它们的更新提供稳定的目标，从而提高DDPG算法的训练稳定性。
Critic网络权重的更新是通过最小化时间差（TD）误差来进行的，损失函数定义为：
(13)
(14)
其中表示采样经验的批量大小，表示第i个经验的目标Critic网络的输出，表示目标Q值，它是使用即时奖励和下一个时间步的目标Critic网络的输出计算得出的，从而更接近真实的Q值，和分别表示第i个经验的状态、动作、奖励和下一个状态，表示折扣因子，代表未来奖励的重要性，和分别表示第i个经验的目标Actor网络和目标Critic网络的输出。
Actor网络参数通过最大化动作价值函数来优化，由以下损失公式控制：
(15)
目标网络通过以下公式进行软更新：
(16)
(17)
其中表示软更新系数，控制目标网络的更新频率。
通过这个迭代过程，DDPG算法不断与环境交互以更新每个网络的参数，最终寻找最优策略函数。

3.2. 数学规划引导的模仿学习
在DDPG训练阶段，通过在Actor的动作中注入随机噪声来实现探索。然后将得到的经验存入重放缓冲区，以便通过采样进行参数更新。然而，园区级多源协同供电系统中存在的不确定性增加了最优调度问题的复杂性。基于随机噪声的探索无法有效适应动态变化的环境，导致重放缓冲区在早期训练阶段积累了大量无效经验，这反过来又影响了算法的学习效率和最终性能。
本文提出了一种数学规划引导的模仿学习（MPGIL）方法。通过数学规划获得示范经验，并与常规经验一起采样，以构建训练所需的经验数据，从而指导算法的学习过程。具体步骤如下：
(1) 使用基于IPOPT求解器的数学规划方法来解决第2节构建的园区级多源协同供电系统的最优调度问题，从而获得具有高累积奖励的动作轨迹。在求解过程中，使用完整的每日光伏发电和负载历史数据作为输入，并对每个训练日进行24小时调度范围的最优调度，受方程(7)–(12)中指定的约束。在算法的训练和应用过程中，逐步读取每个时间点的光伏发电和负载数据作为算法输入。然后增强动作轨迹，最终轨迹表示为：
(18)
其中表示在时间步t由求解器获得的解，表示数据增强结果，遵循均值为零且方差为的正态分布。
(2) 将增强结果应用于构建的园区级多源协同供电系统环境，以获得与动作轨迹相对应的示范经验。在此过程中，根据约束条件对动作和状态的值进行显式限制，以确保示范经验的可行性。
(3) 建立一个双重重放缓冲区，分别存储示范经验和算法探索过程中生成的常规经验，防止常规经验的积累影响示范经验。在算法训练过程中，从两个重放缓冲区中以不同的比例独立随机采样经验。将示范经验和常规经验结合起来形成训练所需的经验样本。Critic网络的损失函数根据方程(13)和(14)推导得出，如方程(19)所示：
(19)
其中表示示范经验的采样比例。
在训练过程中，动态调整示范经验的采样比例，以实现示范引导学习和基于常规经验的探索之间的平衡。调整如下：
(20)
通过为示范经验设置相对较高的初始采样比例并在训练过程中逐渐降低它，算法可以在早期阶段有效地从示范经验中学习，同时在后期保持探索能力，防止过拟合和随之而来的策略适应性降低。

3.3. 振荡衰减的Ornstein–Uhlenbeck噪声
DDPG算法使用确定性策略，这意味着Actor网络输出一个确定性值。因此，通常通过逐渐降低添加的随机噪声的强度来平衡训练过程中的探索和利用。然而，这种方法可能导致探索能力下降过快，可能使策略函数陷入局部最优解。
本文提出了一种振荡衰减的Ornstein–Uhlenbeck噪声（OD-OU）。通过振荡衰减过程调节噪声强度，算法的探索和利用强度随时间交替变化。这允许算法在训练的后期阶段定期增强探索能力，从而避免收敛到局部最优解。OD-OU噪声定义为：
(21)
(22)
其中表示噪声的平均值，表示平均回归率，遵循标准正态分布，表示噪声强度的振荡幅度，表示噪声强度的振荡周期，和表示最大和最小噪声强度，表示噪声强度衰减系数，表示训练剧集编号。

3.4. MPG-OD-DDPG算法
MPG-OD-DDPG算法的结构框架如图2所示。图2显示了MPG-OD-DDPG（?表示叠加操作）的结构框架。如图2所示，MPG-OD-DDPG算法在标准DDPG算法的基础上进行了两项主要改进：
提出了MPGIL方法并将其集成。使用数学规划方法获得示范经验，并通过采样示范经验和常规经验来更新网络。这指导了训练过程并提高了算法的学习效率。
将OD-OU噪声注入动作中以促进探索。通过噪声强度的振荡衰减过程，DDPG算法即使在训练的后期阶段也能保持探索能力，增强了算法的全局优化能力，并防止策略函数陷入局部最优解。
MPG-OD-DDPG算法通过MPGIL方法和OD-OU噪声解决了早期训练阶段学习效率低和后期训练阶段收敛到局部最优解的问题，其训练过程如算法1所示。
算法1. MPG-OD-DDPG算法
1. 初始化Actor网络、Critic网络、目标Actor网络和目标Critic网络
2. 初始化常规经验重放缓冲区B1和示范经验重放缓冲区B2
3. 使用IPOPT求解器和数据增强获得最终动作轨迹
4. 应用动作轨迹，并将示范经验存储在B2中
5. 对于i = 1到max_episode执行以下操作：
6?初始化环境状态
7?根据方程(20)更新示范经验采样比例
8?根据方程(22)更新OD-OU噪声的强度
9?对于t = 1到T执行以下操作：
10??根据Actor网络和OD-OU噪声选择一个动作
11??执行动作并接收奖励和新的状态
12??将常规经验存储在B1中
13??根据示范经验采样比例分别从B1和B2中采样
14??根据方程(14)和(19)更新Critic网络
15??根据方程(15)更新Actor网络
16??根据方程(16)和(17)更新目标网络
17?结束循环
18?结束循环

4. 公园级多源协同供电系统的最优调度过程
在应用MPG-OD-DDPG算法对园区级多源协同供电系统进行最优调度时，状态空间、动作空间和奖励函数的设计如下：
(1) 状态空间
状态空间包括可以影响动作决策的环境变量。对于园区级多源协同供电系统，状态空间包括PV功率、用户负载需求、用电时间电价和ESS的SOC，如(21)所示：
(23)
(2) 动作空间
动作空间基于优化问题中的决策变量构建。在园区级多源协同供电系统中，选择ESS的充放电功率作为动作变量。动作空间可以定义为：
(24)
为了确保系统始终满足功率平衡约束，电网购买功率和被削减的PV功率不包含在动作空间中，并按以下方式计算：
(25)
(26)
(3) 奖励函数
奖励函数反映了环境采取动作后获得的即时奖励，对于深度强化学习算法中的策略优化至关重要。为了将方程(1)中显示的最优调度目标转换为深度强化学习算法所需的即时奖励信息，其负值被定义为奖励函数的核心部分。同时，为了提供更密集的奖励信号，引入了两个惩罚项[25]，奖励函数定义如下：
(27)
其中表示时间步t时ESS中存储的能量，表示ESS的能量容量，惩罚项通过限制充电状态来保持ESS未来的运行灵活性，惩罚项通过限制ESS的功率来抑制可能加速ESS老化的深度充放电循环，和表示惩罚项的权重系数，用于调整它们对奖励函数的影响，以防止它们掩盖主要与成本相关的奖励信号。
在本文的DRL框架中，园区级多源协同供电系统的环境是基于历史数据构建的。历史数据按日周期读取并与DRL算法交互。环境的状态转换由内部模型和外部历史数据共同决定：ESS的SOC由其先前状态和执行的动作决定，而PV输出功率和负载是通过加载历史数据获得的。电价由用电时间电价确定。
约束通过显式限制来执行。具体来说，环境状态变量（SOC、电网购买功率、被削减的PV功率）和动作变量（ESS充放电功率）的允许范围根据方程(7)–(12)确定。如果变量的值超出其约束范围，则将其限制在该范围的边界内，从而确保严格执行约束。
在每个时间步，按照以下步骤进行显式限制：(1) 限制充放电功率，(2) 更新SOC，(3) 检查SOC是否超出约束范围。如果是，则限制SOC并根据上下SOC边界和之前的SOC计算可行的充放电功率，(4) 计算电网购买功率和被削减的PV功率。
基于MPG-OD-DDPG算法的园区级多源协同供电系统的最优调度过程如图3所示。图3显示了基于MPG-OD-DDPG算法的园区级多源协同供电系统的最优调度应用过程。在应用MPG-OD-DDPG算法对园区级多源协同供电系统进行最优调度时，过程分为两个阶段：策略训练阶段和策略应用阶段。
在策略训练阶段，通过算法与系统的交互收集经验。结合MPGIL方法和OD-OU噪声，算法中的神经网络参数得到更新，以搜索最优策略函数。在策略应用阶段，加载训练期间获得的策略函数对应的Actor网络参数，系统根据其实际状态执行动作。在此阶段不再对Actor网络参数进行进一步更新。5. 仿真分析 5.1. 参数设置 本研究使用图1所示的园区级多源协同供电系统作为案例研究。调度范围覆盖24小时，时间分辨率为1小时。使用某校园2021年3月的光伏输出功率和负载数据。光伏系统的安装容量约为470千瓦，平均日负载约为4.2兆瓦时。历史数据涵盖21天。前14天作为训练集，用于获取示范经验和训练深度强化学习算法。随后7天的数据（未见过）作为测试集，用于评估算法的最优调度结果。储能系统（ESS）的参数列在表1中。表1. 公园级多源协同供电系统的参数。根据参考文献[22]，获得ESS的DOD周期寿命拟合曲线：(29) 电力购买价格遵循表2所示的分时电价。提出的MPG-OD-DDPG算法使用Python 3.10和PyTorch 2.4.1框架实现。算法的关键参数对其学习效率和最终性能有显著影响。学习率决定了算法中Actor网络和Critic网络的拟合速度。较大的学习率可以加快拟合速度，但会降低训练过程的稳定性。噪声强度等参数决定了训练过程中的探索能力。较高的噪声强度允许更广泛的噪声变化范围，从而实现更充分的探索，但会减慢收敛速度。算法参数通过重复实验确定[26]。Actor网络和Critic网络配置为三层网络，隐藏层有128个神经元，并使用ReLU激活函数。网络参数在训练过程中使用Adam优化器进行更新。详细的算法参数设置列在表3中。表3. MPG-OD-DDPG算法的参数。在MPG-OD-DDPG算法的示范经验构建阶段，首先基于训练数据集获得14条动作轨迹。然后通过数据增强将这些轨迹增加到1400条。最后，将动作轨迹逐步输入深度强化学习环境以获得示范经验，并通过显式限制确保其可行性。在算法训练过程中，采样比率k决定了从示范经验和常规经验中抽取的样本数量。分别对示范经验和常规经验进行独立随机采样以构成训练样本。每次训练结束后，更新示范经验采样比率。其初始值为1，递减步长为0.0004，经过2500次训练后递减到0。最大训练次数为5000次。达到这个最大值后，训练结束并保存Actor网络的参数。5.2. 训练过程分析 MPG-OD-DDPG算法训练过程中的累积奖励变化如图4所示。训练初期，奖励值相对较低。随着训练的进行，网络参数不断更新以搜索最优策略，奖励值逐渐增加。大约经过4000次训练后，奖励值稳定下来，表明训练过程已基本收敛。算法在多次运行中一致收敛，方差较小。收敛后的平均日运营成本为1138.28 ± 3.73元人民币。此外，表3中列出的超参数是通过重复测试获得的。对它们进行轻微修改不会显著影响算法的性能，这验证了算法的收敛稳定性。图4. 累积奖励变化曲线。5.3. 最优调度结果分析 考虑到该供电系统中的光伏系统受天气条件影响较大，MPG-OD-DDPG算法在三种情景下进行了测试：晴天、阴天和雨天。最优调度结果分别显示在图5、图6、图7和表4中。图5. 晴天条件下的最优调度结果。图6. 阴天条件下的最优调度结果。图7. 雨天条件下的最优调度结果。表4. 不同情景的结果。如图5所示，在晴天条件下，从00:00到06:00，光伏输出和ESS的SOC都很低，电网电价处于非高峰时段。在此期间，ESS充电，而用户负载需求由电网满足。从09:00到15:00，光伏输出达到峰值，SOC尚未达到最大限制。ESS继续充电，园区用户负载主要由光伏输出供应。从18:00到21:00，电网电价处于高峰时段，而光伏输出下降。ESS逐渐放电以满足用户负载需求，从而减少电网电力购买。在调度期间，为了保持供电系统的功率平衡并避免向电网售电，总共削减的光伏能量为292.06千瓦时，占总光伏发电量的10.31%。充电状态保持在29.52%到81.49%之间，没有违反任何约束。如图6所示，在阴天条件下，09:00到15:00的光伏输出变化较大，低于晴天情景。在这种情况下，ESS以较低的功率充电，甚至部分放电以满足用户负载需求，并在后续平价时段补充能量以准备高价时段。在调度期间，总共削减的光伏能量为109.37千瓦时，占总光伏发电量的5.48%。充电状态保持在23.48%到63.65%之间，没有违反任何约束。如图7所示，在雨天条件下，全天光伏输出几乎为零，园区用户负载需求主要由ESS和电网供应。从00:00到06:00，当电网电价处于非高峰时段时，ESS充电。从10:00到14:00，在高价时段，ESS与电网协调放电以满足用户负载需求。在调度期间，总共削减的光伏能量为14.56千瓦时，占总光伏发电量的3.28%。充电状态保持在10%到47.35%之间，没有违反任何约束。根据上述调度结果分析，MPG-OD-DDPG算法获得的调度策略通过利用分时电价并提高光伏消耗率来降低供电系统的运营成本。当光伏发电系统不活跃时，算法根据分时电价调整ESS的充电/放电功率：在电价低时段储存能量，在电价高时段释放能量以替代电网购买，从而降低电力购买成本。当光伏发电系统活跃时，算法根据不同天气条件下的光伏输出功率调整ESS的运行状态：在光伏输出充足时充电，从而提高光伏消耗率。这证明了MPG-OD-DDPG算法能够根据电价和光伏输出功率等环境状态信息识别出经济最优的调度策略。5.4. 对比实验和结果分析 为了评估MPG-OD-DDPG在园区级多源协同供电系统运行中的优化性能，采用了四种对比算法。MPG-OD-DDPG算法从历史数据中学习以获得调度策略——具体来说是Actor网络——从而在整个调度范围内提高累积奖励，实现园区级多源协同供电系统的单日经济最优调度。因此，除了深度强化学习方法外，还采用了其他针对单日经济优化的经典调度方法进行比较，以验证所提算法的优化效果。首先，与实时在线控制方法进行比较，包括Twin Delayed Deep Deterministic Policy Gradient（TD3）算法和Model Predictive Controller（MPC）。MPC的目标函数和约束在第2节中构建，滚动范围为12小时。滚动范围内的优化问题使用IPOPT解决。除了实时在线控制方法外，还使用了经典的一天前最优调度方法来解决第2节中构建的优化调度问题，以便进行更全面的比较。这些方法包括基于IPOPT的数学规划方法和Particle Swarm Optimization（PSO）算法。所有上述算法的输入数据都来自测试数据集。MPG-OD-DDPG和TD3算法使用每个时间点对应的实际历史数据。MPC使用相应时间点的实际值和随后11小时的预测值。IPOPT和PSO使用24小时的预测值作为输入数据。预测值是通过在测试数据集的历史数据上叠加5%、10%和15%的预测误差生成的。实时在线控制方法和一天前最优调度方法在输入信息上有所不同：实时在线控制方法使用相应时间的实际值或短期预测值，而一天前最优调度方法使用调度日的完整预测值。通过涵盖实际供电系统优化调度中的不同运营范式，本研究更全面地评估了所提算法的性能。不同方法的比较结果列在表5中，其中所有深度强化学习算法的结果基于五次独立运行获得。表5. 不同方法的比较结果。光伏消耗率表示在调度期间，用户负载需求和储能系统实际消耗的总光伏发电量的百分比，相对于光伏系统的总可用光伏发电量。计算公式如下：(30) 如表5所示，与TD3算法相比，MPG-OD-DDPG算法将平均日运营成本降低了3.26%。当考虑5%的预测误差时，MPG-OD-DDPG算法的平均日运营成本相对于MPC降低了8.39%，相对于基于IPOPT的数学规划方法降低了2.54%，相对于PSO算法降低了11.28%。当考虑10%的预测误差时，平均日运营成本分别降低了8.58%、3.45%和12.44%。当考虑15%的预测误差时，平均日运营成本分别降低了8.69%、4.84%和13.55%。这些结果表明，MPG-OD-DDPG算法实现了更低的平均日运营成本，证明了其在不确定性下处理园区级多源协同供电系统最优调度问题的优越能力，从而提高了系统的经济性能。结果还表明，基于IPOPT的数学规划方法、MPC和PSO对预测误差敏感；随着预测误差的增加，优化情景与实际条件之间的差异增大，导致平均日运营成本增加。此外，MPG-OD-DDPG算法在所有对比方法中实现了最高的平均日光伏消耗率，表明它可以更有效地利用光伏输出，减少电网电力购买，从而降低供电系统的碳排放。此外，该算法的平均日能量存储降解成本较低，有效延长了ESS的寿命。MPG-OD-DDPG算法的优越调度结果归因于MPGIL在早期训练阶段对调度策略的指导能力，以及OD-OU噪声在后期训练阶段提供的持续探索能力。MPGIL方法通过在早期训练阶段构建和利用示范经验，使算法能够更快地学习各种场景下的经济调度策略。同时，具有高不确定性和非线性的优化问题可能存在多个局部最优解。OD-OU噪声通过其振荡衰减的强度，使得算法即使在训练的后期也能保持探索行为，从而有助于寻找全局最优解。相比之下，基线DDPG和TD3算法在早期训练阶段的样本学习效率较低，后期探索能力不足。虽然MPC、IPOPT和PSO等算法可以在更长的时间范围内利用环境信息，但它们最终受到对不确定性处理方式的限制，导致最终的调度性能不佳。为了评估MPG-OD-DDPG算法对ESS参数的敏感性，通过同时调整储能容量和最大功率进行了实验。实验结果如表6所示。表6显示，当ESS的容量和最大功率降低到原始设置的80%时，尽管ESS的退化成本降低了9.16%，但电网电力购买成本增加了3.59%。这是因为ESS的能量调节能力受到限制，最终导致电力供应系统的平均每日运营成本增加了1.96%。相反，当ESS的容量和最大功率增加到原始设置的120%时，电力供应系统的各种成本和光伏发电率显示出相反的趋势。这是因为额外的容量和充放电功率可以更有效地利用分时电价和光伏发电来降低运营成本。这表明MPG-OD-DDPG算法可以调整其调度策略，以解决具有不同参数的电力供应系统的最优调度问题。总之，应用MPG-OD-DDPG算法进行园区级多源协同电力供应系统的最优调度可以带来更好的整体经济效益。

5.5. 消融实验和结果分析
为了验证MPGIL和OD-OU噪声的有效性，使用四种方法进行了消融实验：DDPG、OD-DDPG、MPG-DDPG和MPG-OD-DDPG。图8显示了每种方法在训练过程中的奖励值变化，表7展示了运营成本的比较结果。如图8所示，MPG-DDPG算法在训练早期阶段的奖励值增长最快，表明MPG-DDPG能够有效利用示范经验快速学习降低系统运营成本的行动策略。OD-DDPG算法在奖励增长上表现出暂时的停滞，随后有所增加，显示出其逃离局部最优解的能力和强大的探索能力。MPG-OD-DDPG算法在训练早期阶段的奖励增长相对较快，并在训练中期到后期实现了最高且最稳定的奖励，表明其具有较高的学习效率和收敛稳定性。这些结果验证了所提出的改进措施在提升算法学习效率和优化最终性能方面的有效性。如表7所示，所提出的改进措施有助于提高算法的最终性能。基于DDPG算法，引入OD-OU噪声使电力供应系统的平均每日运营成本降低了3.62%，表明噪声强度的振荡衰减过程增强了算法的探索能力，使其能够学习出降低运营成本的策略。结合MPGIL方法后，平均每日运营成本降低了4.95%，表明示范经验可以有效指导学习过程，并对学习效率和最终性能产生积极影响。所提出的MPG-OD-DDPG算法整合了这两种改进措施。尽管它略微增加了训练时间，但它实现了最低的平均每日运营成本，与DDPG相比降低了7.41%，从而验证了所提出算法改进的有效性。

6. 结论
对于园区级多源协同电力供应系统的最优调度问题，本文提出了一种MPG-OD-DDPG算法，该算法通过学习历史数据模式来构建ESS的最优运行策略，从而实现系统的最优调度。案例研究得出以下结论：
MPG-OD-DDPG算法利用MPGIL方法构建并有效利用示范经验，解决了早期训练阶段由于大量无效经验导致的盲目学习问题，显著提高了学习效率。通过OD-OU噪声强度的振荡衰减过程，MPG-OD-DDPG算法即使在训练后期也能保持强大的探索能力，增强了其寻找最优行动策略的能力。将所提出的MPG-OD-DDPG算法应用于园区级多源协同电力供应系统的最优调度，可以有效利用ESS的双向功率调节能力进行能量调节，使系统能够应对不确定性，提高可再生能源利用率，并提升整体经济效益。基于历史数据训练的该算法具有高样本效率和强大的优化能力，能够根据系统状态进行实时调度，为在包含可再生能源的电力供应系统中的部署奠定了基础。然而，仍存在一些局限性：如何使训练好的Actor网络快速适应新数据并降低训练成本仍然是一个挑战；当前的研究主要集中在单个园区案例上，将其扩展到更复杂场景（如多个园区）的应用需要进一步研究。