简化版ROI定义在面部热成像技术中的评估：用于心理生理学与医学应用 Valentina Stani? 和 Gregor Ger?ak

《Applied Sciences》：Evaluation of Simplified ROI Definition in Facial Thermography for Psychophysiological and Medical Applications Valentina Stani? and Gregor Ger?ak

　　摘要 在级联水力-风能-光伏（HV-PV）互补系统中，径流、风力发电输出和光伏发电输出本质上是不确定的，这使得长期调度成为一个高维的连续控制决策问题。为了解决这个问题，本研究提出了一种基于深度确定性策略梯度（DDPG）算法的长期最优调度方法。首先，建立了一个级联HV-PV互补系统的长期最优调度模型，旨在最大化可再生能源的接纳量。其次，将原始优化问题转化为马尔可夫决策过程，并将多约束调度任务转换为深度强化学习问题。然后，采用DDPG的Actor-Critic架构来迭代更新连续控制策略，同时引入经验回放和目标网络来稳定训练过程并提高学习性能。最后，选择了一个大型级联水力发电系统及其周围的风能和光伏电站作为案例进行研究验证，并将所提出的方法与深度Q网络（DQN）和近端策略优化（PPO）进行了比较。结果显示，所提出的方法能够在相对较少的训练轮次内学习出稳定的调度策略。与DQN和PPO相比，DDPG在所考虑的案例研究中实现了更好的整体调度性能，包括更高的可再生能源接纳量、更低的弃电率和更快的收敛速度。

1. 引言
促进以可再生能源为主的新型电力系统的形成不仅是电力系统转型和升级的重要方向，也是实现碳峰值和碳中和目标的关键途径[1]。实现碳中和需要大幅扩展风能和光伏（PV）发电，同时提升电力系统在输电容量、储能和需求侧灵活性方面的能力[2]。在这种情况下，集成风能、太阳能、水力发电和其他可再生资源的多能源互补系统已被广泛研究，作为提高可再生能源利用率和增强电力系统灵活性的有效方式[3]。风能-太阳能互补系统和水力-风能-PV-蓄电池互补系统的协调规划和运行也被证明可以在容量和电网相关约束下支持大规模可再生能源的整合[4,5]。在这些系统中，级联水力发电系统扮演着特别重要的角色，因为它的多水库调节能力和上下游水力连接可以为平滑可再生能源波动和提高整个系统的能源接纳量提供灵活的支持[6]。与短期调度相比，中期和长期调度受到气候条件的影响更大，导致径流、风力发电和光伏发电的预测准确性较低，不确定性表征更加困难[7,8]。再加上级联水电站复杂的液压和电气连接以及与长期随机联合调度相关的多个运行约束[9]、综合利用和负荷特性[10]以及生态保护[11]，这使得在级联HV-PV互补运行下的可再生能源接纳和最优调度问题变得高维、高度非线性且时间上耦合，从而显著增加了其计算复杂性。针对多能源互补系统的协调运行，相关研究主要集中在不确定性表征、协调运行建模、约束条件的精细化以及高效解决方法的设计上。参考文献[12]通过提出一个同时考虑长期和短期运行决策的嵌套模型，解决了PV输出波动引起的电网集成挑战。在下游水位波动的约束下，该研究评估了水力发电和PV发电的协调运行特性以及相关的弃电行为，并相应地优化了安装的PV容量。参考文献[13]从中期和长期的角度进一步开发了级联HV-PV系统的区间最优调度模型，考虑了多种不确定性来源，从而提供了一种在长期随机条件下协调运行的新建模方法。参考文献[14]明确将多个输电通道约束纳入级联HV-PV系统的调度模型，并分析了多通道电力传输条件下水力发电的主动调节能力与可再生能源接纳量之间的耦合机制。参考文献[10]提出了一种水力-风能-太阳能系统的长期调度策略。通过考虑互联区域电网的需求特性，该研究连接了不同运行时间尺度的决策，并制定了旨在提高可再生能源利用率的优化模型，从而揭示了电网限制对可再生能源整合的影响。参考文献[15]根据流量限制和控制模式将生态约束分为三类，并为结合这些复杂生态要求的水力-风能-光伏混合系统建立了短期调度模型。通过分段线性化、基于特殊排序集2（SOS2）的重新表述方法和Big-M方法，将非线性的液压、电气和生态约束转化为可求解的混合整数线性规划（MILP）框架，从而在更严格和多样的约束条件下提高了短期调度的可行性。

强化学习逐渐被引入多水库运行和HV-PV互补调度，因为它具有序列决策和自学习的能力。在一个多水库案例研究[16]中，Q学习被应用于水力发电调度的随机优化，并显示出比传统的动态规划方法（如隐式随机动态规划和采样随机动态规划）更优越的性能，从而反映了Q学习在水力发电系统中的应用潜力。为了进一步缓解级联系统中表格强化学习的维度限制，在入流预测场景下，参考文献[17]开发了一个用于级联水力发电水库运行的深度强化学习模型，并采用深度Q网络（DQN）来解决问题；同时引入了聚合-分解方法来减少状态和动作空间的维度，并修改了动作选择策略以应对预测不确定性，从而提高了学习效率，并实现了比随机动态规划更好的水力发电和系统可靠性。对于水力-风能-PV互补系统的短期调度，参考文献[18]将DQN与互补系统的数学模型结合起来，考虑了预测不确定性，并系统分析了超参数（如最小ε值、衰减系数和学习率）对收敛速度和训练稳定性的影响。除了DQN之外，强化学习最近已从离散动作问题扩展到更复杂的连续控制场景。参考文献[19]提出了一种基于场景聚类的多任务深度强化学习方法，用于水力-风能-太阳能系统的实时运行；而参考文献[20]进一步开发了一种用于水力-风能-PV-储能互补系统的多目标深度强化学习调度方法，展示了Actor-Critic方法及其变体在多能源耦合连续控制问题中的应用潜力。参考文献[21]采用近端策略优化（PPO）来解决水力-风能-PV系统调度决策中的最优调度难题，进一步证实了基于策略梯度方法的可行性。然而，基于价值的强化学习方法（如DQN）通常需要动作空间的离散化。当处理多维连续决策变量（如水位调节、功率分配和弃电决策）时，这些方法容易面临有限的动作分辨率和不足的决策准确性。相比之下，深度确定性策略梯度（DDPG）是一种能够在连续动作空间中有效解决高维随机问题的深度强化学习算法，近年来已在包括电力系统在内的工程连续控制问题中得到验证和应用[22,23,24,25]，证明了其在控制复杂动态系统中的可行性和有效性。尽管如此，现有研究主要集中在短时间尺度的动态控制或短期调度问题上。系统研究仍然缺乏对长期尺度下多种不确定性下级联HV-PV互补系统的连续决策制定和稳定训练机制的研究。因此，如何充分利用DDPG等深度强化学习方法来实现高维和复杂的级联HV-PV互补系统的长期最优调度和高效可再生能源接纳，以及在多重不确定性和时间耦合共存下的调度，仍需要进一步研究。

为了应对这些挑战，本研究基于强化学习中的时差（TD）学习范式，提出了一种基于DDPG的级联HV-PV互补系统的最优调度方法。所提出的方法旨在解决长期随机调度决策的难题，这些决策涉及高维度、强时间耦合和连续决策变量。代理使用联合的水力-风能-PV场景进行训练，并采用基于动作噪声的探索机制（如Ornstein-Uhlenbeck（OU）噪声）来增强探索能力。此外，引入了一个噪声衰减策略来提高训练稳定性和策略收敛性，从而能够直接学习包括水位控制、功率分配和弃电决策在内的多维连续动作。最后，使用了一个级联水力发电系统及其周围的风能和光伏电站作为案例进行验证。所提出的方法与DQN和PPO进行了比较，并在可再生能源接纳量、弃电减少和收敛速度方面对其性能进行了全面评估。

2. 级联水力-风能-PV互补系统的长期随机调度
为了提高数学表述的可读性，所提出的最优调度模型中使用的主要符号和参数在附录A表A1中进行了总结。如图1所示，级联水力-风能-PV互补系统中每个下游水库的入流由上游水库的排放量和自然入流组成。图1显示了级联水力-风能-PV互补系统的配置。其中，水库A是上游的水库，其入流是自然入流，用表示；表示水库A的排放量。水库B是下游的水库，其入流是水库A的排放量和自然入流之和；表示水库B的排放量。

对于级联水力-风能-PV互补系统的长期随机调度，这是一个多阶段决策问题，每个水库的自然入流和每个风能及光伏电站的最大可用发电量被视为随机变量；每个水库的当前存储量和时间步长被视为状态变量；每个水库的排放量和每个风能及光伏电站的实际发电量被视为决策变量。

2.1. 目标函数
从可再生能源接纳和水资源利用的角度来看，调度的目标是制定可行的运行决策，以考虑传输走廊容量等约束条件。在水力发电、风能和光伏单元的装机容量固定的情况下，调度模型考虑了不同情景下每个单元的最大可用输出。然后通过确定水库排放量和风能及光伏发电量来进行最优调度，以减少弃电并最大化级联水力-风能-PV系统中的可再生能源接纳量。目标函数如下所述：
（1）
（2）
其中表示第t期第i个HV-PV互补子系统的总功率输出；表示第t期第i个HV-PV互补子系统中水力发电、风能发电和光伏发电的可用功率输出；分别表示第t期第i个HV-PV互补子系统中的风能弃电、光伏弃电和水力发电弃电；t是调度周期索引，T = 12；表示周期的持续时间。约束条件：
(1) 水量平衡约束：
对于串联水电站中的第i个水电站，在时间t，表示期末的蓄水量；表示流入量；表示放出量；表示天然流入量；表示发电量；表示溢流水量。

(2) 水位边界：
表示时间t第i个水电站的水位及其上下限。

(3) 放流边界：
表示时间t第i个水电站的最小和最大放流量。

(4) 发电量边界：
表示时间t第i个水电站的最小和最大发电量。

(5) 放流水量-功率关系：
其中是一个常数系数，表示发电单元的整体效率，表示时间t第i个水电站的有效平均水头（单位：米），即上游水面与涡轮机下游水位之间的高度差，已考虑了水头损失。

(6) 水位-蓄水量关系：
表示第i个水电站的非线性水位-蓄水量关系函数。

(7) 水电-风能-光伏互补系统的输电走廊容量约束：
表示第i个水电-风能-光伏互补系统的输电走廊的最大输电容量限制。

(8) 风能和光伏输出约束：
由于水电-风能-光伏互补系统的输电走廊容量有限，风能和光伏的实际输出不能超过其最大可用功率输出，因此施加以下约束：
表示时间t第i个水电-风能-光伏互补系统中风能和光伏的实际功率输出。

3. 模型求解
3.1. 马尔可夫决策过程的构建
在强化学习框架内，智能体根据当前状态采取行动与环境互动，环境则提供反馈以指导下一步决策。这种迭代机制非常适合电力调度问题。对于串联水电-风能-光伏互补系统，长期调度任务从原始的多约束优化问题转换为深度强化学习问题，然后被构建为马尔可夫决策过程[26]。基于现有的调度优化模型，相关内容在马尔可夫决策过程中通过四个元素来表征：状态、动作、奖励和转移。
为了反映系统的周期性运行，将一年定义为一个完整周期，并分解为多个决策阶段。在每个阶段，智能体通过与环境的互动为相应时期做出调度决策。一旦年度周期中的所有阶段都被遍历完，就会计算总奖励，标志着一个episode的结束。通过重复这种互动并更新价值函数，智能体逐渐获得最优的动作策略。

状态：状态向量表示时间步t的状态变量。它包含足够的信息来支持智能体做出当前决策，其中表示第i个水电站的当前蓄水量，t表示当前月份。包含时间信息使智能体能够捕捉季节性模式并改进调度策略。

动作：动作向量表示每月的调度决策变量，包括每个水电-风能-光伏互补子系统的发电量、实际风功率输出和实际光伏功率输出。为了统一不同动作组件的维度和尺度，三种类型的控制变量（即水力发电、风能发电和光伏发电）分别进行线性归一化。具体来说，每个相应变量的最大值被作为上限，0被作为下限，从而使每个动作维度的范围归一化为[0, 1]。然后将归一化的动作映射回实际物理范围，以确保调度决策与实际运行条件一致。

转移：状态转移函数描述了智能体通过选定的动作与环境互动后，状态如何从当前状态转变为下一个状态。转移过程的随机性主要由外源性输入引入，包括风能和光伏资源条件以及径流，而状态变量仅代表确定性的内部系统特征（如水库蓄水量）。因此，状态转移的随机性由外部环境输入决定，而不是由状态变量本身决定。对于当前月份，外部环境输入由向量表示，它包括可用风功率和光伏功率输出的上限以及径流。因此，在联合情景下的状态转移方程为：
表示下一个状态，是状态到状态的转移函数。转移过程由动作和外部环境输入共同决定。在本研究中，调度动作决定了水库的放水量，而自然环境决定了径流以及最大可用的风功率和光伏功率输出。因此，系统状态的演变取决于调度动作和外部环境。

奖励：为了评估串联水电-风能-光伏互补系统在整个年度调度范围内的整体运行性能，奖励函数以年度可容纳的可再生能源为核心目标进行构建。通过考虑与风能、光伏和水力发电相关的弃电惩罚，在12个月的调度周期结束时累计每月回报，奖励函数定义为：
其中，和分别是风能弃电、光伏弃电和水力发电弃电的惩罚系数。

3.2. 深度Q网络（DQN）
DQN是一种基于TD学习的表格式强化学习算法，旨在通过学习动作价值函数来实现最优决策。其核心思想是使用在线Q网络来近似Q函数：当前状态被作为网络输入，该状态下所有候选动作的估计Q值作为输出。通过最小化TD误差，网络参数不断更新，从而使估计的动作值逐渐接近最优动作价值函数[27]。为了提高训练稳定性和样本效率，DQN引入了经验回放机制，即从经验回放缓冲区中随机抽取用于训练的转移样本，并引入目标Q网络来生成相对稳定的目标值。这些机制有助于减少样本相关性并减轻训练过程中的振荡，从而使智能体能够学习出更好的策略。

3.3. 近端策略优化（PPO）
PPO是一种基于策略梯度方法的在线策略强化学习算法，旨在通过直接优化参数化策略来实现稳定的策略更新。其核心思想是使用策略网络根据当前状态输出动作分布，然后通过抽样获得调度动作。同时引入价值网络来估计状态-价值函数，用于评估当前策略下当前状态的长期回报。在策略更新过程中，PPO构建概率比率来衡量旧策略和新策略之间的变化，并采用剪裁目标函数来约束更新步长，从而避免由于策略更新过大而导致的训练不稳定。为了减少策略梯度估计的方差，PPO通常使用优势函数估计来评估抽样轨迹，并基于当前策略收集的数据进行多次小批量更新。由于其稳定的更新机制和相对简单的实现方式，PPO适用于连续控制和复杂的约束决策问题。然而，由于其在线策略的本质，PPO严重依赖于新抽取的数据，其样本效率相对低于基于经验回放的离线策略算法。

3.4. 深度确定性策略梯度（DDPG）
DDPG是一种专为连续动作空间中的控制问题设计的深度强化学习算法。它是无模型的且离线策略的，采用Actor-Critic架构：Actor网络根据当前状态输出连续动作，而Critic网络评估相应的状态-动作对的价值。在训练过程中，智能体将通过与环境互动获得的转移样本（即状态-动作-奖励-下一个状态的元组）存储在经验回放缓冲区中，并随机抽取小批量数据进行网络更新，以提高样本利用率并减少时间相关性。为了增强训练稳定性，DDPG引入了目标网络并采用软更新机制来生成相对稳定的目标值[28]。同时，由于策略是确定的，通常会在动作中添加噪声（如OU噪声或高斯噪声）以鼓励探索。与DQN相比，DDPG不需要动作空间的离散化，可以直接在连续空间中学习平滑的策略，因此更适合连续决策变量（如放水量和功率分配）。相比之下，DQN通常适用于离散动作场景；当应用于连续控制问题时，它们通常需要动作离散化，这可能会导致精度的损失和动作空间的扩展。由于上述机制，DDPG非常适合涉及连续决策的调度和控制任务。DDPG算法的具体网络更新过程如图2所示。
图2. DDPG算法的训练和网络更新过程。DDPG算法解决串联水电-风能-光伏互补系统长期随机调度问题的主要步骤如下：
S1：初始化Actor网络和Critic网络，用和初始化目标网络；并初始化经验回放缓冲区D。这里，和分别表示Actor网络和Critic网络的网络参数。
S2：定义环境和超参数，包括初始水库蓄水量、奖励函数中的惩罚系数、学习率、折扣因子、软更新系数以及最大迭代次数。
S3：重置环境（初始环境输入）；初始化状态；并将累积奖励重置为。
S4：获取当前状态，并将当前状态输入Actor网络以输出动作。然后添加探索噪声以获得最终动作：。在本研究中，采用OU噪声来探索动作空间，从而解决了传统方法在连续动作优化中的局限性。OU噪声生成为，其中是控制噪声返回平均值的速度的根本回归率，是控制探索随机性的噪声幅度。
S5：根据当前状态和执行的动作，环境更新状态：根据执行的动作、状态和环境输入更新水库蓄水量。然后更新月度信息，并根据月度状态更新风能和光伏发电的上限以及径流数据。从而获得下一个状态和下一个时间步的环境输入。
S6：根据当前决策计算即时奖励，包括总发电量和弃电惩罚，并将存储在经验回放缓冲区D中。
S7：网络更新：在每个月度决策步骤之后，使用回放缓冲区迭代更新智能体。从经验回放缓冲区中随机抽取一个小批量。对于Critic网络更新，首先从回放缓冲区中的计算当前Q值，然后从回放缓冲区中的计算目标Q值：
其中是当前决策阶段调度动作对应的奖励，是用于加权累积奖励中未来回报的折扣因子。通过最小化均方时间差异误差来学习Critic网络的参数：
然后计算critic网络中所有参数的损失函数梯度。这些梯度表示当参数略微调整时损失的变化。评论家网络参数沿着梯度方向进行调整，以最小化损失，相应的更新规则由下式给出：(18)，其中 是评论家网络的学习率， 是一个远小于1的超参数。

S8：演员网络更新：评论家网络输出的策略梯度，加上演员网络对其自身参数的梯度，用于最大化评论家网络估计的Q值，更新方程为 。然后，目标网络按照 进行平滑更新。

S9：在训练过程中，重复上述过程，直到满足停止标准。训练完成后，将优化后的演员网络作为水电-风电-PV互补系统的长期调度策略。整个过程如图3所示。图3：基于DDPG算法解决水电-风电-PV互补系统最优调度策略的流程图。

3.5. 水电-风电-PV系统的场景生成
为了表征水电-风电-PV系统在月尺度上的不确定性，并为后续的强化学习训练提供随机的外生环境输入，本研究基于历史月数据构建了一个联合场景集。由于径流、风电输出和光伏输出表现出明显的季节性特征，因此分别对每个随机变量进行非参数估计，以月为单位，并在统一的概率空间中建立依赖结构，以确保生成的场景能够反映历史统计规律性。
在水文过程建模中，考虑到串联水库的自然径流具有空间相关性，采用copula函数来拟合同一月份不同水库之间的径流联合分布，其中选择Clayton copula来描述串联径流序列之间的空间依赖性。此外，为了反映径流在月份间的连续演变，采用一阶马尔可夫过程来描述月份间的时间依赖性。具体而言，将月径流的联合状态向量作为状态变量，构建状态转移概率，并通过递归按月采样生成12个月的径流序列[29]。
对于水电-风电-PV建模，考虑到同一水库区域内的径流、风电输出和光伏输出受到共同气象条件的影响，这三个变量之间存在统计依赖性。因此，为每个水库建立了水电-风电-PV的联合依赖结构。具体来说，在估计了径流、风电和光伏的边际分布后，使用C-Vine copula来分层描述单个水库内水文、风能和光伏变量之间的依赖结构。然后，根据该水库的实际径流值，生成相应的风电和光伏输出，从而将风能和光伏输出与之前生成的径流场景路径耦合[30]。最终，得到了一个由多个年度路径组成的水电-风电-PV系统的场景集，每个场景包含12个月的串联自然径流以及每个水库对应的风电和光伏输出序列。

4. 案例研究分析
4.1. 案例研究概述
本研究以一个大规模的串联水电站及其周围的风能和光伏电站作为案例研究对象。该案例系统包括两个串联水电站，分别称为电站A和电站B，以及它们周围的风能和光伏电站。为了确保风能和光伏数据的空间代表性，选择以每个水电站为中心70公里范围内的风电场和光伏电站作为该站点的周围可再生能源资源。在电站A周围，安装的光伏容量为1100 MWp，安装的风电容量为1350 MW，总可再生能源容量约为2450 MW。在电站B周围，安装的风电容量为1410 MW，安装的光伏容量为3080 MWp，总可再生能源容量约为4490 MW。在这个案例研究中，两个水电站通过串联水文链接共同参与调度，并与周围的风能和光伏电站一起形成一个水电-风电-PV互补系统。具体的工程特性如表1所示。

4.2. 串联水电-风电-PV耦合场景分析
用于分析串联水电-风电-PV耦合场景的历史数据如下获得。对于水力部分，使用了电网公司提供的两个串联水电站的历史流量（自然径流）数据，数据覆盖1990年至2022年的月度时间范围。对于风能和光伏部分，由于可测量的运行数据有限，采用了NASA POWER再分析气象数据作为基本输入。根据研究需求选择相应的气象变量，并用于后续的风电计算和光伏功率模拟。具体来说，风电输出主要使用10米高度的风速数据，结合风速转换和容量因子方法来构建风电输出序列。光伏功率模拟主要使用全球水平辐照度（GHI）、漫射水平辐照度（DHI）、环境温度、10米高度风速、大气浊度因子和相对湿度等气象变量。这些变量作为辐照度转换、模块温度计算和系统发电性能模拟的基本输入。然后使用PVsyst模拟获得光伏功率输出。每种能源的基本研究数据总结在表2中。最后，形成了1990年至2022年的月度联合历史样本，包括水文、风能和光伏的数据。相应的箱形图如图4所示。

4.3. 强化学习算法的超参数调优
在本研究中，深度学习模型是在Python 3.12环境下使用Py Torch框架实现的。DDPG算法采用的数据集包含了使用本文提出的场景构建方法生成的500个串联水电-风电-PV场景。训练集、验证集和测试集的比例分别为70%、15%和15%。由于在前面的章节中没有明确指定水力、光伏和风电的优先顺序，因此通过惩罚系数的大小在奖励函数中反映了能源的优先级。考虑到风能和光伏输出具有高度的随机性，且被削减的风能和光伏输出难以恢复，而水力具有更强的调节能力，惩罚系数分别设置为0.75、0.75和0.875。
为了提高强化学习算法在串联水电-风电-PV互补系统长期随机调度问题中的训练稳定性和策略性能，在相同的训练环境和场景样本下调整了关键超参数。本小节以DDPG为例进行说明。影响DDPG算法性能的主要参数包括演员网络和评论家网络的学习率、探索噪声参数、折扣因子、软更新系数以及批量大小和回放缓冲区容量。考虑到本研究中训练迭代次数较多、场景样本的频繁重复使用以及每个剧集的固定决策时间范围（即12个时间步长的月度决策），批量大小设置为128，回放缓冲区容量设置为100,000，以平衡训练效率和样本多样性。基于这些固定设置，进一步进行了比较实验，以调整学习率、探索噪声、折扣因子和软更新系数。
步骤1：通过对演员网络和评论家网络的学习率在预定义范围内进行组合比较实验，选择在验证集上产生最大累积奖励（或平均累积奖励）的参数组合作为最优学习率设置。其余参数遵循原始DDPG论文中的推荐设置，具体数值见参考文献[28]。如图6所示，最终选定的学习率分别为演员网络0.0001，评论家网络0.003。

步骤2：基于固定的学习率设置，将选定的最优学习率代入模型以确保后续实验的一致性和可比性，并进一步调整探索噪声参数。探索噪声主要用于连续动作空间中的策略探索。它的作用是在动作输出上叠加随机扰动，从而防止策略过早陷入局部最优，并在训练初期提高状态-动作空间的覆盖范围，有助于有效地学习价值函数和策略网络。如图7所示，初始噪声幅度分别设定为0.1、0.2和0.3进行对比实验。如果噪声幅度过大，训练过程可能在初期由于探索更充分而收敛更快；然而，策略输出的波动会增加，训练稳定性下降，后期调整难以进行，最终限制了性能提升。相反，如果噪声幅度太小，训练过程相对稳定，后期更容易接近更好的策略，但探索不足会导致收敛速度缓慢，需要更多的迭代次数才能达到满意的性能。为了平衡初期的探索效率和后期的收敛稳定性，在上述比较基础上引入了噪声衰减策略：在训练初期采用较大的噪声幅度以增强探索，随着迭代次数的增加逐渐减小噪声强度，而在后期保持较小的噪声水平以减少动作扰动并提高策略的微调能力。考虑到收敛速度、训练波动幅度和最终性能，初始噪声幅度最终被设定为0.3，并在后期衰减到0.1作为下限，从而在早期实现了更充分的探索，在后期实现了更稳定的学习。图7. 为DDPG算法选择OU噪声参数。步骤3：在固定学习率和噪声参数之后，进一步调整了折扣因子。折扣因子反映了智能体对未来奖励的重视程度，并决定了奖励在时间维度上的传播范围和强度。考虑到级联水力-风力-光伏调度问题的特点，即明显的跨月耦合以及早期决策对后期水库水位和可再生能源削减的持续影响，选择了0.9、0.95和0.99进行对比实验。如图8所示，当折扣因子过小时（例如0.90），策略倾向于更多关注短期奖励，无法充分学习跨月交互带来的长期利益。当折扣因子过大（例如0.99）时，价值估计变得更加依赖于未来回报，更容易受到近似误差的影响，这可能导致训练波动。考虑到验证性能和训练稳定性，最终选择了0.95作为折扣因子。图8. 为DDPG算法选择折扣因子。步骤4：在确定了上述参数之后，进一步调整了目标网络的软更新系数。软更新用于控制目标网络跟踪当前网络的速率，其值直接影响DDPG训练的稳定性。当软更新系数相对较大时，目标网络更新过快，可能会引入强大的自举误差传播，导致训练振荡。当软更新系数相对较小时，目标网络更新更加平滑，有助于减少Q值估计的波动并提高训练稳定性，但可能会减慢收敛速度。在这项研究中，比较了0.01、0.005和0.001三个值。如图9所示，最终选择了0.001以获得更稳定的训练过程和更好的策略性能。图9. 为DDPG算法选择软更新系数。其他两种强化学习算法采用了与DDPG相同的超参数调整程序。在相同的训练环境和场景样本下，搜索并比较了它们的关键超参数，最终参数设置见表3。为了确保算法实现的可重复性，进一步明确了强化学习算法中使用的神经网络架构。对于DDPG， Actor网络由一个输入层、两个全相连的隐藏层和一个输出层组成。每个隐藏层包含256个神经元，并使用ReLU激活函数，而输出层使用tanh函数将动作映射到标准化的连续动作空间。在Actor网络的两个隐藏层之后都应用了层归一化。Critic网络以连接的状态和动作向量作为输入，也包含两个全相连的隐藏层，每层有256个神经元。隐藏层激活函数使用ReLU，输出层产生相应状态-动作对的Q值。对于DQN，共享特征提取部分包含两个全相连的隐藏层，每层有256个神经元，进一步分为状态-价值分支和优势分支，隐藏层激活函数也使用ReLU。对于PPO，策略网络和价值网络都采用两层全连接结构，每层有256个神经元，隐藏层使用tanh激活函数。上述算法都没有使用批量归一化或dropout。除了DDPG的Actor网络和DQN的Q网络使用了层归一化外，其他网络没有使用归一化层。表3. 强化学习算法的超参数设置。4.4. 收敛性能的比较分析如图10所示，从整体收敛趋势来看，DDPG、DQN和PPO的预期累积奖励都随着训练的进行而逐渐增加，并最终趋于稳定。然而，这三种算法在收敛速度、最终收敛水平和波动幅度上显示出明显的差异。根据表4中的定量结果，DDPG在早期训练阶段奖励增加迅速，在大约700次迭代后进入稳定区域，此后通常保持在65.5以上。这表明DDPG可以快速学习出适合级联水力-风力-光伏系统连续调度问题的有效策略。PPO在早期阶段提升相对较慢，但在中期和后期继续增加，最终达到接近DDPG的收敛水平。其在最后20个采样点的平均值为65.692，略低于DDPG的65.756，其标准差仅为0.034，表明收敛后的稳定性良好。然而，PPO在整个训练过程中的平均值仅为62.823，明显低于DDPG的65.303。这表明PPO需要更长的训练过程才能达到相对高质量的策略。相比之下，DQN的收敛速度最慢，在训练过程中表现出更明显的波动。它在大约4300次迭代后才逐渐接近稳定区域。其在最后20个采样点的平均值为64.324，低于DDPG和PPO的值，其在最后20个采样点的标准差为0.694，表明后期的稳定性相对较弱。图10. DDPG、DQN和PPO算法的收敛比较。表4. 不同算法的收敛性能比较。从算法机制的角度来看，DDPG是一种离线策略Actor-Critic算法，可以通过经验回放重用历史样本并直接输出连续调度动作。因此，它更适合本研究中的连续动作决策问题，如水库释放和风能/光伏协调。尽管DQN也采用了经验回放机制，但它本质上是为离散动作空间设计的。当应用于多维连续调度变量时，需要动作离散化，这可能导致动作组合数量的增加和调节精度不足。这解释了其收敛速度较慢和后期波动较大的原因。PPO是一种在线策略梯度算法，其更新过程依赖于当前策略采样的数据。因此，其样本效率相对较低，导致其在早期和中期阶段的收敛速度比DDPG慢。然而，PPO的剪切策略更新机制可以限制策略更新的大小，从而在后期实现良好的稳定性。总体而言，DDPG在整体平均性能、收敛速度和最终收敛水平方面表现最佳。这表明它更适合具有高维连续动作、多阶段耦合和多重约束惩罚的级联水力-风力-光伏系统的中长期最优调度问题。尽管PPO最终可以接近DDPG的收敛水平，但其训练效率较低。我们的DQN受到动作离散化的影晌，因此在收敛速度和最终性能方面表现相对较弱。4.5. 最优调度结果分析如图11所示，在情景463下，所有三种算法都能根据季节性流量变化制定基本合理的月度调度策略。具体来说，在枯水期保持相对较低的水电输出，而在丰水期水电输出显著增加。同时，在输电走廊容量的约束下协调了风电、光伏发电和水电的调度。与DQN和PPO相比，DDPG显示出更连续的水库水位轨迹和更平滑的水电输出调整，表明它能够更好地适应水库水位和水库释放等连续控制变量。特别是对于B站，由于下游水库受到上游释放和当地流量的影响，丰水期的水压和输电走廊约束更加明显。DDPG通过更平滑的水位调节和水电输出控制减少了水电和可再生能源的削减。图11. 在情景463下DDPG、DQN和PPO算法的调度决策过程。相比之下，DQN受到其离散动作空间的限制，在某些月份水位变化和输出调整方面出现了较为明显的跳跃。这表明其动作表示精度对于连续调度问题来说不够充分。PPO可以学习到丰水期高水电输出和枯水期低水电输出的基本调度模式，但在某些月份的水位控制和水电削减控制方面仍不如DDPG稳定。总体而言，DDPG在这种代表性情景中展示了更好的连续调节能力和级联协调能力，使其更适合本文研究的级联水力-风力-光伏互补系统的中长期最优调度问题。如表5所示，DDPG在75个测试场景中的整体调度性能优于DQN和PPO。具体来说，DDPG的年平均总发电量为132,632.627 GWh，高于PPO的132,363.955 GWh和DQN的131,414.411 GWh。与DQN相比，DDPG的年平均总发电量增加了1218.216 GWh；与PPO相比，增加了268.672 GWh。在削减方面，DDPG的平均总削减量为4169.527 GWh，低于PPO的4495.157 GWh和DQN的5257.450 GWh。与DQN相比，DDPG减少了1087.923 GWh的总削减量；与PPO相比，减少了325.630 GWh。同时，DDPG的平均削减率为3.000%，低于PPO的3.241%和DQN的3.801%，分别减少了0.241和0.801个百分点。为了避免正文中的表格过于冗长，附录A（表A2）提供了每个算法在75个测试场景中的场景总发电量、总削减量和削减率。表5. 75个测试场景中不同算法的整体调度性能。从统计分布的角度来看，所有三种算法在不同测试场景中都表现出一定的波动，这是由于不同场景之间流量、可用风能和可用光伏功率的差异造成的。DDPG的年平均总发电量标准差为7797.206 GWh，略低于PPO的7837.492 GWh和DQN的7903.550 GWh，表明DDPG在不同场景中的发电性能相对更稳定。DDPG的年平均总发电量中值为134,054.631 GWh，也高于PPO和DQN。这表明DDPG不仅在平均值上表现更好，在大多数测试场景中也表现更优。在削减率方面，DDPG的中值为3.309%，低于PPO的3.428%和DQN的4.032%，进一步证明了DDPG在减少削减损失方面的整体性能更好。上述差异的主要原因是级联水力-风力-光伏联合调度涉及水库水位控制、水库释放调节和风能/光伏协调决策，使其成为一个典型的连续动作、多阶段耦合优化问题。DDPG可以直接在连续动作空间中输出调度控制变量，因此更适合水库水位和释放的连续调节要求。因此，它能够实现更精细的跨月水资源分配和输电走廊利用。相比之下，DQN需要对连续调度动作进行离散化，其动作表示精度受到离散化水平的限制。尽管它可以学习到基本的调度策略，但在水位控制精度和多能源协调能力方面相对较弱。PPO作为一种在线策略算法，更依赖于训练期间从当前策略中采样的数据，导致样本效率相对较低；因此，其最终性能介于DQN和DDPG之间。5. 讨论提出的DDPG方法直接在连续动作空间中输出水库调节、风能/太阳能功率分配和削减控制。与离散动作DQN[27]相比，它避免了由于动作离散化导致的精度损失和组合爆炸问题；与PPO[21]相比，其离策略Actor-Critic架构能够重复利用历史样本，提高了样本效率[28]。从计算复杂性的角度来看，DDPG的主要开销集中在训练阶段，包括多场景交互、经验回放采样和Actor-Critic网络更新。训练完成后，在线调度只需要通过Actor网络进行一次前向传递，从而降低了在线计算成本。随着系统规模的扩大（水库数量、风能/太阳能站点数量、动作维度的增加），训练复杂性会增加，但连续动作输出机制避免了离散动作下的组合爆炸问题，提供了一定程度的可扩展性[28]。与现有研究相比，传统优化方法在考虑多源不确定性时面临模型规模和计算复杂性迅速增加的问题[10,13]；DQN虽然缓解了维度问题，但由于仅限于离散动作，在连续水库水位控制和跨月协调方面的精度不足[18]。所提出的方法在75个测试场景中表现出更高的年平均总发电量和更低的弃电率，表明连续动作强化学习更适合多阶段耦合的潮汐水力-风能-光伏调度问题。

本研究的局限性包括使用月度时间分辨率，这无法完全捕捉风能和太阳能的日内或每小时波动[18]；某些工程约束的简化处理没有充分考虑单元承诺、电网安全或生态流量要求[15]；以及DDPG的训练性能依赖于场景设计和奖励函数设置[30]。将其推广到更大规模的串联系统需要进一步验证。

6. 结论

对于长周期随机调度的潮汐水力-风能-光伏互补系统，其中水库水位控制和风能/太阳能接纳决策紧密耦合，且决策变量具有高维度和连续性，本研究提出了一种基于深度确定性策略梯度（DDPG）的长期最优调度方法。该方法通过两个潮汐水电站及其周围风能和光伏电厂的案例研究进行了验证。主要结论如下：

- DDPG有效处理了连续动作特性。与需要动作离散化的DQN相比，DDPG直接输出连续的调度控制动作，避免了与离散动作相关的精度损失和组合爆炸问题。
- 作为离策略Actor-Critic算法，DDPG可以通过经验回放重复利用历史样本，提高了样本效率。
- 收敛性分析显示，DDPG在早期训练阶段就能快速提高奖励，大约经过700次迭代后进入稳定区间，整体收敛速度更快，最终性能优于DQN和PPO。
- 在75个测试场景中，DDPG显示出更优的整体调度性能。统计结果显示，DDPG的年平均总发电量为132,632.627 GWh，高于PPO（132,363.955 GWh）和DQN（131,414.411 GWh）；其平均总弃电量为4,169.527 GWh，低于PPO（4,495.157 GWh）和DQN（5,257.450 GWh）；平均弃电率为3.000%，低于PPO（3.241%）和DQN（3.801%）。这些结果表明，DDPG能够更好地利用潮汐水力的连续调节能力，协调水电输出与风能和太阳能的利用。
- Ornstein-Uhlenbeck（OU）噪声的衰减提高了训练稳定性。在其他关键超参数固定的情况下，比较了不同的探索噪声设置。结果表明，衰减的OU噪声在早期训练中保持了强烈的探索性，并逐渐减少了后期无效的扰动，有效平衡了探索与利用。与固定噪声相比，这种方法减少了训练过程中的奖励波动，加速了收敛，并提高了最终调度策略的稳定性。