用于电力系统机组出力和需求响应的层次化两阶段优化：一种考虑约束的强化学习方法

《Sustainable Energy Technologies and Assessments》：Hierarchical two-stage optimization for power system unit commitment and demand response: A constraint-aware reinforcement learning approach

　　王静祺 | 高燕 | 何友萌
上海科技大学管理学院，上海200093，中国

摘要
在具有可持续能源的电力系统中，协调日前单元承诺（UC）与小时内需求响应调度在可再生能源不确定性下对确定性方法而言计算要求较高。本文提出了一种分层的两阶段的数字智能框架，该框架将硬整数约束与软连续约束分开处理。第一阶段使用混合整数线性规划（MILP）来确定承诺变量，明确执行物理承诺约束。第二阶段将实时调度构建为一个受限马尔可夫决策过程，结合基于规则的调度分配层和考虑约束的近端策略优化来学习功率平衡。在5单元不确定性和20单元基准测试中的实验验证表明，该分层框架在5%–20%的预测不确定性范围内能够保持86.7%–95.6%的实时功率平衡可行性，同时两种测试系统的推理延迟保持在0.15–0.84毫秒以内，相对于固定的确定性日前调度，在预测不确定性下提供了更快的实时纠正调度。

引言
随着可再生能源的波动性和需求响应（DR）的增加，可持续能源系统的运营面临越来越多的挑战。单元承诺（UC）决定了热电厂的二元调度方案，并必须满足最低启停时间和爬坡限制等物理约束[1]。最近的UC研究表明，这些非凸操作约束在实际调度中持续存在挑战[2]。当考虑随机化的可再生能源输出和价格敏感的需求时，离散的承诺决策可能会导致容量不匹配，传统调度方法在实时操作窗口内难以处理[3]。因此，在预测不确定性下，将价格信号与非凸UC约束对齐是一个关键挑战。

传统的UC公式通常通过混合整数线性规划（MILP）解决，使用需求预测，在预测准确时可以提供最优解[1]，[2]。然而，当实时条件与预测偏离时，这些确定性调度缺乏适应性，可能需要昂贵的纠正措施。传统的滚动时域优化可以部分解决这个问题，但其计算负担可能仍然过高，无法频繁进行实时更新。最近的研究通过数据驱动和分布式鲁棒的公式改进了不确定性下的UC模型[3]，[4]，但重复优化进行实时纠正仍然耗时。相比之下，许多实时定价（RTP）研究使用凸近似或省略UC约束[5]，[6]；即使是凸包定价也通常在单阶段设置中开发，没有明确的反馈校正循环[6]，[7]。因此，本研究中的比较重点是在预测不确定性下的功率平衡可行性和在线响应时间。

自适应控制方法可以在不确定性下支持实时纠正。在强化学习（RL）方法中，近端策略优化（PPO）[8]提供了稳定的策略更新。在这项工作中，我们将其扩展为考虑约束的PPO（CA-PPO），并将其应用于受限马尔可夫决策过程（CMDP）公式，用于混合离散-连续动作空间。然而，将RL直接应用于联合UC和DR问题面临两个实际问题：纯离散公式在单元数量增加时扩展性较差，而混合或连续放松措施仍然难以保持二元可行性[9]，[10]。仅通过奖励惩罚来编码物理约束通常需要手动调整惩罚系数，仍然可能产生不可行的调度方案。为了解决这些限制，我们开发了一个分层框架，将日前承诺规划与实时纠正分开。我们使用深度学习（DL）预测模型从历史数据中学习需求和可再生能源模式[11]，[12]。在此研究的实现中，使用长短期记忆网络（LSTMs）进行负载预测，使用卷积神经网络（CNNs）进行可再生能源预测。然后由前一天的MILP阶段使用这些预测输出。这种分离保留了基于MILP的UC公式，同时允许实时阶段在预测误差出现后调整价格和调度。

现有的关于DR与UC的研究可以分为四个主要方向：
- 两阶段协调和UC调度。许多研究将日前规划与实时操作分开，以减少不确定性下的计算负担。基于优化的两阶段公式包括IES容量规划[14]、基于IGDT的VPP调度[15]和微电网调度[16]，以及最近的日前/实时协调研究[17]。这些研究通常独立优化每个阶段，并不建立承诺决策与实时纠正之间的直接反馈。一些研究结合了基于RL的建筑控制[18]，但它们关注需求侧或单一资产设置。UC研究在风能不确定性下改进了调度[19]、自适应前瞻范围[20]，以及用于大规模UC的物理信息图学习[21]。然而，这些研究关注承诺质量，而不是在协调价格响应DR纠正时保持UC可行性。
- 市场导向的DR和非凸可行性处理。最近的综述总结了智能电网中DR的快速发展[22]。DR定价研究包括交互式定价机制[5]、非凸公式的凸包定价[6]和联合随机约束方法[23]。最近的联邦DRL研究进一步扩展了价格响应DR调度[24]。对于更广泛的非凸市场清算，拉格朗日松弛[25]和带有支付再分配的近乎最优定价[7]解决了相关问题。在市场参与者层面，也研究了战略 bidding和碳耦合市场互动[26]，[27]。这些研究提高了经济一致性和市场行为建模。然而，它们中的许多要么依赖于优化求解器，要么专注于市场清算和结算，而不是在固定UC调度下的快速纠正操作。
- 基于RL的实时协调在UC耦合下。基于RL的需求侧控制在建筑和消费者响应设置中已得到广泛应用[28]，并且在能源系统中的更广泛应用已在[29]中回顾。Lu等人还报告了设施级别的DR应用[30]。市场导向的扩展包括去监管市场RL[31]、基于图的MARL bidding[32]、双层日前/实时定价[33]和带有预测支持的安全DRL调度[34]。在UC耦合操作中，两个问题仍然重要：混合离散-连续动作的扩展性[9]和仅通过惩罚学习时的可行性不稳定性，如在无模型的UC[10]和安全微电网DRL[35]中观察到的。相关的基于RL的住宅DR定价[36]面临类似的奖励设计挑战。
- 不确定性建模和跨时间尺度的鲁棒性。现有的不确定性方法主要分为两类。第一类是离线鲁棒化，包括分布式鲁棒调度[3]，[4]、相关的灵活性导向随机分析[37]和场景简化[38]。第二类是在线适应，包括季节趋势预测[12]、概率预测[11]、滚动时域prosumer优化[39]和时空耦合定价[40]。这两类方法都提高了调度质量，但需要仔细的超参数调整，并且缺乏从约束违反到不确定性处理的直接反馈。相比之下，我们的框架将预测不确定性注入到自适应惩罚更新中，将鲁棒性与实时约束满足联系起来，而无需手动调整。

在这篇文献中，仍有两个未解决的挑战。首先，RL直接应用于联合UC和DR的混合整数连续动作空间时，面临离散决策空间的组合增长[41]，并且仍然难以保持二元可行性[9]。其次，RL中的基于惩罚的约束执行需要针对特定问题的惩罚系数调整，当操作条件变化时缺乏自动化适应[35]，[42]。最近的研究改进了学习辅助的UC、价格响应DR调度和不确定性感知的灵活性建模，但很少有方法能够在统一的两阶段框架内同时保持UC可行性并提供快速的实时DR纠正。表1总结了这些主要建模维度上的差异。

为了解决这些差距，我们开发了一个分层的两阶段框架，解耦了决策时间线：MILP处理日前的整数UC公式，而考虑约束的RL提供实时自适应纠正。与在规划阶段处理不确定性的分布式鲁棒或随机UC方法[3]，[4]不同，这种架构保留了MILP的日前结构，并与常见的调度工作流程保持一致。主要贡献包括：
1. 我们建立了一种约束分解，将硬承诺约束分配给前一天的MILP阶段，将软操作限制分配给实时的CMDP阶段，使得在单个框架内实现明确的日前整数调度和自适应连续纠正。
2. 我们设计了一个相应的动作分解。基于规则的调度分配层执行硬的单元级操作约束。CA-PPO代理学习定价和存储控制策略，而惩罚权重随预测置信度调整。
3. 我们证明了所提出的框架在5%–20%的预测不确定性范围内，在5单元和20单元测试系统中保持86.7%–95.6%的功率平衡可行性，同时在两种测试系统的推理延迟保持在亚毫秒级别。

“系统模型”部分介绍了包含UC和DR的系统模型。“实时CMDP公式”部分详细说明了实时CMDP公式。“算法设计”部分描述了算法设计，包括基于预测的需求预测和考虑约束的自适应优化。“数值实验”部分提供了实验验证。“结论”部分总结了研究结果和未来方向。

系统模型
我们将电力系统建模为一个三层结构，如图1所示。这些层包括物理资源（如发电机、电动汽车（EVs）和响应式负载）；数据预测（需求和可再生能源发电）；以及通过系统运营商（SO）的决策控制。让Isens和Iinsens分别表示在调度时间范围T={1,…,T}内对价格敏感和对价格不敏感的消费者集合。

实时CMDP公式
基于“系统模型”部分的日前承诺调度，我们将实时操作构建为一个CMDP [44]，[45]。相应的元组是MSO=(SSO,ASO,PSO,RSO,CSO,γ)。这里，软约束集是CSO={vimb}，其中vtimb(st,at)量化了标准化功率平衡违规。因此，实时CMDP采用一个软约束，而前一天的MILP继续执行硬整数约束。然后CMDP阶段优化实时发电调度、价格……

算法设计
所提出的算法框架将预测与自适应控制结合，以处理混合离散-连续动作空间并在不确定性下执行约束。PPO公式遵循[8]，预测模块的实现遵循[12]；因此，我们重点关注CA-PPO设计，包括自适应惩罚更新、混合动作分解和基于规则的调度层。

数值实验
本节评估了所提出方法在经济效率、不确定性下的功率平衡满足度和计算可扩展性方面的表现。

结论
本研究开发了一个分层的两阶段框架，用于日前UC和实时调度。前一天的MILP确定单元承诺，基于学习的实时层在预测误差出现后调整价格、发电和存储。在5单元不确定性研究中，该方法在5%–20%的预测不确定性范围内保持86.7%–95.6%的实时功率平衡可行性。在5单元和20单元测试系统中，推理时间为0.15–0.84毫秒，离线重新训练时间为5–44秒。

作者贡献声明
王静祺：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、软件、形式分析、数据整理、概念化。
高燕：撰写 – 审稿与编辑、监督、项目管理、资金获取、概念化。
何友萌：撰写 – 审稿与编辑、调查、数据整理。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢
本研究得到了国家自然科学基金（编号72071130）的支持。