一种结合领域知识的进化策略实现的预测性调度方法

《Engineering Applications of Artificial Intelligence》：A look-ahead dispatch method via evolution strategies embedded with domain knowledge

前瞻性调度策略结合进化策略与物理模型，有效解决高维不确定性问题，提升决策效率与约束满足能力，IEEE 118系统验证优于深度强化学习。

　　

戴宇辰|焦伟然|唐毅|严明辉|薛峰|赵建峰

东南大学，中国江苏省南京市四牌楼2号，210018

摘要

现代电力系统需要主动的前瞻性调度策略来应对各种不确定性。基于物理模型的传统决策方法通常处理速度较慢，难以处理多种不确定情景。同时，强化学习方法面临超参数敏感性和容易收敛到局部最优解的挑战。为了克服这些限制，本文提出了一种结合领域知识的前瞻性调度方法。首先，开发了一种嵌入知识的爱马尔可夫决策过程（MDP）模型用于前瞻性调度。该模型将关键物理知识编码到动作空间中，而不会增加计算负担。其次，引入了一种基于进化策略和物理模型的决策方法，该方法通过使用同步随机种子和镜像扰动技术提高了并行探索效率并减少了通信负担。然后，在数据有限的新情景中利用物理模型对智能体进行微调。最后，基于IEEE 118系统的案例研究表明，所提出的方法在不牺牲准确性的前提下显著提高了决策效率。与深度强化学习相比，进化策略算法在训练效率和性能方面具有优势，有效应对了现代电力系统的高维不确定性和复杂性。这表明所提出的方法是电力系统运营中复杂决策任务的有效解决方案。

引言

随着可再生能源占比的增加，由于这些能源的间歇性和随机性，电网的不确定性显著增加（Yang等人，2022年；Chen等人，2023a）。电网调度的范围已经扩展到包括多种资源，对可靠性、及时性和灵活性提出了更高的要求。前瞻性调度（LAD）可以模拟未来几小时的电网运行状态，从而及早识别和缓解潜在的安全风险（Poolla等人，2021年；Yan等人，2024年）。与日前调度不同，LAD强调对可再生能源突然变化、设备故障和其他不可预见事件的及时响应（Gui等人，2024年；Li等人，2022年）。与实时调度相比，LAD更多依赖于短期预测来优化解决方案并主动降低运行风险（Hu等人，2024年；Du等人，2024年）。因此，开发高效可靠的决策方法对于提高电网韧性和确保安全稳定的运行至关重要。

LAD解决方法分为两类：基于物理的方法和数据驱动的方法。基于物理的方法通常使用数学编程求解物理模型。随机优化通过情景采样或机会约束来处理不确定性（Hlalele等人，2020年；Khorramdel等人，2020年），而鲁棒优化则关注最坏情况（Zhao等人，2025年）。然而，随着电网复杂性的增加，这些方法在计算效率和准确性方面存在问题。相比之下，基于深度强化学习（DRL）的数据驱动方法在决策效率方面具有明显优势（Zhu等人，2023年）。DRL算法，如深度确定性策略梯度（DDPG）（Wang等人，2024年）、近端策略优化（PPO）（Chen等人，2023b）和软演员-评论家（SAC）（Yi等人，2023年），已被广泛应用于经济调度或前瞻性调度。这些算法通过与仿真环境的反复交互来收集样本，并通过反向传播优化智能体的参数。然而，DRL方法对超参数敏感，可能会陷入局部最优解。

进化策略（ES）是一种特定的进化算法（EA），通过突变实现全局优化来解决局部最优解问题（Majid等人，2023年）。然而，ES的全局搜索特性需要大量的计算资源，限制了其在以往研究中的实际应用。随着计算能力的提升，ES在研究界重新受到关注。在电力系统优化中的应用可以分为三种范式。第一种直接应用进化算法来搜索当前时间段的调度策略（Bu等人，2024年）。与其他启发式优化算法类似，这种方法也存在决策时间长的问题。因此，一些研究人员开始将DRL算法与进化算法结合使用以提高性能。在（Wang等人，2025年）中，使用Q学习在差分进化操作后评估个体的性能，从而提高了计算效率。然而，这些混合方法在计算效率方面仍然存在问题，需要大量的资源用于进化搜索和强化学习更新。另一种混合方法是将进化算法应用于强化学习算法。在（Han等人，2025年）中，进化算法初始化经验池并指导探索，提高了探索效率。然而，它们仍然面临DRL固有的挑战，如收敛到局部最优解的风险。其他领域的最新研究表明，ES可以是强化学习的有效替代方案（Salimans等人，2017年）。在神经网络参数空间而不是动作空间引入扰动可以提高探索效率（Chen等人，2025a；Chen等人，2025b）。值得注意的是，百度研究团队在2020年NeurIPS电网调度竞赛中的成功展示了ES在解决大规模问题方面的有效性（Zhou等人，2021年）。基于此，本文探讨了进化策略在解决前瞻性调度问题中的应用。

尽管ES算法在全局搜索方面具有显著优势，但它们本质上是数据驱动的，严重依赖于历史数据或基于仿真的交互数据。然而，电力系统本质上是复杂的，受到物理约束和安全规则的支配。数据驱动方法在确保决策的可行性和可靠性方面面临挑战。近年来，研究人员探索了将领域知识与数据驱动方法结合的混合方法。在（Wang等人，2024年）中，训练过程中引入了专家决策样本，帮助智能体避免陷入局部最优解。在（Dong等人，2024年）中，通过早期训练阶段的模仿学习将专家知识嵌入智能体，减少了在不可行区域中的无效探索。此外，在（Xia等人，2024年）和（Raissi等人，2019年）中，将物理约束作为损失函数中的正则化项，从而提高了智能体的可靠性。在（Liu等人，2025年）中，基于物理的位置编码显著增强了模型对电力系统中复杂时空关系的理解。尽管这些方法提高了模型的鲁棒性，但仍然需要在正则化项和动作评估之间取得平衡，有时会导致违反约束的决策。为了进一步确保决策的可靠性，一些研究引入了安全的强化学习技术来调整智能体的输出，以保证符合关键约束（Chen等人，2023b；Yi等人，2023年）。然而，这些方法往往会在智能体输出和环境执行的策略之间引入差异，影响梯度传播的准确性。虽然现有的混合方法提高了鲁棒性，但它们仍然存在关键约束违反和梯度传播不一致的问题，限制了其实际应用性。

为了解决数据驱动方法的局限性，本文提出了一种结合知识的前瞻性调度方法。本文的贡献如下：

●

开发了一种嵌入知识的爱马尔可夫决策过程模型，将关键物理知识直接编码到动作空间中。这确保了决策符合关键的物理约束（如功率平衡），同时保持了智能体的全局探索能力。结果表明，知识嵌入是提高决策效率和确保实际前瞻性调度场景中约束满足的关键因素。

●

提出了一种结合进化策略和物理模型的前瞻性调度决策框架。ES用于离线训练智能体，而物理模型用于微调智能体在实时情景中的动作。结果表明，物理模型可以直接优化智能体，提高在电网条件变化下的决策可靠性。这种混合方法为实时调度的适应挑战提供了实用的解决方案。

●

所提出的方法为实际电力系统的前瞻性调度提供了实用且可扩展的解决方案。基于扩展的IEEE 118节点测试系统的案例研究表明，该方法实现了接近全局最优的性能，并且与DRL算法相比显著提高了训练效率和计算性能。这使其非常适合大规模电网调度，有效处理实时波动和运行约束。

部分摘录

LAD问题的构建

前瞻性调度问题旨在在未来时间范围内最小化运营成本，同时确保系统和运行的安全可靠性。调度计划必须满足发电机输出限制、功率平衡、传输流量和旋转备用等约束。由于LAD是日内性的，一些约束通过日前调度或离线分析来管理。对于热力单元，最小运行时间和停机时间约束超出了LAD的时间范围。

嵌入知识的爱马尔可夫决策过程模型

LAD问题本质上是一个顺序决策任务，可以使用MDP框架有效建模。MDP模型包括状态空间、动作空间、奖励函数和状态转换。奖励函数通常结合目标函数和各种惩罚项，代表优化目标和约束之间的平衡。然而，这种平衡并不能保证所有动作都会满足约束。

基于进化策略和物理模型的决策框架

基于所提出的MDP模型，引入了一种基于进化策略和物理模型的前瞻性调度决策框架。训练过程分为离线和在线两个阶段，如附录B所示。在离线阶段，使用历史数据训练通用智能体模型，使其能够捕捉不确定性的模式和前瞻性调度的基本规则。然而，历史数据无法涵盖所有潜在情景。

案例研究

所提出的方法使用Python和PyTorch框架实现。训练和测试使用了扩展的IEEE 118节点系统（Pena等人，2018年），如图A1所示。该系统包括36个常规单元、18个可再生能源单元、91个负载节点和184个支路。区域1中的大多数单元被可再生能源单元替代，以模拟高比例的可再生能源融入电网。可再生能源被传输到区域3的负载中心。

结论

本文提出了一种结合领域知识的前瞻性调度方法，旨在解决传统方法在处理现代电力系统中的高维不确定性和复杂约束方面的局限性。本研究的主要发现总结如下：

●

通过直接将关键物理约束纳入动作空间，所提出的方法确保了智能体行为的可行性，同时保持了其全局探索能力

CRediT作者贡献声明

戴宇辰：写作 – 审稿与编辑，撰写原始草案，概念构思。焦伟然：写作 – 审稿与编辑。唐毅：写作 – 审稿与编辑。严明辉：数据整理。薛峰：监督。赵建峰：监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了中国国家电网公司的科学技术项目（研究适应高比例可再生能源的互联段传输容量评估技术，项目编号5100-202318416A-3-2-ZN）的支持。