基于大语言模型与强化学习的电网月度停电计划协同优化方法综述——介电屏障放电等离子体执行器在飞机主动流动控制中的数值分析评述

《Machines》：Review of Numerical Analysis of Dielectric Barrier Discharge Plasma Actuators for Aircraft Active Flow Control

　　

随着电网运行模式与运维管理要求日益复杂，月度停电检修计划的优化面临多部门协调困难、高度依赖人工经验、对动态需求适应性不足等挑战。为解决这些问题，研究人员提出了一种基于大语言模型(Large Language Model, LLM)与强化学习(Reinforcement Learning, RL)的电网月度停电计划协同优化方法。该方法利用大语言模型解析平衡会议中提出的自然语言需求，将固定检修日期、工期调整、禁止检修时段等需求转化为结构化约束参数；随后，基于竞争深度Q网络(Dueling Deep Q-Network, Dueling DQN)的小规模强化学习模型根据更新的环境参数对停电计划进行重新优化，实现了从会议需求解析到计划生成的协同求解。在IEEE 39节点系统上的案例研究表明，所提方法能够整合多轮平衡会议产生的动态需求，并在不同约束条件下对停电计划进行自适应优化。IEEE 39节点系统上的实验结果显示，该框架能有效优化月度停电计划。与初始计划相比，所提方法使月度电压越限次数减少了31次，有功网损降低了35.88 MWh。

研究背景方面，输电电网月度停电计划优化是电网运维管理的重要组成部分，合理的停电计划可在保障设备检修顺利实施的同时，减少设备停电对潮流分布、电压安全及运行经济性的影响。随着新型电力系统建设推进，输电电网运行模式日趋复杂，可再生能源接入比例增加，设备间拓扑耦合与运行关联性增强，停电调度逐渐由传统的时间安排问题演变为多目标多约束的复杂组合优化问题。实际电网公司的月度停电计划通常经历多部门申请提交、计划员汇总、初步排程、平衡会议讨论、计划修订及最终确认等阶段，平衡会议是协调各部门检修需求与电网运行约束的重要流程，但其提出的需求往往具有动态性与非结构化特征，如调整某设备检修时长、限制某设备检修日期或禁止特定时段检修等。传统人工调度高度依赖计划员经验，面对大量停电计划、复杂设备关联及多部门动态需求时，常出现调度效率低、约束遗漏、计划调整滞后等问题。现有停电计划优化研究主要集中在数学规划、随机优化、鲁棒优化及启发式搜索，虽在安全性约束、不确定性建模等方面提升了求解能力，但多依赖预构建的数学模型、编码方案及固定约束处理策略，难以适应平衡会议中新增的业务需求，现场应用灵活性与动态适应性不足。强化学习虽为序列决策提供了新方案，但传统优化算法与强化学习环境难以直接理解自然语言调度指令并自动转换为可执行参数，缺乏面对动态需求的自适应优化能力。大语言模型(LLM)在自然语言理解、指令遵循及结构化文本生成方面表现优异，但本身不适合作为严格数学优化问题的独立求解器，尤其在需满足潮流收敛、电压限值等物理约束的输电电网场景中。因此，结合大语言模型的需求理解能力与强化学习模型的数值优化能力，为解决动态停电计划优化提供了新途径。该研究发表于《Machines》。

关键技术方法方面，研究人员构建了大语言模型与小规模强化学习协同优化的框架。大语言模型采用DeepSeek-R1，通过提示模板与结构化输出规则将平衡会议的自然语言需求转为JSON格式约束参数；小规模强化学习模型基于竞争深度Q网络(Dueling DQN)构建，将月度停电调度过程建模为马尔可夫决策过程(Markov Decision Process, MDP)，状态空间为30天×5台关键设备的150维二元向量，动作空间为各设备检修开始日期的离散偏移量，奖励函数综合电压越限次数、有功网损及潮流不收敛天数并引入调度调整惩罚项。案例验证基于IEEE 39总线(bus)系统，选取设备2、10、28、31、44作为待检修对象，调度周期为30天，采用PYPOWER进行交流(AC)潮流计算，实验分三阶段进行：仅小规模模型优化的第一阶段、引入首轮平衡会议需求的大小模型协同第二阶段、引入第二轮禁修期约束的第三阶段，并与粒子群优化(Particle Swarm Optimization, PSO)、传统DQN进行对比。

研究结果方面：

1. 1.
   Introduction部分指出，传统停电调度在多部门动态需求下依赖人工经验导致效率低且易遗漏约束，现有优化方法灵活性不足，强化学习难以直接解析自然语言需求，大语言模型不适于独立求解严格数学优化问题，故提出大语言模型与强化学习协同框架以实现动态自适应优化。
2. 2.
   Outage Scheduling Optimization Model部分建立传统停电调度优化流程与模型，目标函数分解为潮流收敛、有功网损最小化及电压越限最小化三个子目标并加权集成，权重系数设为α、β、γ以体现安全优于经济性；约束条件包括停电时间窗约束、节点有功与无功平衡方程构成的潮流约束、强制检修时间约束及禁止检修时间约束。
3. 3.
   Large-Small Model Collaborative Optimization Framework部分提出集成大语言模型与强化学习的框架，分需求解析与优化求解两阶段；需求解析基于JSON接口，大语言模型识别设备对象、时间信息与约束类型生成JSON文件并由Python程序转为强化学习环境参数；Dueling DQN算法将Q值分解为状态价值与动作优势值并归一化处理以提升复杂动作空间中的训练效率；停电调度优化决策模型将过程建模为MDP，状态空间为设备每日停运状态的150维二元向量，动作空间为各设备检修开始日偏移量之和，奖励函数以状态评估函数差分衡量改进并设固定惩罚处理违规动作；协同流程由大语言模型解析非结构化需求生成JSON配置更新小模型环境，小模型在更新约束下优化生成满足运维与运行约束的月度计划。
4. 4.
   Experimental Simulation部分在IEEE 39-bus系统进行三阶段实验：Phase 1仅小模型优化，初始所有设备在头三天连续检修三日，训练700回合后奖励由负八万以上趋近零，优化后设备检修时间错峰分布全月，电压越限总数减少33次，月总有功网损降低41.23 MWh；Phase 2引入首轮平衡会议需求设备2固定第5天始检、设备31与44工期延至四日，大语言模型转JSON更新参数后再训练700回合；Phase 3追加第15、16、17日为禁修日，继续训练；三阶段训练时间分别约2.30、2.50、2.75小时，单步推理约1.8毫秒，完整计划生成含潮流计算约18.5秒；各阶段累积奖励均随回合增加趋稳，Phase 2与Phase 3因新增约束初始奖励较低但最终收敛；最终计划满足固定检修、禁修期及工期调整要求；对比LLM+PSO、LLM+DQN、LLM+Dueling DQN，所提方法各阶段平均奖励最高且无效决策为零，PSO随约束复杂无效决策增多，DQN次于Dueling DQN；整体优化后较初始计划电压越限减31次、有功网损降35.88 MWh。

讨论与结论翻译部分，研究人员针对输电电网月度停电计划优化中多部门协调难、依赖人工经验、动态需求适应性差等挑战，提出基于大语言模型与小规模强化学习的协同停电计划优化方法；大语言模型用于解析平衡会议中非结构化检修需求并转为强化学习环境可识别的结构化约束参数，随后基于Dueling DQN构建停电计划优化模型，将月度停电调度过程建模为马尔可夫决策过程，以潮流收敛、电压越限次数及有功网损为优化目标，在多约束下进行计划优化；IEEE 39-bus案例表明该框架能有效处理多阶段动态约束更新，较初始停电计划第一阶段优化使月总电压越限减33次、有功网损降41.23 MWh，后续约束更新后第二与第三阶段分别实现减31次电压越限与降35.88 MWh有功网损；案例结果显示所提方法能有效适应多轮平衡会议动态需求并在不同约束下重优化停电计划，较初始计划减少电压越限与月有功网损，证明该方法在提升输电电网运行安全性与经济性方面有效；对比实验显示Dueling DQN在各阶段优化中较PSO与传统DQN获更高奖励值与更少无效决策，验证了协同优化框架的有效性与可行性；未来研究可聚焦大语言模型本地部署与预训练并构建专用知识库与规则库，在超大规模电网进一步验证并通过并行潮流计算与分层分区分解提升扩展性，研究更高效约束处理机制如自适应动作掩码与约束强化学习以减少不可行探索并提高训练效率，并探讨框架与现有电网IT基础设施集成需标准化数据接口、安全交换、访问控制及可追溯决策记录。