基于LLM的混合控制与元优化方法在配电网多BESS电压调控中的应用

《ADVANCED ENGINEERING INFORMATICS》：LLM-guided hybrid control and meta-optimization for multi-BESS voltage regulation in distribution networks

　　•为实现自适应电压调节，本文设计了一种分层式的大语言模型引导型混合元优化框架。•结合门控融合与双向蒸馏的混合MASAC-MATD3方法提升了协调控制的鲁棒性。•所提方法使收益提升33%，同时将电压/电池状态波动分别降低28.1%/31.1%。

引言
随着分布式光伏、风电等可再生能源以及电池储能系统的大规模应用，配电网络正逐步演变为高度活跃的分布式能源系统[1]。电池储能系统可通过实现时间上的功率平衡与空间上的节点协同调控，有效缓解电压异常问题，减少网络损耗，并提升对可再生能源的接纳能力[2]、[3]。为充分利用这些优势，传统的基于模型的方法通常采用最优功率流算法或鲁棒/随机优化技术来实现协调控制，其中电压安全约束和电池状态限制会被明确作为优化约束条件[4]、[5]、[6]。然而，实际运行中存在诸多不确定性因素：短期内，负荷需求与可再生能源发电量会受到预测误差和测量噪声的影响；长期来看，电源与负荷的特性还会呈现季节性变化以及运行条件不断演变的特点[7]、[8]。这些因素共同导致电压出现显著波动，还会引发强烈的耦合效应与非线性问题，从而削弱那些依赖精确模型与静态假设的传统优化方法的效能。

为减少对精确系统模型的依赖，基于集中训练与分散执行框架的多智能体强化学习方法逐渐成为多电池储能系统协调控制的一种有前景的解决方案[9]、[10]。通过与环境持续交互来学习控制策略，强化学习能够实现快速在线决策，在电压调节与电池状态管理领域展现出巨大潜力[11]。此外，基于学习的方法也被应用于更广泛的电力系统场景，比如微电网中的多能源协同调度[12]以及日前电力市场中的数据驱动竞价策略[13]。这些进展进一步证明了强化学习在复杂能源系统决策中的应用价值。不过，当强化学习从理想化的训练环境转向实际的配电网络应用时，面临的挑战也从对模型的依赖转变为策略的适应性。实际运行中的各种因素——包括长期变化、短期干扰，以及通信延迟、测量噪声和数据包丢失等非理想因素——会不断影响系统的响应机制以及智能体所接收的控制反馈[14]、[15]。因此，在简化条件下训练出的策略可能在有限场景下表现良好，但在实际运行中却难以保持稳定的性能[16]、[17]。所以，关键问题不仅在于能否学习到有效的控制策略，还在于该策略是否能够在不断变化的运行条件下依然保持可靠性能。

现有研究试图通过改进控制策略本身来解决这一问题。诸如MATD3这类确定性方法在接近约束边界时能够实现高精度，但对干扰较为敏感；而MASAC这类随机方法则能在提升鲁棒性的同时带来动作波动的问题[18]、[19]。这表明鲁棒性与控制精度之间存在固有的权衡关系。人们也提出了混合与集成方法，通过组合多种策略，并借助门控融合与双向蒸馏等技术进一步提升协调性[20]、[21]、[22]、[23]。不过，大多数现有方法仍依赖于静态的组合机制，难以在运行条件变化时调整策略的优先级[24]、[25]。因此，仅依靠策略结构的改进是不够的，还需要通过自适应参数调整来确保在不断变化的运行条件下仍能保持稳定性能。

受限安全强化学习方法主要通过屏蔽机制、拉格朗日惩罚或投影层来施加动作约束，从而提升执行层面的安全性。相比之下，H2M2O方法则侧重于在非稳态运行条件下的慢时间尺度鲁棒性以及超参数的自适应调整，同时将电压限制、电池状态约束和动作约束直接纳入问题建模之中。因此，安全强化学习方法与H2M2O方法分别从不同层面解决了电压调节问题。这一认识凸显了超参数自适应的重要性。尽管网格搜索、随机搜索和贝叶斯优化等自动化方法已展现出一定效果，但它们通常依赖标量化目标函数，这可能会掩盖多个性能指标之间的非线性权衡关系[26]、[27]、[28]、[29]、[30]。最近出现的大语言模型辅助优化与元强化学习方法则为自适应学习提供了新的可能性。例如，大语言模型引导的超参数优化可以利用历史试验反馈来提出候选配置，但这种方法通常需要反复进行训练与评估，从而增加额外的调试成本[31]。此外，即便在搜索阶段选定的配置保持不变，它对不断变化的源-负荷条件的适应能力仍然有限。RL2风格的元强化学习方法旨在实现跨任务分布的快速适应，但其适应过程往往是隐式的，无法有效协调电压偏差、电池状态波动、网络损耗和控制冲突等多重物理运行指标[32]、[33]。

在具有多变运行条件与多重目标的实际电压调节任务中，超参数应当是动态变化的，而非固定不变。因此，本文提出了一种由大语言模型引导的慢时间尺度自适应层，其中大语言模型充当候选策略评估器与有限范围内的优化器，而非实时控制器。具体而言，BO与HST首先生成候选配置，随后大语言模型会整合多维度的性能反馈，在预定的安全范围内选择并优化超参数。这种设计将实时电池储能系统控制与上层超参数演化分开，从而在提升适应性的同时避免增加额外的在线控制负担（见图1）。

基于上述分析，本文提出了一种分层式混合元优化框架（H2M2O），用于在多变运行条件下实现多电池储能系统的协同电压调节。该框架构建了一个高保真的离散部分可观察马尔可夫决策过程仿真环境，以模拟不同的运行条件，同时还设计了多维度评估体系，用于提供统一的性能反馈。在此基础上，框架采用了两级架构：一级为负责实时控制的决策层，另一级则为负责在线超参数演化的自适应层。与简单地将现有强化学习算法进行整合或仅将大语言模型作为额外的优化器不同，H2M2O实现了实时混合控制与慢时间尺度超参数演化之间的闭环交互。在该框架中，决策层负责协调随机与确定性强化学习分支，以实现实时电压控制；而自适应层则利用多维度的运行反馈，在预定的安全范围内优化与策略相关的超参数。通过混合控制与自适应参数调整的协同设计，该框架提升了强化学习在实际配电网络中的适应性及多目标协调能力。其主要贡献如下：

1. 一种用于处理多变运行条件下电压调节问题的统一非稳态离散部分可观察马尔可夫决策过程建模与多维度反馈框架。该框架通过纳入长期变化、短期干扰以及通信延迟、测量噪声和数据包丢失等非理想因素，构建了一个高保真的离散部分可观察马尔可夫决策过程仿真环境。同时，还设计了一个多维度评估体系，为控制策略的学习与超参数优化提供一致的性能反馈，从而成为决策层与自适应层之间的统一反馈接口。

2. 一种混合随机-确定性强化学习协调机制，用于在提升鲁棒性与控制精度的之间取得平衡。为避免将MASAC与MATD3视为简单的静态集成方案，本文设计了一种混合策略架构，通过门控融合与双向蒸馏技术协调随机性的MASAC分支与确定性的MATD3分支。门控融合机制能够根据运行条件动态调整各分支的贡献程度，而双向蒸馏则有助于促进两个分支之间的知识交流。这种设计使得策略能够充分发挥随机探索的鲁棒性与确定性控制的精确性之间的互补优势。

3. 一种由大语言模型引导的混合元优化机制，用于实现多目标超参数的动态演化。为克服静态超参数配置的局限性，本文提出了一种分层式自适应框架，结合贝叶斯优化与重尾随机探索技术来生成候选配置，同时运用大语言模型整合多维度的性能反馈，实现超参数的自适应优化。大语言模型并不负责生成实时的电池储能系统控制动作，而是在慢速自适应层中评估候选配置，并在预定的安全范围内优化与策略相关的超参数，从而使得策略能够在多重目标约束下实现持续演化。

章节节选
多变运行条件下的问题建模
本文基于IEEE 33节点配电系统构建了一个高保真的多智能体仿真框架。该测试平台不仅遵循非线性交流功率流约束与网络拓扑限制，还模拟了实际运行条件下的长期变化与短期干扰。此外，控制回路中的各种实际非理想因素，如通信延迟、变换器动作噪声以及信号丢失等，也被纳入系统模型之中。通过这样的设计……

方法论
基于第2章中的系统建模与问题定义，本文提出了一种名为H2M2O的分层式混合元优化框架，用于在多变运行条件下实现多电池储能系统的协同电压调节。H2M2O的核心目标是通过将快速时间尺度的决策过程与慢时间尺度的参数演化分开，从而同时提升控制精度与系统的自适应能力。为此，该框架采用了两级闭环架构，分别在……

生成候选配置θBOk、θHST、θpertk以及θfbk
构建候选配置集合Ck={θBOk,θHST,θpertk,θfbk}
根据综合性能评分与近期性能趋势对候选配置进行排序，得到CTktop=TopKCk
构建大语言模型的输入上下文Hk={Dk,Mk,ρ,Cktop}
通过函数?LLM生成候选ID及相应的调整值
若大语言模型的输出有效，则根据候选ID从CTktop中选出基准候选配置θbase
根据调整值计算出受限范围内的优化量Δθt
否则将排名最高的配置视为θbase

实验验证
为验证所提出的H2M2O框架的有效性、鲁棒性及泛化能力，本文在基于IEEE 33节点系统的高保真仿真环境中进行了实验。该模型包含了可再生能源的不确定性、运行条件的变化以及测量噪声、执行噪声、动作延迟和数据包丢失等实际非理想因素。所有方法都在相同的网络配置、训练预算及重放设置下进行评估，以确保……

结论
本文研究了在具有源-负荷变化、测量噪声以及通信非理想因素等多变运行条件下的主动配电网络中的电压协调调节问题。为克服单一策略强化学习的局限性，本文提出了一种分层式混合元优化框架（H2M2O）。该框架结合了具有更高鲁棒性与精确度的混合MASAC–MATD3控制架构，以及一种双时间尺度自适应机制，从而……

致谢
Yi Su：写作——审稿与编辑、形式分析
Cheng Mao：写作——初稿撰写、软件工具、方法论设计
Mao Tan：形式分析、数据整理
Jiashen Teh：验证工作、资源协调、项目管理
Junjie Zhong：验证工作、方法论研究
Chun Chen：可视化处理、资源支持
Yue Song：可视化处理、监督指导、概念构思

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

Yi Su | Cheng Mao | Mao Tan | Jiashen Teh | Junjie Zhong | Chun Chen | Yue Song