《Applied Energy》：A trustworthy hybrid human-LLM assisted safe reinforcement learning method for distribution network operation
编辑推荐：
配电网正在从基于模型的操作向数据驱动操作过渡，伴随着可再生能源的日益整合，给运行安全性和成本效益带来了新的挑战。强化学习（RL）以其强适应性和快速响应为特点，在此背景下显示出巨大潜力。然而，RL在面对各种不确定性时泛化能力差，并且由于需要大量的模型或神经网络修
配电网正在从基于模型的操作向数据驱动操作过渡，伴随着可再生能源的日益整合，给运行安全性和成本效益带来了新的挑战。强化学习（RL）以其强适应性和快速响应为特点，在此背景下显示出巨大潜力。然而，RL在面对各种不确定性时泛化能力差，并且由于需要大量的模型或神经网络修改以及超参数调优，导致高昂的人力成本。更重要的是，一旦部署，RL算法的性能高度依赖于特定电力系统运行或控制任务的领域专家知识，通常依赖于对完美知识获取的不切实际假设。大语言模型（LLM）在众多领域取得了显著成功，并提供了一种替代领域专家指导的潜在方法，尽管它带来了新的挑战，如幻觉和有限的可解释性。为了解决这些挑战，本文提出了一种混合人类-LLM辅助RL框架，该框架平衡了人类监督与LLM辅助，以提高在高方差不确定性下的训练泛化性、效率和稳定性。此外，引入了一种协调增强的安全多智能体RL算法，以提高在互联能源资产分散控制方案下对全局配电网运行约束的遵守程度。在标准配电网测试系统上使用领域知识量化方法进行的案例研究表明，所提出的方法减少了电压违规，在未见过的场景下实现了接近理论最优值约5%的性能，并且一项有真实人类参与者的试点评估表明，与纯人类驱动方法相比，人力成本大幅降低。总的来说，所提出的混合人类-LLM辅助安全RL（HH-LLM-SRL）方法为配电网的智能和安全运行提供了一种可信的解决方案，并引入了实际人力成本作为LLM辅助能源系统决策的新评估维度。
**论文解读：混合人类-大语言模型辅助安全强化学习在配电网运行中的应用**
**研究背景与问题**
随着可再生能源在配电网中的大规模接入，传统基于模型的操作方法面临非线性、非凸性、不确定性和实时决策能力不足等挑战。数据驱动方法，特别是强化学习（RL），因其强适应性和快速响应而备受关注。然而，RL在配电网运行中存在两大核心问题：一是在高方差外生状态（如可再生能源发电和负荷波动）下，训练稳定性与泛化能力之间存在冲突；二是RL算法缺乏显式约束处理机制，难以保证运行安全（如电压约束）。现有的人类在环方法虽能引入领域知识，但高度依赖专家经验，成本高且难以推广。大语言模型（LLM）展现出替代领域专家指导的潜力，但存在幻觉和可解释性不足的问题。为此，研究人员提出了一种混合人类-LLM辅助安全RL（HH-LLM-SRL）框架，旨在平衡人类监督与LLM辅助，提升训练泛化性、效率和稳定性，同时降低领域知识依赖和人力成本。该论文发表在《Applied Energy》。
**关键技术方法**
研究人员主要采用了以下关键技术方法：（1）利用LLM进行自主情景分析，通过链式思维（CoT）提示机制与人类在环干预，从高方差外生数据中自动选择聚类方法和参数，生成低方差子集和在线情景识别函数；（2）提出协调增强安全近端策略优化（CE-SPPO）算法，通过多智能体优势分解实现顺序策略更新，确保全局电压约束下的分散控制；（3）采用结构化问卷进行成本-性能评估，量化人力成本，样本数据来源于意大利配电网的真实运行数据（涵盖四个季节，每季一周数据）。案例研究在IEEE 33节点系统上进行，系统分为三个区域，每个区域由独立智能体控制。
**研究结果**
**Raw data description and optimal parameter selection（原始数据描述与最优参数选择）**
通过分析可再生能源和负荷的原始数据，发现两者均表现出显著日间变异性。LLM智能体基于轮廓系数（silhouette score）和肘部法（elbow method）自主确定最优聚类数，在计算效率与方差降低性能之间取得平衡，最终选择4个子集，经人类验证后用于后续训练。
**Cost performance（成本绩效）**
通过六名参与者（P2–P7）在纯LLM、混合人类-LLM（所提方法）和纯人类三种框架下的对比实验，研究人员发现：混合方法在所有LLM骨干（GPT-4o, GPT-o1, GPT-o3-mini-high）下均成功完成任务，平均总成本为420.8美元（含LLM令牌成本和人类验证成本），而纯人类方法平均成本为2224.5美元，且存在失败案例。这表明所提方法显著降低了人力成本，同时保持了高任务完成率。
**Offline training performance（离线训练性能）**
在离线训练阶段，将SRL算法分别应用于原始高方差数据和LLM分类后的低方差子集。结果显示，在所有四个子集中，LLM引导子集训练出的智能体电压违规次数始终低于原始数据训练出的智能体，证明LLM辅助的方差缓解策略显著提升了训练安全性和稳定性。
**Online execution performance（在线执行性能）**
在7天未见过的测试场景下，比较了HH-LLM SRL与无LLM的RL方法。所提方法通过动态选择最优策略组，在6天中实现了零电压违规（第5天仅0.52%），而无LLM方法每天均有违规（最高达4.42%）。在奖励方面，所提方法性能接近模型基理论最优值（差距约5%），表明其具备良好的泛化能力和实用性。
**Comparative study for coordination enhanced method（协调增强方法的对比研究）**
在与Lag-PPO和Penalty-PPO两种基线方法的对比中，所提CE-SPPO算法在所有四个LLM识别子集上均实现了最低的电压违规率，证明协调增强机制在满足系统级约束方面具有显著优势。
**讨论与结论**
研究人员在讨论部分指出，LLM智能体仅作为可审计的推理和工作流生成组件，而非直接控制器，经人类验证的输出才能用于下游RL训练，从而避免幻觉风险。所提方法将人类验证集中在离线阶段，降低了在线执行对人工干预的依赖。结论部分总结如下：本文提出了一种混合人类-LLM辅助安全RL（HH-LLM-SRL）方法，用于在高方差外生不确定性下运行配电网。关键知识贡献包括：第一，LLM辅助的情景分析无需深度领域专业知识即可缓解RL训练中的稳定性-泛化冲突；第二，一项有真实人类参与者的试点研究引入了实际人力成本作为新评估维度，初步证明了显著的成本节约；第三，CE-SPPO算法在分散多智能体设置中实现了系统级约束满足。同时，研究承认成本绩效评估基于有限参与者群体，需更大规模验证。未来方向包括让规划智能体自动生成和配置子智能体与验证工具，以及利用LLM支持异常解释、缺失数据诊断和预测误差解释等任务。
