基于异构图增强多智能体演员-评论家方法的虚拟电厂参与响应感知动态利润分配

《Sustainable Energy Technologies and Assessments》：Participation-response-aware dynamic profit allocation for virtual power plants using heterogeneous graph-enhanced multi-agent actor–critic

　　

摘要
虚拟电厂（VPP）内部的利润分配通过成员参与响应影响合作收益的分享以及后续的联盟运营。现有单周期方法无法同时捕捉异质资源关系、动态贡献和跨周期反馈。本文提出了一种异构图增强的多智能体Actor-Critic方法（HG-MAAC），用于动态内部利润分配。HG-MAAC将时变异构图与Transformer相结合，配合类型共享的Actor网络和联盟级别的协调机制，生成预算平衡、非负的分配方案。已结算利润更新参与度和承诺灵活性，使得后续联盟利润能够评估当前动作。在十次独立训练-回放中，HG-MAAC在七个基准方法中排名第一，平均累积联盟利润达到人民币153万元。相对于集中式策略，利润增加1.80%（95%置信区间：1.55%–2.09%），贡献跟踪改善3.17%，偏差惩罚成本降低2.93%；所有差异在Holm校正后仍保持显著。去除参与响应反馈后，惩罚成本增加22.6%，承诺灵活性和联盟利润分别减少8.9%和3.2%。SHAP将75.8%的总平均绝对重要性归因于前六个特征，支持动态贡献、成员激励和长期联盟绩效的协调。

引言
虚拟电厂（VPP）通过聚合分布式发电、储能和柔性负荷等异质资源参与电力市场，提高了分布式资源的协同利用和市场整体利润[1]。随着VPP从资源聚合向深度多智能体协调演进，如何在内部成员间分配由联盟合作产生的增量利润，已成为影响可持续运营和组织稳定性的关键问题[2]。利润分配不仅决定了成员获得的合作收益，还影响其参与意愿、合作承诺和长期联盟稳定性。在价格波动剧烈、资源状态时变和成员交互耦合的场景中，VPP内部利润分配不再是静态结算问题，而是一个动态且相互依赖的决策问题。

近年来，一些研究从资源招募和参与机制的角度探讨了VPP利润的形成。[3]协调了长期定期招募与短期灵活招募，并利用非常规套利机会识别和深度强化学习动态优化激励策略。[4]开发了VPP组装与竞争的招募-参与框架，证明收益安排影响DER参与和联盟形成。这些研究将成员参与从外生条件转变为影响VPP规模和盈利能力 的动态因素，凸显了激励机制对参与和VPP绩效的影响。

与成员招募和联盟形成不同，内部利润分配侧重于在现有成员间分配合作收益。现有研究主要采用合作博弈分配、谈判和内部结算等方法。基于Shapley值和核仁的方法根据边际贡献和联盟公平性分配利润[5][6][7]，而Nash谈判、内部定价、供需协调和退化感知分配则考虑谈判结果、运营成本 和成员效益[8][9][10][11][12]。这些机制在不同市场环境下也存在差异。多电力市场和联合能量-调频研究根据边际或运营贡献分配市场耦合收益[5][6]，而能量-碳和频率调节研究则进一步将碳收益、调节性能和储能退化纳入内部结算[8][12]。因此，市场耦合既改变了合作收益的构成，也改变了评估成员贡献的标准。然而，现有方法通常针对预定义的市场服务，并未明确将当前分配与后续参与、承诺灵活性和长期联盟绩效联系起来。对于光伏、储能和柔性负荷，调节任务和协同贡献随运行条件而变化，使得静态比例或一次性谈判不足以表示成员贡献的时间变化。

因此，VPP内部利润分配的关键问题不再仅仅是如何分配利润，而是如何动态识别成员贡献并持续调整分配结果。随着资源多样性增加，VPP面临更强的市场不确定性、资源耦合和多时间尺度决策挑战，而传统集中式优化方法在计算效率、信息适应性和动态交互建模方面显示出局限性。

多智能体强化学习（MARL）能够刻画分布式智能体的并行决策、局部状态感知和动态交互，已被应用于VPP能源管理、市场竞价和协调控制[13]。[14]提出了MAT-Adapt，将多智能体Transformer与并行适应机制相结合，提高了多建筑多能VPP动态能源管理的适应性。[15]开发了一种模型辅助的多智能体近端策略优化方法，实现了VPP竞价、重调度和功率分解的三阶段协调决策。在[16]中，多智能体深度强化学习被用于开发定价型VPP的日前竞价策略，提高了复杂市场环境下的利润优化。[17]为共享储能系统中对价格不敏感的产消者提出了"存-取"服务，并使用改进的深度强化学习方法联合优化动态服务系数和交易策略，提高了激励对用户行为和储能条件的适应性。这些方法也扩展到社区VPP辅助服务、分布式资源协调和多时间尺度市场参与场景[18]-[20]。总体而言，现有多智能体方法可以处理动态VPP环境和多智能体协调，但主要关注能源调度、市场竞价、运行控制和激励优化，仍缺乏对异质成员交互和动态贡献的有效建模，也未建立与成员参与响应耦合的动态合作收益分配机制。

因此，准确刻画VPP中成员动态贡献需要对异质资源间的结构关系和协调机制进行显式建模。图神经网络（GNN）能够表示关系并捕获拓扑依赖，已被应用于电力系统建模和优化。[21]提出了一种基于消息传递的GNN方法进行潮流近似，提高了复杂电网拓扑下的计算效率。[22]开发了一种物理信息GNN，整合了网络拓扑和潮流信息，提高了对动态网络的适应性。然而，现有研究主要采用具有统一节点和边类型的同质图，无法完全捕获异质VPP资源间的差异化交互。异构图区分不同的节点和关系类型，为多资源耦合提供了更具体的结构表示。[23]构建了物理信息异构GNN，通过区分节点和边类型改进了复杂电力网络的表示。[24]将异构图引入综合能源系统负荷预测，联合建模电热耦合节点及其交互，提高了多能节点间相关性的刻画。因此，异构图可以支持VPP成员关系和贡献形成机制的表示。然而，它们主要解决如何表示关系的问题，无法直接实现动态利润分配决策。

为增强智能体对资源耦合关系的感知和决策能力，近期研究将基于图的建模与强化学习相结合。[25]提出了一种用于配电网无功功率和电压控制的多智能体图强化学习方法，基于图的信息交换改善了部分可观测条件下的分布式控制。[27]引入了异构图神经网络辅助的多智能体强化学习框架，整合了图卷积和注意力机制，改善了多区域电力系统中智能体间的信息共享和合作学习。尽管基于图的建模增强了多智能体系统中复杂关系的表示，但现有研究主要关注控制优化和协调调度，将异构关系表示用于虚拟电厂中成员贡献识别和利润分配的应用仍然有限。将关系建模与多智能体学习相结合以实现感知贡献的利润分配与参与反馈仍然具有挑战性。

现有研究在基于合作博弈的分配、VPP协调优化和基于图的建模方面取得了进展，如表A4所示。然而，在动态内部利润分配方面仍存在若干局限性。

为明确现有研究在多大程度上支持VPP动态内部利润分配，相关工作总结于以下四个方面：动态利润分配、基于异质关系的贡献表示、多智能体自适应决策和分配结果的可解释性。详细比较见表A4。现有研究在基于合作博弈的分配规则、VPP协同优化和基于图的建模方面取得了进展；然而，以下局限性仍然存在。

1）现有分配方法主要基于单周期收入或静态贡献确定利润份额，很少将合作收益分配建模为跨多个周期的序贯决策问题。

2）现有方法对VPP内异质成员特征和交互关系的表示有限，难以在协调运行中捕获结构性贡献。

3）现有多智能体VPP研究主要关注能源管理、市场竞价和控制优化，未有效将内部利润分配与成员参与激励相结合。

4）现有利润分配研究对分配机制的解释有限，无法清楚揭示成员特征、协调关系和运行条件如何影响分配结果，降低了透明度和成员接受度。

为解决上述问题，本文将VPP内部利润分配建模为由成员动态贡献和参与响应驱动的序贯决策问题，而非对现有利润的静态分割。基于此表述，提出了一种异构图增强的多智能体Actor-Critic动态利润分配方法（HG-MAAC）。进一步应用SHapley加性解释（SHAP）分析影响分配决策的主要因素。主要贡献总结如下：

1）建立了基于VPP净利润分解、成员基准利润和合作收益的动态内部利润分配模型。该模型通过结构约束强制执行非负分配、预算平衡和利润守恒，并将个体理性作为软惩罚纳入。

2）提出了一种异构关系驱动的动态贡献表示方法。将时变异构图与Transformer整合，捕获资源协调关系和历史运行状态。

3）提出了基于HG-MAAC的利润分配方法。通过类型共享的Actor网络、联盟级别的协调映射和集中式Critic学习，所提方法协调动态贡献、个体理性保护和长期联盟绩效。

4）构建了包含七个基准方法、十次独立训练-回放、统计检验、动态场景和消融实验的综合评估框架。计算成本分析和SHAP分析进一步评估了部署效率以及运行状态、灵活性、贡献表示和市场信息的影响。

本文其余部分组织如下。第2节构建VPP成员间的异构关系模型，并提出基于异构图和Transformer的动态贡献表示方法。第3节建立考虑成员参与响应反馈的HG-MAAC动态利润分配模型。第4节通过案例研究评估所提方法，包括收敛性能、长期综合性能和不同动态贡献强度下的适应性。第5节使用消融实验和SHAP分析关键模块和运行特征的影响。第6节总结全文并讨论未来研究方向。

章节片段

**VPP内部利润分配的成员关系建模与贡献表示**

VPP内部利润分配的关键在于识别不同成员对合作收益的实际贡献。由于分布式发电、储能和柔性负荷在资源属性、运行状态和协同角色上存在显著差异，静态规则或单一贡献指标不足以捕获其动态贡献[28]。因此，本节首先定义合作收益及其分配对象，然后构建动态异构关系模型。

**基于图多智能体强化学习的VPP动态内部利润分配方法**

在对异质成员关系和动态贡献进行建模后，贡献信息应进一步转化为可执行的利润分配决策。现有分配方法主要依赖固定比例、经验调整或基于静态贡献的规则，不足以在成员交互、运行状态时变和利润来源波动下捕获动态贡献差异[31]。同时，多智能体学习展现出……

**场景设置与实验说明**

为验证所提HG-MAAC动态利润分配方法，本研究构建了基于广东省深圳市某VPP运行监测、资源调节和市场结算数据的市场回放案例。系统包含三个分布式光伏单元、两个储能单元和三个柔性负荷，形成八个成员级智能体。数据覆盖2025年全年，分辨率为15分钟，包含35,040个样本，包括市场价格、成员功率、光伏……

**消融实验**

为评估每个关键模块对利润分配性能的影响，我们使用相同的测试案例、数据划分、训练参数和评估指标进行消融实验。我们比较完整的HG-MAAC与以下变体：无异构图表示（w/o HG）、无类型共享（w/o TS）、无多智能体分解（w/o MAD）、无贡献跟踪项（w/o CTC）、无分配稳定性惩罚项（w/o Stability）、无个体理性惩罚项（w/o IR），以及……

**结论**

为量化VPP内部利润分配中的动态贡献、异质合作和分配驱动因素，本文提出了HG-MAAC——一种异构图增强的多智能体Actor-Critic方法。HG-MAAC将动态贡献参考、图嵌入、运行状态和参与响应整合到策略学习中，同时考虑贡献跟踪、个体理性和分配稳定性。

SHAP解释了关键运行特征的影响。CRediT作者贡献声明：刘梦鑫：撰写初稿、可视化、验证、方法论、形式化分析、数据整理、概念构思。张刚：审阅与编辑、监督、项目管理。王德义：审阅与编辑、监督、资源支持。谢拓：审阅与编辑、监督、资金获取。杨刘宇：撰写初稿、可视化。利益冲突声明：作者声明没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。致谢：本研究部分由陕西省自然科学基础研究计划（青年项目）资助（项目编号：2025JC-YBMS-455）。刘梦鑫 | 张刚 | 王德义 | 谢拓 | 杨刘宇