《CSEE Journal of Power and Energy Systems》：Interpretable Multi-Agent Reinforcement Learning for Continuous Double Auction-Based P2P Energy Trading
编辑推荐：
在配电网络中分布式能源资源激增的背景下，多微电网（MMG）社区中的点对点（P2P）能源交易正在兴起。为实现社会福利最大化和隐私保护，连续双向拍卖（CDA）是一种有效机制。然而，由于激烈的市场动态和缺乏协调的投标策略，P2P市场中的投标决策具有挑战性。尽管现有基
在配电网络中分布式能源资源激增的背景下，多微电网（MMG）社区中的点对点（P2P）能源交易正在兴起。为实现社会福利最大化和隐私保护，连续双向拍卖（CDA）是一种有效机制。然而，由于激烈的市场动态和缺乏协调的投标策略，P2P市场中的投标决策具有挑战性。尽管现有基于多智能体强化学习（MARL）的方法能够实现智能投标，但往往缺乏对市场行为的坚实理论理解。在此背景下，本文提出了一种理论上可解释的交易策略单调改进学习（TPMIL）模板，该模板具有严格的证明和对智能体的顺序更新。它有助于解释投标策略、通过先前智能体的策略理解市场状态，以及协调联合策略更新。此外，一种实用算法，即单调改进信任区域策略优化（MI-TRPO），被嵌入该模板以优化投标策略，从而消除同行之间潜在的投标冲突并稳定训练过程。在改进的IEEE 33节点系统上的案例研究表明，所提方法能够产生稳定的P2P交易结果并降低社区成本。
传统配电网络正在向主动配电系统演变，分布式能源资源的大量接入和市场放开使得多微电网（MMG）社区的能量交易成为关注焦点。在传统零售市场中，MMG社区以上网电价（FiT）卖出盈余电能，以分时电价（ToU）购入不足电能，经济效率较低。点对点（P2P）能源交易能够缓解本地供需不平衡并降低运营成本，因此成为新兴的实施方案。在多种市场机制中，连续双向拍卖（CDA）结合了最优性和隐私保护优势，成为有效的市场出清机制。然而，CDA市场中的投标决策面临市场动态剧烈和缺乏协调投标策略的挑战。现有基于多智能体强化学习（MARL）的方法虽能实现智能投标，但大多基于经验发现和同步更新，缺乏坚实的理论解释性，导致次优收敛、投标冲突以及对市场供需状态捕捉不足等问题。为此，研究人员提出了理论上可解释的交易策略单调改进学习（TPMIL）模板，并在此基础上实现实用算法MI-TRPO。该研究为MARL在电力市场中的应用提供了理论基础，成果发表于《CSEE Journal of Power and Energy Systems》。
研究人员将多微电网社区中的P2P能源交易建模为协作马尔可夫博弈（Cooperative Markov Game），每个微电网作为智能体，通过能量管理系统（EMS）调度灵活性资源并提交投标价格与投标量。CDA拍卖商根据价格优先原则对买卖订单进行撮合。提出的TPMIL框架通过顺序更新智能体策略，利用多智能体优势函数分解定理和单调改进性证明，保证联合策略的单调改进。MI-TRPO算法采用信任区域策略优化（TRPO）的约束思想，使用广义优势估计（GAE）计算联合优势，并通过共轭梯度和回溯线搜索更新策略参数。案例研究在改进的IEEE 33节点系统上进行，四个微电网分别位于节点10、18、22和25，与MAPPO和MATD3基准算法进行对比。算法基于Python和PyTorch实现，训练在NVIDIA RTX 4060 GPU上完成。
A. Experimental Setup and Implementation
研究人员在改进的IEEE 33节点系统上验证了TPMIL方法，四个微电网接入节点10、18、22和25。对比算法采用状态最先进的协作算法MAPPO和MATD3。网络电价采用分时电价（ToU）和上网电价（FiT），电压幅值安全范围设为[0.95, 1.05]。
B. Training Performance of MI-TRPO
通过4000回合训练比较了三种方法的奖励收敛曲线。MI-TRPO收敛到最高回合奖励-17.9，比MAPPO提高30.7%，比MATD3提高53.8%，且训练过程相对稳定，而MAPPO和MATD3出现较强振荡。MI-TRPO实现了最高的P2P交易量和最低的社区成本。电压越限惩罚在2000回合后降为0，训练后的电压幅值保持在安全范围内。
C. Analysis of MG Agents' Bidding Strategy
通过分析标准化清算价格与社区净负荷关系发现，MI-TRPO方法下的清算价格能够准确反映社区供需状态。例如在卖方市场时段，买方为成功匹配会积极投标，清算价格接近ToU；在买方市场时段，卖方为促成交易会降低报价，清算价格接近FiT。而MAPPO和MATD3下的清算价格在多数时段聚集在0.5附近，表明智能体采用保守投标策略，未能准确反映实时供需变化，导致社区成本上升和市场效率降低。
讨论部分指出，MI-TRPO通过顺序更新使当前智能体能够考虑先前智能体的联合投标策略，从而获得对市场供需状态的综合理解，避免了仅基于上一回合奖励和观测进行更新的局限。对比方法因缺乏协调更新而难以探索全局最优，导致保守出价和较高的社区能源成本。
结论部分翻译：现有的MARL方法往往缺乏坚实的理论基础和市场行为可解释性。本文提出了一种新颖的、理论上可解释的交易策略单调改进学习（TPMIL）模板来解决这一问题。通过顺序更新智能体策略，每个智能体能够从先前智能体的联合策略中获取供需信息，从而促进协调的策略更新。该模板消除了潜在的投标冲突，并具有单调改进性质。随后，将实用算法MI-TRPO嵌入该模板。案例研究对比验证了以下发现：MI-TRPO方法提供了智能体市场行为的可解释性，有助于更好地理解P2P交易策略更新；与MAPPO相比，MI-TRPO下的P2P交易量增加了12.5%，社区能源成本降低了30.7%；社区内的能源供需状态有效反映在MI-TRPO的清算价格中。本文重点关注可解释的MARL算法以解决基于CDA的P2P能源交易问题，未考虑碳排放市场，因此将碳排放配额拍卖市场纳入研究是未来的扩展方向。
