一种基于时空注意力机制的多智能体深度强化学习方法，用于协作式社区能源交易 陈胜（Sheng Chen）、 严勇（Yong Yan）、 胡嘉华（Jiahua Hu）和 冯长森（Changsen Feng）

《Energies》：A Spatio-Temporal Attention-Based Multi-Agent Deep Reinforcement Learning Approach for Collaborative Community Energy Trading Sheng Chen, Yong Yan, Jiahua Hu and Changsen Feng

　　

摘要

分布式能源资源（DERs）的高渗透率给社区能源管理带来了诸多挑战，包括源负载的强烈随机性、由多智能体博弈引发的同步负载激增以及潜在的隐私泄露风险。为了解决这些问题，本文提出了一种基于中间市场定价机制的协调能源交易框架。在该框架下，开发了一种新颖的多智能体Transformer近端策略优化（MATPPO）算法，该算法采用了LSTM–Transformer混合架构以及集中训练与分散执行（CTDE）的模式。在集中训练阶段，LSTM网络从源负载数据中提取时间演化特征以应对环境不确定性，而基于Transformer的自注意力机制则重建动态智能体拓扑结构以捕捉空间相关性。在分散执行阶段，生产者和消费者仅根据本地观测结果做出独立决策，这消除了上传内部设备状态的需求，从而在在线执行阶段显著提高了敏感本地信息的隐私性。此外，参数共享机制使得智能体能够共享策略网络，大大提升了算法的可扩展性。仿真结果表明，MATPPO有效缓解了电力峰值，减少了主电网接口处的变压器容量压力，并在保持高计算效率的同时显著降低了社区总电力成本。