多能源微电网的联合能源与计算调度：一种分层联邦多智能体对抗深度Q网络方法

《Sustainable Energy, Grids and Networks》：Joint Energy and Computing Scheduling for Multi-Energy Microgrid: A Hierarchical Federated Multiagent Dueling Deep Q-Network Approach

多能微网（MEMG）联合能量与计算调度策略基于分层联邦学习与改进双演员DQN算法，通过建模多能源协同优化问题降低约10%的长期运营成本，同时实现低碳排放与数据隐私保护。

　　

李海涛|谢东学|杨彦红

北京工业大学信息科学与技术学院，北京 100124，中国

摘要

多能源微电网（MEMG）结合了太阳能光伏、风能发电、电池储能和氢能储能技术，被视为推动碳中和和实现现代电力系统可持续发展的关键技术。然而，在调度多种资源以最小化基于边缘计算技术的MEMG的运营成本时，面临着挑战，这需要源-电网-负载-储能-计算之间的协调。本文研究了一种针对MEMG系统的联合能源与计算调度策略。首先，介绍了一个包含能源-计算-碳交易的MEMG模型，并构建了相应的马尔可夫决策过程（MDP）问题以促进联合调度。随后，将改进的决斗深度Q网络（iDDQN）算法融入联邦学习框架，提出了具有模型压缩功能的层次化联邦多智能体iDDQN（HFc-MAiDDQN）。然后基于HFc-MAiDDQN算法开发了联合能源与计算调度策略来解决MDP问题。最终，仿真结果表明，所提出的联合资源调度策略可将MEMG的长期运营成本降低约10%，同时实现较低的碳排放并保护数据隐私。

引言

作为实现碳中和目标的有效途径，分布式可再生能源（RES）近年来受到了广泛关注并快速发展[1]。将多种RES以微电网的形式整合到电网中已成为现代电力系统发展的趋势。然而，由于RES的间歇性和不可预测性，能够通过电力、天然气和热能的协同作用实现能源互补的多能源系统已被纳入微电网架构中，从而产生了多能源微电网（MEMG）的概念[2]。目前，随着MEMG在数量和规模上的持续增长，有效能源管理和互联微电网之间的协调运行变得越来越重要[3]。因此，迫切需要研究先进的能源管理策略，以优化MEMG中多能源资源的调度。这些进展不仅提高了可再生能源的利用效率，还增强了电力系统的稳定性和可持续性。

近年来，多智能体深度强化学习（MADRL）被引入用于协同能源管理，以优化多能源微电网（MEMG）的运营成本。此外，联邦学习（FL）被整合到基于MADRL的能源管理框架中，以解决数据隐私问题，因为FL支持的MADRL依赖于来自MEMG智能体的分布式数据。然而，这种方法通常需要云服务器来管理大量的模型参数传输和计算任务，从而引入了额外的处理延迟和运营开销。为克服这些挑战，移动边缘计算（MEC）作为一种基于5G的新兴范式应运而生，为微电网系统提供了高带宽、超低延迟和高效的计算卸载能力[23]-[24]。通过将部分计算任务卸载到MEC服务器上，可以显著缓解上述限制。因此，迫切需要开发一种基于联邦MADRL的联合能源与计算调度策略，以最小化增强型MEMG的运营成本。

MEMG的运行涉及关键组件，如能源负载、发电机、储能设备和转换器，其能源管理面临许多挑战，如需求变化、负载波动性和可再生能源的不确定性。传统的基于模型的能源调度算法需要精确的物理模型参数，因此难以处理如此复杂的MEMG能源管理问题[4]。深度强化学习（DRL）作为一种数据驱动的方法，可以减少对电力系统物理模型的依赖，并已被广泛用于MEMG能源管理[5]。例如，[6]中的作者提出了一种基于改进的深度Q网络（DQN）的MEMG能源管理方法，以替代传统的贪婪策略并提高微电网的运行效率。为了处理MEMG能源管理问题中的高维连续状态和动作空间，提出了一种基于物理信息的安全近端策略优化（PPO）学习方法，以实现成本效益高的能源管理性能[7]。为了解决MEMG中随机可再生能源供应和能源需求的问题，提出了一种改进的软演员评论家（SAC）方法，该方法结合了最大熵和长短期记忆（LSTM），以实现动态最优能源调度[8]。上述工作成功应用了各种DRL算法来实现MEMG能源管理。然而，它们大多只考虑了具有均匀设置的单一MEMG的能源管理问题，并采用了单一智能体DRL方法。对于由多个MEMG互连形成的微电网集群，由于每个智能体的视角是非静态的，因此无法直接使用单一智能体DRL方法[27],[30]。

为了解决这个问题，协作管理每个MEMG是最大化经济效益的有效方式，因此提出了多智能体DRL（MADRL）方法来处理这一能源管理问题。[9]中的作者提出了一种基于多智能体注意力的双延迟深度确定性策略梯度（MAATD3），该方法采用集中训练和分散执行，每个智能体独立运作以满足本地定制的能源需求。为了确保互联MEMG系统的成本效益和电压稳定性，提出了一种基于多智能体SAC和深度密集神经网络（DNN）的方法，以集中训练所有智能体来构建能源管理决策[10]。提出了一种名为基于双拍卖市场的MATD3的新MADRL方法，以解决MEMG系统的动态性和不稳定性问题[11]。[12]中的作者提出了优先级多智能体深度确定性策略梯度（MADDPG）方法，该方法仅利用本地信息即可做出实时能源管理的最优决策。鉴于上述基于MADRL的MEMG能源管理方法，它们需要收集来自不同微电网的大量运营数据来训练智能体，这存在数据隐私泄露的风险，因此数据安全和隐私保护对于能源管理至关重要。

为了解决这个问题，一种可行的技术解决方案是将具有数据隐私保护功能的FL应用于微电网。在[13]的工作中，通过引入FL机制，开发了一种基于物理信息的奖励的联邦MADRL，以确保微电网数据的隐私和安全。然而，在一般的基于云的FL架构中，客户端和云服务器之间需要进行多次通信来交换模型参数，因此大量数据被传输到远程云中心进行计算，导致显著的任务处理延迟和通信成本。因此，客户端-云FL不适合训练数据密集型和延迟敏感的MEMG能源管理任务。为了解决这个问题，现在提出了层次化联邦学习（HFL）[14]，因为它具有减少通信开销的优势。与两层FL框架不同，HFL框架引入了边缘计算服务器作为本地客户端和云服务器之间的通信媒介。边缘计算服务器接收来自客户端的本地模型参数，并将它们汇总成边缘模型，然后上传到云服务器进行全局模型汇总，从而减少传输的数据量。因此，本文利用HFL和MADRL的优势，提出了结合HFL和MADRL的层次化联邦MADRL方法来解决MEMG能源管理问题。

对于支持MEC的HFL框架，边缘计算服务器的计算能力可能无法满足计算任务的功能要求。在这种情况下，任务通常会被传输到具有更多计算和存储资源的云服务器[28]-[29]。然而，云服务器距离MEMG客户端较远，因此无法由MEC服务器处理的计算任务可以卸载到与其他MEMG客户端关联的MEC服务器上。这样，由于MEC服务器更接近MEMG客户端，可以减少计算任务的传输延迟和通信开销。同时，MEMG也为MEC服务器提供能源，双方之间存在协作和互动，因此需要开发一种先进的能源和计算资源调度方法来降低MEMG系统的运营成本。[26]中提出了一种基于多智能体深度确定性策略梯度（MADDPG）的联合能源与计算调度方法，与基线相比，可以将微电网的成本降低0.09%-8.02%。然而，传统的MADDPG方法无法保护数据隐私。

为了解决上述运营成本和数据隐私问题，我们探索了一种基于层次化联邦MADRL算法的联合能源与计算调度策略，并结合了机器学习和边缘计算技术的进步。本研究的主要贡献总结如下：

1)

考虑到基于边缘计算的MEMG涉及多种耦合资源，每个MEMG需要作为一个整体做出最优决策，因此构建了一个离散的MDP模型来促进联合能源-计算调度，以最小化包含能源-计算-碳交易的MEMG的运营成本。

2)

进一步，首先提出了一种改进的决斗DQN（iDDQN）算法，该算法具有更好的探索能力，更适合具有离散动作空间的环境，用于解决MDP问题。

3)

然后，通过合并iDDQN和具有模型压缩的层次化FL，设计了联合能源与计算调度策略。据我们所知，这是首次为MEMG能源管理开发联合资源调度方法。

4)

仿真结果验证了所提出的联合资源调度算法的有效性。与传统方法相比，所提出的算法可以大幅降低MEMG的运营成本，同时实现较低的碳排放并保护数据隐私。

本文的结构如下。第2节提供了MEMG系统模型和联合资源调度的MDP问题的概述。第3节详细介绍了联合能源与计算调度策略的设计。第4节展示了仿真结果和相关讨论。最后，第5节得出了结论。

部分摘录

MEMG系统

考虑的MEMG系统包括J个微电网集群，每个集群中有K个MEMG，每个MEMG包括光伏（PV）发电组件、风能发电组件、电池储能（BES）组件、氢能储能（HES）组件和MEC服务器等。在该系统中，风能和太阳能被优先作为RES，以最大化现场可再生能源的消耗。

联合能源与计算调度策略

注意，基于价值的DRL算法（如决斗DQN（DDQN）是解决具有离散动作空间的马尔可夫博弈的有希望的解决方案，因此在本节中采用了DDQN，并首先提出了其改进方案。然后，介绍了层次化联邦多智能体改进DDQN（iDDQN）的原理，以便尽快在非静态博弈环境中达到平衡。最后，提供了所提出的联合调度策略的详细信息。

仿真结果

在本节中，我们展示了联合调度策略的仿真结果，以说明所提算法的优势，结果如下。

结论

本文研究了MEMG的联合能源-计算资源调度问题，以实现最低的运营成本。为高效解决问题，首先提出了HFc-MAiDDQN算法，该算法结合了改进的决斗DQN和具有模型压缩的层次化FL，并强调了其实际问题，如收敛性和计算复杂性。然后，设计了基于HFc-MAiDDQN的联合调度策略，并对其有效性进行了评估

CRediT作者贡献声明

李海涛：撰写 – 审稿与编辑，撰写 – 原始草案，方法论，资金获取，概念化。杨彦红：资源，方法论，资金获取。谢东学：软件，方法论。

利益冲突声明

作者声明他们与本工作没有利益冲突。我们声明与提交的工作无关的任何商业或关联利益。