基于联邦学习的优化方法，用于实现具有点对点交易、自适应需求响应及电网稳定性提升功能的安全高效微电网能源管理

《Sustainable Energy, Grids and Networks》：Federated Learning-Based Optimization for Secure and Efficient Microgrid Energy Management with Peer-to-Peer Trading, Adaptive Demand Response, and Grid Stability Enhancement

　　摘要：随着电动汽车和能量存储系统等灵活负荷的广泛应用，居民区应对高峰用电需求的挑战日益严峻。协调这些设备对于降低能源成本、提升电网可靠性以及保障用户舒适度至关重要。本文提出了一种深度联邦强化学习框架，用于在需求导向的动态定价环境下实现家庭能源管理系统的去中心化协调。每个家庭能源管理系统作为自主智能体，通过软演员-评论家算法进行训练，同时采用联邦ADMM方法来稳定本地更新，并解决不同家庭间数据差异和非独立同分布问题。该框架能够模拟多种电器特性、屋顶光伏发电、能量存储系统、电动汽车以及用户的适应性舒适需求。其创新之处在于将ADMM直接整合到联邦学习过程中，从而提升计算与通信效率，同时使智能体能够在保持系统协调性能的前提下，根据不同的灵活性约束调整调度策略。仿真结果表明，所提出的FDRL-ADMM-SAC方法可将通信轮次减少50%以上。此外，该框架还具备良好的扩展性和隐私保护能力，为未来大规模居民区需求响应计划提供了实用且可靠的解决方案。

引言：可再生能源、电动汽车以及电池储能系统的发展正在改变现代配电网的运行模式。家庭逐渐转变为产消者，能够在本地能源社区内实现电力的生产、储存、消费和交易。这些发展有助于提高可再生能源的利用率，减少对主电网的依赖，并提升需求弹性。然而，它们也带来了诸如可再生能源间歇性、家庭差异性、双向电力流动、高峰负荷形成以及分布式灵活资源管理等方面的挑战。微电网是一种可行的方案，可用于在局部范围内整合分布式能源资源。在居民用微电网中，太阳能、电动汽车和电池储能系统若能得到合理调度，便可有效辅助需求侧管理系统，降低对电网供电的依赖。不过，随着产消者数量的增加，由于需要处理大量信息，对能源管理系统的集中控制可能会变得无效，同时还可能暴露家庭层面的运营数据。点对点能源交易系统作为一种去中心化的能源交换方式被提出，它允许拥有剩余能源的本地生产者直接与本地消费者或其他生产者进行交易，最终再根据供需差与主电网进行结算。这一机制有助于优化本地能源的供需匹配，减少与上游电网的不必要能源交换。然而，点对点能源交易不能仅仅视为市场问题，因为过度或无限制的本地能源交换可能导致电压失衡、网络拥堵、反向功率流动以及峰值反弹等问题。动态定价和市场出清机制在确保点对点能源交易顺利进行中发挥着重要作用。固定价格或反应迟缓的价格机制可能无法充分考虑到资源稀缺性、网络拥堵状况或高峰需求等因素。价格调整和双边拍卖机制可以通过让参与者提交价格-数量偏好，并完成可行的本地交易，从而促进供应商与消费者之间的平衡互动。然而，在传统的基于规则或集中式的优化方法下，协调基于拍卖的交易、需求导向的定价、灵活的电动汽车/电池储能系统调度以及网络运行限制仍然面临诸多挑战。人工智能在居民用微电网能源管理中的应用越来越广泛，因为它能够处理该过程中的随机性和顺序性特征。深度强化学习使得通过与环境交互来制定电动汽车充放电策略、电池储能系统运行策略、需求响应策略以及市场参与策略成为可能。不过，传统的强化学习技术往往依赖于集中式的数据收集和大量的状态共享，而在考虑隐私问题、通信开销、家庭数据分布不均以及设备性能差异的情况下，这种做法在居民环境中并不可行。近期的一些研究提出了联邦学习概念，涵盖了联邦强化学习及其在能源管理和点对点交易中的应用。这些研究探讨了不同规模的多能源微电网、可持续且具成本效益的能源管理方式、去中心化的双边拍卖系统、自适应定价机制以及产消者的决策过程。目前关于微电网能源管理系统中的联邦学习和联邦强化学习的研究主要可分为三个方向：隐私保护型协调、通信效率提升以及可扩展的多智能体决策。在隐私保护型协调方面，Cheng和Ai的研究表明，联邦学习无需集中式数据收集即可实现分布式能源交易中的福利优化。在通信效率方面，He等人通过仅交换选定的神经网络层而非每次更新都传输整个模型，降低了基于联邦学习的多微电网能源管理系统中的通信开销。在居民用能源管理系统中，这一方面尤为重要，因为参与系统的智能体数量可能很多，频繁传输完整模型会带来高昂的成本。不过，这一研究方向主要着眼于降低通信成本，而Du等人则利用联邦学习辅助的分布式共识机制来实现社区能源的优化配置。类似地，Zhang和Li提出了一种自适应的个性化联邦强化学习方法，用于协调多个能量存储系统以及电动汽车和太阳能发电系统。这项研究表明，联邦学习和联邦强化学习有助于在确保数据隐私的前提下协调能源资源分配过程。但需指出的是，这些方法的主要目标在于实现市场福利、提升需求弹性、提高预测精度或优化能量存储系统调度策略，而非协调带有动态定价政策和网络约束的点对点交易。Tan等人早在1996年就提出了联邦强化学习方法，用于在基于簇结构的居民用微电网中实现隐私保护的能源管理，展示了通过参数共享的去中心化本地学习如何有效提升隐私保护和训练效率。Wang等人则提出了一种可扩展的多智能体深度强化学习方法，用于实现居民用微电网集群的协同运行，该方法考虑了本地观测数据、隐私保护、系统可扩展性以及变压器过载问题。Sepehrzad等人进一步将这一研究方向拓展为联邦深度强化学习，通过基于信任的联邦聚合机制实现具有韧性的能源市场，支持基于联邦机制的日前定价和实时定价。尽管这些方法为基于市场的微电网运行做出了重要贡献，但它们主要侧重于隐私保护、系统韧性或价格稳定性，并未涉及包含电动汽车/电池储能系统调度的点对点市场出清机制。Lyu等人采用基于注意力机制的软演员-评论家算法，用于协调共享储能设施的微电网系统中的多个相连能源源，强调了在异构微电网环境中基于学习机制进行协调的重要性。虽然这类工作有助于提升学习的可扩展性和协调性，但它并不构成一种联邦式点对点交易模型。总体而言，现有文献表明，联邦学习、联邦强化学习以及多智能体深度强化学习能够减少直接数据交换，提升系统可扩展性，并为去中心化的能源管理决策提供支持。表1总结了近期研究相较于现有文献的改进之处。传统的基于规则或常规的优化方法往往缺乏足够的灵活性，难以有效应对现实世界中能源交易的动态性和随机性、数据安全问题、点对点能源交易及消费模式的变化。正因如此，人们越来越关注联邦强化学习，它能够让智能体通过与环境直接交互来学习适应性控制策略，而无需精确的系统模型。尽管许多研究证实了联邦强化学习在提升分布式智能能源系统的可扩展性、隐私保护和收敛性方面的潜力，但仍有诸多关键问题有待解决。在动态定价策略、计算与通信效率、系统可扩展性适配、落后智能体影响、自适应舒适模型、智能体差异性、非独立同分布数据分布以及高峰需求缓解等方面，联邦强化学习尚未得到充分应用。大多数框架采用静态定价方案，而非能反映实际电网状况的动态需求导向定价。与静态定价模型不同，动态定价在点对点交易中至关重要，它允许参与者根据实时情况调整价格。此外，许多基于强化学习的家庭能源管理系统框架虽然在单个家庭环境中取得了良好效果，但其可扩展性却带来了新的挑战。在联邦强化学习算法中，通信效率和计算效率起着至关重要的作用。在客户端与中央服务器之间交换参数时，必须考虑通信效率，因为频繁的通信会消耗大量资源，如传输功率、能量和带宽。为提升通信效率，人们采用了数据压缩技术，并试图减少通信轮次。由于越来越多的客户端参与训练，为所有客户端配备强大的计算能力显然并不现实。因此，理想的联邦强化学习算法应能够降低计算复杂度，从而减轻客户端的计算负担。中央服务器无法控制本地设备及其通信环境，因此由于传输资源不足或计算能力有限，某些客户端可能会延迟或停止共享参数，这种现象被称为“落后智能体效应”。有效的解决方法是让中央服务器挑选部分状态良好的客户端参与训练，这就是所谓的基于部分设备参与的训练方案。自适应隐私保护模型在实时协商中发挥着重要作用。智能合约通过简化流程、降低交易成本以及确保交易的安全性和透明度，推动了去中心化市场的发展。在点对点市场中运用智能合约，能够显著提升平台的效率、可靠性和用户友好性。本研究提出了一种框架，通过应用基于FDRL学习的交替方向乘子法来弥补现有研究的不足。1）该系统提出了一种双拍卖能源交易策略，能够实现自主决策、隐私保护型的模型训练以及安全、包容的能源交易。该策略可降低交易成本，提升价格稳定性，并确保利益公平分配。仿真结果表明，该策略在动态定价、联邦收敛性以及交易效率方面表现优异，为下一代能源市场提供了一种可扩展且公平的解决方案。2）所提出的能源管理系统算法可用于在动态电价条件下协调高峰需求管理。3）为提升计算效率，该框架规定全局平均操作仅在特定步骤进行（例如，当步数k是预定义整数k0的倍数时）。这意味着通过设定合适的k0，可以影响通信轮次的数量。研究表明，k0值越大，算法收敛所需的通信轮次就越少。4）FDRL-ADMM框架通过在每轮通信中仅让一部分家庭的参与率为0
方法论：本研究通过整合基于联邦深度强化学习的admm算法、基于双拍卖机制的去中心化点对点能源交易以及包含可再生能源整合的储能系统调度，构建了分布式系统能源管理系统的拓扑结构。这种优化技术提升了大规模能源交易、储能使用以及需求侧管理的效率。所设计的点对点能源交易框架采用了fdrl-admm-sac算法。在該算法中，每个家庭都作为一个自主学习智能体，它们分别制定电动汽车和电池储能系统的本地调度策略，同时提交点对点市场报价。首先通过本地双边拍卖完成点对点交易，任何剩余的缺口或盈余部分再与上游电网进行结算。本地智能体通过软演员-评论家算法进行训练，而中央协调器则通过fdrl-admm机制定期同步模型参数，从而保障系统性能。

案例研究与结果：本研究以一个包含320个智能体的居民区为研究对象，这些智能体连接在ieee 33节点配电网络上。这些智能体分布在2号至33号节点上，其中1号节点作为备用节点。该系统采用了基于点对点和fdrl-admm-sac方法的能源管理系统进行了测试。 方法论：本研究通过整合基于联邦深度强化学习的admm算法、基于双拍卖机制的去中心化点对点能源交易以及包含可再生能源整合的储能系统调度，构建了分布式系统能源管理系统的拓扑结构。这种优化技术提升了大规模能源交易、储能使用以及需求侧管理的效率。所设计的点对点能源交易框架采用了fdrl-admm-sac算法。在該算法中，每个家庭都作为一个自主学习智能体，它们分别制定电动汽车和电池储能系统的本地调度策略，同时提交点对点市场报价。首先通过本地双边拍卖完成点对点交易，任何剩余的缺口或盈余部分再与上游电网进行结算。本地智能体通过软演员-评论家算法进行训练，而中央协调器则通过fdrl-admm机制定期同步模型参数，从而保障系统性能。 案例研究与结果：本研究以一个包含320个智能体的居民区为研究对象，这些智能体连接在ieee>
方法论：本研究通过整合基于联邦深度强化学习的admm算法、基于双拍卖机制的去中心化点对点能源交易以及包含可再生能源整合的储能系统调度，构建了分布式系统能源管理系统的拓扑结构。这种优化技术提升了大规模能源交易、储能使用以及需求侧管理的效率。所设计的点对点能源交易框架采用了fdrl-admm-sac算法。在該算法中，每个家庭都作为一个自主学习智能体，它们分别制定电动汽车和电池储能系统的本地调度策略，同时提交点对点市场报价。首先通过本地双边拍卖完成点对点交易，任何剩余的缺口或盈余部分再与上游电网进行结算。本地智能体通过软演员-评论家算法进行训练，而中央协调器则通过fdrl-admm机制定期同步模型参数，从而保障系统性能。

案例研究与结果：本研究以一个包含320个智能体的居民区为研究对象，这些智能体连接在ieee 33节点配电网络上。这些智能体分布在2号至33号节点上，其中1号节点作为备用节点。该系统采用了基于点对点和fdrl-admm-sac方法的能源管理系统进行了测试。>为体现住宅区用户间的同质性，文中设计了四种类型的家庭，如表3所示。类型1的用户为100户配备光伏系统和储能装置的产消者，类型2为用户为100户配备光伏系统和电动汽车的产消者，类型3……结论本文提出了一种基于P2P–FDRL-ADMM–SAC框架的住宅能源管理方法，用于连接在IEEE 33节点配电网络上的320户社区。该方法结合了三个协调层次：基于局部SAC的家庭决策制定、双拍卖式P2P市场清算，以及本地参与者-评价者模型的联邦ADMM同步机制。实验结果表明，所提出的框架能够有效协调不同类型的住宅用户。伦理审批说明本研究未涉及人类受试者或动物实验，因此无需伦理审批。资金支持方面，本研究未获得公共部门、商业机构或非营利组织提供的任何资助。作者贡献说明张雷：论文撰写与编辑、初稿撰写、软件应用、研究工作、数据整理。王子赫：论文撰写与编辑、初稿撰写、结果验证、资源协调、资金申请。王春晓：初稿撰写、项目监督、软件应用、项目管理、概念设计。范金豪：论文撰写与编辑、初稿撰写、可视化处理、资源协调、研究工作。乔天娇：论文撰写与编辑、初稿撰写。利益冲突声明作者们声明自己不存在可能影响本文研究成果的任何已知财务利益或个人关系。致谢无。利益冲突说明作者们声明在本文发表过程中不存在任何利益冲突。作者贡献乔天娇、张雷、王子赫、王春晓和范金豪均参与了研究的各个阶段。王春晓负责项目协调并担任通讯作者。所有作者都参与了概念设计、数据收集、分析以及论文撰写工作。最终稿件已经过所有作者的审阅和批准。乔天娇|张雷|王子赫|王春晓|范金豪