一种面向共享电池储能系统的多智能体平均场演员 - 评论家方法

《Sustainable Energy, Grids and Networks》：A multi-agent mean-field actor critic approach for shared battery energy storage systems

　　

摘要本研究介绍了一种面向服务住宅用户的共享电池储能系统（SBESS）的去中心化控制框架，该框架可以从公用事业公司提供的多种电价方案中进行选择。所考虑的问题是对家庭使用 SBESS 进行去中心化协调，目标是在共同满足电池运行约束和电网功率交换限制的同时，最大化每个家庭的能源套利收益。由于家庭的电池使用决策通过共享的有限资源相互耦合，且未来的需求和光伏发电量未知，该控制问题在多智能体强化学习设置中进行公式化，其中家庭间的相互作用被建模为马尔可夫博弈。提出的基于信念的平均场演员 - 评论家（BBMFAC）学习框架集成了基于集群的平均场近似、参数共享以及半去中心化训练与去中心化执行（s-DTDE）架构。在该框架中，选择相同电价选项的智能体被分组为集群，并共享参数化的集群级评论家函数，从而在大型多智能体设置中提高了可扩展性和学习效率。为了解决多智能体环境的固有非平稳性，每个集群内的智能体在训练期间根据其他集群的平均行为构建信念，并将此信息纳入其自身集群级评论家函数的更新中。提出方法的性能通过利用需求、光伏发电和电价历史数据的数值模拟进行评估。结果与最先进的方案进行了比较，具体包括独立智能体、多智能体深确定性策略梯度以及平均场演员 - 评论家方法。

引言能源部门负责全球约四分之三的碳排放，强调了能源生成和消费方式需要深刻变革，以实现国际能源署到 2050 年的净零目标 [1], [2]。这一转型的关键驱动力包括电力系统的自由化以及可再生能源与储能解决方案日益增加的融合 [2], [3]。可再生能源资源（RERs）提供低碳电力生成，而其变异性可以通过储能技术（ESTs）得到缓解，使它们天然互补 [4]。据最近趋势证实，它们的部署预计将持续扩大 [5], [6], [7]。

然而，如果管理不当，RERs 和 ESTs 的大规模融合可能会对电网稳定性和运行构成挑战 [8]。这要求开发可扩展的控制策略，能够在需求和可再生能源发电存在不确定性的情况下协调大量决策者。住宅能源社区是这种设置的一个特别相关的实例，涉及大量自主家庭在这些不确定条件下运行，并且在许多情况下共享共同的能源资源 [9]。在本研究中，我们考虑一个由家庭、共享电池储能系统（SBESS）和光伏（PV）板组成的住宅社区。目标是为家庭使用 SBESS 设计一种去中心化控制策略，最大化他们的能源套利收益——即通过响应电价变化战略性地安排电池充放电时机而获得的经济收益——同时满足运行约束 [10]。为此，该问题在多智能体强化学习（MARL）框架中进行公式化和求解。

近年来，SBESS 的研究兴趣日益浓厚 [11]，这源于共享储能解决方案往往比个人安装更具成本效益，特别是在住宅环境中 [9]。电池储能系统的运行可以公式化为一个优化问题，旨在调度电池的充放电配置以最大化能源套利，同时满足潜在的物理和运行约束 [12], [13]。在这方面，已经研究了不同的解决方案范式，包括动态规划（DP）和模型预测控制（MPC）。原则上，基于 DP 的方法可以计算顺序决策问题的最优控制策略。然而，它们的计算复杂度随状态和动作空间的维度迅速增长，由于众所周知的维数灾难，使得它们难以扩展到拥有大量家庭的能源社区 [12], [14], [15]。基于 MPC 的方法明确考虑了系统动力学以及物理和运行约束。然而，它们依赖于不确定外生过程（如家庭需求和光伏发电）的准确预测模型 [16], [17]，并且需要重复在线求解优化问题，其复杂度随参与家庭数量的增加而增加 [18], [19]。另一方面，启发式调度策略计算效率高且易于部署，但它们不提供最优性保证，也无法系统地适应变化的运行条件 [20], [21]。

这些限制在住宅社区的 SBESS 运行中尤其相关，其中的控制问题本质上是去中心化的，并以由共享储能资源引起的耦合家庭决策、未来电力需求和可再生能源发电的不不确定性，以及随着参与家庭数量增加而对可扩展性的需求为特征。在这种情况下，用于管理家庭决策的协调方案在确定这些要求能否以及如何得到满足方面发挥着中心作用。集中式框架要求单个家庭与中央控制器之间进行双向通信，面临可扩展性挑战，并且需要广泛的通信基础设施 [9], [22]。在 [23] 中，一个集中式能源管理系统通过混合整数线性规划（MILP）公式共同调度家庭负载和共享电池的运行，以最小化从主电网购买电量的数量和成本。[24] 的作者提出了一种集中式两阶段随机 MILP 框架，基于历史数据寻找消费者对共享储能、充电要求和放电允许度的适当分配。然而，除了可扩展性之外，中央控制器需要访问家庭需求数据引发了隐私问题，因为此类信息可能揭示关于个人习惯和活动的敏感细节 [25], [26], [27]。这一限制也影响了最近基于集中式决策的强化学习（RL）方法。例如，[28] 提出了一种课程 RL 框架，通过中央决策者协调丰富可再生微电网中的共享储能和灵活负载，实现了提高的收敛速度和经济效率，但需要访问产消者的需求侧信息——作者自己将这一限制识别为隐私和安全问题。

替代方法考虑去中心化框架，其中单个家庭独立确定其调度策略，利用博弈论 [29] 和分布式优化 [25] 的工具达到均衡或最优解。在这些方法中，协调的达成不需要由集中式实体收集家庭级数据；然而，参与者必须重复交换某种形式的信息并更新他们的决策，直到达到收敛。在这种情况下，[30] 将在配备共享储能的社区内的能源交易建模为斯塔克伯格博弈。同样，[31] 引入了一种产消者与能源存储提供商之间存储共享的分布式框架，旨在最小化总体社会成本。尽管具有去中心化性质，但由于其迭代性质，这些方法可能计算量密集 [29]，而所需的信息交换引入了潜在漏洞，因为收敛在网络攻击下可能会受损 [32]。

上述缺点促使采用多智能体强化学习（MARL），它结合了博弈论和 RL 的概念，非常适合捕捉共享共同资源的多个决策者之间的战略相互作用 [33], [34], [35]。与博弈论和分布式优化方法相比，MARL 自然地适用于学习完全去中心化和计算高效的控制策略，这些策略可以在没有明确协调机制的情况下执行 [35], [36]。在 MARL 中，多个智能体及其环境之间的相互作用可以建模为马尔可夫博弈 [37]，通过它可以直接从与环境的相互作用中学习控制策略，而无需依赖于不确定外生过程的准确预测模型。然而，MARL 没有规定单一的协调方案：取决于训练期间如何交换信息，基于 MARL 的方法可以采用集中式或去中心化架构，提供平衡性能和可扩展性所需的灵活性 [34], [38]。尽管如此，基于 MARL 的解决方案的实现仍然具有挑战性，主要是由于需要并发训练多个智能体，这增加了算法复杂度 [38]。此外，MARL 系统受环境非平稳性影响，因为环境的演化取决于所有智能体的联合动作，而不是任何单个智能体的行为 [34]。

MARL 中最简单的一类方法是独立学习 [39], [40]。在 [36] 中，采用了一种去中心化控制架构用于直流微电网的分布式能源管理，评估了包括独立深 Q 学习（IDQN）算法在内的其他方法，其中每个分布式能源资源被建模为一个仅依赖局部观察的独立学习者。虽然这种方法在网络安全韧性方面具有优势，但由于环境的非平稳性，它容易不稳定，因为智能体在训练期间并发更新其策略 [34]。确实，基于独立学习的方法忽略了智能体间的依赖关系，未能捕捉由其相互作用引起的关联 [41]。

为了解决这些挑战，研究人员越来越多地采用集中训练与去中心化执行（CTDE）范式，其中智能体在训练期间与集中式实体共享局部信息以改善学习，而执行保持完全去中心化且不需要任何信息交换 [35]。例如，[42] 提出了一种基于 CTDE 框架的多智能体深 RL 方法，用于解决集成光伏发电和储能系统的智能电网中多辆电动汽车（EVs）的充电调度问题。在 [43] 中，作者使用 CTDE-深确定性策略梯度（DDPG）算法调查了一组住宅社区中 EVs 的分布式和合作充电策略的性能，其中所有 EVs 都连接到共享变压器。这些工作展示了 CTDE 框架如何促进智能体之间的合作，帮助缓解非平稳性并提高学习稳定性和性能。尽管如此，CTDE 方法面临几个限制，包括随着智能体数量增加的可扩展性和计算复杂度；此外，它们在训练期间对集中式信息的依赖可能会引发隐私问题，并且由于存在集中式实体而引入对网络攻击的漏洞 [43], [44]。

在这方面，已经提出了几种替代策略。例如，[45] 提出了一个旨在加速学习过程的框架，其中智能体要么共享经验要么交换学习参数，并将其应用于恒温控制负载的管理。[46] 提出了评论家的平均场近似，称为平均场 - 函数；受平均场理论 [47] 启发，这种方法通过考虑邻近智能体的平均行为来近似评论家，相应地降低了复杂度。最近，完全去中心化的方法已被探索。在 [48] 中，一种基于去中心化训练和去中心化执行（DTDE）的多智能体深 RL 方法被应用于 EV 充电调度问题。与 CTDE 不同，DTDE 避免了训练期间的集中式数据收集，尽管智能体之间仍需要有限的信息交换来学习策略。在 [48] 中，智能体仅使用局部信息和邻近智能体的动作学习其策略，与基于 CTDE 的方法相比，减少了通信开销、计算复杂度和隐私泄露风险。

受到对去中心化、可扩展控制框架的需求以及住宅微电网中共享储能成本效益的启发 [9]，本文提出了一种基于 MARL 的新框架，用于住宅社区中 SBESS 的去中心化控制。在此设置中，家庭被建模为可以在不同电价方案中进行选择的智能体，从而实现灵活高效的能源管理。还假设所有家庭共同拥有和控制 SBESS，因此要求他们使其动作适应其共享环境的动态演化。他们必须合作以满足 SBESS 施加的共享耦合约束，同时促进能源套利。本文的主要贡献总结如下：
1. 我们提出了一种基于信念的平均场演员 - 评论家（BBMFAC）学习框架，用于住宅社区中 SBESS 的去中心化控制。BBMFAC 引入了基于集群的平均场近似和半去中心化（即集群级）训练与去中心化执行（s-DTDE）架构，并将这些与参数共享一起集成到一个统一的学习框架中。
2. BBMFAC 将整个智能体种群划分为集群，并采用评论家 - 函数的集群级平均场近似，其中集群间相互作用通过集群级平均动作来表示。

通过多个集群级均值动作来表示整个人群，而不是像传统的均值场演员 - 评论家方法那样使用单一的均值场表示，所提出的框架在近似准确性和可扩展性之间实现了更有利的权衡，特别是在异构多智能体设置中。在考虑的应用场景中，选择相同电价方案的家庭被分组到集群中，它们在训练期间共享经验和学习参数，而在部署时独立执行其学习到的策略，无需进行任何信息交换。3. 为了缓解多智能体强化学习（MARL）固有的非平稳性和训练不稳定性，BBMFAC 使每个集群内的智能体在训练期间对其他集群的平均行为形成信念。这些信念被纳入集群级评论家函数中，缓解了由其他集群同时演变的策略引起的非平稳性，从而提高了训练稳定性。4. 所提出的方法扩展了我们在 [49] 中的先前工作，该工作引入了一种基于信念的电动汽车调度 MARL 框架。与 [49] 相比，BBMFAC 集成了所提出的集群级均值场近似和参数共享，使其能够应用于连续状态和动作空间。此外，与 [49] 中考虑的全竞争电动汽车调度问题不同，所提出的框架解决了由共享电池资源引起的既合作又竞争的交互特征所表征的 SBESS 调度问题。本文其余部分组织如下。第 2 节介绍了住宅家庭背景下的 SBESS 建模方面，第 3 节描述了所采用的 MARL 框架。第 4 节解释了所提出的 BBMFAC 算法，第 5 节接着进行了数值仿真并与最先进技术进行了比较。最后，第 6 节总结了全文。

章节片段
系统建模
所考虑的能源社区（EC）如图 1 所示。该 EC 包括住宅家庭、一个 SBESS、直接连接到 SBESS 的光伏（PV）板和一个公共连接点（PoCC）。家庭共享 SBESS，作为唯一可控资源。光伏板产生的太阳能用于给 SBESS 充电，而家庭可以放电以满足其需求，从而减少对从电网购买能源的需求。在这方面，公用事业

问题表述和所提出的 MARL 框架
强化学习（RL）提供了一个强大的框架，用于表述和解决控制问题，其中智能体（即控制器）通过与环境（即被控制系统）交互来学习决策策略，称为策略 [33]。在每一集的每一步中，智能体观察当前状态，选择一个影响系统动态的动作，并接收到一个标量奖励，反映该动作的质量。RL 也引起了广泛关注

BBMFAC 算法
所提出的 BBMFAC 算法假设一个联合动作学习（JAL）设置，并采用半去中心化训练和去中心化执行（s-DTDE）架构。从架构角度来看，在 s-DTDE 框架下，只有选择相同电价方案的智能体共享它们的经验，这些经验存储在本地。与 CTDE 架构相比，这种设计增强了隐私性。此外，共享本地经验使得能够在集群级别进行参数共享，从而加速学习过程。

数值仿真和结果
我们展示了基于澳大利亚公用事业 Ausgrid [58] 公开发布的光伏和家庭电力数据的仿真研究，以及澳大利亚能源监管机构 [59] 定义的电价方案。该数据集包含 300 户家庭一年的电力消费数据和光伏发电配置，均以 30 分钟为间隔采样。每种电价结构均包括动态分时定价方案，均指定为小时分辨率。

结论和未来方向
在本文中，我们提出了一种新颖的基于信念的均值场演员 - 评论家（BBMFAC）学习框架，用于住宅社区中共享储能系统的去中心化控制，集成了基于集群的均值场近似、参数共享和半去中心化训练和去中心化执行（s-DTDE）架构。利用多智能体强化学习和博弈论工具，智能体（即家庭）之间的交互被建模为马尔可夫

CRediT 作者贡献声明
Massimo Tipaldi：写作 - 审查与编辑，写作 - 初稿，验证，方法论，调查，概念化。Elia Brescia：写作 - 审查与编辑，写作 - 初稿，验证，软件。Amit Joshi：写作 - 初稿，验证，软件，方法论，概念化。Paolo Roberto Massenio：写作 - 审查与编辑，验证。David Naso：写作 - 审查与编辑，验证。Luigi Glielmo：写作 - 审查与编辑，写作 - 初稿，

竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系，可能会影响本论文中报告的工作。

Massimo Tipaldi|Elia Brescia|Amit Joshi|Paolo Roberto Massenio|David Naso|Luigi Glielmo