编辑推荐：
本文综述了 DERs 控制中多智能体框架的可扩展及隐私保护技术，探讨其应用与未来方向。
### 分布式能源资源（DERs）的重要意义
分布式能源资源（DERs）涵盖太阳能光伏（PVs）、风力涡轮机、燃料电池、储能系统（ESSs）和电动汽车（EVs）等多种小型能源发电与存储设备，它们与电网相连，在电网和用户层面为电力系统提供了显著的灵活性。比如，DERs 能够提供辅助服务、降低能源成本、助力电力系统脱碳、增强电网弹性。由于这些优势，电网正朝着富含 DERs 的电力系统转变，在此背景下，DERs 的管理对于支持可再生能源整合、提升电网韧性以及提高整体能源效率至关重要。全球 DER 管理系统市场预计将大幅扩张，美国 DER 市场容量也有望显著增长，这都凸显了 DERs 在现代电网中的关键作用。
DER 控制面临的主要挑战
- 可扩展性问题：传统电网采用集中式管理模式，但 DERs 的快速增长使大规模集中式问题的求解面临挑战，这是因为数据的复杂性、异构性以及计算成本不断增加。为实现 DERs 的可持续发展和充分发挥其潜力，需要可扩展的管理技术。可将 DERs 在电力系统中的控制视为网络化多智能体问题，通过开发融合先进控制、优化和机器学习理论的多智能体框架，能够有效解决 DER 管理问题，确保电网运行的最优性、可扩展性和安全性。
- 隐私威胁：DER 数据在处理和传输过程中存在隐私泄露风险，例如不诚实的智能体可能导致数据来源丢失，数据传输时私人信息可能被恶意拦截。通过分析负载数据，攻击者有可能推断出消费者的生活模式、个人偏好等信息。近年来，一系列严格的隐私保护法律相继生效，如欧盟的《通用数据保护条例》、美国的《加州消费者隐私法》等，这些都推动了富含 DERs 的电力系统中隐私保护标准的提升。此外，美国国家标准与技术研究院（NIST）、欧洲委员会和国际电工委员会（IEC）等也制定了相关的网络安全指南和标准，以保护智能电网相关数据的隐私。
研究动机与贡献
本文聚焦于优化富含 DERs 的电力系统时面临的两个关键技术挑战：可扩展性和隐私保护。现有研究虽对 DER 控制有所探讨，但缺乏对可扩展且隐私保护的多智能体解决方案的跨学科综述。本文旨在回顾设计可扩展且隐私保护的多智能体框架的前沿技术及其在 DER 控制问题中的应用，具体贡献如下：
- 系统地综述了在电力系统中部署多智能体框架用于 DER 控制的相关内容，包括基于多智能体的问题制定、可扩展解决方案以及隐私保护技术。
- 研究了基于分布式和分散式信息交换结构的多智能体框架中的可扩展算法，并对代表性工作进行综述，同时识别了多智能体系统中可能危及系统隐私和安全的内部、外部和分层类型的对手 / 威胁。
- 将代表性的隐私保护技术分为差分隐私（DP）、加密方法和其他杂项及新兴方法，并讨论了它们的特点和在可扩展且隐私保护的 DER 控制中的应用。
- 在总结现有工作的基础上，推断出未来可扩展、隐私感知和网络安全的多智能体框架的新方法，包括提高准确性、隐私和算法效率，建立跨领域的可信度，以及开发零信任标准。
多智能体系统的 DERs
- 基于多智能体的 DERs 控制：DERs 在电力系统中的管理可看作是对网络化多智能体系统中智能体的控制。这需要定义一个优化模型，明确问题的目标和约束，以及一个信息交换模型，详细说明智能体之间的信息交换结构。优化模型包含合作（系统层面）和 / 或竞争（DER 层面）目标，同时受到网络约束（与一组智能体相关）和 / 或局部约束（仅与单个智能体相关）。信息交换模型可分为集中式、分布式和分散式结构，此外还有结合集中式和分布式计算方案优点的分层信息交换结构。集中式方法虽易于实现且能获得全局最优解，但存在可扩展性差、数据隐私和安全受威胁等缺点。相比之下，分布式和分散式结构具有更好的可扩展性、弹性以及增强的隐私和网络安全性，更适合大规模 DER 控制问题。然而，这些框架中频繁的私人信息交换使系统和智能体易受隐私侵犯，因此需要识别典型的对手并采取相应的隐私保护措施。
- 一般问题制定：DER 控制问题可构建为多智能体场景，涉及决策变量、合作和竞争目标、网络模型以及约束条件。通用优化模型可描述为：
Optimize DecisionVariables
Cooperative + Competitive
s.t. Network Models
Network Constraints
Individual Constraints
该模型可广泛应用于多种电力系统应用，如电网现代化、脱碳和增强韧性等。
- 网络模型、目标和约束
- 网络模型：电力系统的网络模型包括潮流模型和其他耦合网络模型。潮流模型基于电网拓扑、负载和电源构建，常用的非线性 DistFlow 分支模型可通过线性化近似为 LinDistFlow 模型。此外，还有碳流模型等新兴网络模型，以及与电力系统网络耦合的气体、水和电气化交通网络模型等，这些模型的优化有助于提升电网运行的灵活性和弹性。
- 约束条件：约束条件包括网络约束和 DER 的局部约束。网络约束确保电力系统的标准运行，如电压、电流和热约束等；局部约束反映了单个 DER 的运行要求，例如 ESSs 的运行受荷电状态（SoC）限制、充放电功率限制和能量效率约束等，同时还需考虑与 HVAC 系统耦合的热动力学因素。
- 目标函数：目标函数包括合作电网级目标函数和竞争 DER 级目标函数。合作电网级目标函数旨在控制 DERs 协同提供电网服务，如削峰填谷、电压调节、频率控制和需求响应等；竞争 DER 级目标函数则基于 DER 自身的运行需求和终端用户需求，如最小化电池退化成本、提高用户舒适度等。这些目标函数可总结为一般的二次形式，适用于多种电力系统应用。
- 示例问题制定：通过确定目标函数和约束条件，可得到 DER 控制问题的数学表述，该表述包含全局和局部的目标函数与约束条件，已被广泛应用于优化电力系统的运行，如需求响应、最优潮流、电网互动高效建筑管理和 EV 充电控制等问题。
可扩展方法
- 分布式和分散式算法
- 平均一致性（AvgC）：AvgC 包括动态 AvgC 和静态 AvgC，静态 AvgC 基于分布式多智能体信息交换结构，通过智能体之间的交互计算局部值的平均值。在合适的假设条件下，其决策变量能收敛到平均值，可用于分布式协调任务，如实现 DER 的最优管理以平衡供需。但 AvgC 方法通常局限于所有智能体需达成相同共识值的场景，未来需研究如何在大型网络或弱连接网络中加速收敛，并降低对时间延迟和网络拓扑变化的敏感性。
- 交替方向乘子法（ADMM）：ADMM 基于增广拉格朗日函数，通过分解大规模优化问题，使各智能体可局部求解子问题，从而实现分布式计算，适用于解决具有高不确定性的 DER 优化问题，如 DER 发电和负荷预测的管理、最优潮流的分解等。然而，ADMM 方法在迭代过程中需要频繁的消息交换，导致通信开销较大。近年来，针对 ADMM 的研究不断改进，以处理非可分优化问题和非凸问题。
- 投影梯度下降（PGD）：PGD 在梯度下降的基础上增加投影操作，用于处理约束优化问题，尤其适用于具有大量局部约束的大规模优化任务。PGD 方法允许智能体单独处理局部约束，在分布式环境中具有良好的适用性，可用于解决在线潮流优化、可再生能源发电和需求响应的分散管理以及电压调节等问题。但 PGD 在处理非凸问题或条件较差的约束时，收敛速度较慢，且对步长选择敏感，需要仔细调整以获得最佳性能。
- 多智能体强化学习（MARL）：MARL 将决策制定问题建模为马尔可夫决策过程（MDP），通过智能体与环境的交互学习最优策略。在基于 MARL 的 DER 控制中，电网组件可作为独立智能体，根据系统状态采取行动并获得奖励。MARL 算法根据信息交换模式可分为集中式、分散式和分布式结构，在大规模电力系统网络中具有强大的应用潜力，但面临计算复杂度高、收敛速度慢以及在动态环境中协调困难等问题，同时对训练数据的需求较大，且学习到的策略在新场景中的泛化能力有待提高。
- 隐私泄露：在电力系统中，获取、处理和传输私人客户数据对于实现电网服务和提高客户满意度至关重要，但未经授权使用这些数据可能导致隐私泄露和系统的恶意操纵。典型的对手包括外部窃听者、诚实但好奇的智能体以及系统运营商 / 协调器 / 聚合器。外部窃听者通过窃听通信渠道获取信息；诚实但好奇的智能体虽遵循问题解决程序，但试图推断其他参与者的隐私；系统运营商等角色因掌握关键系统信息，若不诚实或被破坏，可能导致整个系统的隐私泄露。本文主要关注存在被动对手情况下的可扩展且隐私保护的多智能体框架。
隐私保护技术
- 差分隐私（DP）：DP 通过向数据库添加随机噪声，量化数据库中单个条目变化带来的隐私损失，用隐私参数 ? 控制隐私级别，较小的 ? 意味着更强的隐私保证。DP 在人工智能、电力和能源系统等领域有广泛应用，可保护智能电表数据、解决潮流问题和 EV 充电控制等。然而，DP 方法通常会因添加噪声而导致准确性损失，未来需在隐私和准确性之间寻求更好的平衡，同时扩展其在隐私和安全场景中的应用，并增强与下一代学习辅助方法的兼容性。
- 加密方法
- 基于加密 - 解密的方法：基于加密 - 解密（ED）的方法利用加密系统对数据进行加密和解密，其中同态加密系统适用于多智能体计算和通信，能在加密数据上进行计算而无需先解密。同态加密可分为部分同态和完全同态，完全同态加密系统需满足特定的运算条件。该方法在电力系统的最优潮流和经济调度等应用中具有潜力，但计算复杂度较高，对计算资源要求较大。
- 秘密共享（SS）的方法：秘密共享（SS）方法通过将秘密分割成多个份额并分发给不同智能体，只有在满足一定条件时才能恢复秘密，从而实现隐私保护。例如在分布式能源管理中，SS 可用于保护 DERs 的决策变量和系统的关键信息，防止信息泄露。该方法在抵抗一定数量的恶意智能体和窃听者方面具有一定优势，但在实际应用中需要考虑份额分发和管理的复杂性。
- 其他方法：除了 DP 和加密方法，还有一些杂项和新兴的隐私保护方法，如状态分解（SD）、噪声注入（NI）和混淆电路（GC）等。SD 方法通过将智能体的状态分解为多个子状态，部分子状态对其他智能体可见，从而实现隐私保护；NI 方法通过向交换的状态中添加噪声来保护隐私；GC 方法通过将函数编译为布尔电路并进行分布式评估，在不泄露其他信息的情况下得到函数结果。这些方法在不同的应用场景中各有优劣，为隐私保护提供了更多的选择。
