基于贝叶斯的多智能体深度强化学习方法，用于提升存储资源丰富的微电网中的网络安全型电网接入服务及市场参与度

《Journal of Energy Storage》：Bayesian multi-agent deep reinforcement learning approach for improving cyber-secure load-to-grid services and market participation in storage-rich microgrids

　　Reza Sepehrzad|Milad Moafi|Nima Khosravi|Ahmed al Durra|Mahdieh S. Sadabadi
新西兰基督城坎特伯雷大学电气与计算机工程系

摘要
微电网（MG）系统中对数字通信和机器学习的日益依赖带来了新的灵活性和自动化水平，但同时也使这些系统面临日益协调的网络攻击风险。本研究介绍了一种防御策略，该策略利用贝叶斯多智能体深度强化学习框架，在离线学习和实时运行期间保护训练有素的控制策略。该方法定义了一个安全区域，持续评估策略的完整性，以符合负荷到电网（L2G）服务和微电网的运营目标。在这项工作中，L2G策略围绕储能系统（ESS）、电动汽车（EVs）、静态负载和可再生能源资源（RER）进行建模，反映了现代微电网的实际结构及其在需求响应和市场驱动的能源交易中的参与情况。为了识别有害数据注入并捕捉混合网络入侵的演变特性，该方法结合了基于高斯和伯努利的建模方法与欧几里得距离度量，从而能够准确检测异常行为。在多种运行场景下的广泛测试证明了该框架的有效性。实验结果显示，运营成本降低了11.46%，并防止了潜在攻击者获利约6717美元，凸显了该方法在保障L2G交互安全的同时支持微电网弹性且经济高效运行的能力。

1. 引言
1.1. 背景与动机
微电网（MG）的概念引入了新的能源分配系统，以解决电力领域的问题。然而，城市社区向智能城市的转变以及现代能源分配系统中可再生能源资源（RER）使用的增加，对电力系统的稳定性、安全性和可靠性评估提出了挑战[1]。与微电网集成的电力系统的安全性依赖于评估控制算法，以在大干扰情况下实现过渡稳定性。一旦不稳定，电力系统可能在几秒钟内崩溃[2]。在这种情况下，配电系统运营商（DSO）无法控制过渡稳定性。因此，可以依赖无需人工DSO干预的基于计算机的控制方法来实现过渡稳定性[3]。微电网的组成部分，如电力电子设备、可再生和不可再生分布式能源资源以及多尺度、非线性和随机储能系统（ESS），使得微电网具有高度的随机性和不确定性，从而根本改变了控制策略[4]。基于智能电网要求的微电网发展显著受益于5G和6G等通信系统的进步，这些技术促进了信息交换，并在算法和控制策略开发中发挥了关键作用[5]。得益于通信基础设施和能源市场结构的技术创新，终端用户已成为能源市场中的积极参与者。设计能源管理算法（即需求响应（DR）计划）也促进了负荷到电网（L2G）服务的部署[6]。通过提供双向能源交易媒介，能源市场可以在消费者参与L2G服务中发挥关键作用。然而，针对通信系统的网络攻击对微电网和L2G服务的发展构成了重大挑战[7]。通信系统容易受到虚假数据注入（FDI）和拒绝服务（DoS）等混合网络攻击的影响，这些攻击可能导致混乱、不稳定性和可靠性下降。这些网络攻击渗透到微电网的不同层面，可能对市场结构和电力交换造成不可修复的损害。开发针对混合网络攻击的防御机制是微电网结构发展的关键挑战[8]。此外，集成可再生能源的微电网对故障后级联事件的脆弱性以及日益增长的协同网络物理攻击威胁进一步证实了在现代微电网运营中需要具备弹性和安全的控制机制[9][10]。

1.2. 问题陈述
微电网结构中的网络破坏性攻击向量给检测和控制框架带来了重大困难，因为它们的动态行为增加了计算复杂性和处理时间。早期研究中较少关注的一个关键问题是基于机器学习（ML）的策略和控制算法对网络攻击的脆弱性。当通信基础设施受到破坏时，ML方法的离线训练阶段和在线执行阶段都可能受到影响，这可能会降低甚至使学到的控制策略失效。尽管这种潜在的严重运营后果，现有文献对此问题的研究仍不够充分[1]。

1.3. 文献综述
本节回顾了微电网结构通过参与能源市场、L2G服务以及强化学习（RL）和深度强化学习（DRL）在减轻混合网络攻击威胁（FDI/Dos）方面的性能改进。
1.3.1. 微电网市场结构和混合网络攻击
能源市场为通过需求响应计划和终端用户的积极参与实现L2G服务提供了有效框架。然而，该市场仍容易受到网络攻击的影响，这可能削弱其可靠性，从而减缓微电网的发展[11]。随着电动汽车（EVs）的普及，在交通繁忙或服务不足地区的充电需求往往超过固定充电站（FCSs）的容量。为了解决这个问题，参考文献[11]提出了一种电动汽车（EVs）与移动充电站（MCSs）之间的点对点（P2P）能源交易机制，使EVs能够从MCSs获取能源，而不仅仅依赖FCSs。该研究开发了一种基于拍卖的激励机制，其中MCSs充当拍卖商，EVs充当投标者，旨在确保公平性、价格形成的有效性以及防止欺诈。所提出的框架满足了关键的经济和计算属性，包括真实性、个体理性、预算平衡和计算效率。尽管有这些优势，但仍存在绕过控制机制或注入虚假数据的可能性，这可能危及能源交易平台的完整性[12]。参考文献[12]研究了网络攻击对电力市场的影响，特别关注由破坏行为引起的停电问题。该方法将攻击后的成本最小化问题表述为一个混合整数线性规划模型，并使用CPLEX进行求解。此外，GAMS生成的输出数据进一步通过Python进行处理，通过基于直方图的评估和机器学习技术进行分析。最显著的结果是，网络攻击重新定义了负荷的最大点，在实验的机器学习模型中，双层神经网络在识别和分离攻击方面具有最高的可预测性和分离能力，最终提高了系统安全性。然而，这种方法的内在缺陷在于其无法处理动态数据，以及计算负荷和处理时间的指数级增加[13]。参考文献[13]的动机是极端天气事件和网络攻击同时发生的风险不断增加，这两种情况都可能严重破坏关键基础设施系统。为了分析这些威胁，该研究开发了一个两阶段框架，该框架能够捕捉电力系统中的中断及其更广泛的经济后果，包括热浪、网络攻击和复合事件。所提出的方法结合了一个双层优化模型来表示攻击者行为，一个最优电力流模型来评估电力系统中断，以及一个可计算一般均衡模型来估计经济影响。结果表明，单独的热浪不太可能产生可行的电力短缺情景，而网络攻击会导致长岛4%的电力负荷未得到满足，复合情景下这一比例上升至12%，影响近198,000名客户。此外，在复合情景下，政府和企业活动减少了37%，表明了重大的社会和运营后果[14]。尽管有这些贡献，该方法仍面临重要限制，因为其控制策略容易受到虚假数据注入攻击的影响，且实时处理动态数据的能力相对有限[14]。参考文献[14]研究了针对电力市场的对抗性攻击，目的是识别和防止恶意操作，因为电力网络的复杂性不允许这样做。攻击策略采用线性优化和统计学习来开发隐蔽性攻击，这些攻击虽然与最优解无法区分，但却非常隐蔽。通过将市场动态构建为一个EPEC问题，并通过Fisher-Burmeister函数和强对偶性定理进行解决，该研究探讨了这些攻击的经济、政策和社会影响。关键观察表明，微电网的利用率可能会变化多达12%，或者根据监控能力变化14%至22%。此外，虽然更多的太阳能发电可以抵消攻击的影响，但也带来了新的脆弱性[14]。不过，这种方法的一个显著缺点是处理速度慢且动态响应能力有限[14]。

1.3.2. L2G服务结构和网络攻击
能源市场和DR计划使终端用户能够参与L2G服务，带来电压和频率控制、减少峰值负荷、提高稳定性和降低服务/维护成本等好处。DSO可以利用L2G服务来增强微电网的稳定性和正常运行。具有破坏性目标的网络攻击可能影响L2G服务，并对微电网的稳定性和可靠性产生严重后果。因此，针对网络攻击的控制方法和策略对于微电网的正常运行至关重要[15]。参考文献[16]的动机是智能电网需求响应方案对网络攻击的脆弱性，这些攻击会注入虚假的消费和发电数据，威胁电网稳定性。为了缓解这一威胁，该研究提出了一种使用卷积神经网络（CNNs）的在线检测技术来识别和消除此类攻击。实验结果表明，电网配电网络最容易受到此类网络攻击的影响，但此处提出的基于CNN的检测器在检测和消除固定变化率攻击事件方面效果显著。然而，这种方法的主要弱点在于它无法妥善处理动态数据，因此在处理涉及数据注入和价格操纵的事件时可靠性较低[16]。参考文献[17]解决了微电网中可再生能源不确定性及网络攻击对负荷频率控制（LFC）的挑战。作为应对措施，该论文研究了使用氢气作为能源存储介质的可行性，通过燃料电池和电解系统的组合系统来减轻电力波动。模拟了一个包含网络攻击机制的微电网的MATLAB/Simulink模型，并引入了一种最优的双输入区间型2模糊逻辑控制器——分数阶倾斜积分微分级联控制器（DIT2FLC-FOTID）用于LFC调节。与Fuzzy TID控制器相比，所提出的控制器将频率响应显著降低了67%以上；与FOTID控制器相比，性能提高了87%以上。然而，该过程本身存在处理速度慢和动态响应能力强的缺点[17]。参考文献[18]解决了在可再生能源（RES）不确定性、负荷和网络攻击威胁下，集成能源系统（IES）中多能源流优化调度的问题。为了解决这些问题，作者提出了一种基于状态对抗的DRL框架，该框架结合了基于集成需求响应（IDR）计划的无模型弹性调度方案和SA-MDP模型。该方法使用SA-SAC算法开发了更强大的框架以抵御网络攻击，并进行了更优的调度。结果表明，该方法能够充分应对RES和负荷引起的不确定性，抵消网络攻击的影响，并将经济运行效率提高了10%[18]。该方法的主要缺点是实施DRL模型所需的计算负担和计算时间非常长[18]。参考文献[19]提出了一种智能数据驱动的层次化能源管理策略，旨在增强可再生能源资源、储能系统和基于激励的需求响应计划在多能源集成系统（MIES）中的作用。该策略旨在最小化运营成本、环境排放、与风险相关的成本以及网络攻击（如虚假数据注入）的影响，并通过基于马尔可夫决策过程的多智能体深度强化学习（MADRL）进行实施。报告的结果表明，运营成本降低了19.51%，风险成本降低了19.69%，网络安全相关成本降低了24%，污染降低了20.24%。该框架还针对智能城市应用提供了快速响应、高准确性和相对较低的计算负担[19]。尽管有这些优势，该方法仍然面临重要的挑战，特别是在虚假数据注入攻击下控制策略的退化，以及在处理大规模数据量的系统中可靠性降低的问题。1.3.3. 先进方法和网络攻击由于机器学习算法（如强化学习RL和深度强化学习DRL）的进步，微电网（MGs）的控制方法和策略已经得到了显著的发展。基于ML的算法改进了数据评估，并提高了对MGs复杂特性的控制策略的准确性。RL和DRL方法在处理动态和变化的数据方面被证明非常有效，例如混合网络攻击[20]。参考文献[20]讨论了智能电网中日益紧迫的虚假数据注入攻击（FDIAs）问题，这会危及它们的稳定性和安全性。该解决方案提出了一种带有注意力机制备份的DRL检测算法，以更好地提取状态特征并强调重要信息。通过差异性注意力，系统可以识别出重要特征并抑制无意义的特征，从而优化检测效率和准确性。主要发现是，所提出的方法在检测攻击方面是高效的，在IEEE-14和IEEE-118总线系统上的检测率相比类似方法有所提高。然而，主要问题在于FDIAs可能破坏控制策略，以及在大数据环境中方法的可靠性降低，系统可能会失效。参考文献[21]是出于对能源互联网（IoE）基础智能电网的安全考虑，特别是它们容易受到虚假数据注入攻击的影响，这可能会扰乱电力调度、路由策略和整个电网的运行。为了解决这个问题，该研究开发了一个基于强化学习的攻击生成器来模拟网络条件并产生已知和未知的攻击模式。然后，它应用了一个基于快照集成深度神经网络和深度自编码器网络的多层防御框架来进行攻击检测。报告的结果表明，该方法能够有效检测被动和主动攻击，准确率达到98.82%，假阳性率为97.42%。尽管有这些结果，该方法仍然存在主要限制，包括在不当数据注入下控制策略的退化、相对较低的操作处理速度以及较高的计算开销。参考文献[22]通过提出一个基于Takagi-Sugeno-Kang模糊系统和多智能体深度强化学习（TSKFS&MADRL）的技术经济评估框架，解决了电动汽车充电站（EVCSs）对网络不确定性的脆弱性问题，如通信延迟和虚假数据注入攻击。该方法旨在识别和补偿网络不确定性，从而提高动态响应并增强EVCS的韧性。研究结果表明，与RL相比，所提出的方法将运营成本降低了7.33%，与CNN相比降低了12.15%，同时还将检测时间减少了40%。然而，其主要限制是对大规模数据系统的适用性较弱，在这些系统中处理速度显著下降。表1提供了所提出方法与相关研究的全面比较。

表1. 所提出方法与一些相关文献的比较。

参考文献
稳定性评估
市场评估
计算负担和时间评估
决策错误评估
训练策略的保护
ML方法
参考文献[11]**––––
参考文献[12]**–––
参考文献[13]**––––
参考文献[14]***–––
参考文献[15]*–**–*
参考文献[16]*–**––
参考文献[17]*––*––
参考文献[18]–**––*
参考文献[19]***––*
参考文献[20]***––*
参考文献[21]*––*–*
参考文献[22]***––*

1.4. 主要贡献和亮点
通信技术、数字能源平台以及基于ML的控制技术的快速发展加速了微电网的发展，以满足智慧城市的要求。同时，这种日益增长的数字化扩大了微电网运营的攻击面，并使关键控制过程暴露于更复杂的混合网络威胁（FDI/DoS）之下。这些威胁不仅会干扰通信信号和运营数据，还可能在在线执行和实时决策过程中降低训练有素的控制策略的完整性。为了解决这一挑战，本研究提出了一种贝叶斯多智能体深度强化学习（BMADRL）框架，旨在提高微电网的网络韧性，同时保持L2G服务的运营效率。该框架建立了一个安全的评估空间，以持续验证策略行为是否符合微电网的运营目标和L2G参与的动态要求。在这个结构中，通过静态负载、电动汽车（EVs）、能量存储系统（ESSs）和需求响应资源（RERs）的协调参与来建模L2G服务的灵活性，因为这些组件直接决定了需求和供应之间的实时平衡能力。它们的动态行为与微电网在不确定和具有攻击意识的操作条件下的韧性和稳定性明确相关。此外，该框架还包括市场和通信层。市场层通过批发和零售结构以及基于激励的需求响应（IBDR）计划来表示，而通信层则使用图论原理来描述微电网实体之间的信号交换结构。这两层尤为重要，因为它们构成了L2G服务的运营骨干和网络攻击的主要入口点。

混合网络攻击向量的检测本质上具有挑战性，因为恶意干扰可能以连续和离散异常的形式出现在动态运营数据中。为了解决这个问题，所提出的框架结合了高斯分布建模、基于伯努利的异常解释、基于欧几里得距离的安全区域评估和加权最小二乘残差分析，以便更有效地检测入侵和恶意数据。构建了一个球形安全区域，以区分正常运营数据和被网络破坏的观测数据。位于该区域内的数据被视为安全的，与预期的系统行为一致，而位于可接受边界之外的数据则被分类为可疑或恶意的。贝叶斯深度强化学习（BDRL）组件通过验证控制动作的可靠性来进一步加强这一结构，针对观测支持的信念更新，从而减少混合网络攻击对训练有素策略的破坏性影响，并提高实时执行的鲁棒性。在多种操作场景下的实验评估证实，所提出的框架提供了强大的检测能力、较低的计算负担、快速响应以及在网络攻击条件下的韧性策略保护。

本研究的主要贡献总结如下：
1. 开发了一种网络安全的BMADRL框架，通过集成市场互动、基于激励的需求响应和安全通信过程的建模，提高了微电网在混合网络攻击下的韧性和稳定性，同时保持了L2G服务功能。
2. 通过结合基于MADRL的控制学习和贝叶斯信念支持的验证，引入了一种强大的策略保护和动作验证机制，从而在离线训练和实时操作期间保护训练有素的控制策略免受退化。
3. 通过高斯和伯努利概率建模、基于欧几里得距离的安全区域分析和基于残差的动态数据评估，制定了混合网络攻击检测和安全评估机制，实现了在对抗性条件下高效识别恶意偏差，并支持准确、快速和有韧性的微电网运营。

本文的其余部分安排如下：第2节介绍了基于L2G服务模型和混合网络攻击检测算法的微电网结构。第3节建立了BMADRL。第4节展示了实验结果和操作场景。第5节给出了结论。

2. 问题表述：混合网络攻击下的微电网
首先描述了市场和通信系统层的结构，然后介绍了基于激励的需求响应计划下的L2G服务配置以及买家和卖家之间的电力交换机制。在这个框架内，ESSs、EVs、静态负载和可再生能源资源构成了交易过程的中心元素，因为它们供应或吸收电力的能力直接影响系统平衡、运营灵活性和L2G服务提供的整体效率。

2.1. 市场结构
市场结构基于批发市场、零售市场和最终用户模型进行配置。

2.1.1. 批发市场和零售市场
在批发市场中，卖家集合表示为Se=se1...sen，买家集合表示为Bu=bu1...bum。对于每个卖家（se），销售量（qtse）以及在时间间隔t内的最低销售价格由ftseqtse表示。同样，对于每个买家（bu），购买量以及在时间间隔t内的最高购买价格由ftbuqtbu表示[23]。在批发市场中，如果假设微电网没有损失和拥堵，则最大化社会福利的问题可以根据以下方程描述。(1)maxqtse1,...,qtsenqtbu1,...,qtbum∑b∈B∫0qtbuftbuqdq?∑g∈G∫0qtseftseqdq，
受以下条件约束：(2)∑bu∈Buqtbu?∑se∈Seqtse=0qt=∑bu∈Buqtbu=∑se∈Seqtse?Ft，
(3)qtse1...qtsenqtbu1...qtbum∈Qt
方程(2)表示电力平衡，Ft是与电力平衡方程相关的对偶变量，表示统一价格，Qt是基于上一时期能源销售和购买量的可能决策变量集合。考虑到基于L2G服务的IBDR计划的实施以及分析的简单性，可以证明这个问题中购买和销售量的相等条件，即qt=∑bu∈Buqtbu=∑se∈Seqtse。基于IBDR计划的批发市场结构描述了每个时期的统一市场[23]。客户和卖家在统一市场提供的数量可以通过以下方程来证明。(4)qtbu,se=argmaxqbu,seqbu,seftbu,seqbu,se≥Ft
在零售市场中，能源分配实体（EDEs）的任务是根据IBDR计划和L2G服务配置中的供需指标分配与批发市场交换的电力[24],[25]。在零售市场结构中，交换的电量表示为qtEx=qtbu,se，零售市场清算价格表示为ptClear。零售市场结构中的EDE集合表示为En=en1...eni，订阅者集合表示为lt=∑en∈Enlten=fltenptClear，每个EDE被视为一个聚合器。为了在零售市场结构中最大化社会福利，可以配置以下方程。(5)maxptClear,pt+1Clear,...∈p_tClearpˉtClearEOP∑t=1T=24ItptClear?Ftlt?Dtlt?qtbu,se
其中EOP是基于IBDR计划和L2G服务的预期运营。it∈01是增加未来利润的上限系数，Dt也是一个非负标量函数，表示由于不参与市场提供的计划而造成的利润折扣因子，pˉtClear,p_tClear表示零售市场清算价格的上限和下限。根据(6)，每个EDE在能源分配中的行为模式也可以根据正态概率分布函数来描述。(6){maxlten∈Ltenβenetenlten?ptClearltenet+1en=eten+ηteneten?lten+ξten︸penaltyfactor?feten=e?eten?μ22σ22πσ2
其中eten是每个实体在零售市场所需的能量，βen是每个EDE的利润函数，ηteneten?lten+ξten是惩罚因子，包含ηten∈0.1，表示未供应能量需求的百分比，ξten表示每个时间段内电力交换变化的比率。Lten还描述了订阅者侧电力的可行集合。feten也使用正态概率分布函数描述了每个EDE中的负载概率行为。σ2,μ表示正态概率分布的方差和均值。根据(7)，可以根据消费和生成承诺最小化惩罚因子率。(7)ηteneten?lten+ξten︸penaltyfactor?min∑k=1KρG.Δgsellerk+∑k=1KρL.Δlbuyerk
其中ρG,ρL是生成和消费承诺系数，Δgsellerk,Δlbuyerk是市场执行轮次(k)中的生成和消费电力变化。

2.2. 通信系统配置
微电网结构中通信系统的描述性理论基于双向图论G=VEA进行配置，包括节点集、边集和邻接矩阵。V是微电网中不同组件之间的节点集合，它们由Vvi:i∈?组成。E是边集，包括E?V×V。当节点i和j之间存在信息和数据交换时，vivj∈E被描述。A是邻接矩阵，包括A∈?N×N，aij=aji，aii=0。如果节点i和j之间存在信息交换，则aij>0，否则aij=0[5]。根据邻接矩阵，可以根据(8)描述微电网组件的邻居集合。(8)Ni=vj∈V:vjvi∈E
图G的邻接拉普拉斯矩阵为：(9)?=?i,j∈?N×N?i,j=∑j≠iaij
黑客可以通过向通信系统的主要信号上传虚假信息来暴露微电网的不同结构。可以通过描述基于图G的邻接矩阵和图G的对角矩阵的对称信息交换矩阵来监控加载在原始数据交换上的变化。(10){?Symmetric=?Adjacency+?Diagonal?Diagonal=diagai0{if receive informationfrom nodeiotherwise,ai0=0
其中?Symmetric表示对称信息交换矩阵，?Adjacency是图G的邻接矩阵，?Diagonal是图G的对角矩阵。

2.3. L2G服务配置
L2G服务配置基于能源市场互动和基于激励的需求响应计划制定，旨在为订阅者建立一个竞争性和安全的环境。在这项研究中，L2G服务的优化是通过多任务学习在多目标优化框架内进行建模的。更多细节可以在[26]中找到。2.3.1 L2G服务目标函数根据方程(11)，描述了L2G服务的目标函数，其中包括微型电网（MGs）的经济运行、风险评估以及实施L2G服务结构以调节MG的电压和频率。(11)O.FMG=min∑t=1T=24fOP,tMG+fRisk,tMG+fL2G,tMG(12)fOP,tMG=∑t=1T=24∑t=1T=24Ctgrid︸主电网运营成本+∑t=1T=24CtRER︸可再生能源能量转换（RER）运营成本+∑t=1T=24CtESS︸能量存储系统（ESS）运营成本+∑t=1T=24CtIBDR︸双向直流转换（IBDR）运营成本+∑t=1T=24CtLoad︸负载运营成本?∑t=1T=24CtEV︸电动汽车（EV）运营成本(12-1)Ctgrid=∑t=1T=24δgridIBDR.Λtgrid,se.Ptgrid,se?Λtgrid,bu.Ptgrid,bu(12-2)CtRER=∑t=1T=24δRERIBDR.ΛtWT.PtWT+ΛtPV.PtPV(12-3)CtESS=∑t=1T=24δESSIBDR.ΛtESS,se.PtESS,se?ΛtESS,bu.PtESS,bu(12-4)CtIBDR=∑t=1T=24ΛtIBDR.PtUp?PtDown(12-5)CtLoad=∑t=1T=24δLoadIBDR.ΛLoad.PtLoad±∑t=1T=24ΛtLoad.ΔPtLoad(12-6)CtEV=∑n=1NNEV.∑t=1T=24δEVIBDR.ΛtEV,se.PtEV,se?ΛtEV,bu.PtEV,bu(12-7)±Ptgrid±PtESS±PtEV±PtLoad+PtRER=0(12-8)Pmingrid≤Ptgrid≤Pmaxgrid(12-9)PminRER≤PtRER≤PmaxRER(12-10)PminESS≤PtESS≤PmaxESS(12-11)PminEV≤PtEV≤PmaxEV(12-12)PminLoad≤PtLoad≤PmaxLoad根据(11)，MG结构的目标函数表示为：fOP,tMG代表MG的经济运行，fRisk,tMG代表风险评估，fL2G,tMG代表L2G服务的配置。根据(12)，影响第一级目标函数的组件包括主电网的运营成本、RERs、ESSs、IBDR程序实施、EV单元和负载等被分类。方程(12-1)、(12-2)、(12-3)、(12-4)、(12-5)、(12-6)描述了影响第一级目标函数运营成本的组件，其中Λtgrid,se、Λtgrid,bu代表主电网和MG之间的运营成本和能量交换，ΛtWT、ΛtPV代表RER运营成本，ΛtESS,se、ΛtESS,bu显示ESS单元的运营成本和电力交换，ΛtIBDR显示IBDR程序的实施成本，ΛLoad显示负载运营成本，ΛtEV,se、ΛtEV,bu显示EV单元的运营成本和电力交换。在方程(12-6)中，EV参与系数δPIBDR表示EV在基于IBDR的L2G服务中的有效份额。该系数基于关键的EV行为和运营因素进行评估，包括充电状态、初始充电条件、充电时间要求以及与移动性相关的使用模式。因此，在所提出的模型中，EV的参与不是无条件的完全遵守，而是取决于状态且有约束的贡献。这种解释与最近的研究结果一致，这些研究表明EV的灵活性和调度性受到用户充电决策、SoC限制以及到达-离开特性的强烈影响[27]、[28]。Ptgrid,se、Ptgrid,bu显示MG和主电网之间的电力交换，PtWT、PtPV显示从PV和WT单元提取的电力，PtESS,se、PtESS,bu显示ESS单元交换的电力，PtUp、PtDown显示IBDR程序中上调或下调的电力，PtLoad、ΔPtLoad显示负载的运营电力及其变化，PtEV,se、PtEV,bu表示EV交换的电力。δIBDR表示基于IBDR程序要求的第一级目标函数中每个有效组件的参与系数。符号(±)表示电力交换是双向的。NEV表示参与IBDR程序的EV数量。方程(12-8)、(12-9)、(12-10)、(12-11)、(12-12)显示了不同组件的约束和上下限。根据(11)，目标函数的第二级包括风险评估和创建安全的网络空间。(13)fRisk,tMG=∑t=1T=24CtRisk.RIFtRisk.∑s≠0SCA.ΔPDFtDataCC(14){00.4Hzδf=0;if∣Δf∣<0.4HzΔV=Vref?VOpδV=1;if∣ΔV∣>0.05puδV=0;if∣ΔV∣<0.05pu根据(15)，L2G服务旨在减少有功和无功功率的偏差，以及MG在调节电压和频率方面的参与，其中ζf、ζV分别表示频率和电压偏差，δf、δV描述频率和电压偏差，Ptref、PtOp是参考和运行有功功率，Qtref、QtOp是参考和运行无功功率，ftMG,n表示MG的名义频率，VtMG,n表示MG的名义电压，θADF、θADV分别表示允许的电压和频率偏差系数。方程(18)显示电压和频率偏差，其中Δf、ΔV描述频率和电压波动，fref、fOp描述参考和运行频率，Vref、VOp显示参考和运行电压。2.4 IBDR程序配置IBDR程序使用户能够在竞争性能源市场中参与L2G服务。这些程序对配电系统运营商（DSO）和用户都有益。本研究关注IBDR程序和价格弹性理论，这些理论在价格变化时表现出相互弹性或自我弹性[23]、[25]。(19)Pn,tIBDR=δPIBDR.Pn,t0.ΔPn,tIBDR.1+Ei,i.Λn,tspot?Λn,t0Λn,t0+∑i≠jj=124ΔPn,tIBDR.1+Ei,j.Λn,tspot?Λn,t0Λn,t0方程(19)基于自我弹性和相互弹性展示了IBDR程序，其中Pn,tIBDR表示基于IBDR的功率变化，Pn,t0表示负载的初始功率，ΔPn,tIBDR表示IBDR程序中的功率变化，Ei,i表示自我弹性，Ei,j表示相互弹性，Λn,tspot是能源市场现货价格，Λn,t0是能源市场基准价格。有关IBDR程序的更多细节和证明，请参见附录2。2.5 目标点和混合网络攻击检测算法本研究考虑的网络安全层是基于微电网组件之间的通信驱动交互定义的，黑客针对的是交换的监控和操作信号，而不仅仅是物理设备本身。在这个框架中，混合网络攻击（FDI/DoS）被建模为虚假数据注入和通信中断行为的综合效应。更具体地说，FDI改变了交换的测量或控制相关信号的数值内容，而DoS类型的干扰降低了通信的连续性、及时性或有效可用性，从而增加了微电网不同层之间参考信息和操作信息的不匹配。因此，本工作中的攻击面是连接市场、控制和操作实体的数据路径集合，攻击者的主要目的是以一种可能误导决策、破坏L2G支持行动并降低训练有素的控制政策完整性的方式扭曲信息环境。基于这种表示，提出的检测机制被设计为一个多阶段动态数据评估过程。首先，在通信层面监控交换的信号，并将其与参考值进行比较，以量化恶意渗透引入的不一致性。然后，通过加权最小二乘残差公式将攻击效应转移到测量状态层，以便将异常偏差不仅视为局部信号错误，还视为非线性MG结构内的状态相关不一致性。最后，通过结合高斯和伯努利概率建模以及球形空间中的欧几里得距离评估来构建安全区域概念。这使得该方法能够捕捉连续的异常漂移和离散的攻击事件，同时提供正常数据和恶意数据之间的可解释的几何边界。因此，本节中的检测框架旨在从信号损坏，到不一致性量化，再到基于残差的验证，最后对受网络攻击的数据进行安全区域分类。根据图1，黑客可以通过使用通信系统和基于误差向量上传虚假信息来影响不同的MG层。接下来，介绍了基于动态数据评估框架的网络攻击渗透点和攻击检测方法[8]、[22]。(20)MH?Attack=S1,1H?Attack...S1,jH?Attack???Si,1H?Attack?Si,jH?Attack(21)Si,jMG=Si,jCom+Si,jH?AttackSi,jH?Attack=sfi,jH?Attack.fH?Attack︸H?Attavk向量(22)IH?Attack=χH?Attack.∑i=1,j≠1SRefi,joutput?SOPi,joutput(23){ifIH?AttackIminH?Attack?Si,jH?Attack≠0下载：下载高分辨率图像（1MB）下载：下载全尺寸图像图1. 微电网的层次结构和混合网络攻击的目标点。方程(20)显示了混合网络攻击矩阵，其中MH?Attack是混合网络攻击矩阵，Si,jH?Attack是混合网络攻击矩阵的数组。方程(21)显示了MG结构中交换的信号，其中Si,jMG表示节点i和j之间在MG结构中交换的信号，Si,jCom表示通信系统的实际信号，Si,jH?Attack表示加载在通信系统实际信号上的网络攻击向量。网络攻击向量也有两个组成部分，其中sfi,jH?Attack表示网络攻击的缩放因子，fH?Attack描述了基本的渗透因子。方程(22)显示了MG不同层中的不一致项，其中χH?Attack表示不一致系数，SRefi,joutput、SOPi,joutput分别表示通信系统中参考和操作输出信号的偏差系数。方程(23)还表明，如果不一致系数低于预定值，则注入的数据不被视为网络攻击。如果不一致系数高于预定值，则将网络攻击向量加载到通信系统的主向量上。为了发现网络攻击的动态特性，这里使用了加权最小二乘误差方法[22]。根据(24)，如果基于非线性组件MG（?）定义了一个x维的测量矩阵Mx，则测量矩阵Mx包括y维状态变量的矩阵My和误差矩阵(Me)。(24)Mx=?My+Me1,1?My+Me1,j?My+Mei,1?My+Mei,ji×j(25)M?y=argminJMyMy=Mx??MyT.WMx??My根据(25)，由网络攻击引起的状态向量的动态特性被描述为基于加权最小二乘误差方法的残差函数，其中M?y是受网络攻击影响的状态向量矩阵，JMy是加权最小二乘方法的残差函数。在这个方程中，W是由于与测量数据相关的概率分布函数的方差而产生的权重矩阵，包括diagδ1?2δ2?2...δMx?2。定理1通过分析测量数据与预定值的差异来检测网络攻击的动态特性。如果不等式的左侧超过不一致系数，则测量矩阵中存在网络攻击。预定值的范围可以使用欧几里得范数、高斯概率分布和伯努利分布来确定，从而可以在球形空间中解释数据的动态特性[29]、[30]。 (26)JM?y=Mx??M?yT?WMx??M?y>IminAttack证明1基于欧几里得距离和伯努利分布的高斯函数用于检查动态变量，并且可以在球形空间中指定一个安全区域来检查恶意数据[29]、[30]。如果动态信息位于安全区域内，则认为其未受网络攻击影响。但如果信息超出安全区域，则认为该信息是网络攻击。如果边缘数据（在球形表面上）导致高斯分布函数的标准差（超过5%），则达到阈值IminH?Attack，这样的数据被视为错误变量。声明：通过将测量数据与预先建立的统计分布和几何参数值进行比较，可以有效地确定微电网系统中网络攻击的动态特性。更具体地说，如果测量数据偏离了基于高斯分布、伯努利分布和欧几里得距离计算的指定“安全区域”，则检测到网络攻击。安全区域保持有效操作数据在球形区域内，超出此区域的数据被视为恶意数据。该方法依赖于根据概率分布函数和距离度量组合检查动态变量。假设：以下假设用于建模数学方程。1. 微电网系统中的测量数据容易受到网络攻击的影响，并且容易产生数据错误。2. 系统具有高斯分布函数，描述了在没有攻击时的数据预期连续行为。3. 存在伯努利分布函数，描述了基于离散攻击的异常或异常值。4. 攻击的检测基于与参考信号的偏差，使用欧几里得距离来确定数据是在安全区域内还是之外。在本研究中，攻击者被建模为通过微电网的通信层进行操作的对抗实体，目标是市场、控制和操作组件之间交换的信号。假设黑客有能力将恶意动态数据注入通信的测量和监控信号中，从而改变它们的内容并降低参考信息和操作信息之间的一致性。因此，这里考虑的混合攻击向量代表了FDI类型信号操纵和通信中断行为的综合效应，这可能会扭曲控制框架使用的观察空间。因此，假设攻击者通过损坏的信息间接影响决策，而不是通过直接物理破坏设备。根据这个假设，攻击是通过其对交换信号的可测量影响、基于残差的状态不一致性和与概率和几何检测模型定义的可接受安全区域的偏差来检测的。证据依赖于三个基本要素：高斯分布函数、伯努利分布和欧几里得距离。这些用于确定有效数据应该所在的安全区域，任何超出此区域的偏差都表示网络攻击。高斯分布根据数据点与分布中心的接近程度来确定其有效性。标准差用于量化数据的分布范围，通常认为距离均值指定数量个标准差范围内的值是正常的。这可以用以下公式表示：(27) G(x) = 0.05 * α_i * e^(- (x - μ) / (σ^2))，其中 G(x) 是概率密度函数 (PDF)，μ 是均值，σ 是标准差。距离均值较远的数据点（即超出通常设定的安全限制 μ ± 3σ 的范围）被标记为疑似攻击。伯努利分布用于模拟可能是成功或失败的离散事件，在二元攻击检测中表现为“攻击”或“无攻击”。它用于识别数据中是否出现某些攻击模式，即检测异常值或突然的注入异常模式：(28) P(α_i = 1) ? Attacks；P(α_i = 0) ? NoAttacks，其中 α_i 是特定数据点属于攻击事件的概率。数据中的峰值或异常变化通过伯努利分布来描述，以隔离表示网络攻击的事件。欧几里得距离度量用于计算数据点与预期安全区域的距离。如果数据点位于该区域之外，则被认为是可疑的。对于高维空间中的数据点（例如电压、频率），从实际测量值 (z) 到预测的安全测量值 (w) 的欧几里得距离表示为：(29) d(z, w) = √((1 - α_i) * z^2 + (w - z)^2 + ... + (zn - w)^2)，其中阈值 IminH?Attack 决定了是否认为数据点位于安全区域之外。如果残差值（通过加权最小二乘误差方法确定）大于某个阈值，则表明可能存在网络攻击。该阈值是根据高斯分布的标准差和伯努利分布的敏感性来确定的。如果残差值大于 IminH?Attack，则识别为网络攻击。真实数据的安全区域以点 w 为中心的球体内，任何超出此球体的行为都被归类为恶意行为。安全区域由高斯分布和欧几里得距离定义的半径 d(z, w) 界定。

图 2 和图 3 对于理解微电网系统中网络攻击事件发生时动态数据的检测过程至关重要。图 2 展示了如何结合高斯分布和伯努利分布来进行动态数据检测。该图显示了检测过程，标记了正常数据位于“安全区域”内，而任何可疑或恶意数据点位于区域之外，表示潜在的攻击。高斯分布用于在假设系统运行受一般概率分布控制的情况下建模正常数据的行为，伯努利分布用于突出数据集中的离散异常。通过结合这两种方法，系统可以检测到表明网络攻击活动的数据异常。

算法 1 总结了所提出的混合网络攻击检测框架的完整工作流程。它从初始化微电网通信结构和构建混合攻击矩阵开始，然后监控通信节点之间交换的信号以识别与名义信息流的偏差。计算出不一致系数后，该方法构建测量矩阵和状态矩阵，并通过加权最小二乘残差函数评估网络引起的异常。最后，通过结合高斯和伯努利概率解释以及基于欧几里得距离的安全区域评估，算法将测量数据分类为安全或恶意。因此，算法 1 提供了一种综合的程序描述，说明了如何在基于 BMADRL 的网络安全框架内检测、验证和隔离混合 FDI/DoS 类型网络攻击。

图 3 展示了基于欧几里得距离的球形空间中的安全区域评估。它采用球形空间模型，对测量数据与参考数据之间的欧几里得距离进行评估。位于此球形空间内的数据点被认为是“安全的”，即它们在系统行为的可容忍范围内。当数据点超出球体时，它们被标记为异常，表明可能存在网络攻击。这种空间方法有助于直观地显示此类网络攻击如何导致正常操作的偏差，有效突出这种安全威胁。图 2 和图 3 为网络攻击检测的动态数据分析提供了强大的框架。通过结合统计模型（如高斯和伯努利分布）以及距离度量（如欧几里得距离），系统确保有一个安全的操作空间，可以快速检测并有效应对导致偏差的恶意干预。

算法 1 是混合网络攻击检测框架的完整工作流程的伪代码。

3. 基于 BMADRL 的微电网鲁棒防御机制
3.1. MADRL 框架
BMADRL 方法包括两个基本框架：MADRL 和 BDRL。MADRL 使用马尔可夫决策过程 (MDP) 方程以及贝尔曼熵理论 [31] 进行描述。要配置 MDP 方程，首先制定状态空间方程，然后从状态空间方程中提取 MDP 方程。因此，状态空间方程为：(30) x?t = f(x_t, a_t) + dt，其中 x_t 表示系统状态向量（例如电压、频率、控制信号状态），a_t 表示来自 MADRL 的动作/控制输入，dt 是由于网络攻击（FDI/DoS）引起的干扰，y(t) 是输出向量（可测量的系统变量），f(·) 是系统动态（可能是非线性的且由数据驱动的），h(·) 是输出函数。设 x_t ∈ ?^n 是表示微电网组件（例如母线电压、频率偏差、ESS 的 SoC、RER 输出功率等）的状态向量。设 a_t ∈ ?^m 是来自 BMADRL 代理的动作向量（例如 ESS 控制信号、负载调整、EV 和 RER 的功率设定点）。设 dt ∈ ?^n 是来自网络攻击的干扰向量，建模为注入的误差信号。系统的非线性动态演化可以表示为：(31) x?t = f(x_t, a_t) + g(dt)，其中 f(·) 是使用 MDP 动态通过神经网络近似的 BMADRL 控制系统模型，g(dt) 表示网络攻击注入，FDI 改变信号值，DoS 影响信号延迟或丢失。以下结构可用于包含网络攻击检测的观测模型：(32) y_t = h(x_t, dt) = x_t + dt。设 y_t ∈ ?^p 是观测/测量输出，在 FDI 中，dt 是破坏测量的加性向量；在 DoS 中，dt 引入延迟/缺失数据模式。要从状态空间方程 (Eq. 31) 导出 MDP 方程，我们有：MDP 被正式定义为一个元组 SAPR，其中 S 是状态集（例如电压、频率、RER/ESS 状态），A 是动作集（例如负载、ESS、EV 的控制设定点），Ps′sa 是从状态 s 到状态 s' 的转移概率，R 是奖励函数。为了将离散时间状态转移方程转换为 MDP 方程，考虑以下方程。将 Eq. (31) 离散化为时间步长 t = 0, 1, 2, …, t，我们得到：(33) x_t+1 = f(x_t, a_t) + dt，其中 x_t∈S 是时间 t 的状态，a_t∈A 是时间 t 采取的动作，dt 是网络干扰（建模为噪声或概率注入）。这个方程定义了转移核 P(x_t+1|x_t, a_t)，其中随机成分由 dt（例如 FDI 或 DoS 引起的随机性）引起。控制动作是根据贝叶斯信念更新的 Q 学习得出的最优策略 π? 得出的：(34) a_t = π? * x_t * b_t，其中 π? 是控制策略，b_t 是来自贝叶斯推理的信念更新（参见 Eq. 39）。为了使学习机制更加明确，瞬时奖励被表述为微电网主要运营成本和网络安全目标的加权负函数。这样，BMADRL 代理被鼓励减少运营成本和网络相关风险，保持 L2G 服务的有效性，并避免由恶意动态偏差引起的不安全条件。奖励函数表示为：(34a) r_t = ?λ1 * J_top + λ2 * J_risk + λ3 * J_tL2G + λ4 * max(0, I_minH?Attack)，其中 r_t 表示时间 t 的瞬时奖励，J_top 是运营成本部分，J_risk 是与风险相关的部分，J_tL2G 是 L2G 服务性能部分，所有这些都来自 Eq. (11) 中定义的多层次目标函数。项 ItH?Attack 表示与通信和测量空间中的异常偏差相关的网络不一致系数。根据上述奖励定义，MADRL 方法的学习结构可以通过 DQN 框架中的 Q 学习更新规则来表达。在这种表述中，代理根据从安全运营获得的即时奖励和下一个状态的预期长期回报来更新其动作价值估计：(35) Q_new^stat = Q_old^stat + θ * r_t + τ * max(a_t, Q_st+1, a_t?Q_old^stat)，其中 θ 表示学习率，τ 表示折扣因子，Q_new^stat 和 Q_old^stat 是新的和旧的 Q 值，rt 是 Eq. 34a 中的奖励组成部分，Q_st+1,at+1 描述了新剧集中的新状态的 Q 值。为了描述基于目标网络的学习网络，可以使用基于 (36) 的损失函数：(36) FMADRLLoss = E(rt + τ * max(a_t, Q_st+1, a_t, W′?Q_stat, W)，其中 FMADRLLoss 表示 MADRL 方法的损失函数，E 是损失函数系数，W, W′ 表示主网络和目标网络的权重函数。rt+τ*max(a_t, Q_st+1, a_t+1, W′ 表示目标网络生成的 Q 值，Q_statW 也表示当前 Q 值由主网络预测。然而，在深度 Q 网络 (DQN) 中，max 运算符会选择过高估计的值，导致过于乐观的估计 [32]。为此，提出了双 DQN (DDQN) 架构，其中动作的选择和评估是分开的 [33]。DDQN 损失函数定义如下：(37) FMADRLLoss ? DDQN = E(rt + τ * Q_st+1, argmax(a_t, st+1, a_t, W′?Q_stat, W)，其中目标网络评估动作，主网络根据 argmax(a_t, st+1, a_t, W) 选择动作。通过分离动作的选择和评估，DDQN 可以提供比 DQN 更准确的 Q 值。

3.2. BDRL 框架
BDRL 框架使用观测来根据贝叶斯规则 [34], [35] 更新信念。它支持和验证 MADRL 方法中训练出的策略。如果代理受到攻击，代理无法跟踪状态和动作集。受攻击的代理可以根据观测应用相关动作。BDRL 单元基于过去的经验作为备份。 (38) b_j^P_baiP_D_oi = Σ(a_i∈A) * p_d_oi * p_baiP_D.oi，其中 p_d_oi 表示网络攻击下代理的动作的后验分布，o_i 表示观测结果，b_j^P_baiP_D.oi 表示基于观测结果选择动作 a_iPD 的预期概率。b_j^P_baiP_D.oi 是基于观测结果的条件概率，不能作为下一次更新的新信念 [34], [35]。为了更新未来剧集的新信念，可以使用以下方程：(39) d_jNewb_j^P_baiP_D = Σ(i=1∣At∣ci,j?1) * (b_j^P_baiP_D.oi + Δ_bj^P)，其中 d_jNewb_j^P_baiP_D 是动作 a_iPD 的新概率分布，Δ_bj^P 是动作选择的新更新，ci,j?1 也是动作选择的估计系数。在 BDRL 设计中，动作选择直接与观测空间耦合。这种关系在图 4 中有所说明。如图所示，BMADRL 框架分为两个阶段。MADRL 模型的 Q 值表示的控制策略与 BDRL 模型的输出进行比较，以评估离线训练期间和控制策略测试期间策略退化的程度。操作流程包括几个步骤。初始状态集被发送到 MADRL 单元，然后评估网络训练中的初始状态和动作集。生成初始 Q 值，并在 BDRL 过程中配置，根据 BDRL 结构选择动作。使用新的动作集生成控制策略信号，并通过奖励池对动作进行评估。这个过程持续到离线训练剧集完成。在在线操作期间，将执行策略与 BDRL 方法确认的动作组件进行比较，BDRL 单元防止这些策略的可能破坏。图4为了便于理解而被编号。最初，在步骤1中，系统状态被采样并生成一个状态集。然后在步骤2中，基于MDP方程配置状态集、动作集和奖励集。在MADRL模型的结构中，有两个网络，即主网络和目标网络，其中目标网络负责评估动作，主网络负责选择动作。在步骤3中，在主网络中选择动作后，所选动作与BDRL方法历史中的动作模型进行比较，这在步骤4中显示。如果所选动作没有非法偏差，那么这个动作将适用于微电网拓扑。如图5所示，与BDRL方法中的可信模型匹配的动作被发送到微电网拓扑并使用。在步骤6中，奖励集负责根据每个动作的操作准确性来评估动作，从而改进MADRL模型中动作行为模式的更新过程，以配置MADRL和BDRL方法之间的最佳动作选择。贝叶斯公式为历史数据中的不确定性提供了原则性的估计，从而减少了对可能具有偏见和代表性不足的样本的依赖。此外，该方法通过在训练期间模拟多样化的对抗性场景以及后验正则化技术，保持了通过学习到的策略的泛化能力。代理之间的协调也通过基于共同信念和经验反复校准策略来减少决策方差。这些特性共同创建了一个鲁棒的学习范式，即使在条件与训练条件不同的情况下也能保持高性能。更多支持，请参阅算法2，它说明了第3节的结构。下载：下载高分辨率图像（546KB）下载：下载全尺寸图像图4。BMADRL方法的性能。算法2提供了BMADRL框架内MADRL和BDRL整合的更清晰的过程解释。它显示控制过程从状态初始化和基于MDP的状态、动作和奖励集的定义开始，之后MADRL层通过主Q网络生成一个候选动作。这个动作不会直接执行；相反，它被传递到贝叶斯层，在那里使用先验信念和观察历史来构建一个更新后的信念状态和后验动作评估。然后BDRL单元验证候选动作是否与可信的观察支持的行为一致，然后将其应用于微电网。如果动作被验证通过，它将在系统转换中执行；否则，它将通过BDRL备份机制进行纠正。奖励评估、损失计算、基于梯度的主网络更新以及信念分布更新随后完成决策循环。通过这种方式，算法2明确表示信念更新嵌入在实时控制循环本身中，MADRL和BDRL之间的交互是通过顺序动作生成、贝叶斯验证、执行过滤以及跨剧集和代理的信念传播来实现的。算法2基于BMADRL的MG鲁棒防御机制的伪代码。下载：下载高分辨率图像（443KB）下载：下载全尺寸图像4. 实验配置和结果如图5所示，建模和实验平台建立在IEEE 69母线测试系统上，该系统的工作电压为400 V，额定频率为50 Hz [36]。研究环境包括几个集成组件，包括使用RT-LAB 2021.3和HYPERSIM 2021.3在标准IEEE 69母线网络上表示的微电网，一个由代码生成器和OP5707XG硬件支持的实时仿真平台，以及根据IEC 61850协议规范在EXata CPS v1.1中开发的网络通信层 [36]，[37]。实验设置环境包括主控制器、示波器、不同层的通信基础设施（NI9205）以及数据采集系统等设备。对于实验设置，总负载需求设定为10 MW，而可再生能源资源和储能系统单元的容量各为1 MW。基于激励的需求响应计划的参与增量定义为100 kW。此外，电动汽车电池模型使用实际的KIA电池数据指定，每个单元的特性是额定电压为697 V，额定功率为253 kW，能量容量为77.4 kWh，以及大约110 A的充电电流 [22]。为了支持实验室平台中的数据管理和控制执行，使用了TMS320F28335处理器。转换器和滤波参数也根据实验配置进行了定义。特别是，PWM开关频率选择为15 kHz，输出滤波器采用1.9 mH和35 μF的LC结构，同时保持总谐波失真低于5% [22]。与所提出方法相关的处理数据摘要，包括离线训练阶段和在线运行阶段，报告在表2中。下载：下载高分辨率图像（807KB）下载：下载全尺寸图像图5。MG网络空间配置。表2。BMADRL处理组件。组件值组件值学习率1e?3折扣因子0.959采样5000熵权重0.0212优化器类型Adam更新率0.0004验证过程21,000测试过程21,000训练过程80,000整个过程122,000离线训练时间1.36?104(s)在线运行时间1(s)4.1. 实验结果实验结果和BMADRL方法在最小化网络攻击影响方面的有效性在两个案例研究中进行了展示。第一阶段评估了网络攻击对L2G服务政策的影响，以增加黑客在能源市场中的利润。而第二阶段评估了网络攻击对连接到主电网的微电网（MG）的关键指标（如电压和频率）的影响，这些将在以下部分中解释。4.1.1. 第一操作阶段结果表3报告了两种不同条件下的第一个微电网的运行结果。情景I表示网络攻击既未被检测也未被缓解的情况，而情景II对应于识别并消除了L2G支持的能源市场中由攻击引起的错误的情况。该表还展示了微电网的24小时总运行成本。在情景I中，总成本达到58,608美元，而在情景II中则降至51,891美元。这些结果证实，未缓解的网络攻击对系统运行造成了明显的经济负担，导致总运行成本相对于受保护的情况增加了11.46%。此外，攻击者通过操纵市场价格和需求信号获得了6717美元的收益。进一步详细检查表3和方程（11）可以发现，一旦激活了所提出的防御机制，目标函数的第一成本组成部分（fOP,tMG）显著改善。具体来说，在情景II中，这部分目标函数减少了11.75%。这一减少表明，所提出的方法不仅抑制了恶意市场干扰，还通过恢复更可靠的L2G政策下的运营决策来提高了微电网的经济性能。表3。有无混合网络攻击的微电网运行。小时情景I ($)情景II ($)fOP,tMGfRisk,tMGfL2G,tMGfOP,tMGfRisk,tMGfL2G,tMG1.977.0337.6467.7862.3305.5407.52.1008.1347.1484.3889.7314.1422.03.1076.0387.8507.1949.7350.8441.84.1110.6396.0522.5980.2358.4455.35.1128.5412.7557.1996.0373.5485.46.1138.0428.3578.61004.4387.5504.17.1146.4412.7579.71011.9373.5505.28.1147.7411.6587.01012.8372.4511.59.1160.7429.5597.61024.4388.6520.810.1339.6719.4598.91182.4650.9521.911.1326.6730.1600.11170.8660.6522.812.1318.3727.7609.61163.5658.5531.213.1355.2743.1612.01196.1672.6533.214.1342.1731.3603.61184.5661.7526.015.1135.7437.8576.11002.3396.1502.116.1136.9437.8567.81003.4396.1494.817.1395.8847.0632.31231.9766.5551.018.1410.1849.4639.41244.5768.6557.119.1431.6859.0646.51263.4777.2563.420.1449.4862.5676.41279.3780.5589.421.1431.6859.0665.61263.4777.2580.122.1375.6726.5598.91213.9657.4521.923.1336.2720.5600.01179.2652.0522.824.1319.4695.5594.01164.4629.4517.6每日29,99714,50914,10226,47413,12912,288总计58,608 ($)51,891 ($)黑客利润6717 ($)目标函数的第二个术语（fRisk,tMG）与情景I相比减少了9.5%，目标函数的第三个术语（fL2G,tMG）减少了9.2%。因此，结果表明所提出的方法在减少微电网的运营费用方面非常重要，因为它不会破坏控制政策，同时也能在没有检测到的情况下消除网络攻击。然而，黑客对能源市场各层的入侵导致了一个不现实的情景，以最大化黑客的利润。黑客的入侵导致参与L2G服务的用户减少，这反过来又导致电力系统的运营和维护成本大幅增加。另一方面，随着用户参与度的降低，配电系统（DSO）必须根据上游电网的情况来构建电力管理方案，从而推高能源市场交易的价格。表4显示了所提出方法在两种运营条件下的性能优势，明显优于DRL和RL基线。在没有应用网络攻击缓解措施的情景1中，所提出的方法产生了最低的运营目标成本、目标函数成本和L2G服务目标成本，导致每日总成本最低为58,608美元。相比之下，DRL的总成本上升到62,191美元，RL的总成本上升到64,900美元，这表明所提出的框架即使在任何防御机制激活之前也提供了更高效的调度和更强的经济协调。在黑客利润指标上也观察到了类似的趋势，所提出的方法将攻击者的收益限制在6717美元，而DRL和RL分别允许更高的利润，分别为8140美元和9565美元。这些结果表明，所提出的模型本质上对对抗性干扰更为鲁棒，且不易受到剥削性操纵的影响。表4。在网络攻击情景下，所提出方法与DRL和RL的比较。情景模型fOP,tMGfRisk,tMGfL2G,tMG总成本 ($)黑客利润 ($)情景1所提出的方法29,99714,50914,10258,6086717DRL31,64715,52515,01962,1918140RL32,99716,25015,65364,9009565情景2所提出的方法26,47413,12912,28851,8910DRL28,06214,11413,27155,4471268RL29,65114,83614,00858,4952194在激活了网络攻击缓解措施的情景2中，所有方法的经济性能都有所提高，但所提出的方法仍然取得了最佳结果，将总成本降低到51,891美元，而DRL和RL分别为55,447美元和58,495美元。更重要的是，只有所提出的方法将黑客利润减少到零，而DRL和RL的剩余收益分别为1268美元和2194美元。这种差异不应被解释为不公平的比较，因为所有方法的攻击情景、运营条件和评估标准都是相同的。然而，并不假设缓解能力在比较的模型中是同等有效的；相反，它被视为每种方法自身决策和防御性能的一部分。因此，结果表明RL和DRL只能部分减少网络攻击的影响，而所提出的方法能够完全中和攻击者的经济利益，同时保持最低的运营成本。4.1.2. 第二操作阶段结果在这里，解释了BMADRL对微电网控制元素对抗网络攻击的效率。该方法被认为快速、准确，并能捕捉和消除不良动态数据，从而实现防止控制政策被破坏的重要步骤。图6（a, b）展示了BMADRL控制器对抗影响可再生能源逆变器（RER）输出功率和能量存储系统（ESS）单元吸收功率的网络攻击的性能。网络攻击发生在t = 1秒时，控制器在检测并移除攻击后1秒内成功稳定了微电网。根据图6（c, d），BMADRL方法有效地检测、移除了网络攻击，并保持了微电网的稳定性，同时也显示了网络攻击未能及时检测到的影响。未能及时检测到网络攻击会导致严重的电压和频率振荡，从而导致微电网从公共连接点（PCC）断开。所提出的方法以1秒的操作间隔对于维持微电网的瞬态稳定性至关重要。下载：下载高分辨率图像（626KB）下载：下载全尺寸图像图6。网络攻击对不同微电网组件的影响（a）RER输出功率振荡（b）ESS吸收功率振荡（c）PCC电压振荡（d）PCC频率振荡。接下来，通过同时针对多个微电网发起的网络攻击造成的损害，确认了BMADRL方法的有效性。根据图7（a, b），t = 1秒是网络攻击开始的时刻。所提到的技术在t = 2秒时通过检测移除了恶意动态变量，满足了微电网的瞬态稳定性要求。由于电压和频率振荡在短时间内得到了调节，因此适当地监控了作为电压和频率振荡允许值的瞬态稳定性约束。因此，根据图7（c, d），显示了所提出控制器的操作性能函数的连续电压和频率组件振荡。这里开发的控制器可以通过调整微电网中的有功和无功功率组件来控制电压和频率。因此，根据图7（e, f），显示了每个微电网单元的净有功和无功功率的变化，以控制PCC的电压和频率。根据图7，所使用的方法成功地检测、移除了混合网络攻击，并保证了瞬态稳定性。它以高效率、准确性和极高的操作速度防止了控制策略的擦除。它满足了过渡稳定性约束，并提高了微电网（MG）对网络攻击的安全性。下载：下载高分辨率图片（768KB）下载：下载全尺寸图片

图7. (a,b) 不同微电网的电压和频率控制，(c,d) 所提出的控制器对电压和频率成分的变化，(e,f) 所提出的控制器对有功和无功功率成分的变化。图8清楚地展示了所提出解决方案在200个不同运行点上监测混合网络攻击的能力，与DRL和RL方法相比。结果显示，BMADRL算法的平均跟踪容忍度低于0.5%，而DRL的平均容忍度上升至1.5%，RL为2.5%。这一结果直接定量支持了所提出框架在不同运行条件下跟踪恶意动态变化的优越精度。BMADRL的更强性能可以归因于MADRL和BDRL模块的协调结构，其中学习过程得到了概率策略验证和在线验证可疑偏差的支持。因此，所提出的框架在各种微电网运行场景中保持了更可靠的跟踪行为，并更有效地减少了网络引起的失真。这些量化结果还为解释所提出方法在攻击感知操作下的跟踪准确性提供了更清晰的数值基础。

下载：下载高分辨率图片（280KB）下载：下载全尺寸图片

图8. 跟踪网络攻击。

基于IBDR程序的L2G服务框架对于确保微电网的运行稳定性和灵活性至关重要，特别是对于电力质量调节和经济性能。通过启用动态负载响应和优化能源交易，IBDR程序确保了分布式能源资源（如RERs和ESSs）在系统调节中发挥积极作用。图9（a, b）展示了RER和ESS单元之间的协调，体现了它们在PCC处电压支持方面的互补特性。协调在应对RER（如光伏和风能单元）的固有间歇性方面尤为重要，因为它们的发电量会根据环境条件波动。ESS单元能够立即响应这些变化，通过注入或吸收电力来维持电压稳定性。在测试的T2和T5运行点中，这种协调得到了很好的体现。在T2点，RER发电量的减少会触发ESS单元向电网释放储存的电力，以补偿损失，保持PCC处的电压水平在可接受范围内。而在T5点，RER发电量的增加则使ESS单元减少注入，转而利用多余的电力来避免过电压和系统范围内的低效率。这种行为是一个智能、响应迅速的控制系统的例子，符合当今微电网中L2G服务的目标。此外，基于IBDR的L2G的调度协调允许进行预测性和实时功率平衡，减少了对上游电网的依赖和系统压力。同时，协调操作通过优化能源存储的利用、延长ESS寿命以及减少RER的削减，提高了微电网的经济效率。如图9（b）所示，由于RER和ESS单元之间的这种互动，在不平衡运行条件下系统地满足了PCC的电压限制，从而促进了微电网系统的鲁棒性和可靠性。上述结果再次证实，所开发的控制策略不仅支持电压补偿，还加强了能源效率、可持续性和市场参与等更广泛的目标。

下载：下载高分辨率图片（431KB）下载：下载全尺寸图片

图9. (a) RER和ESS单元的协调操作，(b) 满足PCC电压稳定性约束。

4.2. 敏感性评估

在这里使用敏感性分析来检查控制框架在广泛运行条件下的鲁棒性。在本研究中，所提出的方法在200个运行点上与RL和DRL进行了评估。这些点反映了多种微电网状态，包括单元需求轮廓的变化、并网和孤岛转换、光伏和电池输出的变化、能源市场的干扰以及通信层内的不确定性。如图10所示，所提出的方法在这些运行点上保持了最稳定的响应。其对运行变化的平均敏感性约为2%，而RL和DRL的相应值则高于5%，表明所提出的框架受运行干扰和系统条件变化的影响较小。

下载：下载高分辨率图片（218KB）下载：下载全尺寸图片

图10. 最优运行敏感性率。

同样的趋势也出现在离线训练阶段，如图11所示。所提出的方法在策略训练期间的敏感性误差率明显低于RL和DRL。更具体地说，其平均训练敏感性保持在2%以下，而RL和DRL的误差水平通常在5%到10%之间。这一结果表明，所提出的框架在保持学习控制策略的一致性方面更有效，并且不太容易受到策略退化的影晌。从这个角度来看，该方法通过提高对网络攻击相关干扰的抵抗力以及更好地保护训练出的决策策略的完整性，扩展了传统的基于机器学习的控制。

图11. 离线训练过程中的敏感性误差率。

图12表明，所提出的BMADRL框架在训练过程中逐步抑制了关键不确定性来源的影响，特别是与能源市场波动和电力供应变化相关的因素。这种行为反映了模型校准的逐步改进，通过与不确定运行条件的反复互动有助于稳定学习到的控制响应。在80,000次训练过程中，基于观察的学习机制不仅更新了控制策略，还保持了其一致性。因此，最终策略更适合在多样和不确定的系统条件下运行。训练过程结束时，所提出模型对供应侧波动和市场干扰的敏感性降至2%以下，这强烈证明了该方法的有效性和鲁棒性。

图13进一步证实了所提出方法相对于DRL和RL基准在计算上的优势。结果显示，所提出框架的计算误差率为2%，而DRL的相应值增加到6%，RL为8%。这一结果与图10和图11中报告的较低运行敏感性和离线训练敏感性一致，表明所提出的BMADRL结构在网络攻击感知操作下保持了更稳定的数值行为。较低的计算误差还表明，学习到的控制策略比DRL和RL方法获得的政策更加连贯，受网络引起的失真影响更小。

图14通过比较三种方法的离线训练和在线操作过程来补充这一结果。所提出的方法离线训练需要0.9×10^4秒，而DRL需要1.0×10^4秒，RL需要1.15×10^4秒。在在线阶段，所提出的框架运行时间为1.01秒，而DRL和RL的相应在线操作时间分别为1.86秒和2.23秒。这些结果直接定量证明了所提出方法在学习和执行阶段都施加了更低的计算负担。

表5提供了所提出方法与基准DRL和RL方法的主要性能指标的汇总定量总结。如表所示，所提出的框架实现了最短的离线训练时间和在线操作时间，同时保持了最低的跟踪容忍度、计算误差率、运行敏感性和离线训练敏感性误差。这些结果表明，所提出的基于BMADRL的结构不仅在学习和在线执行方面更快，而且在网络攻击感知操作下也更加准确和数值稳定。因此，表5为解释实验部分中关于响应速度、计算效率和跟踪性能的声明提供了直接的定量依据。

表5. 定量性能指标。

指标 所提出方法 DRL RL
离线训练时间 0.9×10^4 0.9×10^4 0.9×10^4秒
在线操作时间（包括检测阶段）1.01 1.86 2.23秒
200个运行点的跟踪容忍度 0.5 1.5 2.5%
计算误差率 2.0 6.0 8.0%
运行敏感性率 2.0 5.0–10.0 5.0–10.0%
离线训练敏感性误差 2.0 5.0–10.0 5.0–10.0%

图15展示了DR程序的功率曲线以及修改订阅者（如ESS和EV单元）消费模式的操作图。根据图15(a)，电价曲线具有三个特征，即低价、中等价格和高峰消费时的高价。因此，DR程序根据电价曲线进行配置，并框定了订阅者消费模式变化的组成部分。因此，根据图15(a)和蓝色曲线，可以看到DR程序的方法。在这种方法中，尝试使负载曲线趋于平坦，从而使电力系统（减少高峰电力消耗）受益，同时订阅者通过改变他们的消费模式获得更多利润。因此，根据该图，鼓励订阅者根据DR模式匹配他们的电力使用。例如，根据图15(b)，ESS和EV单元在低价或中等价格时购买电力，并在高峰时段消费，以避免支付更高的电力费用。这种方法减少了高峰消费并使负载曲线趋于平坦。ESS和EV单元的行为模式跟随DR图的变化，因此订阅者通过在非高峰时段购买电力并在高峰时段消费来增加他们的利润功能。

图15. 电价曲线和ESS/EV消费模式的修改。

5. 结论

本研究的动机在于现代微电网对数字通信基础设施、市场导向的协调以及基于机器学习的控制的日益依赖，这些都提高了系统的灵活性，但也增加了对混合网络攻击的脆弱性。特别是，虚假数据注入和拒绝服务类型的干扰会降低通信可靠性，破坏能源管理决策，并在离线学习和在线操作期间损害训练出的控制策略的完整性。由于L2G服务的提供越来越依赖于ESS单元、EV、响应式负载和可再生资源的协调参与，保护这些控制策略不仅对网络安全至关重要，也对保持正常的市场参与和运行稳定性至关重要。为了解决这一挑战，本文提出了一种基于贝叶斯多智能体深度强化学习的强大网络安全防御框架。所提出的BMADRL结构结合了MADRL的自适应决策能力以及BDRL的概率验证和策略支持功能，以减少在恶意动态数据条件下的训练控制策略的退化。同时，通过整合高斯和伯努利概率建模、基于欧几里得距离的评估以及通过加权最小二乘法的残差分析，制定了基于安全区域的混合网络攻击检测机制。这种联合设计使框架能够在混合攻击条件下检测异常的网络诱导偏差，验证行为一致性，并保持安全的L2G导向操作。

结果证实，所提出的方法提供了有意义的经济和运营效益。在受保护的运行场景中，BMADRL框架将总运营成本降低了11.46%，并消除了攻击者的经济收益，同时保持了安全的能源市场互动。此外，所提出的方法在200个运行点上的跟踪容忍度保持在0.5%以下，表明在多种运行条件下具有强大的网络攻击监控能力。时域结果进一步表明，该框架能够在大约1秒内减轻攻击影响，并防止严重的电压和频率振荡，从而支持微电网的瞬态稳定性和安全运行。与DRL（深度强化学习）和RL（强化学习）基准方法的定量比较进一步增强了所提出框架的有效性。在比较的方法中，所提出的方法实现了最低的计算错误率、最短的离线训练时间和最短的在线运行时间，同时还表现出较低的运行敏感性和离线训练敏感性误差。这些结果表明，BMADRL框架的优越性不仅限于攻击检测，还扩展到了数值可靠性、学习稳定性和时间敏感的网络安全执行方面。因此，与基于RL和DRL的基准方法相比，所提出的结构在经济效益、响应速度和政策保护能力方面提供了更平衡的组合。

尽管有这些贡献，本研究的一个局限性在于，该框架是在特定的微电网配置和所研究的混合网络攻击环境下进行验证的，因此报告的性能应在这一实验范围内进行解释。特别是，尽管所提出的方法在经济效益、计算能力和网络安全控制方面表现出色，但其在大规模、异构性和通信密集型微电网环境下的可扩展性和行为仍需进一步研究。因此，一个有意义的未来研究方向是将BMADRL框架扩展到具有更丰富网络拓扑和更广泛不确定性来源的大规模网络物理能源系统中，以进一步评估其通用性和实际部署能力。

**CRediT作者贡献声明：**
- Reza Sepehrzad：撰写——原始草稿、验证、软件开发、资源管理、方法论设计、调查、数据整理、概念化。
- Milad Moafi：撰写——审稿与编辑、可视化处理、验证、形式化分析。
- Nima Khosravi：撰写——审稿与编辑、验证、调查、形式化分析、数据整理。
- Ahmed al Durra：验证、项目监督、资金获取、概念化。
- Mahdieh S. Sadabadi：可视化处理、验证、项目监督、形式化分析。