《International Journal of Electrical Power & Energy Systems》：Improved microgrid resilience strategy against hybrid cyberattacks considering the load-to-grid service requirements: a multi-agent deep reinforcement learning approach
编辑推荐：
微电网（Microgrid, MG）已成为现代配电系统的核心组成部分，其可靠运行依赖于物理层、通信层和决策层之间的紧密耦合。然而，这种数据驱动的结构也增加了其遭受恶意干扰的风险。虚假数据注入（False Data Injection, FDI）攻击能够扭曲测量
微电网（Microgrid, MG）已成为现代配电系统的核心组成部分，其可靠运行依赖于物理层、通信层和决策层之间的紧密耦合。然而，这种数据驱动的结构也增加了其遭受恶意干扰的风险。虚假数据注入（False Data Injection, FDI）攻击能够扭曲测量数据、价格或运行状态，而拒绝服务（Denial-of-Service, DoS）攻击则会中断控制与通信信道的可用性。在面向市场的微电网中，这些攻击可能误导控制智能体、操纵负荷到电网（Load-to-Grid, L2G）服务参与度、增加运行成本并扭曲市场出清行为。针对现有研究在连接攻击检测与训练策略保护方面的不足，本研究提出了一种基于多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）的防御框架。该框架的核心创新在于构建了一个策略保护的安全状态评估过程，利用基于加权最小二乘误差（Weighted Least Square Error, WLSE）的残差评估和高斯-伯努利（Gaussian-Bernoulli）安全区域评估，在恶意数据进入MADRL决策层之前对其进行筛选。同时，研究整合了多任务学习与多目标函数（Multi-Task Learning with Multi-Objective Function, MTL-MOF）以协调经济运行、风险评估和L2G服务实施。通过在IEEE 69节点和141节点Caracas配电网上进行仿真验证，结果表明该框架能有效降低攻击者诱导的运行成本、限制黑客利润、快速恢复电压和频率稳定，并展现出良好的可扩展性和计算效率，为面向市场的微电网提供了一种统一且具有策略保护能力的网络韧性防御方案。
**论文解读：面向混合网络攻击的微电网韧性增强策略——基于多智能体深度强化学习与安全区域防御框架**
**一、研究背景与问题提出**
随着可再生能源渗透率不断提高以及智能电网概念深入发展，微电网（Microgrid, MG）已成为现代配电系统的重要组成部分。相比传统无源配电网络，微电网通过物理、通信和决策多层系统的紧密耦合运行，依赖分布式能源、储能系统、可控负荷、电动汽车、市场运营商及监控控制器之间的连续数据交换。这种结构不仅支持需求响应（Demand Response, DR）和负荷到电网（Load-to-Grid, L2G）服务等先进运行模式，也增加了系统对网络攻击的暴露面。
智能控制方法在微电网中的应用日益广泛，特别是多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）因其能够协调多个控制变量并支持在线决策而受到关注。然而，MADRL控制器在离线训练阶段学习到的策略，在在线部署时可能面临输入数据被虚假数据注入（False Data Injection, FDI）或拒绝服务（Denial-of-Service, DoS）攻击破坏的风险。如果恶意数据进入决策层，控制器可能执行技术上不安全、经济上低效甚至与L2G服务要求不一致的动作。
现有研究存在的核心问题在于：攻击检测通常作为独立问题处理，缺乏与实时控制策略保护之间的明确数学联系；许多基于强化学习的方法将训练好的策略视为固定决策引擎，未能在在线执行阶段显式地防御恶意数据偏差；此外，对于市场导向型微电网，网络攻击不仅影响电压频率稳定，还可能操纵市场价格、扭曲DR信号、增加运行成本并为攻击者创造不当收益。因此，亟需一个统一框架，将攻击检测、安全数据评估、策略保护与L2G服务连续性有机结合。
**二、研究方法与关键技术**
研究人员构建了涵盖市场层、通信层和物理层的协同防御框架。首先，市场层模型描述了批发与零售交易、DR义务和L2G服务参与的交互关系；通信层采用图论方法描述信息交换网络；核心的安全区域检测机制整合了加权最小二乘误差（Weighted Least Square Error, WLSE）残差评估、高斯概率分布函数、伯努利数据表示、欧几里得距离评估及数据挖掘特征分类，在MADRL动作执行前筛选可疑数据。多任务学习与多目标函数（Multi-Task Learning with Multi-Objective Function, MTL-MOF）结构协调了经济运行、风险评估和L2G服务实施。学习算法采用双深度Q网络（Double Deep Q-Network, DDQN）启用的MADRL结构，动作选择基于经过安全筛选的状态信息。仿真平台基于Matlab与EXata CPS v1.1的联合仿真环境，依据IEC 61850通信标准配置，在IEEE 69节点（400V，50Hz）和141节点Caracas配电网上验证，总负荷11MW，RER和ESS额定容量1.1MW，DR参与步长100kW。
**三、研究结果**
**1. L2G服务与市场层保护：** 在IEEE 69节点系统中，未防御场景（场景I）总运行成本61540.30美元，应用防御框架（场景II）后降至48460.52美元，降低13079.78美元（21.25%），其中MG运行成本、风险评估成本和L2G服务成本分别降低约21%、23%和20%，黑客利润降至零。在141节点Caracas网络上，成本从127828.66美元降至100672.58美元，减少27156.08美元，验证了框架的可扩展性。
**2. 动态韧性评估：** 当混合网络攻击在t=1s施加时，检测与缓解机制在下一运行步长内拒绝受损测量数据，PCC电压和频率被控制在允许动态范围内。在200个运行点上的平均跟踪容差低于0.5%。L2G服务运行中，ESS单元补偿RER输出波动以维持PCC电压稳定，验证了在多微电网同时遭受攻击时的协调控制能力。
**3. 消融研究：** 完整模型（MADRL+WLSE+Gaussian+数据挖掘）实现98.5%检测准确率、42ms检测延迟和91.3%缓解效率。去除WLSE、高斯滤波或数据挖掘组件后，各项指标明显下降，证实各模块对整体防御性能具有互补贡献。
**4. 多指标评估：** 完整模型获得97.9%精确率、98.8%召回率、98.3%F1分数、1.9%假阳性率和99.1% AUC，平均检测时间41ms，平均恢复时间78ms，韧性指数0.93，优于所有消融变体。
**5. 敏感性分析：** 在负荷增减10%、不同攻击强度和测量噪声条件下，检测准确率保持在97%以上。高斯-伯努利安全区域5%阈值被验证为平衡检测灵敏度与虚警控制的最佳设置。
**6. 计算分析：** 所提框架实现1.0s在线决策时间、41% CPU利用率和610MB内存占用，均优于联邦强化学习（FedSAC/Fed-RL）、LSTM-VAE检测器、区块链辅助AI防御和对抗强化学习（AdvRL）等对比方法。
**四、讨论与结论**
讨论部分指出，微电网的网络韧性应被理解为闭环能力：检测异常数据、防止其传播至学习策略、并在扰动运行期间维持可行控制动作。MTL-MOF结构通过协调经济、风险和L2G服务目标，产生更符合实际对抗条件下运行的决策。安全区域机制通过WLSE、高斯边界建模、伯努利表示和欧几里得距离评估，构建了可解释的动态数据筛选层，这是将网络攻击检测与控制策略保护直接联系的桥梁。
研究结论表明，所提出的WLSE增强MADRL架构为市场导向型微电网提供了统一且具有策略保护能力的防御策略。通过将安全区域异常过滤与L2G服务建模、DR参与、风险感知运行和协调MADRL控制相结合，该框架超越了传统的仅检测型网络防御，能够在混合网络攻击条件下维持运行连续性、减少经济损失、限制攻击者利润并保持电压/频率稳定性。跨基准和真实网络模型的结果一致性，以及敏感性和计算分析，支持该方法对新兴智能和分布式能源系统的适应性和实时应用潜力。研究同时承认高斯-伯努利安全区域表示可能无法完全捕捉高度自适应或非平稳攻击模式，离线训练的依赖可能限制对罕见运行事件的适应性，未来工作将扩展至分布鲁棒安全区域建模、持续或联邦策略更新以及硬件在环测试。
