《Electronics》：A General Reinforcement Learning Framework for Remedial Action Schemes Against False Data Injection Cyberattacks in Renewable-Integrated Power Systems: From Stochastic Optimization to Markov Decision Processes
编辑推荐：
可再生分布式发电（RDG）渗透率的不断提高显著增加了现代电力系统的运行不确定性和复杂性，使传统基于优化的补救动作方案（RAS）计算需求日益增大，并越来越不适合实时关键应用。本文提出一种通用强化学习（RL）框架，用于求解多时段随机电力系统优化问题，并以RAS作为
可再生分布式发电（RDG）渗透率的不断提高显著增加了现代电力系统的运行不确定性和复杂性，使传统基于优化的补救动作方案（RAS）计算需求日益增大，并越来越不适合实时关键应用。本文提出一种通用强化学习（RL）框架，用于求解多时段随机电力系统优化问题，并以RAS作为主要应用，以抵御针对智能电力系统的虚假数据注入（FDI）网络攻击。所提方法由三个连续阶段组成。首先，将RAS表述为随机非线性优化模型，在潮流、运行和网络安全约束下最小化总运行成本，并显式计及火电发电成本、可再生能源发电成本、可再生能源功率失配惩罚和储能运行。其次，将优化问题系统性地重构为马尔可夫决策过程（MDP），其中系统运行条件定义状态空间，控制变量构成动作空间，并设计奖励函数以同时刻画经济目标和运行约束违反。最后，采用演员-评论家（actor-critic）RL算法求解所得MDP，该算法直接从历史运行数据学习最优控制策略，而无需系统动态的显式数学模型。与针对特定问题的RL建模不同，所提框架提供统一方法，可将包括抗FDI攻击RAS、最优潮流、馈线重构和损耗最小化在内的一大类随机电力系统优化问题转化为RL兼容形式。该框架自然适应可再生能源发电的随机行为和多时间区间上的序贯决策，同时能够实现可扩展且自适应的控制，以及时修复受攻击电力系统并使其恢复正常运行。该建模为将现代RL技术应用于不确定性感知的电力系统运行与控制建立了通用基础，从而促进可再生资源丰富电网中的实时决策。
研究背景方面，可再生分布式发电（RDG）渗透率上升带来运行不确定性与复杂性，传统基于优化的RAS需在运行条件变化时反复求解复杂非线性随机优化问题，计算负担限制其在线实时应用。智能电网中高级量测、通信与数据采集与监控系统（SCADA）扩展了网络攻击面，FDI攻击可通过中间人方式篡改量测并规避常规坏数据检测，可能导致错误控制、设备过载、电压失稳和连锁故障。已有RL研究多面向攻击检测、紧急控制、电压调节、馈线重构或最优潮流等单一应用，状态空间、动作空间、奖励函数和学习架构常按特定问题定制，缺乏将随机优化模型系统转化为MDP的通用方法。因此，研究人员开展统一框架研究，以RAS抗FDI攻击为主要验证对象，同时保持对最优潮流、馈线重构和损耗最小化等问题的可扩展性。研究提出三阶段框架：随机非线性优化建模、MDP重构、actor-critic RL求解；在修改的IEEE 33节点配电系统和IEEE 118节点输电系统上验证，表明学习策略可接近随机优化基准并显著降低在线计算时间，提升攻击后恢复能力与实时决策适用性，为不确定性感知电力系统运行控制提供通用基础。
关键技术方法方面（不超过250字），研究人员采用三阶段方法：首先将抗FDI攻击的RAS表述为多时段随机非线性优化模型，目标含火电成本、可再生发电成本、失配惩罚和储能运行，并受潮流、运行与安全约束；其次将优化模型系统重构为MDP，由运行条件定义状态，控制变量构成动作，奖励含经济目标与约束越限惩罚；最后用actor-critic强化学习从历史数据学习策略。研究构建FDI量测篡改模型，并在修改的IEEE 33节点配电系统和IEEE 118节点输电系统上开展24 h逐时仿真，使用历史负荷、风速和太阳辐照度剖面构建随机环境，采用多随机种子、多层感知机（两个128神经元隐藏层）、Adam优化器、2000回合训练等设置。样本来源为上述IEEE基准测试系统及历史运行剖面，无临床或生物样本队列。
研究结果方面，3.3 获得的仿真结果（Obtained Simulation Results）显示，训练早期累计奖励快速上升，约400回合后逐渐稳定，两个测试系统均表现平滑收敛，说明奖励设计兼顾经济目标与运行安全约束，且IEEE 118节点系统在更大状态和动作空间下仍具可扩展性。经济性比较表明，RL策略所得总运行成本接近随机优化模型，在线计算时间分别降低99.6%（IEEE 33节点）和99.8%（IEEE 118节点）。Scenario D1为IEEE 33节点配电系统正常工况，通过24 h调度比较RL与随机优化，结论是RL在保持接近优化成本的同时显著降低在线计算负担。Scenario D2为IEEE 33节点局部FDI攻击，攻击负荷母线、RDG和电压量测后，RL代理协调火电、可再生、BESS和无功支持恢复安全运行，Bus 33电压由0.924 p.u.升至0.965 p.u.，改善4.44%。Scenario D3为IEEE 33节点协调多点FDI攻击，通过多量测篡改造成潮流畸变，RL顺序控制后关键支路负载显著下降，功率流重新分配并满足网络安全约束。Scenario T1为IEEE 118节点输电系统正常工况，验证框架在大规模网络中的可扩展性，RL成本接近随机优化。Scenario T2为IEEE 118节点协调FDI攻击，BESS的SOC全程保持在20–90%限值内，16:00攻击后由84%放电至21:00的34%，23:00回升至48%；可用可再生发电由00:00的18 MW升至12:00峰值78 MW，调度值达75 MW，最大可用与调度差仅3 MW，表明弃风弃光有限。Scenario T3为极端网络—物理运行条件，攻击后RL执行约25 MW BESS放电、18 MW火电再调度、15 MVAR无功支持和10 MW可再生削减，随后逐步减小至零；暂态恢复中电压偏差、支路负载和功率不平衡下降更快、振荡更小。总体量化总结确认，所提RAS在保持接近随机优化解质量的同时，具备快速在线决策和攻击后恢复能力。
3.4 讨论（Discussion）指出，两个IEEE系统的仿真一致表明框架有效、稳健且可扩展；优化到MDP的转化可在可再生随机性和高维系统中稳定学习策略，局部与协调FDI攻击下均可通过协调常规发电、可再生资源、无功支持和BESS恢复安全运行，并保持原优化目标。讨论还指出，除网络攻击外，执行器故障和通信网络缺陷也会影响多智能体系统稳定性与一致性，联合考虑不同网络攻击与物理或通信故障是未来方向。
4. 结论（Conclusions）翻译如下：本文提出一种通用基于RL的框架，用于求解多时段随机电力系统优化问题，重点应用于RAS以增强智能电力系统抵御FDI网络攻击的韧性。仿真结果表明，所提RL-based RAS为可再生集成智能电力系统在FDI攻击下提供了有效且计算高效的解决方案，并在两个不同规模的IEEE测试系统上得到验证。具体而言，在修改的IEEE 33节点配电系统和IEEE 118节点输电系统中，actor-critic RL框架成功学习到接近随机优化基准的运行策略，同时分别降低在线计算时间99.6%和99.8%，使所提方法适合实时应用。在网络攻击条件下，所提框架将Bus 33电压幅值从0.924 p.u.恢复至0.965 p.u.，对应4.44%改善，同时通过协调再调度发电、无功支持和BESS缓解线路拥塞。BESS调度策略在24 h内将SOC保持在20–90%运行限值内，可再生调度紧密跟踪可用可再生发电，最大失配仅3.0 MW，表明尽管存在网络扰动弃可再生仍最小。顺序补救动作通过降低电压偏差、支路负载和功率不平衡实现攻击后快速恢复，且振荡显著小于传统方法。总体而言，这些结果确认所提优化到MDP转化在保持基于优化解质量的同时，提供了现代高可再生渗透电力系统在 cyber-physical 威胁下安全运行所需的计算速度、自适应决策能力和韧性。未来步骤将聚焦于将所提RL-based RAS扩展到更复杂 cyber-physical 电力系统模型和实际实验验证，包括多智能体与分层RL框架、图神经网络和transformer架构、适应性隐蔽网络攻击与组合攻击、对抗RL、概率预测、需求响应、电动汽车充电和极端天气，以及硬件在环（HIL）和实时数字仿真器（RTDS）平台、微电网实验台和公用事业规模数据集验证，以促进从仿真研究向未来韧性智能电网实际部署的转化。
