通过基于深度Q网络的移动目标防御技术提升电网网络安全性，以抵御外国直接投资（FDI）发起的攻击

《Reliability Engineering & System Safety》：Enhancing Power Grid Cybersecurity Against FDI Attacks via Deep Q-Network-Based Moving Target Defense

智能电网网络安全；深度Q网络；移动目标防御；FDI攻击检测；多目标优化

　　

阿里·佩万德（Ali Peivand）| 埃赫桑·阿扎德·法尔萨尼（Ehsan Azad Farsani）

电气与计算机工程组，戈尔帕耶甘工程学院（Golpayegan College of Engineering），伊斯法罕理工大学（Isfahan University of Technology），戈尔帕耶甘，87717-67498，伊朗

摘要

网络安全威胁，如虚假数据注入（False Data Injection, FDI）攻击，对现代电力系统构成了重大风险，损害了系统的运行稳定性和经济效率。为应对这一挑战，我们提出了一种智能移动目标防御（Intelligent Moving Target Defense, iMTD）框架，该框架通过使用深度Q网络（Deep Q-Network, DQN）动态修改选定输电线路的电抗来增强电网的韧性。这种策略在确保对电力流动和成本影响最小的同时，隐藏了系统参数，使其难以被潜在攻击者发现。与现有的方法（如基于帕累托的多目标移动目标防御Multi-Objective Moving Target Defense, MO-MTD）和最小主角法（Smallest Principal Angle, SPA）不同，iMTD模型能够智能地识别并干扰最具影响力的线路，以在最小化运营成本影响的同时最大化攻击检测能力。我们设计了一种考虑成本的奖励结构，以平衡网络安全和系统效率。在IEEE 118节点测试系统上，对提出的框架进行了评估，涵盖了随机和对抗性FDI攻击场景，包括隐蔽性攻击、基于拓扑的攻击、经济性攻击、稀疏攻击、自适应攻击以及协同攻击。仿真结果表明，在随机FDI攻击下，iMTD的平均攻击检测率为91.3%，同时保持最优功率流（Optimal Power Flow, OPF）成本增加幅度低于0.0003%，相比SPA和MO-MTD基准方案，成本降低了高达99%。在最坏的对抗性攻击情况下，检测性能稳定在52.3%，且成本几乎不增加，这凸显了所学习防御策略对智能攻击者的鲁棒性。这些结果展示了智能强化学习技术在为网络物理电力系统开发自适应且具有成本效益的网络安全解决方案方面的潜力。

章节摘录

缩写说明

tbody>

MO-MTD	多目标移动目标防御	Φ	最优功率流成本
SPA	最小主角
FDI	虚假数据注入
MOEA/D	基于分解的多目标进化算法
SPEA	强度帕累托进化算法

$$$\backslash mrow>{\mathrm{C\_i}}_{}(G\_i,\backslash ,\; t)$ 在节点$\backslash mrow>\mathrm{G\_i}$产生$\backslash mrow>t$单位的功率成本 $$H_t 时间$t$的测量矩阵 $\backslash mrow>\stackrel{}{{\prime }_{}}$ 应用扰动后的测量矩阵 $\backslash delta\_i,\; k$ 克罗内克德尔塔函数（Kronecker delta function）

术语说明

A. 缩写说明

MO-MTD	多目标移动目标防御
SPA	最小主角
FDI	虚假数据注入
MOEA/D	基于分解的多目标进化算法
SPEA	强度帕累托进化算法

方法论

在本部分，我们阐述了一些直流最优功率流（DC Optimal Power Flow, DC-OPF）和移动目标防御（Moving Target Defense, MTD）相关方程的关键原理。虽然DC-OPF近似方法较为简化，但它能够实现扰动影响的实时评估，在学术研究和工业实践中被广泛用于日前市场和实时市场清算。对于具有显著无功功率流动的系统，可以通过适当的计算考虑将其扩展到交流最优功率流（AC-OPF）[10]。为了便于...

结果与讨论

本节展示了所提出的iMTD、MO-MTD和基于SPA的模型的仿真结果与分析。首先提供了与MO-MTD框架相关的结果并进行了解释，随后介绍了SPA辅助模型的结果。对于这两种模型，都需要定义一组特定的扰动目标线路。如前所述，iMTD模型在选择最具影响力的线路并施加最优扰动方面表现出色。相比之下，MO-MTD...

结论

本文提出了一种先进的智能移动目标防御（iMTD）框架，用于提升电力系统的网络安全性，特别强调了在攻击检测能力和运营成本增加之间实现最佳平衡。所提出的框架明确考虑了两种互补的iMTD实现方式：一种是针对随机攻击的iMTD，用于评估在随机攻击行为下的防御性能；另一种是针对智能、基于拓扑的攻击的iMTD...

CRediT作者贡献声明

阿里·佩万德（Ali Peivand）： 负责撰写原始稿件、软件开发、资源准备和方法论设计以及数据整理。埃赫桑·阿扎德·法尔萨尼（Ehsan Azad Farsani）： 负责审稿与编辑、项目监督以及概念构思。