DQN-CFMA：一种考虑局部状态的深度强化学习方法，用于资源受限的临时网络中的级联故障缓解

《Ad Hoc Networks》：DQN-CFMA: Local-state-aware deep reinforcement learning for cascading failure mitigation in resource-constrained ad hoc networks

　　摘要：在无线和基于传感器的自组织网络中，级联故障会对系统的弹性构成严重威胁，尤其是在遭受有针对性的过载攻击时。本文提出了一种基于深度Q网络的级联故障缓解算法（DQN-CFMA），该算法利用局部感知的强化学习技术在级联传播过程中动态分配节点负载。通过引入离散的单负载传输动作空间以及结合跳数惩罚和全局网络效率的双目标奖励函数，该算法能够为自适应决策提供指导。在随机网络和BA无标度网络上的大量仿真结果表明，DQN-CFMA显著降低了节点故障率并提升了网络效率，其性能优于基于静态距离和容量的策略以及传统的Q学习方法。所提出的方法为易受过载影响的自组织网络场景下的实时弹性增强提供了可扩展且有效的解决方案。

引言：在现代复杂网络的背景下，级联故障已成为亟需解决的关键问题[1]。随着信息技术的快速发展，包括电力、通信和交通系统在内的各种网络日益相互连通，形成了高度复杂的系统[2]、[3]、[4]。网络中单个节点或边的故障可能引发连锁反应，导致大规模的级联故障。这类事件不仅会扰乱个人和组织的正常运作，还会对社会稳定与安全构成重大威胁。例如，2003年美国的东北部大停电[5]以及2017年的WannaCry网络攻击事件[6]都表明，级联故障可能导致关键基础设施瘫痪。为有效应对级联故障带来的挑战，人们提出了多种缓解算法。早期的算法主要依赖于静态网络结构，如基于距离的分配和基于剩余容量的分配，其目的是通过优化节点间的负载分布来降低故障传播的风险。Motter等人提出了经典的负载-容量模型，该模型认为网络信息会沿着节点间的最短路径传递[7]。Jin等人则提出了一个整合病毒传播与级联故障的模型，用于研究动态交互对网络的影响。该模型采用了基于流行病机制的负载重分配策略，将过载与病毒传播过程相结合，以控制和防止“疾病”传播[8]。Smolyak等人开发了一种针对关键节点的保护方法，识别出那些对故障传播和放大具有最大影响力的节点。他们通过负载分配策略保护选定的关键节点，以此来缓解级联故障。该方法已在现实世界的银行和资产网络中得到应用，并证明了其有效性[9]。Wang提出了一种针对网络级联故障的缓解策略，介绍了四种基于节点负载和局部动态特性的方法，并在BA无标度网络上进行了优化。仿真比较表明，在不同参数条件下，对于小规模故障，MHHC（最大高度高容量）和MHC（最大高容量）策略更为有效；而对于大规模故障，MHL策略最为有效，从而提升了实际网络的鲁棒性，防止了级联故障的发生[10]。Duan等人研究了无标度网络中节点在全局和邻域环境下的负载重分配策略[11]。Wang等人则提出了一种算法，为研发网络中的级联故障建立了模型，制定了应对研发项目进度风险的缓解策略，并发现了任务网络中的某些规律[12]。然而，这些方法往往无法充分考虑网络内的动态特性和复杂交互，因此在应对现实世界场景的复杂性方面存在局限性。近年来，Q学习的应用为级联故障缓解带来了新的策略。Q学习通过模拟自然的自组织行为和学习机制，提升了网络的适应性和鲁棒性。据此，人们提出了许多级联故障模型。Shen等人运用Q学习研究了在负载波动情况下，相互之间的流量重分配对相互依赖网络抵抗级联故障的鲁棒性的影响[13]。Duan等人则利用Q学习研究了流量网络抵抗级联故障的可靠性，同时考虑了个体行为和集体行为[14]。Hassan等人将Q学习应用于具有电池约束的混合能源蜂窝网络中的无线资源管理，通过优化资源分配来提升网络性能[15]。Liu等人提出了一种基于Q学习的蜂窝网络负载平衡方法，利用时空图神经网络流量预测来增强网络鲁棒性[16]。显然，强化学习，尤其是Q学习，在网络鲁棒性优化方面表现出了良好的效果。Q学习的简单性和易于实现性使其在小型问题上表现优异；然而，当面对大规模状态空间时，Q表可能会变得过于庞大，难以管理。相比之下，DQN通过深度学习克服了这些限制，使其能够适应更复杂的环境，但代价是需要大量的训练数据和计算资源。深度Q网络（DQN）由于其在处理高维状态空间和非线性问题方面的出色能力而受到了广泛关注。通过结合深度学习和强化学习的优势，DQN能够从网络交互中高效学习最优策略，并动态调整节点间的负载分配。特别是在级联故障场景中，DQN能够根据历史经验评估网络状态，从而做出更准确的决策。Zhang等人提出了一种基于改进的双层深度Q网络架构的路径规划方法，该方法可以对智能体进行分组，选择引导智能体，并指挥组内其他智能体撤离。该方法全面考虑了智能体的撤离时间和健康状况，采用AHEP（平均健康撤离性能）指标来评估撤离效果。与传统的A*和DIJKSTRA算法相比，该方法的性能分别提高了84%和104%[17]。此外，Zhen等人还将改进后的深度Q网络算法应用于无线传感器网络中的资源分配，通过进一步优化网络拓扑结构并设计网络资源优化模型，实现了网络资源负载的均衡分配，从而提升了无线传感器网络的资源利用率并延长了其运行寿命[18]。Zhang等人还为水下物联网提出了一种基于双深度Q网络的高效服务质量路由协议（DQN-EQSR）。该协议能够处理具有不同优先级的数据包，同时还适用于动态变化的传感器节点。仿真结果表明，该协议在数据包转发跳数、活跃节点比例、剩余能量比例、平均端到端延迟以及数据包交付率等方面均优于DBR和DQIR等传统方法[19]。除了基于价值的方法之外，策略梯度算法（PPO、A2C）和群体智能算法（ACO）也被应用于网络优化任务中[20]、[21]、[22]。不过，PPO和A2C在具有稀疏奖励的离散动作空间中存在较高的样本复杂度问题，而ACO则依赖于无法适应动态级联传播的静态启发式规则。尽管深度Q网络在网络资源调度和路径优化方面表现出色，但其在级联故障缓解中的应用仍然相对有限。作为一种基于价值的时间差分学习方法，DQN在处理级联故障缓解这类离散决策问题时，能够在表示能力和训练稳定性之间实现良好的平衡。最近的研究表明，通过引入动态的负载感知边缘介数度[23]以及在线流量重分配机制[24]，可以根据网络中断情况动态调整负载重分配路径，从而显著提升故障控制能力。基于这些进展，本研究采用基于学习的级联故障缓解方法。现有的动态重分配方法大多依赖于预定义的模型或自适应规则，它们并未将故障缓解明确地视为在不断变化的网络状态下的序列决策问题。此外，诸如Q学习之类的传统强化学习方法，在共同建模高维的局部节点状态和全局传播动态方面也存在困难。为了解决这些局限性，本文提出了一种基于深度Q网络的级联故障缓解算法（DQN-CFMA），该算法将DQN与单层过载网络中的级联故障缓解问题相结合。DQN-CFMA在设计上包含若干关键要素，包括单单元负载传输动作的设计、用于抑制级联传播的基于跳数计数的惩罚机制，以及局部故障惩罚和全球效率奖励的权重设置。在本研究中，级联故障缓解被构建为一个序列决策问题。在每个决策步骤中，系统状态会同时反映局部节点的负载状况以及相关的邻域信息，而动作则对应于选择相邻节点进行负载重分配。第3节将详细介绍状态空间和动作空间的定义。本文的主要贡献如下：模型创新：提出了单层过载攻击网络模型，该模型中节点容量会根据度分布和容量约束与负载变化动态关联，相较于静态的负载-容量模型，能更真实地模拟过载引发的级联故障；算法设计：采用基于深度Q网络的方法设计了级联故障缓解算法，通过限制每一步只能选择一个相邻节点进行单位负载传输，使得动作空间随节点度数呈线性增长，而非随可传输负载呈组合式增长。该算法还引入了基于跳数计数的惩罚机制来抑制长距离的级联传播，同时配置了双目标奖励函数，以在局部故障惩罚和全球网络效率之间取得平衡；实验验证：在随机网络和BA无标度网络上的大量仿真结果表明，采用半集中式奖励设计的DQN-CFMA算法始终优于传统的静态重分配方法。本文的其余部分结构如下：第2节介绍单层过载攻击网络模型及级联故障机制，包括负载-容量模型和评估指标；第3节详细阐述所提出的DQN-CFMA算法：3.1节说明选择DQN而非其他强化学习方法的原因；3.3节描述网络构建、DQN配置以及状态空间、动作空间和半集中式奖励函数的定义；3.4节分析该算法的计算复杂性、部署可行性以及分层部署架构；第4节介绍实验方案、超参数敏感性分析，以及在随机网络和BA无标度网络上与基准方法的对比评估结果。最后，第5节对本文进行总结，并探讨未来的研究方向。