摘要
网络物理系统（CPS），包括智能电网和工业控制网络，即便面临日益复杂的网络威胁，也需保持安全稳定的运行。现有的动态目标防御策略往往依赖固定的重配置方案或简单的学习架构，这类方法难以扩展，也无法在实时约束下确保系统的运行弹性。本研究提出了一种以弹性为目标的层次化多智能体强化学习框架，用于CPS环境中的动态目标防御。攻击者与防御者的互动被建模为部分可观测的随机博弈，使得防御者能够在信息不完整的情况下学习出适应性策略。该框架由三层组成：负责优化高级防御参数的战略性多智能体强化学习层、用于低延迟选择防御者的分布式胜者通吃协调层，以及基于滑模控制的稳健执行层，后者能在系统重配置时维持物理系统的稳定性。通过将战略调整与实时控制分离，该框架提升了可扩展性，并能通过选择性激活智能体来实现资源高效的防御。大量模拟实验表明，当有50个防御智能体时，该方法的防御成功率为92.4%，相比随机动态目标防御，响应时间缩短了15%；与简单多智能体强化学习相比，平均能耗降低了34%（当N = 50时，能耗降低幅度可达52%）。这些结果说明，层次化多智能体强化学习可通过实现高效、安全的动态网络攻击防御，显著提升CPS系统的弹性。该框架尤其适用于那些存在严格实时性及安全要求的边缘计算支持型CPS环境。
