基于杀伤链知识引导的分层多目标强化学习增强自主无人蜂群韧性研究

本文提出HRL-KCIMOO创新框架，通过杀伤链（Kill Chain）知识预训练与动态多目标优化的协同整合，解决了自主无人蜂群（AUS）在对抗干扰中的韧性增强挑战。该框架采用图注意力编码器预训练和分层强化学习（HRL）架构，实现了目标间动态权衡与分布式协同控制，显著提升了系统在任务连续性、快速恢复和长期鲁棒性等方面的性能表现。

　　

亮点

• •
  提出融合杀伤链语义先验与分层多目标强化学习的韧性增强框架HRL-KCIMOO
• •
  通过元路径对比学习实现四类典型攻击-响应轨迹的图表示预训练
• •
  高层LSTM增强的Actor-Critic架构动态协调恢复速度、运行持续性及系统鲁棒性目标

方法

图2展示了HRL-KCIMOO框架的整体设计。图(a)将真实场景的自主无人蜂群抽象为包含四种语义节点类型（感知节点V_S、决策节点V_D、影响节点V_I和目标节点V_T）的异质图，并基于四种典型网络杀伤链序列构建自监督预训练任务。这些任务通过上下文预测、掩码重建和重要性排序三重目标，使图卷积网络（GCN）编码器学习具有因果关联的节点嵌入。图(b)演示了分层决策流程：高层智能体通过LSTM记忆模块生成动态权重向量，底层分布式智能体（基于MADDPG算法）执行具体的节点替换或协同行动。

实验

为验证HRL-KCIMOO的有效性，我们在仿真自主无人蜂群环境中开展了全面实验。如图3所示，实验拓扑包含传感器、决策器、影响器和目标四类功能节点，其有向连接体现了任务关键的功能依赖关系。通过对比基线方法和消融实验，系统评估了框架在多样化对抗场景下的韧性表现。

结论

HRL-KCIMOO框架通过杀伤链知识注入与分层多目标优化的有机结合，显著提升了自主无人蜂群在动态对抗环境中的适应性恢复能力。预训练阶段学习的语义表征使智能体具备对系统功能依赖的深层认知，而分层决策机制实现了多目标间的动态权衡，为复杂系统韧性控制提供了新范式。