DRRL：一种基于深度强化学习实现弹性无人智能集群动态解体的方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：DRRL: A Dynamic Disintegration Method for Unmanned Intelligent Swarm based on Resilience via Deep Reinforcement Learning

　　

本文提出了一种基于深度强化学习并融合韧性（DRRL）的智能瓦解框架，以解决无人机智能集群的动态与自适应特性削弱瓦解性能这一难题。• 通过嵌入集群运动行为规则和自适应重连特性，并考虑实际地理距离和通信距离的约束，建立了一个动态网络模型。• 考虑到集群的动态自适应特性会削弱瓦解效果，引入了韧性理论。• 提出了一种基于融合韧性的深度强化学习的智能瓦解框架（DRRL），以应对无人机智能集群动态与自适应特性损害瓦解性能的难题。• DRRL 可以在具有物理运动和偏好连接重连机制的动态系统中，搜索出能够破坏网络连通性并降低网络韧性的低成本瓦解策略。引言无人机智能集群由一群具有自调节能力的智能个体组成，能够在复杂动态环境中以自组织、自适应的方式执行任务，从而实现整体任务目标 [1,2]。在遭受外部扰动时，它表现出一定的生存能力和韧性 [3,4]，并通过重构来确保任务完成。它已能够应对复杂多变的环境，成为现代对抗中的关键且具有威胁性的力量。当集群的强大性能被用于有害目的，例如恐怖组织的集群时，瓦解它们是一个需要解决的难题。信息交换（IE）网络构成了无人机智能集群自主协调的核心基础 [5,6]，而破坏该网络构成了集群瓦解的关键途径 [7,8]。其拓扑结构的底层演化受集群自身的运动规则支配。因此，有效的瓦解主要通过破坏支撑集群实体之间协调与协作的底层 IE 网络来实现。集群瓦解的本质在于瓦解一个具有自我恢复能力的动态演化网络拓扑 [9,10]。通过分析网络的关键节点和拓扑的鲁棒性，寻求一种最优的移除序列来移除节点以实现网络瓦解 [11,12]。节点的关键度包括度中心性、介数中心性、特征向量中心性、K-Core 中心性、Katz 中心性、PageRank 中心性等。这类中心性指标可以帮助识别某一方面最关键的节点，但未必能得到用于瓦解的最优节点集合。经典的瓦解方法还包括数学规划方法。通常将瓦解问题建模为目标规划模型 [13]，并使用分支定界法和动态规划等方法求解 [9]。这类方法通常需要明确的网络定义和约束条件，但在大规模网络中难以求解。进一步发展后，引入了启发式算法，例如贪心算法、遗传算法 [14,15] 等，具有很高的求解效率，但可能会陷入局部最优。相关的瓦解算法见表 1。为了实现更高效的网络瓦解，现有研究已从传统的图论启发式算法演变为数据驱动的深度学习范式。由于在复杂建模和决策优化方面的突出优势，机器学习方法受到了广泛关注。基于机器学习的相关瓦解算法见表 2。然而，集群智能体的运动和移除会改变网络结构，使得网络能够在瞬时扰动之后通过重连恢复其功能 [35]，从而削弱了瓦解效果。因此，传统的瓦解方法存在一定局限性。作为衡量集群系统在扰动下维持核心功能、实现恢复和重连能力的关键属性，集群韧性对集群瓦解起着重要影响 [36,37]。然而，传统的网络瓦解策略大多关注静态结构破坏或瞬时瓦解效果 [11,38,39]，忽略了扰动后网络自适应调整和动态重连等韧性机制。这导致由于网络自我恢复而实际瓦解效力衰减。[7] 提出了一种基于相对韧性的无人机集群瓦解模型，验证了韧性在集群网络瓦解中的有效性。然而，该模型提出的启发式算法对于大规模和动态集群网络仍存在计算时间复杂度高问题。基于韧性的瓦解策略可以提高瓦解效果，并能够更好地适应动态和复杂的网络环境 [7,10]。基于强化学习的瓦解框架能够实现高效瓦解，并且在大规模应用中的计算效率和可扩展性方面表现出显著优势 [29,33]。然而，现有的相关强化学习模型并未融入韧性机制，这导致在面对具有韧性的无人机智能集群 IE 网络时难以实现高效准确的瓦解。因此，针对无人机智能集群瓦解的难点，本文提出了一种基于深度强化学习的融合韧性的集群瓦解方法（DRRL）。DRRL 不仅能在静态拓扑中找到关键点，还能在具有物理运动和偏好连接重连机制的动态系统中，搜索出能够破坏网络连通性并降低网络韧性的低成本瓦解策略。为表示集群网络在不同规模和运动条件下的时间演化，通过整合集群运动行为、空间位置演化和通信拓扑动态，并考虑集群节点的连续移动性和地理约束，开发了一个动态集群网络模型。随后，引入韧性理论来刻画瓦解过程中结构的恢复能力和功能保持能力。相应地，将集群网络瓦解重新表述为一个旨在持续降低网络韧性的动态控制问题。通过将韧性反馈纳入学习过程，开发了一个具备韧性感知能力的深度强化学习框架（DRRL），以生成有效的集群瓦解策略。本文的主要贡献总结如下：（1）提出了一种动态集群网络重连模型，以解决集群的移动特性和地理通信约束。通过将空间运动演化与通信拓扑变化相整合，该模型为具有不同规模和动态行为的物理集群建模提供了框架。（2）引入了一种基于韧性的集群网络瓦解机制，以解决传统静态瓦解方法在面对高度自组织和自适应集群时的局限性。所提方法为动态集群瓦解引入了连续韧性过程。（3）开发了一个深度强化学习框架，用于优化动态重建集群网络中的自适应瓦解策略。该框架通过整合韧性和自适应决策机制，在瓦解有效性和运营成本之间实现了有效权衡。章节片段集群自适应行为与动态网络建模复杂的集体行为源于简单个体行为与集群内部交互规则之间的相互作用。它们在动态环境中表现出自组织和自适应等特性 [40]。个体遵循逻辑规则表现出不同的行为模式。根据 Couzin 模型 [41]，集群运动受三条规则支配：邻居碰撞避免、方向对齐和邻居吸引。a）碰撞避免是首要的破坏与重连过程对于一个无向动态图 G(t)=(V(t),E(t))，其中 V(t)=v1,v2,v3,…vn 表示 t 时刻网络中的节点集合，集合大小为 |V(t)|=n，E(t)?V(t)×V(t) 表示 t 时刻的边集合，集合大小为 |E|=m，A(t)∈{0,1}n×n 表示 t 时刻网络的邻接矩阵。设 Vtds={v1,v2,…vk} 表示 tds 时刻被移除的节点序列，其中被移除节点的数量为 k。那么，移除节点之后的节点集合表示为 V(td+)=V(td?)?VtdsDQN 方法本研究在深度 Q 网络（DQN）框架下设计模型。引入了一个图神经网络（GNN）编码器，将图结构信息转换为节点嵌入和全局嵌入。DQN 框架如图 9 所示。节点嵌入为：hv(0)=Xv，hv(l+1)=σ(W(l)·CONCAT(hv(l),AGG({hu(l)|?u∈N(v)})))，其中，N(v) 是节点 v 的邻居集合，AGG(·) 是聚合函数，σ(·) 是激活函数。全局嵌入获得图级别案例研究测试机器配备 NVIDIA GeForce RTX 3060。实验使用 Python 3.13.5 和 PyTorch 2.9.1+cu124 进行。关键模型训练参数设置如下。训练轨迹如图 11 所示。通过编译和分析来自 6,000 次训练迭代的轨迹日志，结果表明策略已经收敛，并形成了以最少点删除和终止为特征的智能瓦解行为模式。结论为了解决无人机智能集群的动态与自适应特性削弱瓦解性能这一难题，本研究构建了一个基于融合韧性的深度强化学习的智能瓦解框架。通过将集群运动行为规则和自适应重连特性嵌入到环境中，并考虑实际地理距离和通信距离的约束，构建了一个动态网络模型。CRediT 作者贡献声明Yawen Zhu：撰写—审稿与编辑，撰写—原稿，可视化，方法论，形式化分析，概念化。Guanghan Bai：撰写—审稿与编辑，监督，方法论，获取资金，概念化。Bo Li：项目管理，调查研究，数据整理，概念化。Chi Zhang：验证，形式化分析，概念化。Junyong Tao：监督，项目管理，方法论。Yawen Zhu｜Guanghan Bai｜Bo Li｜Chi Zhang｜Junyong Tao