基于动态弹性奖励的无人机群对抗多智能体强化学习框架

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：A Multi-Agent Reinforcement Learning Framework for Unmanned Aerial Vehicle Swarm Confrontation Based on Dynamic Resilience Rewards

　　

摘要：无人机集群对抗是一个动态韧性维持问题，即集群必须在持续攻击、节点损毁、信息干扰和性能退化的条件下保持任务能力。现有的多智能体强化学习方法通常将离散的目标选择与连续的动作控制分离开来，或者忽视对抗动作对目标的依赖性。此外，传统的奖励设计主要强调短期交战结果，对于在对抗过程中维持集群级韧性仅提供有限指导。为了解决这些局限性，本文提出了一种具有动态韧性奖励的参数共享混合动作多智能体强化学习方法PSH-MADDPG。所提出的框架采用共享混合演员网络，联合生成离散的目标选择决策和连续的动作控制指令，其中针对每个敌方的评分头保留目标级比较信息，目标条件连续控制头产生目标感知动作。动态韧性奖励整合了集群态势一致性、网络连通性和性能演化趋势，从而引导策略在持续攻击下实现可靠的任务能力维持，而不仅仅是短期击杀最大化。在10v10对抗场景的仿真中，PSH-MADDPG相较于基于学习的对手达到了79.24%、87.45%和93.55%的最终胜率。交叉博弈评估进一步表明，动态韧性策略在10v10和15v15场景下对阵传统奖励策略的胜率分别为100%和99.92%，存活率分别为87.61%和77.24%。这些结果表明，韧性驱动的混合动作学习可以同时提高对抗效能和集群级作战鲁棒性。

引言：凭借低成本、灵活部署、高机动性和强任务适应性等优势，无人机已在应急救援、环境监测和物流运输等多个领域得到广泛应用[1,2]。类似地，在军事领域，无人机的作战角色已从侦察支援和目标指示等辅助任务[3]逐步扩展到协同突防、区域压制和打击对抗等更密集的作战场景[4,5]。随着协同控制和自主决策技术的发展，无人机研究已从单平台作战逐渐转向多平台协同运用[6]。在此背景下，基于集群的、智能的、协同的无人机作战已成为未来无人空战系统的重要发展趋势。特别是，无人机集群对抗场景已成为突出的研究热点[7]。

为应对无人机集群对抗场景中的多状态、高交互性和动态演化特性所带来的建模挑战，近年来多智能体强化学习（MARL）已成为重要的研究范式[8,9]。MARL已被广泛应用于无人机集群应用，包括协同控制、路径规划、搜索与跟踪、协同围歼和对抗决策。在协同控制和路径规划方面，多智能体演员-评论家方法已被应用于机动护送跟踪[10]、协同导航[11]和动态环境中的自主轨迹生成[12]等任务，显著提升了复杂作战约束下的集群级决策能力。此外，图神经网络[13]和注意力机制[14]与MARL的融合在无人机集群搜索与跟踪以及协同围歼研究中得到了广泛探索。多智能体深度确定性策略梯度（MADDDPG）[15]、多智能体孪生延迟深度确定性策略梯度（MATD3）[16]和多智能体近端策略优化（MAPPO）[17]等算法的持续发展和完善，进一步证明了MARL在动态对抗环境和复杂博弈环境中的潜力。此外，研究人员越来越多地将这些方法扩展到直接的集群对集群对抗场景。

现有的集群对抗强化学习研究通常采用集中训练分散执行（CTDE）作为基本范式。这些研究通常将对抗任务建模为多智能体马尔可夫博弈，并在具有物理约束的环境中求解协同决策问题。早期工作将集群对抗建模为博弈论问题，然后利用强化学习进行策略优化。例如，Ren等人将集群空战建模为不完全信息动态博弈，并使用MADDPG来近似完美贝叶斯-纳什均衡[18]。Wang等人专注于比较不同算法在空战环境中的适用性，结果表明多智能体软演员-评论家（MASAC）在命中率、胜率和泛化能力方面表现优异[19]。后续研究逐渐转向稳定训练和提高收敛效率，对稀疏奖励、训练震荡和策略泛化等问题给予越来越多的关注。为了解决空战中长决策视野和极度稀疏的延迟奖励问题，Zhou等人提出了AHMAPPO以提高协同策略的收敛效率[20]。从不同角度追求类似目标的Zheng等人引入了一种奖励分配机制来抑制集群的消极行为，从而提高了多无人机协同机动动作的质量[21]。Yan等人进一步拓展了这一研究方向，考察了所学策略在面对不同敌方策略时是否仍能保持有效，从而增强了跨对手的泛化能力[22]。随着对抗规模的增大和环境复杂性的增加，Liu等人将图注意力和目标轨迹预测引入集群对抗，利用关系建模提升集群态势感知能力[23]。Wang等人采用种群进化来避免自博弈中的策略循环，并引入具有死亡掩码的注意力机制来处理编队规模的动态变化[24]。同时，Pang等人开发了一个三级分层强化学习框架，以增强多无人机协同和目标交战能力[25]。类似地，Xu等人采用分层方法将博弈层与机动层解耦，并通过虚拟对手和基于价值的注意力分解解决了混合协作-竞争条件下的信用分配问题[26]。这两种方法都通过分层决策缓解了连续集群机动与协同对抗决策之间的耦合困难。

上述研究证明了MARL在无人机集群对抗中的有效性，但现有方法仍存在一些局限性。首先，许多研究将决策输出建模为连续机动控制或离散的战术/目标决策，这倾向于将目标分配与动作生成解耦。然而，在真实的集群对抗中，无人机必须同时确定攻击哪个敌方以及如何向该目标机动或撤离。其次，为每架无人机分配独立的策略网络会随着集群规模的增大而增加参数数量和样本需求，这限制了可扩展性并可能降低同质智能体之间的策略一致性[8,9]。第三，大多数现有奖励设计侧重于局部几何优势、命中/击杀事件或最终胜负结果。这类奖励可以引导短期交战行为，但在持续攻击、节点故障、信息干扰和性能退化条件下维持集群级任务能力方面的支持十分有限。

在集群对抗场景中，无人机需要同时确定攻击目标和机动动作，这自然对应于将离散目标选择与连续机动控制相结合的混合动作空间。近年来，混合动作强化学习已被证明在能量调度[27]、边缘任务卸载[28]、移动充电[29]和交通控制[30]等领域更好地处理耦合的离散-连续决策问题。然而，其在集群对抗中的应用仍相对未被充分探索。

当集群中的无人机为同质型时，在同类智能体之间共享网络参数可以减少模型冗余、提高经验利用率并促进集体策略的一致性[31]。在无人机相关任务中，参数共享在路径规划[31]和协同追击[32]等场景中已展现出良好的泛化能力和可扩展性。然而，大多数现有集群对抗研究主要关注对抗机制、态势建模或经验选择，相对较少关注将参数共享和混合动作空间纳入统一的集群对抗建模框架。

在多智能体强化学习中，奖励机制直接塑造策略搜索方向和集体行为演化，因此是影响训练收敛、策略稳定性和最终对抗性能的关键因素[33,34]。现有集群对抗研究通常围绕距离逼近、瞬时态势状态、生存状态、打击效能、局部任务目标和最终任务完成等因素设计奖励项[[18], [19], [20], [21], [22], [23], [24], [25], [26]]。然而，大多数奖励项以局部几何关系或中间结果为中心，难以充分表征集群对抗中的整体态势效益和任务性能变化。此外，对于具有混合动作空间的任务，基于单一指标的奖励函数往往不足以同时评估目标选择的合理性、机动控制的效率以及两者之间的内在一致性。

在无人机集群对抗中，以击杀为目标的奖励可能鼓励短期激进行为，但并未明确评估集群在无人机损失、通信拓扑变化、信息干扰和持续对抗攻击后能否维持任务能力。在实际集群作战中，即使部分无人机受损或失效，剩余集群仍应保持态势感知、维持足够连通性、协调目标交战并持续作战效能。因此，无人机集群对抗更适当地被视为一个分布式自主系统的动态韧性维持问题，而非纯粹的回合制胜利问题。

在对抗过程中，集群持续面临节点损毁、通信拓扑变化、信息干扰和集体任务性能退化的挑战。因此，目标不应仅限于最大化击杀数或最终胜率，还应包括维持态势一致性、保持网络连通性以及维持可恢复的任务效能。这促使我们在MARL的奖励设计中引入动态韧性评估。

韧性作为使集群在持续攻击、动态博弈和资源受限条件下维持任务效能和恢复任务性能的关键能力指标，已被广泛应用于集群结构重构[35,36]、性能优化[37,38]和任务成功增强[39]。在对抗过程中，集群性能并不仅在最终终止步骤发生退化，而是随节点损毁、链路变化、感知不确定性和对抗干扰持续演化。仅基于命中事件、击杀或最终胜利的奖励函数只能提供稀疏且延迟的反馈，可能无法捕捉这种持续退化和恢复过程。Zhang等人提出了动态韧性概念，强调根据集群状态在对抗过程中的演化进行韧性的持续评估，从而为实时决策和调整提供依据[39]。动态韧性对集群维持态势一致性、保持网络连通性以及向更有利的作战状态演化的能力提供了时变评估。因此，本文引入动态韧性作为新的奖励评估指标[40]，并将其作为集群对抗中构建局部和全局奖励函数的核心准则[41]。

总之，本文为同质型无人机集群对抗开发了一种韧性驱动的混合动作MARL框架。所提出的参数共享混合MADDPG（PSH-MADDPG）框架将参数共享、混合离散-连续动作生成、目标条件机动控制和动态韧性奖励整合到统一的演员-评论家架构中。通过这种方式，该方法显式地将目标选择与机动控制耦合，通过参数共享提高可扩展性，并将策略优化与集群可靠性和韧性评估联系起来。本文的主要贡献总结如下：

• 为无人机集群对抗开发了一种韧性驱动的混合动作MARL框架。对抗过程不仅被建模为胜利最大化任务，还被建模为节点损毁、信息干扰和集群性能退化条件下的动态韧性维持问题。该框架加强了无人机集群决策与韧性评估之间的联系。

• 设计了一种参数共享的混合动作演员网络，联合建模目标选择和机动控制。共享演员网络在统一的策略网络中输出离散目标选择决策和连续机动控制动作。针对每个敌方的评分头保留目标级比较信息，目标条件机动头产生目标感知的连续动作。

• 开发了一种动态韧性奖励，将无人机集群对抗与韧性评估联系起来。该奖励设计不仅将对抗视为纯粹的胜利最大化问题，还评估集群在持续攻击、节点损毁、信息干扰和性能退化下维持任务能力的能力。该奖励整合了集群态势一致性、网络连通性和性能演化趋势，鼓励集群在对抗过程中维持可靠的任务能力和稳定的集体性能。

本文其余部分组织如下。第2节建立了集群对抗场景中无人机的数学模型并介绍了动态韧性评估方法。第3节将集群对抗建模为部分可观测马尔可夫博弈。第4节提出了用于智能集群对抗的PSH-MADDPG框架。

第5节提供了仿真实验与分析，第6节对论文进行了总结。本文片段**问题建模**本节建立了如图1所示的无人机集群对抗的环境模型和弹性评估基础。无人机动力学模型、态势评估模型和攻击模型作为环境组成部分，动态弹性评估模型与参数共享的混合动作多智能体强化学习（MARL）框架集成在一起。无人机动力学模型首先定义了单个平台的状态演化和运动约束。集群态势评估模型随后评估多智能体强化学习建模**本文研究了一个二维智能集群红蓝对抗场景。**对抗过程涉及队内合作和队间竞争，是一个典型的部分可观测、多智能体、强耦合决策问题。为解决该问题，将原始MADDPG框架扩展为参数共享混合MADDPG（PSH-MADDPG）框架。在保留集中训练、分散执行（CTDE）的同时**PSH-MADDPG框架用于智能集群对抗**在每个时间步，所有红方无人机通过共享的混合演员网络生成离散的目标选择和连续的机动控制，探索策略采用离散?-greedy和连续高斯噪声。环境返回下一时刻的局部观测、全局状态、奖励向量、终止标志和目标/存活掩码后，将团队级交互作为团队转移存储到回放缓冲区中。训练期间，从缓冲区中采样团队级批次。红方**实验设计**实验场景由同时生成在固定区域左右两侧的等规模红蓝无人机集群组成。任务在满足以下任一条件时终止：（1）任一方所有无人机被消灭；（2）任一方连续Stepno-atk步未执行任何攻击动作，判定为平局；（3）达到最大步数限制Stepmax且双方均未完全被消灭，判定为平局。**结论**本文提出了PSH-MADDPG，一种用于无人机集群对抗决策的参数共享混合多智能体强化学习框架。通过引入按敌方计分的目标头、目标条件连续控制头、共享向量评论家和团队级回放缓冲区，PSH-MADDPG在CTDE范式下建立了协同目标分配和机动控制的统一结构。在5v5、10v10和15v15对抗场景中的大量仿真实验表明，该方法**CRediT作者贡献声明**张弛：撰写——初稿，可视化，形式化分析，数据管理。白广涵：方法论，经费获取。段东利：撰写——审阅与编辑，验证。张萌萌：撰写——审阅与编辑，验证。陶俊勇：项目管理，经费获取。张弛|白广涵|段东利|张萌萌|陶俊勇