MA2TD3：多组仿射编队控制的优化

《Neurocomputing》：MA2TD3: Optimization for control of multi-group affine formations

　　

摘要本文研究了具有不同分组方式的仿射编队控制的优化问题。设计了一种所谓的嵌有多头自注意力的多智能体双延迟深度确定性策略梯度（MA2TD3）算法，旨在对抗环境中实现编队分组的最佳胜率和伤害比，其中采用多智能体双延迟深度确定性策略梯度（MATD3）来实现包括平移、旋转和缩放在内的仿射编队分组之间的协同协调，并将多头自注意力（MA）嵌入到执行器网络中，以从高维观测中关注动态演变的战场态势。仿真实验评估了算法在各种分组配置下的性能，表明胜率提高了至少 22.3%，伤害比提高了至少 24.4%。

引言
编队控制已广泛应用于救援搜索 [1], [2], [3]、情报监视、侦察 [4], [5], [6], [7], [8] 和作战 [9], [10], [11], [12], [13] 中。在 [14], [15] 中，设计了基于位移的控制器以实现不依赖全局坐标系的编队生成控制。在 [16], [17] 中，基于距离的控制器在编队的平移和旋转控制方面表现出巨大的能力。在 [18], [19], [20] 中，设计了基于方位角的控制器以实现编队的平移和缩放手势，这降低了对测量设备的要求。

鉴于对抗环境的复杂性和快速变化特性，编队的高效变换对决战结果至关重要。作为包含平移、旋转、剪切和缩放等几何变换的数学工具，仿射变换为描述灵活多变的编队提供了强大的框架。在 [21] 中，发明了一种基于应力矩阵的仿射编队控制方法，实现了静态仿射编队生成。在 [22] 中，基于应力矩阵和领导者 - 跟随者框架设计了一种仿射编队机动控制律。[23] 给出了一个扩展案例，使得提出的控制器能够在动态无人机到达或离开期间通过分布式局部测量处理编队拓扑修复，同时保证通用刚性和编队唯一性，并保持良好的跟踪控制律兼容性。为解决网络化水面海洋车辆仿射编队中的姿态失真问题，[24] 提出了一种联合位置 - 姿态约束以及完全分布式控制律，供跟随者适应如 GPS 失效等特殊情况进行。[25], [26], [27], [28], [29] 考虑了仿射编队中碰撞避免、干扰抑制和事件触发方法的情况。在 [30] 中，给出了一种最小时间驱动的领导力评估算法和功率转移控制器，以促进仿射编队中的自主领导者选择。然而，其在复杂动态场景中的有效性仍有待观察。

从上述分析中可以明显看出，在传统控制律下，编队的机动性和可扩展性受到限制，在对抗环境中的泛化适应能力明显不足，特别是对于高度动态的对抗。鉴于对抗是一个高度动态、多轮的过程，其中产生了大量的历史数据，仿射编队利用这些经验自适应地学习和优化编队参数是自然的。深度强化学习（DRL）成为该领域的一种趋势解决方案 [31], [32]。基于深度强化学习的多智能体对抗 [33], [34], [35], [36] 和编队维持 [37], [38], [39], [40], [41] 已有大量研究。最近，基于分组的决策已成为降低大规模多智能体对抗复杂性的一个重要策略。在 [42] 中，提出了一种用于无人机群作战的分层强化学习框架，引入了自适应分组和单元化决策机制。通过将群体分解为更小的战术单元（例如，1 对 1 和 2 对 1 交战），提出的方法降低了大规模多智能体场景中的联合决策空间复杂性。[43] 提出了一种用于大规模无人机群对抗的模糊多智能体强化学习框架，其中多个无人机被抽象为数量较少的模糊智能体，而不是为每个无人机分配独立的策略。提出的方法在组级别实现策略共享，并降低了决策的计算和参数复杂性。学习到的抽象策略随后通过去模糊化过程转换为单个无人机行为。在 [44] 中，引入了一种自适应分组机制，其中智能体根据它们学习到的交互关系（由拓扑图表示）进行动态聚类。通过分组高度相关的智能体并在每个组内共享参数，提出的方法降低了大规模多智能体学习的复杂性。

然而，关于基于 DRL 的仿射编队控制和多编队对抗的`研究仍然相对较少。在 [45] 中，设计了一种模型 - 数据混合驱动框架，其中基于模型的决策层用于动态调整仿射编队成员的目标位置，而 DRL 驱动的执行层被训练以跟踪目标仿射编队并避免障碍物。在 [46] 中，提出了一种适合 DRL 架构和对抗任务的仿射编队框架，通过调整仿射参数集的值来实现平移、旋转和缩放之间的转换。此外，设计了一种所谓的基于双延迟 DDPG 的行为克隆增强近端策略优化（TD3-BC-PPO）算法，用于训练战斗场景中的编队。然而，随着智能体数量的增加，[46] 中的算法可能面临编队笨重、观测冗余和机动性差等问题。鉴于分组控制的抗损伤属性和灵活性，讨论多个仿射编队之间的协作是必须的。

本文研究了在对抗环境中多个仿射编队的优化问题，其中每个独立的仿射编队通过动态调整各自的仿射参数来实现协调合作。为了最大化胜率和伤害比，提出了一种名为嵌有多头自注意力的多智能体双延迟深度确定性策略梯度（MA2TD3）的 DRL 算法，具有复合奖励函数，以协调编队行为并共同击败敌方编队。主要贡献如下。

1. 本文采用了组级决策和个体级执行相结合框架，其中每个编队被视为一个决策单元，并使用五维参数集来描述整个编队的平移、缩放和旋转。需要注意的是，仿射变换在编队机动和每个智能体应移动到的目标位置之间建立了桥梁。
2. 通过多头自注意力机制整合到执行器网络中，提出的 MA2TD3 算法可以同时捕获高维输入数据内的多维和多尺度依赖关系，从而为实现多个编队之间的协调合作提供有效基础。
3. 在不同场景下的消融和对比实验表明，MA2TD3 算法在大多数指标上表现出有效性和优越性，其中 MA2TD3 在三张地图上将胜率提高了至少 22.3%，将伤害比提高了至少 24.4%。提出的算法在面对不同的编队分组部署时也显示出强大的鲁棒性。

本文组织如下。第 2 节介绍了仿射编队和多组合作仿射编队的参数优化问题。第 3 节给出了 MA2TD3 算法的设计。第 4 节通过不同的场景配置验证了 MA2TD3 的有效性。第 5 节是结论。

章节片段

问题陈述
考虑合作组，表示为，其中每个组由智能体组成，并且要求形成其对应的仿射编队。设为组中第个智能体相对于对应仿射编队中心的相对位置。另外设为仿射参数集，其中和分别是沿 X 轴和 Y 轴的缩放算子；表示顺时针旋转算子；和表示沿 X 轴和 Y 轴的平移算子，

算法设计
如图 2 所示，MA2TD3 的框架包括多智能体双延迟深度确定性策略梯度（MATD3）和多头自注意力（MA），其中 MATD3 为每个组分配一个执行器和两个评论家网络，而 MA 嵌入在每个执行器网络中。MA2TD3 通过集中训练分布式执行（CTDE）实现多个编组组之间的合作，并利用 MA 从中提取更相关的特征以增强策略的有效性。

实验与分析
在 4.1 节中，消融研究揭示了 MA 对算法的贡献。在 4.2 节中，对比实验将 MA2TD3 与几种先进的 DRL 算法进行对比，证明了所提出方法的优越性。小节 4.3-4.5 节显示了我们的方法在不同初始编队结构、不同分组方案条件和不对称对抗力量下的鲁棒性。

仿真实验基于 StarCraft Multi-Agent 进行。

结论
本文研究了在对抗环境中多组仿射编队的参数优化。编队通过实时调整五维仿射参数实现平移、旋转和缩放，并通过执行组内机动和组间协调来击败敌方编队。MA2TD3 算法通过将 MA 整合到执行器网络中设计而成，以增强复杂战场环境的建模，这显著有助于

CRediT 作者贡献声明
孙海心：撰写 - 初稿，软件，方法论，调查，概念化。王祥宇：监督，资源，方法论。陈洋洋：撰写 - 审阅 & 编辑，监督，资源，方法论。

竞争利益声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文报告的工作。

孙海心于 2024 年获得中国南京东南大学自动化学院学士学位，目前他在该校攻读控制科学与工程硕士学位。他的研究兴趣包括多智能体深度强化学习及其在编队控制中的应用。

孙海心 | 王祥宇 | 陈洋洋
中国南京东南大学自动化学院，210000