《Defence Technology》：Sparse and intelligent command of unmanned swarms via hierarchical multiagent reinforcement learning
编辑推荐：
在现代国防作战中，将无人集群集成到有人/无人协同系统中受到指挥官决策过载和通信链路的严重制约，这构成了关键的指挥控制(C2)挑战。为此，研究人员提出了HSI-HMARL，这是一种专为人类-集群交互(HSI)中的稀疏指令设计的新型分层多智能体强化学习(HMARL
在现代国防作战中，将无人集群集成到有人/无人协同系统中受到指挥官决策过载和通信链路的严重制约，这构成了关键的指挥控制(C2)挑战。为此，研究人员提出了HSI-HMARL，这是一种专为人类-集群交互(HSI)中的稀疏指令设计的新型分层多智能体强化学习(HMARL)框架，由一种新颖的C2范式及相应的智能决策学习方法组成。通过将系统级C2层级与策略级算法层级相融合，HSI-HMARL允许指挥智能体通过从可解释的、预训练的战术行为库（即联合宏动作）中进行选择，将整个集群作为单一抽象智能体进行指挥。这种方法大幅降低了通信带宽需求，减轻了指挥智能体的决策负担，从而通过直观的高级干预实现了有效的有人/无人协同。该方法使得指挥复杂度与集群规模无关，减少了通信带宽和指挥官的认知负荷。仿真和真实世界机器人实验表明，所提方法实现了以高学习效率、减少通信开销和无缝人类干预为特征的高效集群控制，显示了其在现实世界国防应用中的潜力。
论文解读
研究背景与意义
现代国防应用中，将无人集群集成到有人/无人协同系统具有增强作战能力的巨大潜力。然而，由于防御环境的限制和集群的复杂性，构建有效的指挥控制（Command and Control, C2）框架以管理这种人类与集群的交互仍然是一个关键的未解难题。传统的基于微观管理的C2方法在通信过载和决策负担方面变得不可行。理想的C2框架需要具备人工智能赋能的智能决策能力、管理大规模集群的可扩展性，以及确保人类指挥官信任和有效干预的透明度。现有分层多智能体强化学习（Hierarchical Multi-Agent Reinforcement Learning, HMARL）框架主要侧重于通过学习效率进行策略级分解，与集群C2所需的指挥官到集群的系统级层级存在根本性的不匹配。此外，主流框架依赖不可解释的潜在向量或内部选项索引进行端到端训练，阻碍了人类指挥官直观地理解和干预集群行为，使其不适用于C2等安全关键的国防应用。因此，迫切需要一种能够解决这些矛盾的新型框架。
关键技术方法
研究人员提出了HSI-HMARL框架，其核心在于将HMARL的算法策略层级与系统的物理C2层级显式对齐。研究人员引入了抽象智能体概念，将整个无人集群视为一个单一且内聚的实体，指挥智能体通过从该库中选择联合宏动作来指导抽象智能体。联合宏动作受Options框架启发，由起始集、策略和终止条件定义，实现了时空抽象。该框架采用解耦的两阶段学习方案：第一阶段是联合宏动作库预生成，针对各子任务训练底层执行策略（如使用独立深度Q网络IDQN），也可结合领域知识手动设计；第二阶段是指挥策略学习，将底层固定后的高层决策建模为半马尔可夫决策过程（Semi-Markov Decision Process, SMDP），利用深度Q网络学习高层战略策略以最大化全局回报。为验证框架，研究人员设计了多智能体搜索与攻击（Multi-agent Searching and Attacking, MSA）仿真环境，并通过定制化的SwarmBang地面机器人系统进行了实物实验。
研究结果
1. 仿真实验环境（MSA环境与联合宏动作库生成）
研究人员构建了MSA仿真环境模拟军事任务，包含3个执行智能体和3个目标，网格划分为3×3区域。指挥智能体与执行智能体具有非对称的观察空间。研究人员成功生成了包含7个基本行为的联合宏动作库，涵盖战术重定位（上下左右移动）、驻留保持（包围、悬停）和任务执行（攻击分配）。各子策略均通过奖励函数引导收敛，例如战术移动策略鼓励保持队形朝向指定方向，包围策略引导智能体进入目标周围的环形区域，攻击策略结合规则分配与目标导引实现避碰攻击。
2. 稀疏指令下的智能分层决策性能验证
在场景1（时间紧迫的协调打击）中，目标识别时间为0步。HSI-HMARL展现出卓越的学习效率，收敛至显著高于所有基线（IDQN、MATD3、IPPO、MAPPO）的平均回报，攻击成功率达到约90%。在一个494步的任务中，仅需10条高级指令即可完成。在场景2（识别与攻击）中，引入80步的目标识别时间。尽管难度增加，HSI-HMARL仍保持领先优势。指挥策略能智能地利用包围联合宏动作满足识别要求，并在711步的任务中仅发出15条指令，证明了其对复杂约束的战略适应性。
3. 人在回路指挥控制
研究人员验证了人类操作员可随时通过简单的键盘按键发布不同的联合宏动作指令来覆盖习得策略。在场景1中，操作员通过3次人工指令调整策略，使集群优先清理上方两行区域，464步任务共需12条指令（含3条人工）。在场景2中，操作员实施了“全发现后再全攻击”的策略。这证明了该框架支持人类与无人集群无缝协作，极大提升了指挥效率和通信稀疏性。
4. 真实世界机器人实验
研究人员采用SwarmBang轮式机器人在约2米×2米竞技场进行实物验证。系统包含运动捕捉系统和中央控制服务器。在完全自主模式下，集群成功探索所有网格并攻击所有目标，耗时260秒仅需11条指令。在混合模式下，人类操作员中途介入重定向探索策略，耗时304秒共需12条指令。实物实验与仿真结果一致，证实了HSI-HMARL在真实场景中的有效性。
讨论与结论翻译
讨论：
本文介绍了HSI-HMARL，这是一种旨在解决有人/无人协同系统中固有C2挑战的新型HMARL框架。通过显式地将算法策略级层级与物理系统级层级对齐，HSI-HMARL实现了一种稀疏且智能的指挥范式。通过抽象智能体、可解释的联合宏动作库和解耦的两阶段学习方案融合层级，共同满足了国防应用中对智能决策、可解释性和通信效率的C2需求。所提HSI-HMARL的有效性通过仿真和物理机器人实验得到了验证，证明了其优越性和适用性。
在潜在的现实世界国防应用中，HSI-HMARL非常适合应对若干关键制约因素。首先，它通过采用稀疏指令适应常见于电子战或海上防御场景的通信限制。其次，由于指挥逻辑独立于集群规模，即使某些智能体受损或丢失，HSI-HMARL仍能保持鲁棒性。此外，指令的可解释性使得指挥官更容易审查和修改它们，从而满足国防场景的安全要求。
值得注意的是，虽然所提框架在决策方面表现出强大的可扩展性，但生成联合宏动作库的难度可能会随着集群规模的增加而增加，这是未来研究需要解决的局限性。此外，未来的工作还将侧重于自动化联合宏动作发现以减少人工设计工作，结合生物启发的集群行为，并将框架扩展到更复杂动态环境中的异构集群。
结论：
这项研究提出的HSI-HMARL框架成功解决了有人/无人协同系统中的C2挑战。通过将系统级C2层级与策略级算法层级相融合，实现了稀疏且智能的指挥范式。仿真和实物实验验证了其在学习效率、通信开销和人类干预方面的优越性，为现实世界的国防应用提供了切实可行的解决方案。
