《Machines》：Multi-Agent Reinforcement Learning for Multi-UAV Pursuit with Full Planar Motion and a Limited Detectable Region
Soobin Huh,
Sungwon Lim,
Hyeokjae Jang,
Woohyun Byun,
Suhyeong Yu and
Woochul Nam
编辑推荐：
本文针对多无人机追捕场景中传感约束与动力学模型不现实导致仿真与实机差距大的问题，引入高保真传感约束（如有限视场FOV）和全向运动模型（包括侧向运动），提出了一种基于多智能体强化学习（MARL）的协同追捕方法。研究设计了FOV相关的视线对齐奖励和可捕获性奖励，并开发了Isaac-Lab仿真环境。结果表明，所提方法显著提升了有限传感条件下的捕获成功率，特别是侧向运动在被追捕无人机更快时使成功率从0提升至99.2%，有效减少了“仿真-现实”差距。
无人机（UAV）的普及在带来便利的同时，也催生了隐私侵犯、非法拍摄乃至恐怖袭击等新的安全威胁。为了应对这些威胁，反无人机技术，特别是基于捕获（如网枪）的物理拦截方式，因其较高的安全性而受到关注。然而，使用单个无人机追捕目标面临着根本性的局限：其有限的视场（Field-of-View, FOV）和探测范围，使得跟踪快速、机动的目标变得异常困难，目标极易丢失。这促使研究者转向多无人机协同追捕的策略。
多无人机目标追捕通常被建模为“追逃博弈”，而多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）因其能在部分观测下进行去中心化决策并优化团队目标（如捕获成功率、捕获时间），成为解决该问题的有力工具。尽管已有不少研究将MARL应用于目标搜索或追捕，但许多工作采用了简化的环境抽象、传感或运动模型。例如，有些研究假设可以直接获取逃逸者的位置信息，或者使用独轮车模型而忽略了无人机的侧向运动能力。这些不现实的假设导致学得的策略在仿真中表现良好，但部署到真实世界时会出现显著的性能下降，即存在较大的“仿真-现实差距”（sim-to-real gap）。
为了弥补这一差距，本文的研究团队进行了一项聚焦于实际传感约束与无人机动力学的研究。他们特别关注了有限的FOV条件以及侧向运动在追捕中的关键作用。研究旨在阐明，在有限的、更贴近实际的可探测区域内，如何通过奖励函数的设计来优化团队目标，以及旋翼无人机的侧向机动能力如何影响跟踪的稳定性和最终的捕获性能。这项研究不仅对提升反无人机系统的实战能力有重要意义，也为复杂动态环境下的多智能体协同控制提供了新的见解。相关成果已发表在学术期刊《Machines》上。
为开展此项研究，作者主要采用了以下几项关键技术方法：首先，基于NVIDIA Isaac-Lab平台开发了支持大规模GPU加速并行仿真的多无人机追逃环境，其中集成了高保真的可探测区域模型和基于网枪的捕获条件。其次，为减少仿真与现实差距，在MARL训练中使用了广泛用于商用飞控的级联比例-积分-微分（PID）控制器和四旋翼的6自由度动力学模型。最后，研究采用了基于近端策略优化（PPO）的多智能体方法（MAPPO）作为核心学习算法，因其在多种协作任务中展现出稳定且具竞争力的性能。
研究结果
3.1. 场景设置
研究设定了一个由3个追捕无人机（pursuer UAV）在有限可探测区域内协同追捕1个逃逸无人机（evader UAV）的追逃博弈。探测最大距离设为30米。追捕无人机的初始位置呈近似均匀分布，角度间隔固定为120度。捕获成功被定义为至少一个追捕者将逃逸者维持在其“可捕获区域”内持续0.5秒。该区域是一个以追捕者为中心的扇形空间，径向距离在3-10米之间，中心角为10度。一局 episode 会在成功捕获、发生碰撞、目标丢失超过3秒或超时60秒时终止。
4. 所提出的方法
4.2. 有限可探测区域
研究聚焦于基于视觉的无人机检测。考虑到目标在图像中像素占比较小以及机载计算机的计算限制，研究者通过针孔相机模型计算了目标随距离变化的像素尺寸，并据此分析设定了30米的最大可探测范围，以反映实际传感器在低分辨率输入或轻量级模型下的有效检测能力限制。
4.3. 奖励塑形
为了在有限FOV条件下优化追捕，研究者设计了两种团队层面的奖励：(1) 视线对齐奖励：该奖励与FOV条件相关，鼓励追捕者将其传感器（如摄像头）对准目标，以保持目标在可探测区域内。(2) 可捕获性奖励：该奖励鼓励追捕者的状态向可捕获区域过渡，即使目标当前不在其FOV内，此奖励也能提供引导信号。
4.4. 侧向运动
为了分析全向运动的作用，研究比较了两种控制结构：“前进-偏航”（Forward–Yaw）控制和“前进-侧向-偏航”（Forward–Lateral–Yaw）控制。前者只能控制前进速度和偏航角速度，模拟了简化模型；后者则额外引入了侧向速度控制，更能体现多旋翼无人机的真实机动能力。
5. 结果
5.1. 定量分析
实验的定量评估表明，所提出的奖励设计方案显著提升了在不同传感条件下的捕获性能。具体而言，引入可捕获性奖励使捕获成功率提高了11.4%。在一个关键实验中，当逃逸无人机的最大速度比追捕无人机快2 m/s时，如果禁用侧向运动（仅使用前进-偏航控制），所有捕获尝试均告失败。然而，当启用侧向运动（使用前进-侧向-偏航控制）后，捕获成功率急剧上升至99.2%，这突显了侧向运动在应对更快目标时的必要性。
5.2. 定性分析
定性分析展示了学习到的策略行为。在有限FOV下，追捕者学会了协同站位，以扩大整体的监控覆盖范围，并在目标即将逃离一个追捕者的视野时，由另一个追捕者接替跟踪，形成了有效的“接力”跟踪策略。当启用侧向运动时，追捕者能够执行更灵活、更高效的拦截机动，例如快速横向移动以切割目标的逃逸路径，而不是单纯地绕圈追赶。
研究结论与讨论
本研究通过将高保真传感约束（有限FOV）和真实的无人机动力学（包括侧向运动）整合到一个多智能体强化学习框架中，系统地探索了多无人机协同追捕问题。主要贡献和结论包括：
- 1.
提出了有效的奖励函数：针对有限可探测区域设计的FOV依赖奖励和可捕获性奖励，能够有效优化多无人机团队的协同追捕目标，提升了在苛刻传感条件下的性能。
- 2.
揭示了侧向运动的关键作用：通过严格的对比实验证明，在目标速度优于追捕者的情况下，无人机的侧向运动能力是捕获成功不可或缺的要素。忽略这一动力学特性将导致策略在现实世界中完全失效。
- 3.
构建了高保真仿真环境：基于Isaac-Lab开发的仿真环境，集成了真实的检测区域和捕获条件，并采用了广泛使用的级联PID控制器和6自由度四旋翼模型，为减少“仿真-现实差距”和后续的真实系统迁移奠定了良好基础。
- 4.
验证了MARL方法的有效性：采用MAPPO算法，成功训练出能在部分观测、有限传感下进行高效协同的追捕策略，展示了MARL解决复杂、连续空间实际机器人问题的潜力。
这项研究的意义在于，它强调了在将AI方法应用于现实机器人系统时，对传感和动力学进行高保真建模的重要性。研究不仅为反无人机系统提供了一种更接近实际应用的解决方案，其关于奖励设计和运动能力分析的见解，也对更广泛的自主移动机器人、多智能体协同搜索与跟踪等领域具有重要的参考价值。未来工作可探索更复杂的感知模型（如传感器噪声）、异构无人机团队以及将训练好的策略直接迁移到真实无人机平台。
