面向复杂环境中多无人机协同追捕的目标感知安全残差强化学习方法(Target-Aware Safety-Residual Pursuit Reinforcement Learning, TASRP) for Cooperative Multi-UAV Pursuit in Complex Environments

《Machines》：Target-Aware Safety-Residual Reinforcement Learning for Cooperative Multi-UAV Pursuit in Complex Environments

　　

摘要：复杂障碍环境中多无人机（Multi-UAV）协同持续跟踪要求智能体在接近动态目标的同时确保避障与飞行安全；然而标准多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）方法通常依赖单一策略隐式处理上述两个目标，难以平衡任务性能与风险控制。针对该问题，研究人员提出了一种适用于约束三维环境的面向目标感知安全残差追捕强化学习（Target-Aware Safety-Residual Pursuit Reinforcement Learning, TASRP）框架。在IsaacLab中构建了连续控制三维跟踪环境，两架多旋翼UAV在随机、目标遮挡及门形障碍布局下协同跟踪动态目标，考虑边界约束及智能体间碰撞风险，每架UAV输出由归一化推力与机体坐标系扭矩组成的四维动作。TASRP采用双头残差策略——追捕分支生成名义动作，安全分支预测校正残差，辅以风险感知门控机制、用于障碍绕行引导的目标导向教师（Teacher）及双评价器安全约束优化方案。在干净观测下，TASRP在三种典型场景中任务成功率达75–79%，障碍碰撞率13–15%，边界越界率1–2%；在含噪观测下，TASRP达72.1%任务成功率、20.3%障碍碰撞率及2.8%边界越界率，优于MAPPO（61.2%, 61.2%, 5.6%）与HAPPO（58.1%, 73.5%, 4.1%）。结果表明，显式解耦目标导向控制与安全校正能在干净及中等噪声观测下实现更有效且鲁棒的性能—安全权衡。

论文解读：面向复杂环境中多无人机协同追捕的目标感知安全残差强化学习(TASRP)

研究背景与问题提出

多无人机（Multi-UAV）协同持续跟踪在空域安全、目标监视及应急响应中具有重要价值，但现有多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）方法多基于集中训练分散执行（Centralized Training with Decentralized Execution, CTDE）范式下的单一策略网络同时处理目标接近与避障，导致两项耦合目标相互干扰：策略倾向于激进追捕而压缩安全裕度，或仅靠环境奖励难以学会"边绕行边保持追捕意图"的阻塞障碍绕行行为。现有安全强化学习多将安全建模为被动风险抑制，未显式协调目标导向运动与安全校正的关系。因此，如何在复杂三维障碍环境下显式解耦名义任务动作与安全校正动作，并按风险水平自适应融合，是本研究要解决的核心问题。

为此，研究人员提出了目标感知安全残差追捕强化学习（Target-Aware Safety-Residual Pursuit Reinforcement Learning, TASRP）框架，在两架UAV协同追捕动态目标的约束三维环境中验证其有效性，论文发表于《Machines》。

主要关键技术方法

研究人员在IsaacLab中构建边界约束的三维连续控制环境，UAV输出归一化推力与三轴机体扭矩（四维连续动作），局部观测含自状态、目标相对信息、队友信息、固定长度编码障碍信息及边界安全裕度，问题建模为安全约束的分散部分可观测马尔可夫决策过程（Dec-POMDP）。TASRP关键技术包括：(1)双头残差策略——主追捕分支输出全维名义动作，安全分支仅输出滚转/俯仰维度的有界校正残差；(2)风险自适应融合门控——据障碍面距与边界余量计算几何风险调制安全残差干预强度；(3)目标导向阻塞障碍教师（Target-Oriented Blocking-Obstacle Teacher）——识别阻碍目标接近的主阻塞障碍并提供切向绕行+法向紧急复合监督引导安全残差学习；(4)双评价器（Dual-Critic）安全约束优化——任务回报评价器与安全风险代价评价器配合拉格朗日乘子约束累计安全代价不超限，训练中引入阻塞改善奖励（Blocking-Improvement Reward）。对比基线为MAPPO、HAPPO、HATRPO、MACPO，含干净及加噪观测（相对位置/速度/角速度加高斯扰动）鲁棒性测试与模块消融实验。

研究结果

1. Introduction（引言）

研究人员指出多UAV跟踪在复杂障碍环境中是任务推进与风险规避深度耦合的连续决策问题，传统单一MARL策略存在安全裕度低与绕行策略难学两大局限，明确需显式解耦名义追捕与安全校正并自适应协调，引出TASRP设计动机。

2. Related Work（相关工作）

综述了多UAV协同追捕、MARL协同控制、UAV安全避障RL及结构化残差策略四类文献，阐明TASRP与单纯安全惩罚型Constrained RL、通用残差RL及启发式避障的本质区别：将安全干预嵌入动作生成层、残差分支受风险门控且仅保留追捕一致性绕行监督。

3. Problem Formulation and Environment Definition（问题建模与环境定义）

研究人员将边界三维空间内双UAV协同持续跟踪建模为安全约束Dec-POMDP，定义UAV状态（位置、线速度、姿态四元数、体轴角速度）、目标状态、圆柱障碍物集合及其占用区域，全局状态含环境常数。动作空间为四维连续量经截断后映射为总推力F_total=m·g·(1+a_z)·k_F及机体扭矩τ=k_τ·a_τ。局部观测各分量转换至机体坐标系，障碍信息固定长度零掩码编码。安全约束含边界约束‖p_i^xy?c^xy‖≤R_env、z∈[z_min,z_max]、机间最小安全距离d_sColdsafe、障碍面距d_i,m^surf>r_UAV+r_obs，捕获半径判定任务成功。优化目标为在期望安全代价C(s,a)≤d下最大化期望累积回报。

4. Architecture and Algorithm Design（TASRP框架与算法设计）

详述双头残差策略a_final=a_pursuit+λ·Δa_sColdsafe（Δa_sColdsafe仅作用于roll/pitch），风险自适应门控λ=β·σ(g(s))·min(1,(R_influence/d_obs)^γ,(δ_b/d_b)^γ)，目标导向教师选最大阻塞得分障碍给切向绕行方向监督L_teacher=‖Δa_sColdsafe?a_teacher‖²，双评价器分别拟合回报值与安全代价值，策略更新联合PPO裁剪目标、安全代价约束项、教师辅助损失及熵奖励，拉格朗日乘子按批次平均安全代价与预算自适应调参。给出完整CTDE训练流程伪代码。

5. Experimental Results and Discussion（实验结果与讨论）

• •
  干净观测对比：TASRP在随机/目标遮挡/门形场景任务成功率75–79%，障碍碰撞率13–15%，边界越界率1–2%，优于MAPPO、HAPPO、HATRPO、MACPO；训练曲线显示TASRP更早收敛且波动小，基线方法或因单一策略耦合出现振荡或迟滞。
• •
  含噪观测鲁棒性：TASRP成功率72.1%、障碍碰撞20.3%、边界越界2.8%，性能降幅小于MAPPO与HAPPO，且无机间碰撞，表明结构化解耦提升观测不确定性下的鲁棒性。
• •
  性能—安全权衡分析：TASRP在高效追捕同时压低障碍/边界碰撞及机间碰，失败模式多为高密度杂乱态低频接触而非边界逃逸或机间碰；HAPPO可达部分成功率但伴高障碍碰，MACPO保守但绕行弱，HATRPO需长时训练且仍高碰。
• •
  轨迹可视化：三种场景下UAV能适时调高/转向绕障碍或穿窄通道后恢复跟踪，双机呈互补包抄分布。
• •
  消融实验：去除目标导向教师或双头残差结构显著降低任务成功率（保留追捕能力受损）；去除风险门控或安全代价评价器显著升高障碍/边界碰撞率；同时去两者致安全全面退化但追捕能力仍存，证实各模块分工——追捕分支与教师保任务完成，风险门控与双评价器保安全约束，协同产生整体优势。

6. Conclusions（结论）

研究人员得出结论：所提TASRP框架通过在CTDE范式下显式分离目标导向名义追捕与安全导向局部校正，结合风险自适应融合、目标导向阻塞障碍教师监督及双评价器约束优化，在随机、目标遮挡及门形障碍三维场景中较代表性MARL基线取得更高任务成功率与更低安全违规率，且在中等观测噪声下保持更优性能—安全权衡。该方法为多智能体系统中任务目标与安全约束耦合问题提供了结构化解决思路，可拓展应用于多UAV目标监视、空域安全及杂乱环境自主协同任务。当前工作限于两UAV仿真及中等独立观测扰动，未来需在更大规模、更强部分可观性及实机平台进一步验证。