具有感知能力的强化学习迁移（MARL），用于多无人机协同跟踪，并结合主动雷达制导（RCS）自适应测量技术

《IEEE Transactions on Vehicular Technology》：Perception-Aware MARL for Multi-UAV Cooperative Tracking with RCS-Adaptive Measurements

　　

摘要：

近年来，多智能体强化学习（MARL）在多无人机（UAV）协同目标跟踪领域得到了广泛应用。然而，现有方法通常假设能够完美获取真实目标位置，并依赖于固定的测量噪声模型。这忽略了雷达截面（RCS）与观测角度之间的物理耦合关系，导致在高测量噪声环境下感知性能严重下降。为了解决这些限制，本文提出了一种基于物理原理的、具有感知意识的MARL协同跟踪扩展方法，将标准EKF估计、协方差迹反馈和RCS自适应测量加权集成到一个统一的感知-决策循环中。具体而言，策略网络结合了EKF状态估计和滤波器协方差矩阵的迹，从而实现了对估计不确定性的明确感知。此外，引入了一种Swerling类型I的角度依赖RCS模型，用于构建动态测量噪声协方差矩阵，使得卡尔曼增益能够根据观测几何结构自适应地加权测量数据。同时，设计了一个六项奖励函数，建立一个从估计不确定性到策略行为的完整驱动链。仿真结果表明，对于随机机动的目标，所提出的方法实现了98.4%的跟踪成功率（TSR）。在严重的测量噪声影响下，绝对位置误差仍能控制在可接受范围内，性能优于MUSAC基线和非自适应模型。敏感性分析显示估计误差仅变化了0.33米，表明自适应感知层是提高噪声鲁棒性的关键因素。