退化环境下无人机集群的容错协同定位：一种多目标深度强化学习方法

《Sensors》：Fault-Tolerant Cooperative Positioning for UAV Swarms in Degraded Environments: A Multi-Objective Deep Reinforcement Learning Approach

　　

当在复杂且障碍物密集的环境中运行时，微型无人机（Unmanned Aerial Vehicle, UAV）集群常因瞬态非视距（Non-Line-of-Sight, NLOS）干扰和级联惯性传感器漂移而面临严重的协同定位失效。为此，本研究提出了一种融合多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）与协同扩展卡尔曼滤波（Cooperative Extended Kalman Filter, CEKF）的容错定位框架（MADRL-CEKF）。该系统包含链路级动态软隔离机制，通过动态调整观测协方差以有效切断协同误差传染路径。研究将自适应马尔可夫平滑约束数学嵌入以缓解人工智能驱动策略中典型的高频控制抖动。关键的是，该框架针对微型无人机实现了资源感知的多目标奖励架构。通过高保真仿真和离线物理数据集评估，所提框架在极端多节点级联故障下实现了平均跟踪误差均方根误差（Root Mean Square Error, RMSE）96.01%的降低，完全阻止了系统发散。此外，通过自主多目标权衡，系统将处理延迟降低44%（至25.1 ms），计算能耗降低41%，仅以0.16 m的边际精度妥协为代价，严格保持执行时间在50 ms实时阈值内。MADRL-CEKF框架有效弥合了复杂人工智能决策与严格工程约束之间的差距，为集群机器人学提供了一种高度鲁棒且资源高效的导航范式。

无人机集群协同定位是近年来机器人学领域的研究热点。随着微型无人机技术的稳步发展，其在拒止环境下的自主作业能力受到广泛关注。极端场景包括地震坍塌结构中的灾后救援、深层矿井的地下探测以及涉及核设施的复杂工业巡检等。在这些环境中，基于超宽带（Ultra-Wideband, UWB）的协同定位系统通常在开放室内空间可实现0.5–1 m的精度，但密集混凝土遮挡往往使定位误差增大至5–10 m，甚至导致完全失效。因此，部署具有韧性的无人机集群具有重要意义，能有效保护人员免受二次危害并加速时间紧迫的损害评估。集群定位面临单无人机系统所不具备的独特挑战：节点间高度相互依赖意味着单次错误测量可通过通信网络快速传播，可能引发灾难性的系统级故障。

当前室内多智能体定位的主流方法是基于UWB和惯性测量单元（Inertial Measurement Unit, IMU）数据紧耦合的协同扩展卡尔曼滤波（Tightly Coupled Cooperative Extended Kalman Filter, CEKF）。为处理测量异常，传统鲁棒方法依赖因子图优化（Factor Graph Optimization, FGO）、粒子滤波（Particle Filter, PF）以及基于M估计量（如Huber核）和随机抽样一致性（Random Sample Consensus, RANSAC）的异常值剔除算法。然而，现实恶劣环境通常充满密集物理遮挡和电磁干扰，导致空间相关、高度非线性的瞬态NLOS误差或永久性硬件漂移。在此类极端条件下，传统鲁棒方法暴露出致命局限性。标准CEKF高度依赖预校准的固定协方差矩阵，对突发异常完全无能为力；而基于Huber的鲁棒滤波和RANSAC等方法严重依赖刚性的启发式数学阈值，虽能缓解偶发异常值，却无法适应持续、动态变化的非线性扰动，易误导系统盲目吸收损坏的测距测量。结果，局部测量误差通过集群通信拓扑快速传播放大，最终触发全球定位系统的灾难性级联故障。

为克服传统滤波器的刚性缺陷，研究团队将MADRL与CEKF深度融合，提出了一种拒止环境下无人机集群的韧性协同定位框架。针对现有研究中的三个关键空白——隔离机制粒度过于粗糙、标准DRL方法缺乏物理控制连续性、以及现有AI增强定位技术存在严重的资源盲区——该研究进行了系统性设计。

研究人员首先建立了微型无人机集群的双环协同扩展卡尔曼滤波模型，分析了静态协方差矩阵引发级联故障的数学机制。在合作测距观测中，当无人机i从拓扑邻居j（固定锚点或其他无人机）接收UWB信号时，测距观测模型包含欧氏距离、恒定观测噪声以及由物理障碍物引起的正NLOS偏置。在标准CEKF更新中，新息残差和卡尔曼增益的计算采用静态标量矩阵作为观测噪声协方差。研究团队通过一个典型UWB系统的数值示例揭示了其脆弱性：当硬件故障引发5 m测距误差时，创新残差可达5.0175 m，滤波器将近99%的权重赋予此错误测量，几乎完全忽视先验状态估计。该数学分析清晰解释了标准CEKF算法在严重条件下可能发生灾难性故障的原因。

为赋予底层滤波器主动免疫能力，研究团队将链路级信任评估建模为连续状态空间中的马尔可夫决策过程（Markov Decision Process, MDP），采用集中式训练分散式执行（Centralized Training with Decentralized Execution, CTDE）范式和多智能体近端策略优化（Multi-Agent Proximal Policy Optimization, MAPPO）算法进行策略训练。状态空间设计遵循低维度、高信息密度原则，每个通信链路的局部观测状态包含绝对创新残差（定义为创新残差的绝对值，是识别严重NLOS遮挡或故障节点的主要指标）、先验预测几何距离、上一时间步的有效信任权重（提供马尔可夫时间记忆）以及无人机加速度变化率。所有状态特征在输入神经网络前归一化至[0, 1]区间。

动作空间和轻量级网络拓扑设计满足50 ms实时约束要求。Actor网络为每个UWB测距链路输出一维连续标量原始信任权重w，通过Sigmoid函数映射至(0, 1)区间。原始信任权重通过映射函数调整CEKF观测噪声协方差矩阵：w越小，协方差矩阵急剧增大，有效降低卡尔曼增益，实现故障链路的软隔离。网络架构采用多层感知机（Multi-Layer Perceptron, MLP），输入层接收4维状态，经128神经元和64神经元的两个隐藏层（均使用ReLU激活函数）处理。

资源感知的多目标奖励机制是该框架的核心创新之一。针对微型无人机的极端计算和电池约束，研究团队设计了四维帕累托奖励函数r = (r_acc, r_delay, r_energy, r_jitter)^T。定位精度奖励r_acc采用高斯核构建，基于当前步的均方根误差；计算延迟惩罚r_delay要求单步计算时间t_comp低于安全阈值t_safe = 50 ms，对超标情况施加指数截断惩罚；计算能耗惩罚r_energy强制智能体舍弃低信息冗余节点，数学上表述为活跃滤波更新比例的反比，其中指示函数判定原始链路权重是否超过隔离阈值，算法实现中权重低于阈值的链路在CEKF测量更新步骤中被跳过，直接减少总浮点运算次数和相应计算能耗；控制抖动惩罚r_jitter限制连续动作间的突变以维持平滑性。权重系数通过基于工程经验和实验验证的网格搜索确定，本研究中w₁ = 10.0、w₂ = 1.5、w₃ = 2.0、w₄ = 0.5，强调准确定位和及时响应，同时保持能效和控制效率。

动态软隔离机制和自适应马尔可夫平滑约束是连接决策空间与实际物理滤波空间的关键。链路级动态软隔离机制保持物理通信层UWB链路的完全连接和数据持续共享，在数学计算层通过动态膨胀观测协方差矩阵实现逻辑隔离。研究团队特别处理了信任权重趋零时的数值奇异性问题，设置硬下界ε = 0.01，将最大协方差膨胀限制在安全范围内，既拒绝异常测量又不损害滤波器数值稳定性。

针对DRL输出应用于高保真物理仿真时的高频振荡问题——即策略网络基于快速变化的局部状态输出动作，在复杂高度非线性室内多径环境中原始信任权重展现严重随机波动，直接传播至CEKF更新循环引发状态估计的高频噪声——研究团队引入了一阶马尔可夫平滑约束作为时域低通滤波器，平滑原始动作。固定参数低通滤波存在固有权衡：大平滑系数提供优良平滑性但引入严重相位延迟，在突发数十米硬件偏移时导致定位崩溃。为此，研究团队设计了基于系统状态的自适应函数，将平滑系数α定义为与创新残差变化率相关的指数衰减函数。当残差波动极小（稳态环境）时，α趋近最大值α_max = 0.85， smoother赋予历史数据更大权重；当灾难性硬件故障或关键NLOS盲点发生时，残差激增使α急剧下降，系统立即丢弃历史权重并赋予当前低置信度权重高采纳比例，使滤波器在单时间步内膨胀观测协方差矩阵，实现秒级响应和故障源隔离。每个链路的马尔可夫平滑操作仅需三次简单标量运算，计算开销可忽略不计（小于系统总推理时间的1%），确保框架适合部署于微型无人机等资源受限平台。

研究通过七个系统性仿真实验和公开数据集测试验证框架效能。具体如下：

实验一为理想环境基线性能比较，建立系统定位性能基线。实验设置六离散分布固定UWB锚点，注入标准高斯白噪声，测试40 s飞行轨迹（前15 s线性加速后接25 s半径10 m圆周机动）。与标准CEKF相比，MADRL-CEKF全局平均RMSE为0.1955 m，最大定位误差0.5823 m，与标准CEKF（RMSE 0.1643 m）接近，证明无人工参数调优下算法逼近传统滤波器最优性能极限。90%圆概率误差（Circular Error Probable, CEP）对比显示标准CEKF为0.2819 m，MADRL为0.3306 m，误差分布紧密对齐，无长尾异常值。

实验二为公开MILUV数据集真实场景鲁棒性验证。选择UAV节点10数据，六UWB锚点配置，在总时间线25%至40%区间（约50 s至80 s）注入0 m至2.0 m的时间相关正NLOS偏置。五种对比算法包括纯航位推算（Pure Dead Reckoning, Pure DR）、标准EKF、固定权重CEKF、Huber鲁棒CEKF和MADRL-CEKF。结果表明，标准EKF和固定权重CEKF在NLOS扰动区域实时定位误差飙升至2.5 m以上，而MADRL-CEKF有效抑制误差增长，维持稳定误差轮廓。全局定量指标显示MADRL-CEKF最优（RMSE 1.0189 m，中位误差0.6910 m）。特别地，提取30 s扰动区间统计：标准EKF和Huber鲁棒CEKF区间RMSE分别激增至2.70 m和3.67 m，而MADRL-CEKF保持0.54 m。50次蒙特卡洛运行的95%置信区间完全分离，统计证明框架在持续扰动下保证异常决策稳定性。动态信任权重可视化显示：正常飞行时有效权重自适应波动于0.6至0.9；进入NLOS区域后智能体迅速降权至约0.3，对应观测协方差指数膨胀，平滑"拒绝"异常链路更新；退出扰动区域后权重快速恢复。

实验三至六涉及集群可扩展性与误差传染分析、XAI动态信任分配与决策可解释性分析、级联故障容错与误差传染隔离分析、以及双消融实验。可扩展性实验设置2/4/6/8节点四组集群，八固定UWB锚点覆盖，基准UWB测距噪声标准差0.15 m。传统协作EKF随网络扩展全局RMSE近似线性增长（0.5658 m至0.8839 m），而MADRL-CEKF在所有规模下保持0.57–0.58 m稳定RMSE，8节点时精度提升达+33.88%。XAI可解释性实验采用SHapley Additive exPlanations（SHAP）方法构建感知-决策-执行三段闭环证据链，在6锚点冗余拓扑、20–30 s注入3.0 m恒定步进偏置条件下，展示创新残差准确捕获突发局部链路故障、信任权重平滑衰减至0.05附近、以及定位误差瞬态脉冲后1 s内抑制至0.5 m以下的完整微观过程。级联故障实验采用仅三固定锚点的极端稀疏拓扑，四节点集群中节点2和3在20 s至35 s遭遇IMU测量损坏（1.5 m/s²方向加速度偏置），标准CEKF健康节点跟踪误差指数增长至118.1493 m，Huber鲁棒CEKF因固定统计阈值被持续大规模漂移淹没而峰值达62.11 m，MADRL-CEKF健康节点平均RMSE仅2.2853 m，最大峰值误差4.9688 m，实现96.01%全局鲁棒性提升。双消融实验量化自适应马尔可夫平滑约束和链路级动态软隔离机制的独立贡献：无平滑约束组信任权重在0.3至0.9间剧烈高频振荡；无隔离机制组NLOS干扰期间RMSE飙升至8.5993 m；完整算法组在5 m异常扰动下平均RMSE仅0.6618 m，软隔离机制单独贡献92.30%的抗干扰精度提升。

实验七为资源感知多目标优化架构与工程权衡分析，对核心多目标奖励函数进行控制消融。四种奖励策略对比（仅精度、无延迟惩罚、无能量惩罚、完整多维奖励）训练500回合。仅精度策略RMSE最低（0.82 m）但处理延迟45.2 ms接近安全阈值、能耗120.5 J、权重方差0.18反映严重动态抖动；无延迟惩罚策略违反实时约束达85.6 ms；完整多维奖励策略RMSE 0.98 m，但绝对处理延迟降低44%至25.1 ms，总能耗降低41%至70.4 J，严格保持执行于50 ms阈值内，且动态权重方差显著减小。该实验验证以最小理论精度损失换取延迟降低、能耗减少和稳定性增强的重要工程权衡。

讨论部分深入分析了工程权衡的艺术、误差传染隔离的可解释性与物理机制、当前局限与未来工作、以及大规模集群的渐近复杂性与可扩展性瓶颈。多目标消融研究表明，牺牲0.16 m精度是刻意的工程选择而非算法缺陷，微型无人机集群的电池和计算能力限制使控制滞后超过50 ms可能导致传感器与执行器失配甚至坠机。DRL预测信任权重而非直接回归位置值的物理原理在于w与卡尔曼观测协方差矩阵R_ij的数学映射：检测到异常创新残差时w指数衰减，动态膨胀R_ij至近无穷大，滤波器阻断污染信息同时保持传统EKF框架的数学严谨性。

研究结论部分指出：MADRL-CEKF框架通过三种核心算法创新——链路级动态软隔离、自适应马尔可夫平滑约束、以及资源感知多目标优化——实现了模拟复杂室内环境下微型无人机集群的高精度、高鲁棒性和可解释多智能体定位。七项系统性仿真实验和公开数据集测试验证框架在不同集群规模下保持稳定全局RMSE且无级联误差，突然节点故障或NLOS干扰下有效抑制误差传播，全局鲁棒性提升超96%、峰值误差抑制96%。XAI分析确保动态信任权重分配和异常隔离清晰可追溯，解决深度强化学习的黑箱问题。多目标权衡实验表明仅牺牲0.16 m精度即可换取44%延迟降低和41%能耗减少。双消融研究确认平滑约束保障控制连续性、链路隔离机制贡献92.3%抗干扰精度提升。尽管存在冷启动敏感性、缺乏物理硬件闭环部署、离线训练限制跨环境在线适应等局限，该框架综合考虑精度、可靠性、可理解性和资源效率，为微型无人机协同定位问题提供了有效解决方案。