在非平稳重尾噪声下，基于深度强化学习的联合滤波方法用于扩展目标跟踪

《Engineering Applications of Artificial Intelligence》：Deep reinforcement learning-driven joint filtering for extended target tracking under non-stationary heavy-tailed noise

　　胡晨|岳江|王旭新|张洪云|张文旭|赵子文
兰州理工大学自动化与电气工程学院，中国甘肃省兰州市730050

**摘要**
传统的滤波技术在面对非平稳和高峰噪声的工程应用时往往难以保持准确性。为了解决这个问题，我们提出了一种基于深度强化学习（DRL）的自主滤波框架，该框架能够在线适应复杂的噪声环境。该框架采用双延迟深度确定性策略梯度（TD3）代理动态调整高斯-Student's t混合模型（GSTM）的参数，以处理过程噪声和测量噪声。这种自适应噪声模型被嵌入到无迹卡尔曼滤波器（UKF）中，UKF利用随机超曲面模型（RHM）来跟踪星形凸扩展目标。关键的是，该框架形成了一个闭合的观测-策略-建模-估计（OPME）循环：TD3策略根据滤波创新和后验不确定性更新噪声模型，进而细化状态估计，从而创建了一个持续的自我改进反馈循环。学习过程由后验Cramér-Rao界（PCRB）引导的奖励机制指导，确保优化直接针对估计准确性。广泛的扩展目标跟踪仿真表明，我们的方法显著优于现有的滤波器，在运动状态估计和空间轮廓重建方面表现出色，特别是在突发噪声变化和高峰噪声干扰的情况下。这些结果证明了所提出框架作为一种自适应滤波方法，在具有挑战性的工程场景中的有效性。

**引言**
在复杂的工程环境中，对智能感知和决策需求的增加使得鲁棒目标跟踪成为现代自主系统中的一个核心挑战（Wang等人，2025年；Feng等人，2026年）。这一挑战出现在各种应用中，包括自动驾驶车辆编队（Dai等人，2024年；Prathiba等人，2021年）、动态和不确定环境中的精密导航（Simsek等人，2024年；Li等人，2024年），以及在具有挑战性的感测条件下的空中监视或群体监控（Akram等人，2022年；Li等人，2025年）。在这些场景中，感知系统必须在严重的不确定性、有限的计算资源和快速变化的操作条件下可靠运行。

在这种背景下，扩展目标跟踪（ETT）已成为一种关键技术（Yan等人，2022年）。与点目标模型不同，ETT同时估计目标的运动状态和几何范围，从而为下游决策提供了更丰富的上下文信息。然而，实际的ETT系统经常面临非平稳和非高斯噪声，其中高峰噪声的动态变化会显著降低估计精度，甚至导致滤波器不一致或发散。应对这些挑战需要具有自适应噪声建模和滤波能力的智能专家系统，以便它们能够在满足实时计算约束的同时不断响应环境变化（Liu等人，2023年；Xu等人，2025年；Zhu等人，2023年；Zhang等人，2025年）。特别是，来自分布式散射点的多源测量（Mannari等人，2024年）引入了额外的不确定性和变异性，进一步复杂化了鲁棒的运动状态-范围估计，如图1所示。

当前的ETT方法主要在贝叶斯滤波框架内开发（Ning等人，2026年；Kamariotis等人，2023年），其中参数化目标形状模型与递归状态估计技术相结合。代表性模型包括随机超曲面模型（RHM）（Wang等人，2021年），它能够有效描述星形凸目标轮廓，以及随机矩阵模型（RMM）（Zhang和Lan，2021年），它广泛用于椭圆形目标。虽然这些方法在理想化条件下表现良好，但它们通常依赖于平稳高斯噪声的假设，而在实际应用中这一假设经常被违反。自主平台经常遇到不利因素，如传感器遮挡（Ukyo等人，2025年）、低成本传感器的校准漂移（Zaidan等人，2023年）、电磁干扰（Shen等人，2025年）和突发的运动干扰（Kong等人，2024年）。这些因素导致非平稳的高峰残差，从而产生有偏估计、估计一致性的下降以及潜在的滤波器发散。因此，ETT系统需要能够动态响应噪声变化的同时在现实操作环境中保持鲁棒性能的自适应机制。

为了在非高斯条件下提高鲁棒性，早期的研究引入了启发式鲁棒化技术，如Huber M估计器（Schroth和Muma，2021年）和最大相关熵准则（MCC）（Ge等人，2025年），这些技术通过替代损失函数抑制异常值。尽管这些方法对孤立异常有效，但它们无法显式建模动态变化的噪声分布，这限制了它们在非平稳环境中的适用性。后续的进展转向了概率高峰建模。代表性示例包括滑动窗口变分Student's t卡尔曼滤波器（SW-VORKF）（Zhu等人，2022年），它利用变分贝叶斯（VB）框架通过伽马分布的潜变量联合估计系统状态和时变噪声精度。尽管有这些改进，但固定自由度参数的使用从根本上限制了其随时间适应尾部变化的能力，这在实际的非平稳场景中至关重要。基于Student's t的相关滤波器（Huang等人，2017年）进一步提高了鲁棒性，但它们通常计算复杂度较高，并且仅限于对称噪声分布。除了基于Student's t的建模外，还开发了基于多变量拉普拉斯分布的鲁棒卡尔曼滤波器，用于非高斯高峰过程和测量噪声（Shan等人，2026年），进一步证明了显式高峰概率建模在非高斯干扰下的鲁棒状态估计的价值。

更一般地，高斯尺度混合模型（GSM）（Huang等人，2019a）通过引入潜在的缩放变量提供了高峰噪声的统一表示，从而产生高斯条件后验。然而，基于VB的推理通常需要迭代优化，这引入了大量的计算开销，并限制了其在高速率跟踪系统中的实时适用性。总体而言，这些局限性揭示了一个关键问题：现有方法仍然缺少一个统一且计算效率高的框架，能够在资源受限的工程感知系统中在线适应非平稳性和非高斯性。与假设噪声参数形式已知并且仅缓慢适应其统计特性的最新自适应卡尔曼滤波器不同（Cheng等人，2025年），所提出的框架直接学习了一个非迭代的、历史感知的混合调节策略，能够响应噪声分布的突发变化。

最近，自适应高斯-Student's t混合（GSTM）建模已成为高峰噪声的竞争性解决方案，其扩展到非平稳场景通常通过基于VB的推理实现（Huang等人，2019b）。GSTM分布（Zhang等人，2023年；Chen等人，2024年）结合了高斯组分的计算效率与Student's t组分的鲁棒性，在静态高峰环境中提供更好的性能。然而，在非平稳场景中，GSTM的适应通常通过基于VB的推理来处理（Nassirpour等人，2025年）。在这种 VB-GSTM 方法中，混合参数在每一步通过局部变分优化更新，适应仅由即时观测和后验统计驱动。这种范式有几个关键缺点：平均场假设在高维和非平稳场景中引入近似误差（Bollmark等人，2023年）；非凸ELBO优化在突发噪声变化下对初始化敏感（Liang等人，2025年）；重复迭代导致过高的在线计算成本（Fu和Cheng，2023年）。最重要的是，这样的方案无法在动态噪声范围内实现长期的、历史感知的调节。

因此，所提出的框架从根本上不同于传统的VB-GSTM和自适应滤波方法。我们不是进行逐步变分适应或短视的创新校正，而是将GSTM混合调节表述为一个闭合的观测-策略-建模-估计（OPME）循环中的顺序决策问题。策略学习从滤波不确定性中输出自适应混合权重，从而实现状态依赖的、历史感知的噪声适应，而无需迭代变分更新。该设计也与依赖RHM、RMM或鲁棒卡尔曼递归的标准ETT方法不同，因为那些方法主要关注在平稳噪声统计假设下的异常值拒绝或测量来源不确定性（Yu等人，2024年），而我们的工作解决了更根本的挑战，即独立于数据关联的时间变化、高峰过程和测量噪声分布。与许多用黑箱模型替换贝叶斯估计器的基于学习的滤波策略不同，我们的方法完全保留了概率滤波结构，并仅使用DRL在线调节GSTM噪声表示。此外，与依赖大量离线训练来捕捉固定噪声分布的学习型噪声建模技术不同（Xu和Niu，2024年），我们的方法不需要预收集数据，并且可以在线操作，使其能够适应不可预见的环境变化。

深度强化学习（DRL）的最新进展为不确定性下的顺序决策提供了一个原理性的框架（Liu等人，2024年；Wu等人，2024年；Mao等人，2025年；Lu等人，2023年）。特别是双延迟深度确定性策略梯度（TD3）算法（Ye等人，2024年；Fan等人，2024年）通过双批评器、延迟策略更新和目标平滑增强了连续控制的稳定性。受这些特性的启发，我们提出了一个学习增强型滤波框架，将GSTM混合调节形式化为连续的策略优化问题。通过与跟踪过程的交互（Zhang等人，2024年），DRL代理从滤波不确定性中提取噪声感知线索，并输出与当前噪声环境相匹配的自适应混合权重。这种自适应噪声模型被嵌入到基于RHM的ETT框架中，能够在非平稳高峰干扰下同时进行运动状态和范围估计。因此，这项工作的核心贡献不是简单地结合GSTM、UKF、RHM和TD3，而是在计算效率高且理论有根据的框架内系统地整合了自适应噪声建模、鲁棒扩展目标估计和策略驱动的不确定性调节。

**主要贡献如下：**
(1) 非平稳噪声的策略优化GSTM调节：我们将GSTM概率的在线调节重新表述为马尔可夫决策过程（MDP），并使用TD3求解。与基于逐步变分推理的VB-GSTM方法不同，所提出的公式实现了历史感知的、状态依赖的、非迭代的在线适应非平稳高峰噪声。
(2) 用于自适应滤波的闭环OPME架构：我们建立了一个紧密集成了在线观测、策略驱动的噪声调节、概率噪声建模和递归状态估计的闭环OPME框架。该架构允许滤波过程根据变化的噪声环境不断更新其不确定性表示。
(3) PCRB引导的学习目标：我们为星形凸ETT推导出后验Cramér-Rao界（PCRB），并将其用作DRL的奖励函数。这一理论上基于目标直接针对估计不确定性，并为策略优化提供了原理性的学习信号。
(4) 在自适应噪声建模下的统一运动状态-范围估计：通过将星形凸RHM集成到所提出的框架中，该方法能够在统一的策略优化滤波方案中同时估计目标位置、速度和不规则轮廓。

在非平稳高峰干扰下的广泛仿真表明，所提出的框架在运动状态精度和轮廓重建方面始终优于现有方法，特别是在突发噪声变化期间。本文的其余部分组织如下：第2节介绍系统和测量模型；第3节详细阐述了所提出的策略优化和滤波框架；第4节展示了仿真结果和全面评估；第5节总结了本文。

**扩展目标运动模型**
ETT旨在联合估计目标的运动状态和空间范围。为此，我们定义时间k时的增强状态向量为xk=pk?, vk?, φk??，其中pk=xk, yk?分别表示位置和速度，φk表示通过边界截断傅里叶级数表示的范围描述向量。目标运动由非线性状态转换xk+1=fxk+ωk描述，ωk～N(0, Qk)，其中f(?)控制运动演化。

**数据驱动学习下的自适应混合噪声建模**
在所提出的OPME架构中，自适应混合噪声建模作为顺序决策过程嵌入到滤波递归中。在每一步，观测值和后验不确定性统计被压缩成一个低维策略状态，并输入到DRL网络中。策略输出两个混合概率，以调整过程和测量噪声模型中的高斯权重，从而更新当前干扰的基于GSTM的噪声表示。

**仿真设置**
所有仿真都是在T=200秒的时间步长和Ts=1秒的采样周期下进行的。在每一步，扩展目标生成nmea个测量值，其中nmea遵循参数为βD=40的泊松分布。目标初始化为半径r=0.07米的圆形，其轮廓由13阶傅里叶级数表示。散射比例因子遵循N(μs, σs2)，其中μs=0.7，σs2=0.02。初始GSTM混合概率设置为0.7。

**结论**
本文提出了一个针对非平稳高峰噪声下的鲁棒扩展目标跟踪的策略优化自适应滤波框架。通过将TD3强化学习与高斯-学生t混合噪声模型相结合，所提出的方法实现了混合概率的在线闭环调节。基于概率累积风险函数（PCRB）的奖励为具有不确定性意识的适应提供了理论上的学习目标。所有模块都被统一在一个闭环的OPME架构中。

CRediT作者贡献声明：
陈辉：撰写、审稿与编辑，项目管理和资金获取。
江越：撰写初步稿件，软件开发和方法论设计。
王旭欣：撰写、审稿与编辑，监督和概念化。
张红云：撰写、审稿与编辑，监督和概念化。
张文旭：撰写、审稿与编辑，监督和概念化。
赵子雯：撰写、审稿与编辑，监督和概念化。

利益冲突声明：
作者声明他们没有已知的利益冲突或个人关系可能影响本文所述的工作。

致谢：
本工作得到了国家自然科学基金（62163023, 61873116, 62366031, 62363023）的支持。