《Neurocomputing》:Neural Ensemble Kalman Filtering with Probabilistic Lifecycle Learning for Robust 3D Multi-Object Tracking in autonomous driving scenes
编辑推荐:
动态环境下的鲁棒状态估计与轨迹管理是神经计算与计算机视觉领域的难点任务,其核心挑战在于非线性运动模式建模与长时遮挡处理。传统方法依赖线性卡尔曼滤波结合固定运动学模型或启发式生命周期阈值,难以适应复杂真实场景。针对这些局限,研究人员提出一种新型混合跟踪框架EnL
动态环境下的鲁棒状态估计与轨迹管理是神经计算与计算机视觉领域的难点任务,其核心挑战在于非线性运动模式建模与长时遮挡处理。传统方法依赖线性卡尔曼滤波结合固定运动学模型或启发式生命周期阈值,难以适应复杂真实场景。针对这些局限,研究人员提出一种新型混合跟踪框架EnLife-MOT。首先设计神经集成卡尔曼滤波模块(NEKFM),将配备时序注意力机制的深度循环神经网络嵌入预测?更新循环。与标准滤波器不同,NEKFM从数据中隐式学习非线性状态转移矩阵与残差误差,融合神经网络的可塑性与递归滤波的高效性。其次引入轨迹生命周期优化模块(TLOM),将轨迹管理构建为基于学习的概率二分类问题。通过将历史运动特征编码至深度二分类器,TLOM动态预测被遮挡目标的生存概率,有效减少由刚性帧丢失策略引发的身份切换。研究人员进一步采用帧感知多相似度级联关联(FMCA)策略应对不同遮挡状态。在KITTI、nuScenes和Waymo基准数据集上的大量实验表明,该架构实现了具有竞争力的跟踪性能:在KITTI上将身份切换降至18次,在nuScenes上达到76.0%的平均多目标跟踪精度(AMOTA),并在Waymo基准上保持了稳健的多类别性能,同时保持79 FPS的实时推理速度。结果验证了所提出的神经增强滤波范式在处理非线性动力学与不确定性方面的有效性。
研究背景与意义
自动驾驶系统中的三维多目标跟踪(3D MOT)需在动态环境中持续提取图像与点云信息,完成目标定位与关联,支撑轨迹预测及碰撞风险检测。相比二维多目标跟踪(2D MOT),3D MOT可提供更精确的空间位置并保持遮挡下的稳定性。现有方法分为检测后跟踪(TBD)与联合检测跟踪(JDT)两类。JDT虽可实现端到端优化,但计算复杂度高,实时性差,且精度常不及TBD。主流TBD方法依赖卡尔曼滤波与预定义运动模型,对运动模式与参数敏感,急转弯场景中恒定速度模型易导致身份切换(IDSW)。多数方法对所有目标采用统一运动模型,少数按类别区分,仍无法反映真实动态多样性。神经网络预测虽可减少人工设计模型数量,但计算开销大,难以满足实时需求。此外,目标生命周期管理常采用固定最大未匹配帧数作为超参数,忽略个体行为差异,过早或过晚删除轨迹均影响系统表现。因此,研究人员提出EnLife-MOT框架,融合卡尔曼滤波的高效递归结构与神经网络的非线性建模能力,实现独立运动模型与生命周期建模,兼顾精度与实时性。该论文发表于《Neurocomputing》。
关键技术方法
研究人员在TBD范式下构建EnLife-MOT,输入为逐帧检测结果,在线训练轨迹数据,仅以检测结果为输入实现鲁棒跟踪。核心方法包括:1)神经集成卡尔曼滤波模块(NEKFM),将带时序注意力机制的深度循环神经网络嵌入卡尔曼滤波的预测?更新循环,隐式学习非线性状态转移矩阵与残差误差;2)轨迹生命周期优化模块(TLOM),将生命周期管理转化为基于历史运动特征的深度二分类问题,动态预测被遮挡目标的生存概率;3)帧感知多相似度级联关联(FMCA)策略,针对不同状态轨迹设计差异化相似度度量。实验在KITTI、nuScenes和Waymo三个自动驾驶数据集上验证性能。
研究结果
A. 2D多目标跟踪
2D MOT基于连续帧检测结果的关联生成轨迹,随着2D检测算法的发展,主要跟踪范式逐步转向检测与关联任务的结合,包括传统的检测后跟踪与新兴的查询式跟踪。
EnLife-MOT
该部分详细描述基于TBD框架的3D EnLife-MOT模型(如图2所示)。跟踪过程中位置信息预测决定最终质量,因此重点对鸟瞰图(BEV)平面中心点坐标(x, y)进行混合建模,尺寸与偏航角则保持恒定速度模型。模型输入为第k帧的检测结果。
Experiments
研究人员在KITTI、nuScenes和Waymo跟踪数据集上进行实验评估。首先介绍各数据集及其评价指标,随后说明EnLife-MOT在各数据集的实现细节,最后通过大量消融实验与对比实验分析各模块贡献。
Conclusion
EnLife-MOT通过融合卡尔曼滤波与神经网络,解决了复杂场景下遮挡与轨迹依赖导致的跟踪不稳定问题。NEKFM基于卡尔曼滤波的预测?更新机制,利用神经网络的可扩展性解耦不同轨迹的运动模型,同时借助卡尔曼滤波结构保持高效率,显著减少对复杂运动模型的依赖。
Uncited reference
[60]
CRediT authorship contribution statement
Chihang Zhao:监督、项目管理、资金获取、概念化。Xuan Li:初稿撰写、方法论、调查、形式分析。Xingpeng Xie:审阅与编辑、验证、资源、数据整理。
Declaration of Competing Interest
作者声明不存在已知的可能影响本工作的竞争性财务利益或个人关系。
作者介绍
Xuan Li,1997年生,2019年获长安大学学士学位,2022年获长安大学硕士学位,现为东南大学智能交通系统专业博士研究生,研究方向为多目标跟踪。
讨论与结论翻译
本文提出的EnLife-MOT是一种融合卡尔曼滤波与神经网络的新型模型,旨在解决复杂场景中因遮挡与轨迹依赖引起的跟踪不稳定性。研究人员设计了基于卡尔曼滤波预测?更新机制的神经集成卡尔曼滤波模块(NEKFM),利用神经网络的可扩展性在不同轨迹间解耦运动模型,同时通过卡尔曼滤波结构确保高效性,显著降低了对大量运动模型设计的需求。轨迹生命周期优化模块(TLOM)将生命周期管理转化为概率二分类问题,通过动态估计生存概率减少由统一生命周期参数导致的过早删除与冗余保留问题。帧感知多相似度级联关联(FMCA)策略针对不同遮挡状态的轨迹设计差异化关联度量,有效降低了误检、漏检与身份切换。在KITTI、nuScenes和Waymo数据集上的实验结果表明,EnLife-MOT在保持79 FPS实时推理速度的同时,实现了具有竞争力的跟踪性能,验证了神经增强滤波范式在处理非线性动力学与不确定性方面的有效性。