RM3DMOT：基于运动-外观优化的路边单目3D多目标跟踪技术

《IEEE Open Journal of Intelligent Transportation Systems》：RM3DMOT: Roadside Monocular 3D Multi-Object Tracking with Motion-Appearance Optimization

　　

摘要：

为提升自动驾驶水平，人们提出了车路协同系统，以此扩展车辆的感知范围，并通过路侧感知纠正错误的检测结果。作为该系统的重要组成部分，多目标跟踪技术能够为交通参与者提供连续的信息，从而预测其未来的运动趋势。尽管针对车载传感器，3D多目标跟踪已得到广泛研究，但路侧单目3D多目标跟踪却仍缺乏相关研究。为解决这一问题，我们提出了RM3DMOT，这是一种全新的路侧单目3D多目标跟踪算法，它针对路侧环境的特殊挑战，系统地整合了运动优化与特征优化技术。在运动预测模块中，通过引入多类参与者的非线性运动特性，对无迹卡尔曼滤波器进行了改进。在特征提取方面，设计了一种基于生成对抗网络的相机风格适配机制，以确保特征提取的精确性。具体而言，我们为UKF算法设计了针对不同类别的运动模型，以处理非线性轨迹；同时引入基于GAN的风格适配技术，以提高不同相机下特征提取的稳定性。为实现运动特征与外观特征的有效关联，我们设计了一个基于学习的关联模块，该模块利用多层感知器自适应地融合运动特征与外观特征，从而实现更可靠的轨迹匹配。虽然基于学习的关联技术本身已较为成熟，但将其融入路侧单目3D多目标跟踪框架中，并结合特定的输入参数（HAIoU、外观余弦值、类别兼容性）以及类别平衡的焦点损失函数，为应对路侧场景的特殊挑战提供了切实的解决方案。我们在V2X-Seq数据集和RCooper数据集上进行了多项验证实验。在V2X-Seq数据集上，RM3DMOT取得了最优的性能表现：对于车辆目标，MOTA值为72.06%，IDF1值为83.95%；对于非车辆目标，MOTA值为59.57%，IDF1值为78.97%。在...

查看更多