基于相机与LiDAR数据融合的多目标跟踪增强关联与检测精度研究

为解决单传感器在目标跟踪中存在信息缺失导致性能下降的问题，研究人员提出了一种融合相机2D与LiDAR 3D检测框的多目标跟踪（MOT）系统。通过置信度筛选与简单交并比（IOU）关联算法，结合2D信息更新3D跟踪框状态，显著提升了轨迹稳定性与跟踪精度。实验验证其HOTA与sAMOTA指标优于现有方法，为自动驾驶等领域提供了更鲁棒的解决方案。

　　

在自动驾驶和智能监控领域，多目标跟踪（Multi-Object Tracking, MOT）技术的精度直接影响系统安全性。传统方法依赖单一传感器（如相机或LiDAR），易因光照变化、遮挡或远距离目标导致信息缺失。例如，相机难以获取深度信息，而LiDAR对纹理细节不敏感。尽管已有SORT、DeepSORT等2D跟踪算法和AB3DMOT、CenterPoint等3D方法，但跨模态数据融合的优化潜力尚未充分挖掘。

为突破这一瓶颈，台湾地区成功大学的研究团队提出了一种创新的相机-LiDAR融合跟踪框架。该研究通过整合2D与3D检测框的互补优势，显著提升了复杂场景下的跟踪鲁棒性。相关成果发表于《Optics and Lasers in Engineering》，为跨模态感知技术提供了新范式。

研究采用三项关键技术：1）基于PointRCNN的LiDAR点云3D检测与RRC模型的2D图像检测；2）高置信度3D框投影至2D平面的数据预处理；3）优先匹配3D框的IOU-Hungarian关联算法与状态更新机制。实验数据来自KITTI数据集，涵盖城市道路多目标场景。

Tracking Process Framework
研究构建了三阶段框架：数据预处理阶段筛选高置信度3D检测框并投影至2D平面，弥补单模态盲区；关联阶段通过IOU度量与匈牙利算法实现跨模态匹配，优先处理3D框以降低误匹配率；更新阶段利用2D信息修正3D跟踪框状态，增强轨迹连续性。

Experimental Environment
在Windows 10系统搭载NVIDIA RTX 3090 GPU的平台上，该系统实现实时处理。对比EagerMOT等混合方法，其HOTA指标提升12.7%，sAMOTA在遮挡场景下改善尤为显著。

Conclusion and Future Work
该研究证实跨模态融合能有效解决单传感器局限性，通过简单的IOU优化与数据优先级策略即可大幅提升性能。未来将探索端到端联合训练模型，进一步优化计算效率。

这项工作的核心价值在于：1）提出低计算复杂度的融合方案，适合车载设备部署；2）为JDT（Joint Detection and Tracking）方法提供新的跨模态基准；3）其预处理策略可扩展至雷达-视觉融合系统。研究团队Shao-Jun Zhang与Pei-Ju Chiang强调，该方法在夜间或雨雾条件下的泛化能力仍需验证，但当前成果已为自动驾驶感知模块树立了新标杆。