《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Video analysis for surrogate measures of safety: Is deep learning good enough?
编辑推荐：
道路安全分析中基于深度学习的目标检测与跟踪方法性能评估。研究通过对比CenterNet2D、YOLOv8、CenterNet3D和ByteTrack在LUMPI数据集上的表现，发现CenterNet2D在计算TTC和PET指标时最优，但与地面真实轨迹仍存在显著差异，尤其在密集场景中跟踪误差影响大，跨数据集应用性能骤降。
刘庆武|尼古拉斯·索尼尔|纪尧姆-亚历山大·比洛多
加拿大魁北克省蒙特利尔市Polytechnique化学路2500号，土木、地质与采矿工程系，H3T 1J4
摘要
道路事故是全球导致死亡和受伤的主要原因之一，而且在许多国家这一情况仍在恶化。安全替代指标（SMoS）基于对道路使用者之间冲突的观察，这些冲突通过诸如“碰撞时间（TTC）”和“侵入后时间（PET）”等指标来表征。这些指标由人类观察者估算或根据道路使用者的轨迹计算得出。尽管计算机视觉方法被用于自动道路安全研究，但据作者所知，目前尚无研究评估其在安全分析中的性能。尽管计算机视觉方法不断改进，尤其是深度学习技术的发展，但自动理解某些交通场景（如拥挤的混合路口）仍然是一个未解决的问题。在这项研究中，我们评估了三种基于深度学习的物体检测方法（CenterNet2D、YOLOv8和CenterNet3D）以及一种物体跟踪方法（ByteTrack）在真实世界数据集上的性能，并将其与基于真实轨迹得到的指标进行了比较。结果表明，CenterNet2D的表现优于其他两种方法。深度学习方法在PET方面的表现优于TTC。然而，与真实值相比，安全指标仍存在较大差距。跟踪误差导致在拥挤场景下安全指标评估的性能存在显著差异。将预训练模型应用于其他数据集时，性能会大幅下降。
引言
根据世界卫生组织（WHO）2023年的报告，道路事故每年导致约119万人死亡。超过一半的道路死亡事故发生在弱势道路使用者中，包括行人、骑自行车的人和摩托车手。在20世纪50年代之前，为了探索导致道路事故的因素并降低道路伤害率，安全分析依赖于历史事故数据。然而，由于事故发生频率较低且难以捕捉，因此这些数据往往存在质量问题。许多低收入和中等收入国家缺乏一致的国家事故数据记录系统。从20世纪50年代末开始，人们开发了主动方法（如交通冲突技术TCTs）来记录冲突并衡量安全性（Perkins和Harris，1966年）。最常见的方法是识别最严重的冲突、险些发生的碰撞，并从严重冲突的数量推算出预期的事故数量。冲突的严重程度通过多个安全指标来衡量，其中最常用的指标是“碰撞时间（TTC）”和“侵入后时间（PET）”。计算这两个指标需要道路使用者的轨迹，这些轨迹可以通过多种方法获取，例如基于特征的方法（Beauchamp等人，2022年；Navarro等人，2022年）或计算机视觉方法（Anwari等人，2023年；Shi等人，2021年）。
尽管计算机视觉方法取得了显著进步，尤其是深度学习技术，但它们可能仍无法处理最复杂的场景，例如拥挤的混合交通路口，因为在这些场景中，物体容易被遮挡、密集排列、体积非常小且轨迹重叠，使得检测和跟踪变得困难。改进轨迹提取方法的工作仍在进行中。例如，已经提出了多种物体检测器，如快速区域卷积神经网络（Fast R-CNN）（Girshick，2015年）、You Only Look Once（YOLO）（Redmon等人，2016年）、Single Shot MultiBox Detector（SSD）（Liu等人，2016年）、CenterNet（Zhou等人，2019年）以及Detection Transformer（DETR）（Zhu等人，2020年），还有多种跟踪器，如Simple Online and Realtime Tracking（SORT）（Simonyan和Zisserman，2015年）、deep SORT（Wojke等人，2017年）和ByteTrack（Zhang等人，2022年）。这引发了这样一个问题：这些方法现在是否足以用于典型交通场景的安全分析？
在这项研究中，我们旨在通过应用最新的计算机视觉方法进行物体检测和跟踪来回答这个问题。据我们所知，目前还没有研究评估计算机视觉方法在生成安全指标方面的性能。我们应用了三种基于深度学习的物体检测方法（CenterNet2D、YOLOv8和CenterNet3D）以及一种物体跟踪方法（ByteTrack），通过将自动生成的轨迹计算出的安全指标与基于真实轨迹得到的指标进行比较来评估它们的性能。
本研究的主要贡献如下：
1.我们提出了一种基于物体匹配和交互匹配的新评估方法，用于比较基于真实轨迹生成的安全指标和基于计算机视觉方法生成的安全指标；
2.我们在一个由固定路边摄像头记录的拥挤交通数据集上应用了三种不同的深度学习物体检测方法和一种物体跟踪方法，并评估了它们在安全指标计算任务中的性能；
3.我们比较了2D和3D物体检测方法的性能，以期为利用计算机视觉方法进行安全分析提供建议。
本文的其余部分组织如下：第2节介绍相关工作；第3节解释了流程并制定了物体匹配和交互匹配方法；第4节介绍了选定的数据集并提供了实验信息；第5节展示了结果和讨论；最后第6节对本文进行了总结。
相关研究
相关工作
在本节中，我们首先总结了安全替代指标（SMoS）的发展历程。然后回顾了现有用于计算安全指标的流程。最后，我们评估了现有的评估指标研究。
流程
本文为安全分析开发的流程包括以下组成部分：
1.物体检测；
2.轨迹生成与平滑；
3.安全指标计算。
应用了三种物体检测方法，它们在架构和2D或3D检测输出方面有所不同。然后，使用相同的跟踪方法ByteTrack对检测结果进行处理，以构建道路使用者的轨迹，再计算安全指标。如图1所示，该流程能够
数据集
我们选择Léibniz University Multi- Perspective Intersection数据集（LUMPI）（Busch等人，2022年）作为安全分析的数据集，因为该数据集记录的是交通流量较大的路口，每帧中有超过50名道路使用者。这是一个多视图、多传感器的数据集，包含五个LiDAR传感器和两个摄像头传感器，拍摄地点位于德国汉诺威的K?nigsworther Platz。这是一个由四条街道组成的复杂路口，交通类型包括机动车辆、行人和骑自行车的人。
结果
在本节中，我们首先展示了使用第3.1节描述的流程获得的一般性能结果。接下来，我们评估了第3.2节中提出的匹配方法每种方法的性能。最后，我们对结果进行了讨论。
结论
在这项研究中，我们开发了一个流程，用于探索物体检测和跟踪方法在道路安全分析中的性能。据我们所知，这是第一项评估基于视频的自动化方法在道路安全分析中的性能以及两种最常用的安全指标TTCmin和PET计算的研究。我们在一个拥挤的路边数据集上应用了三种物体检测方法（CenterNet2D、YOLOv8和CenterNet3D）以及一种物体跟踪方法（ByteTrack）。
作者贡献声明
刘庆武：撰写 – 审稿与编辑、撰写 – 原稿撰写、可视化、验证、软件开发、资源管理、方法论设计、数据分析、概念构建。尼古拉斯·索尼尔：撰写 – 审稿与编辑、可视化、验证、监督、软件开发、资源管理、方法论设计、调查、资金获取、数据分析、概念构建。纪尧姆-亚历山大·比洛多：撰写 – 审稿与编辑
