在特殊情况下的汽车碰撞检测：基准虚拟-现实数据集与双教师知识蒸馏方法

《Displays》：Car crash detection in corner cases: Benchmark virtual-real dataset and dual-teacher knowledge distillation

　　•构建了一个大规模的基于视觉的交通事故基准数据集VCCD-12K，为在多样化真实世界场景下评估交通事故检测算法提供了一个综合平台。
•开发了一种目标感知的对比学习机制，以提高在复杂环境中的检测能力。通过对比正样本和负样本的特征来提高检测性能，同时最大化正样本的一致性并最小化负样本的一致性。
•提出了一种元宇宙数据特征对齐方法，以弥合学生模型和教师模型之间的特征分布差异，确保两种模型之间的一致特征表示学习。

引言
在智能交通电子领域，汽车碰撞检测是嵌入式计算机视觉的一个关键应用场景。从智能传感和测量系统的角度来看[1]，随着智能车内设备、行车记录仪和连接传感器的普及[2]，基于视觉的感知系统能够持续获取和分析视觉信息，为识别如车辆碰撞等异常交通事件提供有效解决方案[3],[4]。在这种情况下，事故检测可以被解释为一个实时测量过程，其中测量的准确性、延迟和可靠性直接影响系统性能。根据世界卫生组织（WHO）的数据，全球每年大约发生5000万起道路交通事故，导致严重伤害，其中包括125万人死亡[5],[6]。因此，提高基于视觉的碰撞检测系统的鲁棒性和可靠性对于增强交通安全和减少智能交通基础设施中的事故相关损失至关重要。

然而，由于两个主要因素，实现鲁棒和高效的检测仍然具有挑战性。首先，交通事故的不可预测性极大地限制了用于模型训练的真实世界数据收集。这种数据稀缺性对数据驱动的测量模型准确捕捉与事故相关的视觉模式构成了重大挑战。其次，现有的检测模型[7],[8]在复杂的道路条件和恶劣天气下往往表现不佳，因为这些情况下的事故指示性视觉线索很微妙或被遮挡。这些挑战限制了部署在嵌入式交通监控系统中的基于视觉的传感模块的可靠性。为了解决这些问题，本文提出了一个名为YOLO-CCD的基于视觉的交通事故检测框架。

所提出的框架是为资源受限的嵌入式视觉平台设计的。它将碰撞检测视为一个视觉识别问题，并旨在从复杂的视觉观察中识别交通事故状态。引入了双教师知识蒸馏策略，通过从真实世界和元宇宙模拟数据中转移互补知识来增强特征表示。该设计减轻了由于事故样本有限和环境条件具有挑战性而导致的性能下降。该框架保持轻量级架构，适用于边缘AI芯片、车载计算单元和智能交通摄像头[9]。此外，还构建了一个名为VCCD-12K的大规模数据集，其中包含真实和合成的交通场景。该数据集涵盖了多样的环境、照明条件和天气变化。图1展示了数据集中的代表性样本。通过整合真实世界和模拟的视觉数据，VCCD-12K为在具有挑战性的条件下评估基于视觉的交通事故检测算法提供了一个全面的基准。

与车辆相关的检测是智能交通系统的基本视觉感知任务，它使交通场景理解和异常事件识别成为可能。在智能交通研究中，学者们在与车辆相关的检测方法上取得了显著进展。Wang等人[10]引入了专门用于基于视觉的损伤识别和分割的车辆损伤检测（CarDD）数据集。Hoanh等人[11]开发了一个多任务框架，通过道路区域优先级来提高车辆检测效率。Gao等人[5]提出了一种基于形状的非均匀采样策略来提高检测精度，而Li等人[12]设计了一种基于乘客对人类/AI驾驶员区分的驾驶体验的非语言图灵测试来评估自动驾驶系统。Mujtaba等人[13]开发了一个基于深度学习的车辆检测框架，具有用于无人机智能交通监控的强大特征提取能力。然而，大多数现有方法主要关注检测精度，而在复杂视觉环境下的鲁棒性和泛化能力尚未得到充分探索。尽管如此，当前方法在识别复杂道路场景中的事故车辆方面的效果仍然有限。技术上的差距源于两个基本挑战。首先，动态和异构的交通环境涉及道路条件、车辆类型、天气模式和照明条件的变化。这些变化引入了视觉干扰和特征模糊性到检测过程中。其次，由于事故车辆在空间分布上较为稀疏且特征上不明显，因此将其与正常车辆区分开本来就很困难。微妙的损伤特征经常存在，但容易被周围交通参与者（例如车辆、行人）遮挡或被环境杂乱物掩盖。因此，在该领域实现可靠的事故车辆检测仍然是一个未解的挑战。

知识蒸馏（KD）为在资源受限条件下提高基于视觉的模型的效率提供了一种有效的解决方案。KD将高容量教师网络中的信息知识转移到紧凑的学生模型中，实现轻量级部署的同时保持竞争性的检测性能。尽管深度神经网络在计算机视觉应用中取得了显著成功，但它们在资源有限的边缘设备上的部署仍然具有挑战性[14]。最近的方法创新扩展了KD的边界：Park等人[15]建立了关系知识蒸馏（RKD）来捕捉样本间关系，而Kong等人[16]通过跨域扰动策略设计了领域对抗攻击（DAA）来减轻伪标签的不确定性。Yang等人[17]改进了精细教师框架以优化图像对的使用，Zhou等人[18]提供了专门用于城市混合交通监控的数据集。并行发展还包括Ke等人[19]的领域自适应对象检测（DAOD）以实现跨域泛化，以及Yu等人[20]将KD应用于细粒度的事故时空分析。然而，大多数现有方法主要集中在提高模型精度上，而在复杂视觉条件下的鲁棒性和有限训练样本下的泛化能力尚未得到足够关注。尽管如此，现有的KD方法在复杂交通场景中仍面临几个限制。事故场景的多样性引入了显著的领域差异和注释不一致性，降低了知识转移的有效性。此外，学生模型可能过度依赖教师指导，这限制了它们在未见条件下的泛化能力。蒸馏过程中的信息损失也可能会降低小对象和边界区域的表示。因此，有效的策略来保护关键视觉特征并增强知识转移的鲁棒性仍然非常有必要。

为了应对这些挑战，建立了一个专门用于事故检测的大规模数据集，名为VCCD-12K。为了应对这些挑战，构建了一个名为VCCD-12K的大规模数据集，用于基于视觉的交通事故检测。该数据集包含12,766张带有注释的图像，涵盖了两种与事故相关的类别和多样的道路环境。它提供了用于在具有挑战性的场景下评估和改进交通事故检测算法的全面视觉样本。所提出的方法包括两个互补的研究组成部分。首先，构建了一个元宇宙虚拟数据集，专注于边缘场景以缓解真实世界数据的稀缺性。其次，设计了一个双教师知识蒸馏网络以实现模型轻量化和鲁棒性优化。这些组件的整合形成了一个从数据生成到模型优化的全面技术流程。我们工作的关键贡献可以归纳为三点：
(1) 构建了一个大规模的基于视觉的交通事故基准数据集VCCD-12K，用于在多样化的交通条件下评估事故检测算法。
(2) 引入了一种目标感知的对比学习策略，以在对象级别区分事故车辆和正常车辆的表示。与传统的主要改进一般特征区分的对比学习不同，所提出的策略明确利用了构建基准中事故车辆和正常车辆之间的语义差异。
(3) 开发了一种虚拟-现实双教师知识转移策略，以利用来自特定事故的虚拟数据和正常驾驶真实数据的互补信息。引入了特征对齐，以减少由异构教师数据源引起的表示差异，使学生检测器能够共同获取与事故相关的和正常交通的知识。

本文的其余部分组织如下。第2节回顾了相关工作。第3节详细介绍了我们自己构建的数据集。第4节介绍了所提出的车辆碰撞检测方法。第5节讨论了实验结果。第6节总结了未来方向。

相关工作
汽车碰撞检测技术已成为现代交通研究中的一个关键领域。从视觉感知的角度来看，碰撞检测可以被视为从复杂视觉数据中识别交通事故状态的过程。主要目标是在复杂和动态的道路环境中准确识别事故，同时提取相关特征以促进及时的紧急响应。有效应对光照变化、天气等挑战。

VCCD-12K数据集
为了研究复杂场景中的汽车碰撞检测，我们构建了VCCD-12K数据集，其中包含了来自虚拟和真实世界场景的超过12K张图像。该数据集旨在支持对基于视觉的交通事故检测算法的全面评估。据我们所知，这是专门用于汽车碰撞检测的最大数据库，作为评估和比较各种检测算法性能的基准。

整体算法流程图
为了应对复杂交通环境中的汽车碰撞检测，我们提出了一个名为YOLO-CCD的双教师知识蒸馏框架。该框架包括一个学生检测器和两个教师网络，其中一个教师1从自动驾驶数据中学习正常车辆的表示，另一个教师2从虚拟事故场景中学习与事故相关的表示。在训练过程中，两个教师的多层特征通过特征传递给学生。

基准和实施细节
对于实验，我们使用了VCCD-12K数据集，该数据集集成了虚拟和真实的道路交通图像。首先，从互联网收集了多样化的车辆事故图像，并使用大型模型生成，以确保各种视角和照明条件。其次，每辆事故车辆都进行了单独注释，以防止周围车辆的误检测。最后，创建了一个包含12,766张带有注释的新汽车碰撞检测数据集。

结论
双教师知识蒸馏框架通过将虚拟场景模拟与真实世界数据集结合，解决了汽车碰撞检测中的关键挑战，如训练样本不足和特征提取能力受限的问题。利用双教师架构，这些数据集的集成系统地指导学生检测器中的特征学习过程，提高了基于视觉的检测的表示能力和鲁棒性。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。