《Machine Learning with Applications》：TransGLSTM: Vision-based traffic accident anticipation using transformers with recurrence and graphs
编辑推荐：
早期准确地预测交通事故可使高级驾驶辅助系统（ADAS）和自动驾驶汽车有效采取预防措施。使用行车记录仪视频作为输入提供了一种更具成本效益的解决方案。然而，由于驾驶场景的复杂性，这具有挑战性。最近基于Transformer的方法在基于视觉的事故预测中展现了最先进的
早期准确地预测交通事故可使高级驾驶辅助系统（ADAS）和自动驾驶汽车有效采取预防措施。使用行车记录仪视频作为输入提供了一种更具成本效益的解决方案。然而，由于驾驶场景的复杂性，这具有挑战性。最近基于Transformer的方法在基于视觉的事故预测中展现了最先进的性能，与基于图神经网络（GNN）的方法相竞争。研究人员提出了一种结合Transformer与图结构和循环结构的模型，以从行车记录仪视频中捕捉长距离和局部时空动态。图结构和循环层引入的结构预计将为模型增加有用的归纳偏置，并帮助其从有限的事故视频数据集中学习。此外，与现有工作相比，研究人员从视频帧中提取了更好的时空特征。在四个基准数据集上的实验表明，该模型在平均精度（AP）和平均事故时间（mTTA）得分上优于现有方法。
**论文解读：TransGLSTM——基于视觉的交通事故预测方法**
**研究背景与问题**
现代高级驾驶辅助系统（ADAS）和自动驾驶汽车需要能够早期、准确地预测交通事故，以便及时采取预防措施。基于视觉的方案（如使用行车记录仪视频）成本较低，但驾驶场景的复杂性（如动态交通参与者、光照变化、遮挡等）使得预测极具挑战性。现有方法主要分为两类：基于图神经网络（GNN）的方法和基于Transformer的方法。GNN方法通过构建对象间的关系图来建模交互，但未采用多头注意力机制；Transformer方法擅长捕捉长距离依赖，但缺乏归纳偏置，在有限训练数据（事故视频通常稀缺）下学习困难。此外，大多数现有方法使用VGG-16等逐帧图像模型提取全局特征，忽略了帧间的时序动态。因此，研究人员旨在结合Transformer、图和循环结构的优势，以同时捕捉长距离和局部时空依赖，并利用更优的时空特征提取器，从而提升事故预测的准确性和提前量。该论文发表于《Machine Learning with Applications》。
**主要关键技术方法（不超过250字）**
研究人员提出TransGLSTM模型，其关键技术方法包括：1) 对象级表征：使用YOLO检测对象，VGG-16提取视觉特征，GloVe编码语义标签，构建时空对象图——空间邻接基于边界框中心距离，时间邻接基于同类对象特征余弦相似度，通过图Transformer（Graph Transformer）更新节点表征。2) 帧级表征：采用SlowFast网络或VideoMAE-V2（基础模型）从连续帧序列中提取时空全局特征，经Transformer编码器（Global Encoder）建模长距离依赖，再经LSTM层捕捉时序连续性。3) 预测模块：将对象级和帧级输出拼接后通过全连接层输出帧级事故概率，使用交叉熵损失端到端训练。样本队列来源包括DAD、DADA、DoTA和Nexar四个基准数据集，其中DAD使用标准划分，其他数据集采用分层5折交叉验证，并聚焦于自车事故（ego-involved accidents）。
**研究结果**
**4.1 数据集**：研究人员使用DAD（620个正样本，1130个负样本，20 FPS）、DoTA（745个正样本，745个负样本，10 FPS）、DADA（938个正样本，1361个负样本，10 FPS）和Nexar（1422个正样本，1422个负样本，10 FPS）四个数据集。除DAD外，其他数据集仅包含自车事故，且避免了CCD数据集的视频质量偏差问题。
**4.2 实现细节**：对象检测使用YOLO，保留每帧最多19个对象；对象视觉特征维度4096，语义标签通过GloVe编码为300维；SlowFast输入31帧（快慢比4），输出2304维特征；VideoMAE-V2输入15帧，输出768维特征；训练使用Adam优化器，学习率1×10
-4，批次大小1，20个epoch。
**4.3 实验**：在DAD上使用标准训练/测试划分，其他数据集使用5折交叉验证。对比方法包括DSA、adaLEA、UString、DSTA、EGSTL、AAT-DA、Graph(Graph)、CCAF-Net等。评估指标为平均精度（AP）和平均事故时间（mTTA）。
**4.4 结果与讨论**：
- TransGLSTM（VideoMAE）在所有数据集上均取得最高AP和mTTA（除DoTA上mTTA略低于AAT-DA）。例如，DAD上AP达81.1%（mTTA 4.46s），DoTA上AP达96.8%（mTTA 3.25s），DADA上AP达97.9%（mTTA 3.14s），Nexar上AP达78.5%（mTTA 4.76s）。
- TransGLSTM（SlowFast）性能略低于VideoMAE版本，但仍优于所有对比方法。
- 消融实验（表3）表明，全局Transformer编码器、LSTM模块、对象级表征模块（空间图Transformer、时间图Transformer、对象LSTM）均对最优性能有贡献；使用VideoMAE替代VGG-16可显著提升AP和mTTA。
- 当移除所有对象级模块时，精简模型TransGLSTM-Lite在自车事故数据集上仍优于多数现有方法，且计算效率更高。
- 微调VideoMAE（表4）未带来显著提升，说明冻结特征提取器已足够。
- 推理速度（表6）：TransGLSTM（VideoMAE）为17 FPS，TransGLSTM（SlowFast）为21 FPS，TransGLSTM-Lite（VideoMAE）达38 FPS，均满足实时性要求（视频通常10 FPS）。
- Grad-CAM可视化（图3）显示模型多数情况下关注关键对象，但偶尔出现误警报（如关注车盖反射或天空）。
**讨论与结论**
**讨论部分**：模型存在局限性，即仅预测事故概率而不预测事故时间（TTA/TTC）。未来工作可扩展至TTA预测。此外，模型基于公开数据集训练，但部署后可通过后适应（仅使用正常驾驶视频）针对特定车辆进行微调，以考虑相机视角、安装位置等车辆特性，这需要开发无监督或自监督适应策略。
**结论部分**：研究人员提出了一种有效的交通事故预测模型TransGLSTM，通过结合Transformer、图结构和循环结构，并利用SlowFast网络或VideoMAE-V2提取改进的时空全局特征，证明其比常用的VGG-16特征更有效。在四个基准数据集上的实验表明，TransGLSTM能够比现有方法更准确、更早地预测事故。
