基于多模态学习与Transformer框架的车辆实时碰撞风险预测模型研究——面向城市复杂道路场景的大规模近碰撞事件数据集分析

为解决传统碰撞风险预测模型忽略驾驶员状态及多源数据差异导致的预测精度不足问题，研究人员提出PM-Transformer框架，整合时空、频谱与元数据特征，通过预训练模块与Transformer融合技术，实现仅需5%训练样本即可达到同等精度，小样本（0.5-2秒）预测准确率提升4%-9%，显著提升ADAS系统可靠性。

　　

在城市交通系统中，车辆碰撞事故每年造成大量人员伤亡和经济损失，而高级驾驶辅助系统（ADAS）中的碰撞避免系统被视为直接有效的解决方案。然而，现有系统存在可避免事故范围有限、误报率高、对复杂路况适应性差等问题。更关键的是，传统碰撞风险预测模型往往忽视驾驶员状态（如攻击性驾驶、疲劳驾驶和分心驾驶）对事故的触发作用，且未能有效处理多源数据（如车辆运动数据与静态标签数据）的模态差异，导致特征提取不充分，预测精度受限。

针对这些挑战，中南大学的研究团队通过长期自然驾驶实验，构建了中国首个大规模多场景城市道路近碰撞事件数据集，并开发了基于Transformer的PM-Transformer框架。该研究创新性地融合了驾驶员行为、车辆动力学和道路环境数据，引入频谱分析增强时间序列特征表达，最终实现实时碰撞风险的高精度预测，成果发表于《Engineering Applications of Artificial Intelligence》。

关键技术方法
研究采用四项核心技术：1）短时傅里叶变换（STFT）提取交通时间序列的频谱特征；2）预训练时空模块（1D-CNN-LSTM）捕捉交通数据时空信息；3）预训练频谱模块（2D-CNN-LSTM）从交通谱图中学习视觉时序特征；4）基于Transformer的多模态特征融合模块。实验数据来自覆盖全城道路的自然驾驶实验，包含驾驶员状态标签与多源传感器数据。

研究结果

1. 数据与模型设计
   通过自然驾驶实验构建的含攻击性驾驶、疲劳状态等标签的数据集，解决了传统研究依赖模拟器数据的局限性。PM-Transformer框架通过分模块处理不同模态数据（如LSTM提取时序特征、CNN处理频谱），避免低波动数据被忽略的问题。

2. 性能验证
   模型在仅5%训练样本下达到传统模型同等精度，小样本（0.5秒、1秒、2秒提前量）预测准确率分别提升6%、9%、4%。频谱特征的引入使模型对突发风险（如驾驶员分心导致的变道冲突）响应更灵敏。

3. 多场景适用性
   相比传统模型在特殊场景样本（<1000条）训练的局限性，本研究的大规模数据集使模型在交叉口、拥堵路段等复杂场景中均保持最优性能，误报率降低23%。

结论与意义
该研究首次将频谱分析应用于碰撞风险预测，证实了频率域特征对提升模型灵敏度的有效性。PM-Transformer框架通过模块化处理多源异构数据，解决了传统模型特征提取不均衡的痛点，为ADAS系统提供了更可靠的实时决策支持。此外，公开的中国城市道路近碰撞数据集填补了自然驾驶数据空白，为后续研究奠定基础。未来可进一步探索模型在自动驾驶系统中的嵌入式应用，推动智能交通系统安全性升级。