EIDrive：面向自动驾驶低层控制信号预测的高效视觉-语言框架

《Scientific Reports》：EIDrive: an efficient and interpretable visual-language framework for low-level control signal prediction in autonomous driving

　　

摘要

近年来，端到端自动驾驶模型通过直接从传感器数据生成航点或控制信号，展现出了巨大的潜力。特别是转向角和车速等低层控制信号，直接决定了车辆的运动，使其预测精度和可解释性成为自动驾驶系统安全性的关键。然而，现有方法主要仅从视觉输入回归控制信号，缺乏对控制生成依据的显式语义表征，难以在场景理解和控制输出之间建立可追溯的关联。针对这一问题，我们提出了Efficient and Interpretable Driving（EIDrive）——一种面向自动驾驶低层控制信号预测的高效视觉-语言框架。给定单目驾驶视频，EIDrive联合执行控制信号预测与自然语言解释生成。具体而言，引入稀疏正交子空间投影机制以提升特征紧凑性和结构表达力；采用轻量级微调的BERT模型作为共享语义骨干，并结合结构化控制预测头来建模控制相关特征间的结构化关联。在BDD-X数据集上，EIDrive在\(1.0\,\mathrm {m/s}\)阈值下实现了6.1的转向角RMSE和88.2%的车速预测准确率。同时，在保持紧凑计算配置的前提下，还展现了具有竞争力的语言生成性能。