SF3D-MDA：一种基于车载视觉信息的道路使用者行为标注框架与识别方法

《IEEE Sensors Journal》：SF3D-MDA: A Road-User Behavior Annotation Framework and Recognition Method Based on Vehicle-Mounted Visual Information

　　

摘要：

为了解决传统鸟瞰图（BEV）轨迹建模方法在以自动驾驶车辆为中心的道路用户行为识别任务中导致的时空语义分离这一关键问题，本文提出了一种以自动驾驶车辆为中心的道路用户行为识别方法作为系统解决方案。该方法引入了行为-位置联合注释（BLJA）框架，以解决现有注释框架在处理多模态交互动态方面的不足以及专用自动驾驶车辆视角道路用户行为数据集的稀缺问题。此外，我们使用该框架构建了ROAD-Waymo-trans数据集，并通过细粒度的行为和位置标签对其进行语义增强，以满足自动驾驶的感知需求。我们提出了一种基于SlowFast的三维双向特征金字塔网络（FPN），并加入了多维注意力（SF3D-MDA）机制。该模型采用了双路径三维双向FPN（3-DBi-FPN）结构：慢路径嵌入了通道-空间注意力（CSA）以捕捉像素级的空间细节，而快路径则整合了通道-时间注意力（CTA）来建模跨帧的时空依赖性。在ROAD数据集上的实验结果显示，模型在帧级f-mAP@0.5指标上分别提升了1.7%（代理）、4%（动作）和3%（位置）；在ROAD-Waymo数据集上，视频级v-mAP@0.2指标分别提升了7.4%（代理）、1.8%（动作）和2.7%（位置）。消融实验表明，多维注意力机制为各项任务带来了3.59%至4.37%的性能提升。实验结果证明，改进后的模型在模拟复杂交通场景中的多智能体交互方面表现出较强的鲁棒性，并能够产生准确的检测结果。所提出的方法通过上下文感知的注释和时空一致的架构设计，成功弥合了感知与决策之间的差距。这些结果验证了其在实际应用中的有效性...

显示更多

I. 引言

随着人工智能的快速发展，自动驾驶已成为汽车领域的一个关键研究方向。然而，实现精确的环境感知和行为理解仍然是一个重要的瓶颈。特别是在复杂的动态交通场景中，从自动驾驶车辆的角度来看，这一问题尤为突出。尽管基于鸟瞰图（BEV）的行为识别方法取得了显著进展，但其实际应用仍然受到限制。当前关于以自动驾驶车辆为中心的道路用户行为识别的研究面临两个根本性挑战。这些限制直接导致该领域的进展远远落后于BEV方法。首先，现有方法无法充分模拟自动驾驶车辆坐标系统内的动态场景；其次，过时的注释框架无法满足多模态行为识别的需求。造成这一问题的一个关键原因是专用自动驾驶车辆视角道路用户行为数据集的稀缺。这类数据集对于训练强大的模型至关重要。第三，传统方法忽视了人类驾驶行为的本质上的多模态和时空耦合特性。具体而言，几何轨迹分析忽略了重要的上下文语义信息；此外，单一智能体行为检测范式无法捕捉现实世界交通中异构道路用户之间的复杂交互。因此，当前的自动驾驶车辆道路用户行为识别研究受到三个关键限制的制约：多模态注释数据集的稀缺、对动态智能体间语义交互理解的不足，以及识别模型在异构交通环境中的泛化能力有限。