一种用于自动驾驶系统场景理解的多模态自监督学习框架

《IEEE Open Journal of the Computer Society》：A Multimodal Self-Supervised Learning Framework for Scene Understanding in Autonomous Driving Systems

　　

摘要：

准确的场景理解是自动驾驶系统的核心需求，尤其是在面对复杂且部分可观测的场景时。然而，现有的感知系统大多依赖于大规模的标注数据集，这使它们容易受到传感器性能下降、光照条件变化以及天气状况的影响。为此，我们提出了一种统一的多模态框架，结合自监督表示学习与有监督的初始特征生成方法，利用RGB、热成像、激光雷达和雷达传感器实现更可靠的场景理解。该框架基于针对不同模态的自监督编码器、基于Transformer的多模态融合模块、结构化的场景图以及用于理解物体间关系的图神经网络。通过在nuScenes、nuImages和FLIR数据集上的实验，证明了该框架在应对不同光照条件、物体遮挡以及传感器性能下降时的有效性，同时在物体检测、语义分割和轨迹预测任务中的表现也优于其他基准方法。实验表明，多模态自监督学习与关系理解相结合，能够为自动驾驶感知系统提供可靠且可扩展的解决方案。