噪声感知的多模态时序Transformer网络：V2X环境下人驾与自动驾驶行为识别研究

《Digital》：Noise-Aware Deep Learning for Distinguishing Human and Autonomous Driving Behaviors in V2X Environments

　　

在未来的混合交通环境中，准确识别车辆是由人类驾驶员还是自动驾驶策略控制，对于安全监控和责任归属至关重要。为实现准确的分类或识别，本文提出了NMTT-Net（噪声无关多模态时序Transformer网络，Noise-agnostic Multimodal Temporal Transformer Network），一种多模态时间序列分类器，将前置摄像头图像经变分自编码器（VAE，Variational Autoencoder）提取的潜在嵌入与18维车辆动力学信号相结合。为在恶劣天气和传感器损坏条件下保持可靠性，NMTT-Net在时序编码前应用模态特定的噪声检测和去噪处理，并使用具有固定权重融合的双路径时序Transformer编码器学习判别性行为模式。研究团队在CARLA模拟器的Town07地图下构建了人驾到自动驾驶（H2A，Human-to-Autonomy）数据集，包含干净和噪声条件下的人类、PPO（Proximal Policy Optimization）和DDQN（Double Deep Q-Network）轨迹，其中图像噪声由恶劣天气诱发，动力学噪声建模为高斯损坏。实验结果表明，NMTT-Net在干净和噪声条件下分别达到99.509%和98.617%的准确率，鲁棒性差距（干净到噪声的准确率下降）仅为0.892%，小于去噪后的单模态基线。这些基于仿真的结果表明，噪声感知的多模态时序融合能够在严重环境退化下实现可靠的H2A识别，尽管面向真实世界部署仍需进一步研究。

噪声感知的多模态时序Transformer网络：V2X环境下人驾与自动驾驶行为识别研究解读

一、研究背景与问题提出

随着高级驾驶辅助系统和自动驾驶技术的快速部署，人类驾驶车辆与自动驾驶车辆共存的混合交通环境将迅速扩展。这种过渡为未来的智能交通系统带来了新挑战——系统必须解读和响应由根本不同的控制机制产生的异构驾驶行为。在此背景下，识别车辆是由人类控制还是由自动驾驶策略控制，已成为区别于传统驾驶员识别的重要问题。H2A（Human-to-Autonomy）识别预计在未来交通安全分析、事故调查和责任归属中发挥关键作用。

然而，真实环境中可靠的H2A识别面临诸多挑战。恶劣天气条件、光照变化以及持续或间歇性传感器故障会损坏感知和运动信号，直接损害分类模型的准确性。此外，许多现有多模态学习框架主要旨在正常无噪声条件下提高感知精度，并未明确考虑多模态数据中感官输入退化时的鲁棒性问题。现有研究大多依赖单模态输入，且未充分解决严重环境退化下的鲁棒性问题。传感器数据在GPS遮蔽和传感器漂移等现实问题下可靠性显著下降；视觉方法依赖的摄像头流本身会因雾气中的反向散射和衰减以及环境照度降低而退化。多模态方法虽被强烈推荐，但获取足够丰富的车辆数据以支持此类方法仍是重大实践挑战。

二、研究内容与主要结论

针对上述问题，研究人员提出了NMTT-Net（噪声无关多模态时序Transformer网络），一种用于H2A识别的鲁棒多模态时间序列分类框架。研究团队利用CARLA模拟器构建了高保真H2A数据集，包含人类驾驶员和强化学习智能体的同步视觉与传感器轨迹。实验结果表明，NMTT-Net在干净条件下达到99.509%的准确率，在严重多模态损坏下保持98.617%的准确率，鲁棒性差距仅为0.892%。这一结果证明，噪声感知的多模态时序融合能够在高度退化的运行环境中实现可靠且稳定的H2A识别。该研究的意义在于：首次正式定义了H2A识别问题并强调其在V2X混合交通环境中的重要性；构建了包含人类、PPO和DDQN驾驶轨迹的多模态数据集；提出了结合模态特定噪声检测与去噪的噪声感知预处理框架；设计了具有固定权重融合的双路径时序Transformer架构；并通过大量实验证明了该方法以最小鲁棒性差距实现高精度识别。

三、关键技术方法概述

研究人员采用的主要技术方法包括：第一，VAE（变分自编码器）视觉表示学习，利用CNN编码器将前置摄像头图像提取为128维潜在向量，仅使用确定性均值向量以确保表示稳定性；第二，传感器归一化与线性投影，将18维车辆动力学信号通过均值-方差归一化和可学习线性层投影到共享的128维潜在空间；第三，模态特定噪声检测与去噪管道，图像分支采用轻量级MLP噪声检测器和去噪VAE（D-VAE）将损坏的潜在表示映射回噪声不变流形，传感器分支采用基于时间梯度的规则检测和局部时间插值重建；第四，双路径时序Transformer编码，每个模态使用独立的Transformer编码器建模长时间依赖关系；第五，固定权重特征级融合与MLP分类器。数据集来源于CARLA模拟器（v0.9.16）Town07地图，包含人类驾驶员、PPO和DDQN三种智能体的轨迹，在干净和噪声条件下各采集100个片段。

四、研究结果分析

4.1 传感器数据时序建模基线选择

研究人员将Transformer与CNN、LSTM、GRU和ConvLSTM等广泛使用的序列建模方法在传感器数据集上进行比较。结果表明，Transformer在准确率和交叉熵损失方面均优于所有循环基线。尽管准确率绝对提升看似有限，但交叉熵损失的显著降低表明Transformer能产生更自信和稳定的预测，这对H2A识别至关重要——判别性线索分布在较长时间范围内而非局部事件中。

4.2 图像数据编码器基线选择

在图像模态上，研究人员对CNN和Transformer编码器进行比较，两者均操作于相同的VAE派生图像潜在序列。结果显示Transformer编码器在准确率和交叉熵损失方面均优于CNN基线。CNN编码器主要关注局部特征聚合，缺乏捕捉潜在序列中长距离时间依赖的显式机制；而Transformer能直接关注远距离时间步之间的关系，建模影响驾驶行为的渐进场景转换和上下文相关视觉模式。

4.3 干净条件下的分类性能

在理想感知条件下，所有模型（包括仅访问部分输入数据的模型）均达到出色性能，表明CARLA环境中驾驶智能体在信号完整时具有固有可区分的行为模式。图像单模态模型略优于传感器单模态基线，表明图像帧中包含丰富信息用于区分不同驾驶智能体。NMTT-Net优于所有单模态对应模型，证明视觉和传感器信息提供了互补的驾驶行为视角。研究人员指出，干净条件下所有配置均处于近饱和状态，该设置最好理解为上限参考，多模态融合的贡献主要通过退化条件下的鲁棒性差距来量化。

4.4 噪声条件下去噪模块的有效性

在无去噪情况下，两种单模态模型均遭受严重性能退化。传感器数据方面，高斯噪声引入不规则时间变化，破坏信号连续性并可能误导注意力机制；图像方面，恶劣天气和夜间条件降低可见度和对比度，导致潜在表示偏离干净分布。应用所提出的去噪机制后，两种单模态方法均显著提升识别性能（超过96%），但相对干净条件仍存在残余性能差距，凸显了单模态分类的固有限制。

4.5 噪声条件下的鲁棒性差距分析

鲁棒性差距量化了从干净到噪声条件的性能退化。尽管应用去噪模块，单模态模型仍保留显著鲁棒性差距。相比之下，NMTT-Net利用两种模态并结合去噪模块，实现了最小的鲁棒性差距0.892%，展现出跨环境条件的强稳定性。这种改进源于多模态时序融合——当一种模态部分不可靠时，另一种模态可提供稳定参考，使融合表示保持高分类性能。

4.6 融合权重敏感性分析

研究人员在干净、图像噪声、传感器噪声和联合噪声四种环境下分析融合权重的影响。干净条件下，平衡融合实现最佳性能；图像退化时，赋予传感器模态更高权重可提升性能；传感器损坏时，图像主导的融合配置优于传感器主导组合；两种模态同时退化时，平衡融合达到最高性能。结果表明最优融合权重配置取决于受噪声影响的模态，若能在实时识别图像和传感器输入的噪声状态，环境感知的融合权重策略将实现更鲁棒的H2A识别。

五、讨论与结论

在讨论部分，研究人员分析了实际部署考量、比较范围和固定权重融合的含义。部署方面，NMTT-Net的V2X中心输入设计与车载和路侧单元部署场景对齐，讨论了传感器错位、硬件特定噪声和非结构化交通交互等实际挑战，并概述了三种具体部署场景：路侧单元实时监控、事后事故归因分析和交通管理自主比例估计。比较范围方面，由于H2A识别问题在本研究中首次正式定义，不存在针对相同输入-输出规范的先验方法，研究人员通过内部消融实验建立基线比较。固定权重融合方面，平衡配置是噪声不确定性下的极小极大解，其最坏情况准确率超过所有替代权重配置；同时，模态特定噪声检测器输出可作为自适应融合的门控信号。

研究结论部分指出，NMTT-Net通过结合VAE派生的视觉潜在嵌入与18维车辆动力学信号，在干净和噪声条件下分别实现99.509%和98.617%的准确率，鲁棒性差距仅为0.892%。噪声感知的多模态时序融合能够在严重环境退化下实现可靠的H2A识别。研究人员同时承认，这些基于仿真的结果需要进一步研究才能实现真实世界部署，并明确指出人类类别仅来自单一驾驶员、噪声建模假设限于高斯尖峰噪声和五种天气条件、智能体多样性覆盖有限等局限性，以及未来需要在真实车辆记录上进行评估以建立仿真到现实的迁移性。