天气感知的自动驾驶实时碰撞避免:一种面向安全感知与嵌入式部署的仿真到边缘框架

《Applied Sciences》:Weather-Aware Real-Time Collision Avoidance for Autonomous Vehicles: A Simulation-to-Edge Framework for Safety-Oriented Perception and Embedded Deployment

【字体: 大 中 小 】 时间:2026年10月23日 来源:Applied Sciences 2.5

编辑推荐:

  自动驾驶车辆的实时碰撞避免不仅需要准确的目标检测,还需要在变化的环境条件下对感知输出进行可靠解释,并以计算可行的方式执行。研究人员提出了一种统一的仿真到边缘(simulation-to-edge)框架,联合评估多类感知(multi-class percepti

  
自动驾驶车辆的实时碰撞避免不仅需要准确的目标检测,还需要在变化的环境条件下对感知输出进行可靠解释,并以计算可行的方式执行。研究人员提出了一种统一的仿真到边缘(simulation-to-edge)框架,联合评估多类感知(multi-class perception)、天气相关鲁棒性(weather-dependent robustness)、安全导向决策(safety-oriented decision making)和嵌入式部署(embedded deployment)。在CARLA模拟器中生成了一个包含5927张图像和21021个标注实例的合成数据集,覆盖四个城市环境和五种天气条件(即Clear、Rain、Heavy Rain、Fog和Heavy Fog),涉及五类安全相关目标:车辆(vehicle)、行人(pedestrian)、施工锥桶(construction cone)、碎片(debris)和人行横道(crosswalk)。将基于YOLO的检测器与确定性碰撞避免决策引擎集成,该引擎结合了车道走廊相关性(lane-corridor relevance)、类别特定单目距离估计(class-specific monocular distance estimation)、天气相关距离阈值(weather-dependent distance thresholds)、时间确认(temporal confirmation)、严重度滞回(severity hysteresis)以及天气条件可靠性回退(weather-conditioned reliability fallback),生成四种可解释的驾驶状态:CONTINUE、WATCH、SLOW DOWN和STOP。在留出测试集上,检测器达到了98.00%的精确率。天气分层评估显示,性能下降主要集中在车辆和行人检测上,而静态路边类别保持相对鲁棒。当与由CARLA真实目标状态生成的参考决策进行比较时,决策引擎达到93.5%的一致性,并正确识别了98.7%(157/159)的关键STOP场景。完整的感知到决策流水线在NVIDIA Jetson Orin Nano Super上执行,达到24.23 FPS和41.59 ms的平均延迟,超过了预定义的实时目标(15 FPS和67 ms)。检测和决策精度在仿真中得到验证,而嵌入式实验证明了完整流水线的实时可行性。总体而言,这项工作的贡献是在一个共同的仿真到边缘框架内,对天气相关感知、下游安全导向决策行为和实时嵌入式执行进行系统级联合评估。
自动驾驶碰撞避免系统依赖可靠的环境感知,而延迟、不准确或不稳定的目标识别会直接危及行车安全。雨、雾等恶劣天气会降低能见度和图像对比度,使车辆、行人等动态目标的视觉特征弱化,且影响因类别而异:漏检近处行人的后果远重于漏检远处无关物体。传统检测指标如精确率、召回率和平均精度(mAP@0.5,即IoU阈值为0.5时的平均精度均值)无法判断感知输出是否导致恰当的驾驶响应;工作站级高精度模型又可能不满足嵌入式平台对延迟、吞吐和功耗的约束。现有研究通常分别评估检测鲁棒性、计算可行性或驾驶决策,缺乏系统级联合评价。为填补这一空白,研究人员提出了一个统一的仿真到边缘框架,将多类感知、天气相关鲁棒性、安全导向决策和嵌入式部署纳入同一协议中评估。

研究人员利用CARLA模拟器生成多天气合成数据集,训练YOLO11m检测器,并设计了一个可解释的规则型决策引擎。实验表明,该框架在检测精度、决策一致性和关键STOP识别方面表现良好,同时能在NVIDIA Jetson嵌入式设备上满足实时性要求。其意义在于首次实现了从感知到决策再到边缘执行的全链路联合评估。

关键技术方法可概括为:数据集由CARLA 0.9.15生成,涵盖Town01、Town03、Town05和Town10HD四个城镇,以及Clear、Rain、Heavy Rain、Fog、Heavy Fog五种天气,共5927张图像、21021个标注实例;通过3D到2D投影自动生成距离一致的边界框。检测器采用YOLO11m,在960×960分辨率下训练100轮,使用AdamW优化器和多种数据增强。决策引擎为确定性规则级联,综合车道走廊相关性、类别特定单目距离估计、天气相关距离阈值、时间确认、严重度滞回和天气条件可靠性回退,输出CONTINUE、WATCH、SLOW DOWN、STOP四种状态。嵌入式部署在NVIDIA Jetson Orin Nano Super(8 GB)上,输入分辨率降至320像素,评估吞吐、延迟及资源占用。

研究结果部分如下。5.1 实验设置:实验使用上述数据集,训练环境为Intel i9-13900KF、64 GB内存和RTX 4090 GPU;模型训练100轮,测试集914张图像,并在Jetson上以320像素输入进行边缘评估。5.2 检测性能分析(Detection Performance Analysis):在留出测试集上,YOLO11m总体精确率为98.00%,召回率为90.00%,mAP@0.5为91.00%,漏检率为10.00%;施工锥桶检测最佳,行人召回率最低(81.00%)、漏检率最高(19.00%),车辆召回率为86.00%,说明错误集中于动态交通参与者。5.3 不同天气条件下的性能(Performance Under Different Weather Conditions):按天气分层评估显示,平均召回率在87.80%(重雾)至92.80%(重雨)之间;重雾和雾天气下车辆和行人漏检率显著上升,如行人在雾天漏检率达25.00%,车辆在重雾下达20.00%,而施工锥桶、碎片和人行横道相对鲁棒,表明恶劣天气主要损伤动态目标检测。5.4 决策分布分析(Decision Distribution Analysis):在914张测试图像中,SLOW DOWN出现最多(34.6%),其次为WATCH(25.2%)、CONTINUE(22.3%)、STOP(17.9%);低可见度天气下WATCH和STOP比例较高,晴天CONTINUE比例最高,这与低能见度下距离阈值加宽、边界检测进入更保守状态一致。5.5 仿真到边缘性能(Sim-to-Edge Performance):在NVIDIA Jetson Orin Nano Super上,完整感知到决策流水线达到稳态平均24.23 FPS,平均延迟41.59 ms,p95延迟47.82 ms,满足15 FPS和67 ms的预设实时目标;与960像素评估相比,320像素配置下总体召回率下降7.3个百分点,损失集中于车辆和行人,静态类别仍保持较高召回;CPU平均利用率34.2%,GPU为45.1%,内存2834.6 MB,功耗7337.4 mW,证明嵌入式执行可行。5.6 计算效率分析(Computational Efficiency Analysis):系统级吞吐和延迟满足实时要求且资源有裕量,但未单独测量检测器参数数量、FLOPs和决策阶段开销,因此无法与其他模型或硬件直接进行组件级比较。

讨论部分指出,天气导致的检测性能下降具有类特异性,静态路边类别鲁棒性高,而车辆和行人更易受雾天影响;决策引擎在各类天气下与真值决策的一致率保持在92.4%至94.6%之间,关键STOP场景正确率为98.7%,但仍有两个STOP被误判为WATCH或SLOW DOWN,且11例SLOW DOWN→CONTINUE跨越严重级别是需要重点关注的失败模式。研究局限包括数据全部来自CARLA、阈值经验设定且未做消融、单目距离估计依赖几何假设、未考虑对抗扰动、缺乏夜间和复杂交叉口场景、类别分布不均衡、仅覆盖城区驾驶,以及真实世界视频无标签仅用于演示部署。

研究结论部分可翻译为:该研究提出了一种集成系统,用于实现天气感知碰撞避免中的多类目标识别、环境鲁棒性评估、安全导向决策和实时嵌入式部署。研究人员创建了包含5927张图像和21021个标注实例的数据集,覆盖四个CARLA城镇和五种天气条件。框架集成了YOLO11m感知模块和可解释的决策引擎。实验结果显示总体检测性能良好,精确率为98.00%,召回率为90.00%,mAP@0.5为91.00%;天气分层评估显示车辆和行人比静态物体更易受雾天影响;在决策层面,与CARLA参考决策的总一致率为93.5%,157/159个关键STOP被正确识别,且没有STOP被误判为CONTINUE;在NVIDIA Jetson Orin Nano Super上实现24.23 FPS和41.59 ms平均延迟,满足实时要求。未来工作将缩小仿真到现实差距,扩展大规模真实数据验证,考虑夜间、复杂交叉口和高速公路场景,引入动态阈值、多模态深度估计,并重点优化SLOW DOWN→CONTINUE等关键失败模式。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号