在雨雾天气下，基于单目相机的自动驾驶系统感知能力提升：一种高效的视觉变换器方法

《Expert Systems with Applications》：Improved Visibility for Monocular Camera-based Perception in Autonomous Driving Systems under Rain with Fog: An Efficient Vision Transformer Approach

雨雾消除与感知一致性提升的ViT框架研究。针对雨 streaks 和雾效复合干扰问题，提出融合深度引导空间特征变换模块（DG-SFT）和语义损失函数的ViT基恢复框架，有效抑制雨雾效应，保持语义分割一致性，实验验证在RainCityscapes数据集和真实场景中PSNR和SSIM显著优于现有方法，推理延迟7.86ms满足自动驾驶实时部署需求。

　　
在自动驾驶和高级驾驶辅助系统（ADAS）的发展中，视觉感知的可靠性始终是关键挑战。随着气象条件复杂化，雨雾天气对车载摄像头的影响尤为显著。当前研究多聚焦于单一致性问题（如雨滴或雾霾）的修复，却忽视了雨雾复合污染场景下系统性能的系统性衰减。本文提出基于视觉Transformer的解决方案，通过融合深度感知与语义约束，在保持实时处理能力的同时，实现雨雾复合退化的高效修复。

研究背景显示，雨雾天气对视觉系统的破坏具有双重性：雨 streaks 混淆近距物体细节，而雾效降低中远距离物体对比度。这种复合效应导致现有单模块修复系统在极端天气下存在性能瓶颈。文献分析指出，虽然CNN架构在传统场景中表现优异，但其在处理深度相关退化时存在梯度传播不稳定的问题。Transformer架构凭借其全局注意力机制，在捕捉雨雾退化与场景深度关联方面展现出潜力，但现有ViT应用多局限于静态退化场景，缺乏对动态天气变化的自适应能力。

提出的核心创新在于构建双层解码架构：深度引导模块通过轻量级CNN解码器获取多尺度深度信息，其输出作为特征增强模块的引导信号。实验验证表明，深度信息的引入使远距离雾效的修复精度提升42%，同时近距雨 streaks 的边缘清晰度提高28%。特别设计的DG-SFT模块通过空间特征变换矩阵，将原始图像、深度信息与注意力权重进行三维融合，有效解决传统单通道处理导致的语义信息丢失问题。

语义约束机制是另一突破点。通过构建跨域一致性损失函数，系统在修复过程中主动保持语义分割的连续性。实验数据显示，引入该损失后，在Cityscapes测试集上的mIoU指标提升11.3%，且无需下游模型联合训练。这种端到端优化策略显著降低了工程实施成本，同时确保修复图像符合车载系统对语义信息的严格需求。

工程实现方面，系统采用混合架构：ViT编码器提取高阶语义特征，两个轻量级CNN解码器分别处理深度引导和雨雾去除任务。通过设计跨层特征蒸馏机制，将高频空间信息注入低频深度特征通道，有效平衡了近距细节保留与远距雾效消除的矛盾。实测数据显示，系统在7.86ms的实时响应下，PSNR达到28.47dB，SSIM达到0.923，较现有ViT方案提升约18%。

验证环节采用双路径评估体系：技术指标方面，在RainCityscapes和KAIST-Rain两个基准数据集上，系统在PSNR、SSIM等传统质量指标上超越8种对比方法；工程性能方面，在NVIDIA Jetson AGX Orin平台实现单卡8路并行处理，内存占用控制在4GB以内。语义一致性测试表明，修复图像与原始场景的语义分割差异控制在4%以内，满足ADAS系统对环境理解的容错要求。

实际部署测试覆盖了不同降雨强度（0-50mm/h）和雾度等级（0-0.5m）的组合场景。在高速场景（≥80km/h）测试中，系统成功识别出83.6%的障碍物轮廓，较传统方法提升27个百分点。疲劳驾驶检测模块的误报率从12.3%降至4.8%，验证了修复图像在复杂任务中的可靠性。特别在低光照雨雾场景（<50lux），系统通过动态调整注意力权重，使行人检测准确率达到91.2%，显著优于依赖环境照度的传统方案。

该研究为智能驾驶系统提供了可扩展的解决方案框架。模块化设计允许在不影响性能的前提下，灵活裁剪深度引导模块以适应不同硬件平台。语义约束机制可无缝集成到现有感知系统，例如与MobileNetV3结合可构建端到端解决方案。研究团队已将模型部署至特斯拉Autopilot 2.0硬件平台，实测显示在连续雨雾天气下，系统误触发率降低65%，同时保持25帧/秒的渲染速度。

未来工作将重点拓展至多模态融合场景。计划引入激光雷达点云数据，通过三维时空注意力机制增强复杂天气下的感知鲁棒性。在算法优化方面，正探索轻量化Transformer架构（如剪枝优化和知识蒸馏）以适应更边缘的计算设备。此外，研究团队已与多个车企达成合作意向，计划在2025年Q3完成原型车路测，重点验证在暴雨天气下的车道保持稳定性和障碍物识别精度。

该成果的工程价值体现在三个方面：首先，通过深度引导的时空特征变换，解决了传统单通道处理导致的近远距离模糊不均问题；其次，语义约束机制创新性地将分割一致性要求嵌入修复过程，避免传统方法过度优化局部区域而破坏全局结构；最后，混合架构设计在保证性能的同时，将推理时延压缩至7.86ms，满足车载系统对实时性的严苛要求。这些技术突破为智能驾驶系统在恶劣天气下的可靠运行提供了新的技术路径，具有显著的产业化应用前景。