LSRainNet:一种适用于雨天交通场景的大尺度-小尺度卷积型轻量级目标检测模块
《Neurocomputing》:LSRainNet: A large-small convolutional lightweight object detection module for rainy traffic scenes
【字体:
大
中
小
】
时间:2026年05月09日
来源:Neurocomputing 6.5
编辑推荐:
宋欣|赵天长|刘学聪|贾国强
东北大学计算机科学与工程学院,沈阳,110819,辽宁,中国
**摘要**
雨水天气条件会显著降低物体检测模型的性能,因为能见度降低、雨痕干扰和对比度损失。为了解决这些挑战,我们提出了LSRainNet,这是一个专为雨天交通场景设计的轻
宋欣|赵天长|刘学聪|贾国强
东北大学计算机科学与工程学院,沈阳,110819,辽宁,中国
**摘要**
雨水天气条件会显著降低物体检测模型的性能,因为能见度降低、雨痕干扰和对比度损失。为了解决这些挑战,我们提出了LSRainNet,这是一个专为雨天交通场景设计的轻量级但有效的检测增强网络。该架构引入了DALSConv,这是一种双分支自适应卷积设计,结合了大和小的感受野来平衡全局上下文感知与局部细节保留。此外,我们还设计了一个针对雨天视觉特征的雨特征增强(RFE)模块。RFE集成了多尺度雨痕特征提取、门控融合机制和局部残差差异增强,使模型能够自适应地强调抗雨特征,同时抑制雨引起的噪声。我们在KITTI数据集(具有不同模拟降雨强度)和DAWN数据集(代表真实世界的恶劣天气场景)上进行了广泛的实验。结果表明,与基线相比,LSRainNet在mAP50上实现了持续的改进,其参数总数保持在300万以下。这表明所提出的模块在提高检测鲁棒性的同时,没有牺牲实时应用的计算效率。
**引言**
物体检测是智能交通系统的基石,其感知准确性直接影响安全性。然而,现实世界中的性能经常受到恶劣天气的影响。其中,雨水带来的挑战尤为严重,因为雨痕和运动模糊等复杂伪影会模糊物体边界并破坏特征表示。这些复杂伪影直接受降雨模式的影响。例如,强降雨(全局模式)通常表现为广泛的“遮蔽”效应,显著降低整体图像对比度和色彩保真度。相比之下,风驱动或局部降雨会产生密集、重叠的雨痕,并伴有明显的方向性运动模糊。此外,雨滴在相机镜头上的积累还会造成非均匀的空间失真。因此,仅仅模拟宏观降雨模式是不够的,必须转向明确分类和缓解这些多样的视觉特征——如对比度下降、雨痕密度和非均匀模糊——这些是视觉感知失败的直接原因。
尽管最先进的检测器在晴朗天气下能够达到高精度,但由于它们隐含了清洁视觉输入的假设,在雨天环境中它们的鲁棒性存在显著差距。从架构角度来看,现有的检测器主要可以分为基于CNN的框架和基于Transformer的架构。在基于CNN的范式中,两阶段检测器(如Fast R-CNN [1]和Mask R-CNN [2])在分类和定位之前生成区域提案,从而在清洁条件下提供强大的定位先验。然而,提案生成和基于ROI的特征提取对雨引起的遮挡和低对比度非常敏感,因为这些组件通常是在无雨环境下训练的,导致在雨天场景中产生不稳定的提案和降级的ROI特征。相比之下,单阶段检测器(如SSD [3]、RetinaNet [4]和YOLO系列 [5-15])在单次 pass 中完成密集物体分类和定位。虽然它们具有高推理效率,但这些检测器严重依赖密集的骨干特征,容易受到雨引起的降级(如雨痕、模糊和对比度降低)的影响。作为另一种范式,基于Transformer的检测器(包括DETR [16]及其变体 [17-18])利用全局注意力进行基于集的预测。尽管它们能够建模长距离依赖关系,但缺乏明确的雨结构建模,使它们的注意力机制容易受到天气噪声的影响,导致特征表示不佳。
因此,尽管最先进的检测器在晴朗天气下能够达到高精度,但在雨天环境中它们的鲁棒性存在显著差距。为了应对雨天场景带来的挑战,现有方法可以根据处理雨引起的退化的具体阶段和表示空间系统地分为三种不同的范式:基于恢复的检测主要在图像空间操作,尝试在检测之前恢复或清除图像中的雨;然而,这种顺序过程可能会引入域差距和额外延迟。另一种方法是跨天气表示学习和域适应,它们在数据分布空间操作,旨在使特征分布在晴天和雨天之间对齐或学习不受天气影响的表示,但这通常会增加训练复杂性。相比之下,特征级鲁棒性增强直接在特征空间操作。通过绕过显式的图像重建,这种范式在检测流程内完全增强了抗雨表示,提供了鲁棒性和效率之间的平衡。图像空间和分布空间方法的局限性激发了我们设计LSRainNet的动机。我们的方法明确位于特征级鲁棒性增强范式内,专注于针对雨天交通场景的多样化视觉特征进行轻量级特征处理。LSRainNet不是在像素级别进行恢复或全局分布对齐,而是在特征提取阶段直接减轻特定的雨迹伪影。重要的是,它可以无缝集成到现有的检测框架(例如YOLO11)中,而不会带来显著的参数开销,从而保持实时应用所需的严格效率。
**LSRainNet架构概览**
为了应对雨天条件下的物体检测性能下降,我们提出了LSRainNet,这是一个轻量级且具有雨意识的增强模块,专为集成到现代检测器(如YOLOv11)中而设计。LSRainNet的总体架构如图1所示,它包含两个核心组件:
(1) DALSConv(双分支自适应大-小卷积):我们提出了一种新颖的双分支卷积结构,能够自适应地整合大和小的感受野信息。
**实验设置**
我们在广泛使用的自动驾驶基准数据集KITTI [53]上进行了实验,该数据集包含带有标注物体的真实世界户外驾驶场景,用于评估检测模型。为了评估雨天下的检测鲁棒性,我们进一步采用了合成的KITTI_Rain [54]数据集,该数据集通过基于物理的雨渲染来模拟真实的雨痕动态和能见度下降。在这项工作中,我们在KITTI_Rain数据集上进行了对比实验。
**结论**
在本文中,我们提出了LSRainNet,这是一个轻量级且有效的检测增强网络,旨在减轻雨天天气条件引起的性能下降。通过将增强模块直接嵌入检测器的特征提取阶段,我们的方法实现了端到端的鲁棒感知,而无需依赖计算成本高昂的图像恢复预处理。该架构结合了两个关键创新:DALSConv,它平衡了全局上下文信息和局部详细信息。
**作者贡献声明**
宋欣:写作——审稿与编辑。
赵天长:写作——原始草稿。
刘学聪:写作——审稿与编辑。
贾国强:监督。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
**致谢**
本研究工作得到了山东省独立可靠计算技术与设备重点实验室(编号KT25500300-lab)开放研究项目基金和超越科技有限公司的支持。
赵天长于2024年在东北大学沈阳分校获得计算机科学与技术学士学位,目前正在东北大学计算机科学与工程学院攻读硕士学位。他的研究兴趣主要集中在计算机视觉和物体检测领域,特别关注恶劣天气条件下的鲁棒视觉感知以及轻量级特征增强网络的设计。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号