《Image and Vision Computing》:A lightweight real-time DETR for high-precision object detection in intelligent driving scenarios
编辑推荐:
•提出了一种轻量级CS-DETR模型,用于实时自动驾驶感知。•CS-GPDC和CSLIT实现了高效的多尺度特征提取。•RAP-FM实现了分辨率感知的跨尺度特征融合。•CS-DETR以超低参数量和计算量(FLOPs)实现了卓越的mAP。引言单车自动驾驶(SAE L3–L5级别)
- •
提出了一种轻量级CS-DETR模型,用于实时自动驾驶感知。
- •
CS-GPDC和CSLIT实现了高效的多尺度特征提取。
- •
RAP-FM实现了分辨率感知的跨尺度特征融合。
- •
CS-DETR以超低参数量和计算量(FLOPs)实现了卓越的mAP。
引言
单车自动驾驶(SAE L3–L5级别)[1]、[2]、[3]是交通运输领域的前沿研究方向,其核心技术瓶颈在于对驾驶环境的精确、鲁棒和实时感知。该感知任务不仅需要准确识别交通标志以遵守道路法规,还要求可靠地检测车辆、行人以及各种静态/动态障碍物,为场景理解和安全决策提供基本支持。然而,在真实开放道路场景中,目标检测面临诸多挑战:目标遮挡、极端光照条件、恶劣天气(雨、雪、雾)、传感器噪声以及显著的尺度变化等因素,导致系统在远距离感知精度、实时处理速度和场景泛化能力方面存在严重不足。
当前自动驾驶感知技术主要分为两种方案:以特斯拉为代表的纯视觉方案,通过低硬件成本和持续优化的算法实现高感知精度;以及以华为等企业为代表的多传感器融合方案[4]、[5](视觉、激光雷达和毫米波雷达的融合),通过多源信息的互补性增强测距精度、全天候适应能力和感知冗余安全性。无论采用何种方案,基于计算机视觉的环境感知算法仍然是语义信息理解的核心组件。从技术演进的角度来看,环境感知技术已从传统机器学习方法转向深度学习方案。早期机器学习依赖于手工设计的特征提取器(如HOG、SIFT)[6],需要大量领域先验知识,且在复杂场景下的鲁棒性和泛化能力有限[7]、[8]。深度学习的兴起,特别是卷积神经网络的突破,极大地推动了目标检测技术的发展。现有的深度学习检测框架可分为两类:两阶段检测器(如R-CNN、Mask R-CNN)[9]、[10]实现了较高的检测精度,但计算开销较大,难以满足自动驾驶的实时性要求;单阶段检测器(如YOLO系列、SSD)[11]、[12]检测速度快,但在小目标和密集目标检测任务中精度不足且漏检率较高。
近年来,基于Transformer的检测架构[13]、[14]、[15](如DETR及其变体)为感知领域带来了新的视角。通过利用Transformer的全局自注意力机制,DETR实现了真正的端到端目标检测,消除了手工设计的锚框和非极大值抑制(NMS)等复杂后处理步骤。该架构在建模长程依赖关系和增强模型全局推理能力方面展现出巨大潜力。然而,它也面临新的挑战,包括训练收敛缓慢、小目标检测性能欠佳以及模型参数量过大等问题。为解决这些问题,本文提出了一种轻量级CS-DETR模型。通过优化骨干网络、特征融合模块和检测头结构,该模型在降低计算成本的同时增强了特征提取和融合能力。图1展示了我们的模型与其他主流模型在各指标上的综合对比。本文的主要贡献如下:
- 1.
提出了一种通道可分离门控渐进式可变形卷积(CS-GPDC),在提高图像特征提取能力的同时,减少了卷积操作引入的计算开销和参数量。
- 2.
以CS-GPDC为核心构建了CSBlock模块,结合多头注意力(MHA)和ConvBN技术,设计了一种新颖的轻量级骨干网络(CSLIT)。该网络在保证模型轻量化的同时提供了卓越的特征提取能力。
- 3.
提出了一种分辨率感知位置融合模块(RAP-FM),以解决跨分辨率特征融合中的空间语义退化以及特征贡献非自适应分配的问题。
- 4.
基于上述技术,构建了一种用于自动驾驶路况检测的轻量级CS-DETR模型,在减少参数量和计算复杂度的同时提高了检测精度。
章节摘要
道路环境中的通用目标检测
在道路环境通用目标检测领域,两阶段算法(如R-CNN系列)先生成区域候选框,然后对这些候选区域进行分类和定位。例如,Kim等人提出的BBC Net[16]通过双网络结构有效增强了遮挡场景下的检测鲁棒性;Dai等人提出的HybridNet[17]整合了传统滑动窗口和现代区域提议方法以满足
驾驶检测的核心挑战
开放道路交通检测面临现有轻量级DETR变体的四个关键局限性:1. 远处的小型交通标志缺乏自适应感受野提取;传统可变形卷积在所有通道上共享偏移量并带来冗余计算。2. 目标遮挡破坏了局部特征建模,需要全局长程上下文捕获。3. 传统固定权重的跨尺度融合抑制了低分辨率小目标语义并导致严重特征
数据集
为充分验证所提出的CS-DETR在交通标志和多类道路目标检测中的有效性,采用了涵盖欧洲和中国驾驶场景的四个主流基准数据集:GTSDB[30]、[31],KITTI[32]、[33],TT100K[29]、[34]以及CCTSDB2021[35]、[36]。图6展示了所有数据集的类别和实例分布,以比较样本规模和类别不平衡程度。
为解决在多样且复杂道路条件下评估检测模型的关键挑战,我们
结论与未来工作
本文提出了CS-DETR,一种用于自动驾驶的轻量级Transformer检测器,由CS-GPDC卷积、CSLIT轻量级骨干网络和RAP-FM自适应融合模块组成,旨在平衡检测精度、实时速度和部署成本。
在四个驾驶数据集上的实验验证了其优越性:CS-DETR在KITTI上达到了96.1%的mAP@0.5,比RT-DETR基线高出4.4%,在严重遮挡的困难目标上mAP提升了7.8%。它仅需11.3M参数量和22.1 GFLOPs,
CRediT作者贡献声明
李艳梅:资源、概念设计。任全浩:撰写——初稿、可视化、验证、方法学、调查、形式化分析、概念设计。潘宇龙:项目管理、调查。赵芬:监督。
代码可用性
本文提出的CS-DETR的所有源代码、训练配置文件、预训练权重和详细复现指南将在本文被接收后发布在官方GitHub仓库中。该仓库包含完整的数据处理流程、模型训练、推理和评估脚本,以复现本手稿中展示的KITTI、GTSDB、TT100K和CCTSDB数据集上的所有实验结果。仓库链接将在最终定稿版本中补充。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/人际关系:李艳梅报告获得中国国家自然科学基金的资金支持。李艳梅报告获得重庆市自然科学基金的资金支持。赵芬报告获得重庆科技大学科研基金的资金支持。如果有其他作者,他们声明
致谢
本研究获得了中国国家自然科学基金(编号:62405037);重庆市自然科学基金(编号:CSTB2023NSCQ-LZX0068、CSTB2024NSCQ-LZX0080、CSTB2023TIAD-STX0020);重庆科技大学研究生教育高质量发展项目(gzlal202401、gzlcx20243532)的资助。本研究不涉及任何伦理问题。
李艳梅|任全浩|潘宇龙|赵芬