《Results in Engineering》:An Autonomous Driving Road Surface Target Detection Method Based on Adaptive Fusion Features
编辑推荐:
道路上三维目标(3D) 的精准检测是保障自动驾驶安全的基础前提。论文提出了一种新颖的单阶段方法,用于检测三维目标,该方法能够有效应对远距离目标或遮挡目标点云特征提取中的相关挑战。首先,研究人员设计了三维稀疏卷积融合网络,用于有效利用多尺度体素(voxel)特征
道路上三维目标(3D) 的精准检测是保障自动驾驶安全的基础前提。论文提出了一种新颖的单阶段方法,用于检测三维目标,该方法能够有效应对远距离目标或遮挡目标点云特征提取中的相关挑战。首先,研究人员设计了三维稀疏卷积融合网络,用于有效利用多尺度体素(voxel)特征,并增强鸟瞰图(BEV,bird's eye view)视角下高维点云数据的表征能力,从而缓解体素量化过程中关键信息的丢失。其次,区域建议网络(RPN,region proposal network)引入深层与浅层特征融合,其中采用自适应融合方式将浅层纹理特征拼接到深层抽象特征图中,从而增强目标特征的表达能力。最后,在多任务检测阶段引入SE注意力机制(SE-attention mechanism),以提升网络检测精度,并进一步改善整体性能。论文中的实验在KITTI基准测试集上开展,结果表明,所提出的方法在远距离目标检测和遮挡场景处理方面优于其他三维目标检测技术。具体而言,在中等难度水平下,车辆(cars)的检测精度达到81.19%,骑行者(cyclists)的检测精度达到65.32%。
这篇发表于《Results in Engineering》的论文围绕自动驾驶场景中的三维目标检测问题展开,重点针对远距离目标点云稀疏、目标遮挡严重以及体素化过程中空间结构信息易丢失等关键瓶颈提出改进方案。论文指出,自动驾驶系统需要依赖激光雷达(LiDAR)等传感器获取环境的三维空间信息,以实现对车辆、骑行者和行人的准确识别、定位与姿态估计。相较于二维视觉检测方法,基于LiDAR的三维检测能够直接提供目标位置、尺寸和朝向等关键信息,因此已成为自动驾驶感知模块中的核心组成部分。然而,现有基于体素或网格的三维检测方法虽然具备较高计算效率,但在将点云规则化后进行特征学习时,往往会因体素量化、投影到鸟瞰图(BEV,bird's eye view)以及连续卷积下采样而损失精细空间细节;同时,远距离和被遮挡目标由于点数少、局部几何不完整,更容易造成漏检和误检。正是在这一背景下,研究人员开展了本研究,旨在在保持单阶段检测框架较高效率的同时,提高复杂道路场景中三维目标检测的准确性与鲁棒性。
论文提出的是一种基于自适应融合特征的单阶段三维目标检测网络。整体框架主要由特征学习网络、稀疏卷积中间层以及区域建议网络三部分构成。研究人员首先对输入点云进行体素化表示,并通过体素特征编码层将离散点云转化为高维特征向量;随后构建三维稀疏卷积融合网络(FuSpConvNet,Fusion Sparse Convolutional Network),对不同尺度下的非空体素特征进行提取,并将多尺度三维特征与BEV特征融合,以尽可能保留点云在高度、形状和空间结构方面的信息;在候选区域生成阶段,研究人员提出深浅层特征融合区域建议网络(DS-RPN),通过将浅层纹理与结构信息和深层语义与上下文信息进行自适应拼接,增强目标表征;最后,在多任务检测头中引入SE注意力机制(Squeeze-and-Excitation attention,挤压-激励通道注意力),对不同通道的重要性进行动态重标定,以强化关键特征并抑制无效信息。实验结果表明,该方法在KITTI数据集上对车辆和骑行者检测具有明显优势,尤其在中等和困难难度、远距离和遮挡场景中表现突出,并在速度与精度之间实现了较好平衡。
就主要技术方法而言,研究人员基于KITTI数据集开展训练、验证与测试,采用与SECOND一致的体素尺度设定,并在此基础上构建三个核心模块:其一,利用三维稀疏卷积和多尺度特征映射构建FuSpConvNet,实现体素特征与BEV特征加权融合;其二,设计DS-RPN,将深层抽象语义特征与浅层纹理、几何细节进行多次融合;其三,在单阶段多任务检测头中引入SE注意力机制,并结合分类损失、位置回归损失、角度回归损失和方向分类损失进行联合优化。训练阶段采用Adam_onecycle优化器,在RTX3060 GPU上完成100轮训练。
1. Introduction
论文首先系统阐述了研究背景。随着深度学习在图像识别、机器翻译、自动驾驶和医疗等领域广泛应用,高精度目标检测与地图构建已经成为自动驾驶商业化的重要基础。对于自动驾驶系统而言,道路目标的准确检测直接影响路径规划与决策控制的安全性。传统二维图像检测依赖相机获取像素信息,虽然在分类和边界框回归方面已较成熟,但缺乏对深度、尺度和空间形态的直接感知能力,并且在弱光等复杂环境下适应性有限。相比之下,LiDAR能够通过激光束扫描生成周围环境的三维表示,提供目标位置、大小和姿态等精确信息,更适合自动驾驶三维感知任务。论文进一步指出,三维检测网络中的特征图决定了对目标外观、几何结构和空间语义的建模能力。浅层特征图包含更精细的位置和局部结构信息,深层特征图则携带更丰富的语义与全局上下文。将二者有效融合,有望同时提升定位与分类性能。此外,注意力机制在视觉与自然语言处理任务中已被证明能够突出关键信息,因此被引入到三维目标检测中以改善特征利用效率。基于上述问题,论文提出三项核心贡献:设计三维稀疏卷积融合网络以缓解体素特征维度变化导致的信息损失;研究深浅层特征融合的区域建议网络以提升纹理与几何表达;提出引入注意力机制的多任务检测头以进一步增强检测精度。
2. Related Work
在相关工作部分,论文将已有三维目标检测研究归纳为多模态融合方法、基于LiDAR的方法以及基于SECOND网络的方法三类。多模态融合方法通过整合LiDAR、相机和雷达等多源传感数据,同时利用三维空间信息与图像语义信息提升检测精度。基于LiDAR的方法则分为点级方法和网格/体素方法:前者通常利用PointNet、PointNet++等结构直接对点云局部与全局特征建模,后者则将点云规则化为体素或柱状结构,以提升矩阵运算效率。论文指出,虽然基于LiDAR的检测器能够更充分利用点云信息并降低网络复杂度,但在复杂场景中仍会受到点云密度不均、远处目标稀疏以及遮挡截断等因素影响。对于SECOND网络,论文认为其以稀疏卷积替代稠密三维卷积,显著提升了训练和推理效率,但在特征投影和表示过程中仍存在信息损失问题,因此有必要对其子网络结构进行针对性优化。
3. Networking Framework
该部分详细介绍了网络整体结构及损失函数。网络运行流程包括:输入点云初始化与体素缓存构建、点级和体素级特征计算、稀疏体素重组、多尺度稀疏卷积特征提取、BEV特征插值、三维体素特征与BEV特征连接、DS-RPN输出多层特征图、上采样拼接、SE重加权以及最终目标预测输出。整体设计明确体现出论文的核心思想,即通过多尺度融合、深浅层融合和通道注意力逐级强化表示能力。
3.1. Feature learning network
这一部分主要说明体素化与特征编码过程。研究人员首先将输入点云沿Z、Y、X方向划分为规则体素网格,以去除无关空间并标准化输入形式。随后讨论了点云分组问题,指出由于遮挡、反射率差异等因素,单个目标点云常分散于多个体素中,各体素内点数也不一致。为平衡计算效率与几何信息保留,论文采用随机采样策略,对各体素内点数进行归一化控制。接着,体素特征编码层负责将原始点云转化为高维特征向量,为后续三维目标检测提供语义基础。由此可见,本部分的结论是:通过规则化体素划分、点云分组与随机采样,网络建立了兼顾效率与表达能力的输入表示形式。
3.2. Sparse Convolutional Fusion Network
本节提出FuSpConvNet,是全文的重要创新之一。论文指出,虽然三维稀疏卷积比传统三维卷积具有更高计算效率,但当三维稀疏特征被映射到BEV时,高度信息和三维形状信息容易丢失,而这些信息恰恰对目标检测和场景理解至关重要。因此,研究人员采用加权融合策略,将不同尺度的三维稀疏特征图与BEV表示进行融合,以在投影过程中最大程度保留信息。网络由一系列卷积模块组成,通过不同下采样倍率生成多尺度稀疏特征体,并通过级联方式整合早期层的精细空间细节与深层语义信息。随后,再通过多层感知机(MLP)和最大池化统一多层特征维度,并将二维BEV特征与对应三维特征拼接,形成最终融合输出特征。通过这一设计,论文得出的结论是:多尺度体素特征与BEV特征的联合建模可以减弱体素量化和投影造成的结构细节丢失,增强特征表达能力。
3.3. Region Proposal Network
本节围绕区域建议网络展开,将其划分为二维骨干网络和多任务检测头两部分。
3.3.1. 2D Backbone Network
研究人员提出DS-RPN网络,以二维BEV融合特征作为输入,通过多层卷积提取浅层表面纹理特征和深层空间语义特征。论文强调,浅层特征保留了目标形状和结构细节,深层特征则包含感受野扩展后的抽象语义信息。DS-RPN通过多次融合这两类信息,提高目标特征的有效性。网络由三个卷积块CD_1、CD_2和CD_3构成,不同模块采用步长为2的卷积实现降采样,并配合批量归一化(BN,Batch Normalization)和ReLU激活函数完成特征提取。该部分表明:深浅层特征的自适应融合能够同时兼顾局部几何细节与全局语义上下文,从而提升候选区域表征质量。
3.3.2. Multi-task detection Head network
在多任务检测头中,论文采用单次检测器(single-shot detector)实现目标分类、框回归和方向预测,并引入SE注意力机制。该机制先通过全局池化完成“挤压”(squeeze)操作,将空间信息压缩为通道描述向量;再通过两层全连接层和Sigmoid函数完成“激励”(excitation)操作,学习通道间依赖关系,并为各通道生成0到1之间的权重。最终,网络使用这些权重对原始特征进行重标定,从而强化重要通道、抑制冗余通道。随后通过三个1×1卷积分别输出类别、回归偏移量和方向预测结果。该部分的核心结论是:SE注意力机制能够在检测头阶段动态筛选更具判别力的特征,提高三维检测任务中的分类与定位性能。
3.4. Loss Function
损失函数部分沿用了SECOND框架中的残差式边界框编码方法,对三维框中心坐标、尺寸和偏航角进行归一化建模。针对朝向预测中可能出现的180°方向翻转问题,论文采用基于正弦函数的角度回归损失,以避免朝向相反时出现过大的回归误差。整体损失由分类损失、角度回归损失、位置回归损失和方向分类损失组成,并通过不同权重进行联合优化。说明研究人员在模型训练阶段兼顾了类别判断、空间定位与朝向估计的多任务学习需求。
4. Experiment and Result Analysis
实验部分使用KITTI数据集进行评估。数据集包含7481个训练样本和7518个测试样本,并将训练集进一步划分为训练子集和验证子集。评价指标包括Accuracy、Precision、平均精度(AP,Average Precision)和平均均值精度(mAP,Mean Average Precision)。在实现细节方面,论文采用与SECOND一致的体素尺寸设置,并根据车辆、行人、骑行者类别设定不同点云裁剪范围。训练使用批大小16、Adam_onecycle优化器、100个epoch完成。
4.3. Experimental Evaluation and Comparison
这一部分通过可视化结果和定量对比验证方法有效性。可视化结果显示,网络能够较准确地检测严重截断的车辆,并对远距离、遮挡甚至未标注目标做出有效识别,说明其对复杂场景具有较强适应性。与VoxelNet、SECOND、PointPillars、PointRCNN、Part-A2、CIA-SSD等方法相比,论文方法在KITTI官方测试集上对Car和Cyclist类别表现更优。三维检测中,Car类别在Easy、Moderate、Hard三种难度下分别达到90.24%、81.19%和76.65%;Cyclist类别达到80.28%、65.32%和44.56%。BEV检测中,Car类别分别达到94.65%、90.46%和85.93%,Cyclist类别分别达到82.55%、68.85%和62.56%。论文进一步给出mAP对比,指出方法在三维与BEV视角下均具有较强竞争力,尤其在中等难度以及小目标、严重遮挡和远距离目标场景中优势明显。推理速度方面,方法达到24FPS,虽较基线有一定计算开销增加,但整体上实现了速度与精度平衡。统计稳定性实验显示,方法在五次独立训练中的标准差总体较低,说明性能提升并非由随机初始化导致,而是具有较好的可重复性和鲁棒性。
4.4. Ablation Experiment
消融实验系统评估了FuSpConvNet、DS-RPN和SE-SSD三个模块的贡献。结果表明,FuSpConvNet通过融合不同尺度体素特征与BEV特征,补偿了体素映射量化中的关键信息损失,在3D中等难度水平上提升了Car、Cyclist和Pedestrian类别的检测精度。DS-RPN则带来了更显著的增益,特别是在Cyclist和Pedestrian等较小目标类别上,说明深浅层融合对细粒度目标的几何和语义建模尤为有效。SE-SSD模块在最终检测阶段进一步提升了Car、Cyclist和Pedestrian的BEV平均精度,说明通道注意力有助于筛选更具判别力的融合特征。P-R曲线分析也显示,引入这三个模块后,模型在精确率和召回率之间取得了更优平衡。定性结果进一步说明,与多个主流基线方法相比,该方法在远距离小目标和局部遮挡场景中具有更少的误检和漏检。
讨论与结论总结
综合全文,论文围绕自动驾驶三维目标检测中“远距离目标点云稀疏、遮挡严重、体素化与投影过程信息丢失”这一核心问题,提出了一种单阶段自适应融合特征检测框架。其学术价值主要体现在三个方面:一是通过FuSpConvNet将多尺度三维稀疏卷积特征与BEV特征融合,增强了三维结构信息保留能力;二是通过DS-RPN将浅层纹理几何信息与深层语义信息进行自适应组合,提升了复杂场景中的目标表征能力;三是通过SE注意力机制在检测头阶段动态重标定通道特征,提高了检测精度与鲁棒性。实验和消融结果共同证明,三个模块均对性能提升具有明确贡献,且整体网络在KITTI数据集上优于多种代表性方法,特别适用于遮挡与远距离目标检测。
研究结论部分可译为:本研究提出了一种新颖的单阶段三维目标检测网络,能够有效应对三维目标检测过程中远距离目标和遮挡目标的误检与漏检问题。首先,研究人员构建了融合式三维稀疏卷积模型,该模型能够有效保留三维目标的空间结构信息,并提升道路目标检测精度。其次,为解决连续卷积过程中低层特征信息可能丢失的问题,研究人员提出通过融合低层特征与高层特征形成自适应特征,以增强特征图的表达能力。最后,引入SE注意力机制以促进网络学习,并提取更重要、更稳健的融合特征。论文表明该方法具有三方面优势:其一,通过结合深层与浅层特征的融合方式,可以获得更加全面的特征图;其二,通过利用SE注意力机制,可以动态聚焦于信息更丰富的区域,从而提升检测性能;其三,提出的三维目标检测框架能够在保持速度与精度平衡的同时,有效缓解误检和漏检问题。