基于密度感知互补与稀疏融合网络的激光雷达-相机三维目标检测方法

《IEEE Intelligent Transportation Systems Magazine》：A Density-aware Complementation and Sparse Fusion Network for Three-dimensional Object Detection

　　**摘要：**在自动驾驶中，融合激光雷达（LiDAR）与相机信息对于实现准确且鲁棒的三维目标检测日益重要。由于激光雷达点云固有的稀疏性会降低检测精度，传统的早期融合方法和感兴趣区域引导方法无法有效补充或融合稀疏区域的特征，从而导致检测性能次优。本文提出了一种新的密度感知互补与稀疏融合网络。具体而言，我们的方法在鸟瞰图（BEV）空间中更好地补充了稀疏区域的点云特征，并在统一的三维与二维空间中实现了跨模态融合交互。首先，我们提出了一种密度感知互补模块，直接在BEV空间中对点云密度进行量化，利用几何和语义上下文增强稀疏特征，生成互补的BEV表示。其次，利用稀疏跨鸟瞰图融合模块将互补特征与伪点云特征进行融合，实现在BEV空间中的跨模态特征聚合。最后，采用语义点云渲染模块完成点云体素特征在三维空间中的语义信息渲染，从而产生更全面的感兴趣区域特征。在卡尔斯鲁厄理工学院与丰田技术研究院（KITTI）测试集上，我们的网络对简单、中等和困难的车类分别达到了89.44%、83.72%和78.83%的三维平均精度。在KITTI验证集上，我们进一步取得了95.22%的BEV平均精度，且在严重遮挡和远距离目标上取得了显著提升。