用于自动驾驶中单目3D感知的大核空间并行特征融合技术

《Knowledge-Based Systems》：Large-kernel spatially parallel feature fusion for monocular 3D perception in autonomous driving

单目3D感知需融合全局几何上下文与局部结构特征，现有方法因受限于局部视觉特征提取和大范围空间依赖建模不足。本文提出LSPF模块通过深度可分离大核卷积捕获长程空间信息，并行小核分支保留局部细节，并引入NOMS模块实现多尺度特征金字塔融合与通道洗动增强跨组交互，有效统一全局与局部空间知识推理，在KITTI等数据集上AP提升19.51%。

　　

乔阮志|张金来|李畅|胡林

长沙理工大学机械与车辆工程学院，中国湖南省长沙市天心区，410114

摘要

单目3D感知是自动驾驶系统的基本组成部分；然而，现有方法主要依赖于局部视觉特征提取，往往缺乏对全局几何背景和远距离空间依赖性的有效建模。为了解决这一局限性，我们提出了MonoLSPF，这是一个大核空间并行特征融合框架，它构建了异构感受野，以共同捕获细粒度的局部结构和广阔的空间背景。具体来说，所提出的大核空间并行特征融合（LSPF）模块利用深度可分离的大核卷积来聚合远距离空间信息，而平行的小核分支则保留了详细的局部线索。此外，还引入了嵌套正交多尺度混合（NOMS）模块，该模块采用双分支特征金字塔和通道混合来增强跨组特征交互，并减轻由分组卷积引起的信息隔离。在KITTI、nuScenes和Waymo基准测试上的广泛实验表明，MonoLSPF在KITTI的中等设置下，特别是在汽车和骑自行车者类别上，其性能始终优于最先进的单目方法，达到了19.51%的3D检测精度，这验证了其在自动驾驶场景中实现稳健单目3D感知的有效性。

引言

单目3D物体检测是自动驾驶和机器人感知中的关键任务，需要推断物体在现实世界坐标中的位置、方向和尺寸，这对于安全导航和环境交互至关重要。从知识推理的角度来看，这项任务可以解释为从视觉观察中推理潜在的空间知识。然而，由于缺乏明确的深度信息，从单张RGB图像中准确估计这些属性仍然是一个根本性不适定且本质上模糊的问题[1]、[2]。相比之下，LiDAR和立体相机系统可以有效捕获深度线索[3]，但成本高昂且需要复杂的校准。单目检测因其成本效益而成为一种有吸引力的替代方案，特别适合大规模部署。其主要局限性在于从2D观察中恢复深度[4]，这一过程容易受到尺度模糊、遮挡和场景几何变化的影响。

尽管单目相机缺乏LiDAR的明确深度通道，但捕获的图像包含丰富的全球几何结构，这些结构隐含了关于场景的空间知识。为了从这些分布式线索中解码3D信息，感知模型必须具有足够宽广的感受野，以捕获整个场景的上下文信息并支持可靠的空间推理。一种常见的缓解深度模糊的策略是结合额外的几何线索，如几何先验、深度预测网络或伪LiDAR表示[2]、[5]。虽然这些策略引入了补充的几何信息，但它们通常会增加系统复杂性和计算开销，并且其在不同环境中的泛化能力仍然有限。

更根本的是，许多现有架构的有效感受野小于其理论值，这限制了模型捕获全局空间背景的能力。即使是专为全局交互设计的架构，如基于注意力的模型[4]、[6]，也倾向于强调局部区域，导致远距离空间关系未被充分探索。

这项工作的关键动机是，单目3D感知需要将全局场景几何和局部物体结构作为结构化空间知识进行联合建模。全局背景提供了关于场景布局和远距离空间关系的线索，而局部结构编码了诸如物体边界和纹理等细粒度证据。然而，许多现有架构倾向于强调局部特征提取或全局背景聚合，使得在单一的、具有推理能力的表示中统一这两种类型的空间信息变得困难。

为了解决这些局限性，我们提出了MonoLSPF，这是一个新颖的单目3D物体检测框架，它明确地结构化了空间知识，并对全局和局部线索进行了推理。从知识建模的角度来看，该框架旨在捕获嵌入在单目观察中的潜在空间依赖性，并利用它们进行有根据的3D推理。

LSPF模块通过深度可分离的大核卷积进行结构化空间推理，以模拟全局感受野，而平行的小核分支则保留了诸如物体边缘和纹理等细粒度的局部细节。这种异构架构使网络能够在不牺牲局部空间精度的情况下进行远距离空间推理。

作为LSPF的补充，NOMS模块通过构建多级特征金字塔、融合跨尺度空间特征并实现通道混合来增强结构化空间知识的整合，从而促进跨组和跨特征之间的交互。这种设计加强了跨尺度和跨组的特征交互，提升了全局和局部空间线索的推理能力。

在没有额外监督信号或复杂训练策略的情况下，所提出的框架在特征提取过程中直接优化了空间知识表示和推理，帮助网络更好地利用来自单目观察的固有几何线索。

本文的主要贡献可以总结如下：

• 我们提出了MonoLSPF，这是一个新颖的单目3D物体检测框架，它明确地建模了结构化空间知识，并对全局和局部线索进行了推理。
• 我们设计了LSPF模块，它结合了多尺度提取、层次融合和基于注意力的细化，以编码和推理2D图像中的空间关系和局部证据。
• 我们引入了NOMS模块，它采用了嵌套并行设计和自适应特征混合，以增强跨组交互并支持结构化空间推理。

在本文的结构中，第2节介绍了相关工作。第3节介绍了单目相机投影方法的先验知识。第4节详细阐述了所提出的方法及其背后的先验。第5节对实验结果进行了深入分析。最后，第6节总结了本文的贡献并分析了其潜在的局限性。

相关工作

相关工作

本节从四个角度回顾了与单目3D物体检测相关的工作：单目3D检测方法、全局背景建模、高效网络架构和基于注意力的特征建模。

关于单目视觉的先验知识

对于如图1所示的传统RGB相机等单目视觉传感器，成像过程通过透视投影模型将三维世界映射到二维图像平面上。这种几何映射由相机的内部和外部矩阵参数化。充分理解这种映射对于从二维图像中推断物体的三维位置和几何结构至关重要，这项任务通常被称为

方法

MonoLSPF的总体架构如图2所示。单目3D检测需要严格的实时性能，而基于Transformer的方法通常会产生大量的计算开销。此外，早期研究中的传统自注意力受到局部窗口的限制，限制了其捕获远距离依赖性的能力。为了与主流框架进行公平比较，我们采用了文献中广泛使用的一种标准骨干设计

设置

我们所有的实验都在一台配备了双E5-2690 v3 CPU和八个Tesla P100（16G）GPU的Linux服务器上进行。3D物体检测评估是在KITTI [12] 3D物体数据集上进行的，该数据集包含7481张训练图像、7518张测试图像以及80,256个标注物体（行人、骑自行车者和汽车）。按照常见做法，数据集被分为3712张训练图像和3769张验证图像。在所有实验中，我们使用了Adam

结论

本文介绍了一种基于LSPF框架的单目3D检测方法，该框架包括一个大核空间并行特征融合模块、一个嵌套正交多尺度混合模块和一个注意力混合机制。此外，它还可以自适应地划分样本。与现有方法相比，MonoLSPF在车辆识别方面表现出色，这主要归功于大核的强大全局建模和特征提取能力

CRediT作者贡献声明

阮志：可视化、调查、形式分析、数据管理、概念化。张金来：写作——审阅与编辑、写作——初稿、调查、概念化。李畅：写作——初稿、可视化、形式分析、数据管理。胡林：写作——初稿、方法论、概念化。

利益冲突声明

作者声明本文不存在利益冲突。

致谢

本研究得到了国家自然科学基金（编号：62403076）和教育部人文社会科学基金（编号：24YJCZH416）的资助。