CoKNet：基于彩色化关键实例引导融合的3D目标检测

《Pattern Recognition Letters》：CoKNet: Colorized Key-Instance Guided Fusion for 3D Object Detection

　　

• •
  关键实例引导的颜色绘制改进了对象表示。
• •
  关键实例引导的融合改进了候选生成和特征细化。
• •
  在两个数据集上的准确性和鲁棒性提升验证了所提方法。

引言

3D目标检测是自动驾驶和机器人感知的基础 [1]、[2]、[3]、[4]。与纯激光雷达和纯相机方法 [5]、[6] 相比，激光雷达-相机融合利用互补的视觉信息来丰富语义理解，并增强对远距离或被遮挡对象的检测 [7]、[8]、[9]、[10]、[11]。在融合方法中，由图像和激光雷达深度补全生成的虚拟点 [1]、[3] 已被广泛采用，并通过有效缓解激光雷达稀疏性实现了最先进的性能。SFD [4] 在RoI层面结合虚拟点和激光雷达特征，但仍受噪声困扰。VirConv [1] 引入了虚拟稀疏卷积，以高效处理密集的虚拟点，而 ViKIENet [3] 引入了虚拟关键实例（VKIs），它们是通过语义分割从虚拟点中提取的，用作紧凑的实例级线索以实现高效融合，取得了有前景的性能。

然而，仍存在两个关键挑战。 第一，在基于虚拟点的方法中，从虚拟点推导 VKIs 的方法 [3] 专注于关键实例，但丢弃了丰富的背景线索，从而限制了几何完整性并约束了整体性能。相反，融合所有虚拟点 [1] 利用了密集高覆盖率信息，但缺乏实例级语义信息。 第二，现有的实例融合方法 [3] 主要依赖于语义分割掩膜或 2D 目标检测框，这在挑战性的情况下是不够的。例如，先前的工作 [3] 中的逐像素分割分数主要提供语义置信度，但可能缺乏区分相邻实例的细粒度外观线索，这促使我们引入颜色作为在关键实例和深度一致性引导下的受约束辅助线索。同样，当对象部分被遮挡时，逐像素分割分数难以连接分离的对象区域，而局部颜色线索可以为关联碎片化区域提供互补信息，如图 1(a)-(b) 所示。这些观察结果促使我们探索有效的融合策略，该策略可以将激光雷达点与虚拟点的密集高覆盖率信息和关键实例的语义信息结合起来，同时结合实例级颜色信息以增强实例引导的融合，从而获得更好的检测性能。

为了解决这些挑战，我们提出了 CoKNet，一种新颖的框架，该框架利用带有颜色信息的彩色关键实例（CKIs）来引导激光雷达点和虚拟点的融合，从而增强几何完整性和语义可靠性。为克服基于分割掩膜的引导无法捕捉细粒度区分和处理遮挡的局限性，我们提出了关键实例引导的颜色绘制 （KICP），它在 3D 深度一致性约束下，用关键实例的辅助颜色线索丰富激光雷达点，减少了前景和背景区域之间的错误颜色分配，并为碎片化或不完整的对象提供互补的外观信息，如图 1(c) 和 (d) 所示。为解决基于虚拟点的方法缺乏实例级语义信息以及基于实例的方法缺乏密集高覆盖率信息的问题，我们提出了关键实例引导的融合 （KIGF），该方法利用 KICP 中的实例锚点，通过两阶段 BEV-RoI 注意力机制将详细的局部实例特征与全局上下文虚拟点特征集成，进一步提高了性能。

我们的主要贡献总结如下：

• •
  我们提出了 KICP，它通过用深度一致的颜色信息丰富激光雷达点来建立实例级锚点，使得在遮挡下具有更好的区分能力和一致的线索。
• •
  我们提出了 KIGF，一个两阶段 BEV-RoI 注意力模块，它利用 KICP 中的实例锚点在 BEV 和 RoI 层面实现局部实例语义与全局上下文之间的互补融合。
• •
  大量实验证明了我们方法的有效性和鲁棒性，特别是在具有挑战性的情况下。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍所提出的 CoKNet 框架。第4节报告实验结果和分析。最后，第5节对本文进行总结。

各节摘要

相关工作

纯激光雷达 3D 检测。 纯激光雷达 3D 检测方法可分为两类：基于点的方法和基于体素的方法。 基于点 的方法处理原始点，通过局部邻域聚合来学习判别性特征 [5]、[12]，而 基于体素 的方法将 3D 空间离散化为稀疏体素，并应用 3D 稀疏卷积进行高效的特征提取和检测 [13]。

带有虚拟点的激光雷达-相机融合。 多模态融合通过注入来改善语义理解

框架概述

如图2所示， CoKNet 的输入由三流组成：激光雷达点、由激光雷达-图像深度补全生成的虚拟点，以及通过语义分割引导从虚拟点中选择的关键实例。首先， KICP 将深度一致且辅助的颜色线索从关键实例转移到激光雷达点，在不修改原始激光雷达深度或 3D 坐标的情况下，产生颜色增强的激光雷达特征。接下来，这三流被体素化并由 3D 稀疏

数据集与评估指标

我们在两个广泛使用的 3D 目标检测基准上评估我们的方法：KITTI [17] 和 nuScenes [18]。KITTI 目标检测基准由 7481 个训练样本和 7518 个测试样本组成。遵循标准做法 [1]、[3]，训练样本被进一步划分为训练/验证集，比例为 3,712/3,769。KITTI 数据集使用 40 个召回率阈值（R40）[19] 下的 3D 平均精度（AP）作为评估指标，其中 3D IoU 阈值分别设为 0.7、0.5 和 0.5 用于

结论

在本工作中，我们提出了 CoKNet，一种用于 3D 目标检测的彩色关键实例引导融合网络。KICP 在关键实例引导下，用深度一致的辅助颜色线索丰富激光雷达点，KIGF 在 BEV 和 RoI 两个层面融合激光雷达点、虚拟点和 CKIs。通过结合准确的激光雷达几何、密集的虚拟点覆盖率和实例级语义引导，CoKNet 改进了多模态特征表示。在 KITTI 和 nuScenes 上的大量实验

CRediT 作者贡献声明

Xiangzhen Chang： 写作 – 审阅与编辑，写作 – 初稿，可视化，验证，方法论，调查。 Zhuochen Yu： 写作 – 审阅与编辑，写作 – 初稿，可视化，验证，方法论。 David K.Y. Yau： 写作 – 审阅与编辑，监督，概念化。 Liping Yan： 写作 – 审阅与编辑，监督，资金获取，概念化。 Yuanqing Xia： 写作 – 审阅与编辑，监督，项目管理。

利益冲突声明

作者声明以下财务利益/个人关系，这些可能被视为潜在的利益冲突：

Liping Yan 报告称获得了北京理工大学的财务支持。如果有其他作者，他们声明没有已知的竞争财务利益或个人关系，这些关系可能会影响本论文中报告的工作。

致谢

本工作得到中国国家自然科学基金（编号 62573049）和北京市自然科学基金（编号 4242049）的支持。

Xiangzhen Chang|Zhuochen Yu|David K.Y. Yau|Liping Yan|Yuanqing Xia