探索未触及的扫描用于冲突感知三维感知预训练

《Pattern Recognition》：Exploring the untouched sweeps for conflict-aware 3D perception pretraining

　　

• •
  我们提出了一种新颖的无需标注的3D预训练范式，通过扩展由关键帧组成的训练集来实现。
• •
  我们提出了冲突感知的对比损失来缓解"自冲突"问题。
• •
  我们的方法在各种下游自动驾驶数据集上取得了优于先前最先进方法的显著优势。

引言

准确的3D场景理解在自动驾驶中发挥着至关重要的作用。通过激光雷达-相机对比学习进行自监督最近已成为研究热点[1]、[2]。该范式为各种3D感知任务提供了鲁棒的初始化，使得以较少的微调工作开发出更强的模型成为可能。

一种常见做法是通过跨模态一致性将知识从训练良好的图像模型[3]迁移到3D网络。例如，SLidR [1]通过跨模态对比损失，鼓励3D点区域（称为超点）的表示与相应的2D图像区域（称为超像素）的表示保持一致。Seal [2]集成了跨模态对比损失，利用强大的2D视觉基础模型（VFMs）（如SAM [4]）生成的超像素，并结合基于无监督聚类方法HDBSCAN [5]创建的聚类的时间一致性损失。

尽管已取得了一些令人鼓舞的结果，但仍然存在两个挑战性问题：(1) 未被利用的扫描帧。当前工作[2]、[12]主要利用关键帧集进行训练，留下了至少十倍数量的未配对激光雷达和相机帧（称为扫描帧）未被利用。与关键帧不同，扫描帧缺乏明确的2D-3D匹配关系，因此被丢弃。这种对可用数据的低效利用显著限制了预训练网络的表示能力。(2) 跨帧"自冲突"问题。该问题代表了对训练对的严重误用，即来自不同图像帧但共享相同语义的超像素被对比目标视为负样本。形式上，我们将此问题定义为一种优化偏差，即错误地将跨帧共享一致语义的特征（例如，如图7定性所示）推远。我们发现，这种冲突不仅限于跨模态像素-点级别，还遍及跨模态和模态内领域，破坏了学习到的表示的语义一致性，从而限制了下游性能。

已进行了大量工作，包括过滤与锚点特征距离接近的负样本[13]、与跨场景语义原型进行对比[14]、利用VFMs生成的语义标签进行跨模态对比蒸馏[15]等。然而，这些方法仍然主要局限于关键帧，并且仅关注跨模态冲突。

相反，我们提出了一种新颖的无需标注的框架，包含两个核心模块，共同解决上述挑战，同时增强数据多样性和表示一致性。首先，引入VFM驱动的样本探索模块，从此前未利用的扫描帧中检索时间对齐且多样的激光雷达-图像对。其次，设计了冲突感知的对比损失，利用VFM掩码中的语义先验来识别并纠正跨模态和模态内领域的语义冲突，确保更一致的嵌入空间。

具体而言，为丰富训练集，我们提出了VFM驱动的样本探索模块。首先，该模块通过将每个激光雷达帧与最近时间戳的图像进行对齐来生成激光雷达-图像对。这确保了激光雷达-图像对提供同步的内容。随后，利用VFMs [16]生成的语义掩码，选择与附近关键帧内容最为不同的时间对齐的激光雷达-图像对。该模块通过提供同步信息和多样内容，从此前未利用的扫描帧中采样额外的训练集，从而补充关键帧集。例如，在nuScenes [6]中，从245,255个扫描帧对中选择了23,508个训练样本并添加到训练集中，有效扩展了现有训练集。这种增强在下游微调性能中一致地提高了mIoU 1.0到2.0个点。我们还进行了更大规模的实验，发现适量添加更多扫描帧是有效的。相比之下，简单地将关键帧集翻倍反而使性能下降了0.6个mIoU。

其次，我们提出了具有跨模态/模态内对比损失的冲突感知预训练目标。我们的初步分析表明，当前的超像素驱动对比学习受到跨帧"自冲突"问题的阻碍。值得注意的是，即使使用真实标签作为超像素，使用现有的"自冲突"对比损失获得的微调改进仍然有限。然而，DINOv2 [16]等VFMs通常将相同的掩码ID分配给语义相似的对象。利用这一先验，我们的跨模态冲突感知对比损失将具有相同掩码ID的对象视为正样本对，其他视为负样本对。这一策略有效地缓解了跨帧"自冲突"问题。类似地，我们提出了模态内冲突感知对比损失来增强激光雷达模态内的语义一致性，因为跨模态一致性并不天然保证模态内一致性。如图5所示，解决这种模态内"自冲突"对于学习不变的3D表示至关重要，通常比其跨模态对应物带来更大的性能提升。

总之，我们的框架从两个相互交织的角度——数据丰富性和表示一致性——解决了激光雷达-图像预训练的限制。我们的贡献可以总结为：(1) 我们引入了一种新颖且实用的3D预训练范式，无需人工标注即可丰富训练数据。我们提出的VFM驱动的样本探索模块自动发现原始扫描帧中的匹配关系，从而在不增加额外标注成本的情况下扩展现有的3D预训练方法。(2) 我们提出了冲突感知的对比损失来缓解跨帧"自冲突"问题在跨模态和模态内领域，培养语义一致的表示，直接提升下游性能。(3) 我们的框架作为一种简单、无侵入性的扩展，与现有的预训练方法和各种3D主干网络无缝兼容，在三个主要自动驾驶数据集上通过微调在多种数据配置下取得了优于先前最先进方法的显著优势，如图1所示。

章节摘要

相关工作

视觉基础模型。借助大量训练数据[4]和先进的自监督学习技术[16]，一些模型在多种下游任务中展现出有前景的零样本迁移能力。Segment Anything模型（SAM）[4]在各种数据集的通用图像分割任务中表现出令人印象深刻的泛化能力。同时，OpenSeeD [17]、SAN [18]和DINOv2 [16]等模型在广泛的下游任务中显示出强大的适应性，如图像

方法

本文从2D视觉基础模型中通过跨模态自监督进行3D表示预训练。随后，预训练的网络作为各种下游数据集的有效初始化，能够以较少的微调数据获得更令人满意的性能。设{$\mathit{P},\mathit{I}$}表示一个同步的跨模态输入样本，其中$\mathit{P}\in {\mathbb{R}}^{N\times L}$表示包含$N$个点、具有$L$维输入（例如强度和长宽比）的点云。同时，$\mathit{I}\in {\mathbb{R}}^{N_{cam}\times }$

实验

为了全面评估我们提出的方法，我们在nuScenes数据集上预训练所有模型，并将预训练的主干网络迁移到三个不同的3D感知任务中，每个任务由该领域流行的3D主干网络实现。具体而言，语义分割任务由MinkUNet34 [10]和SPVCNN [11]实现。我们将这两个主干网络迁移到四个不同的数据集：nuScenes [6]、SemanticKITTI [7]、Waymo [8]和Synth4d [9]。全景分割任务由Cylinder3D [38]实现

结论

本文调查了激光雷达-图像对比学习中出现的两个关键挑战（即未被利用的扫描帧和跨帧"自冲突"问题）。为解决这些问题，我们提出了一种新颖的无需标注的流水线，包括VFM驱动的样本探索模块和跨模态/模态内冲突感知对比损失，共同利用了扫描帧集中此前未利用的激光雷达-图像帧，并缓解了跨模态和模态内领域中的"自冲突"问题

CRediT作者贡献声明

Tianfang Sun：撰写-初稿，可视化，验证，方法论，调查研究，概念构思。Zhizhong Zhang：撰写-初稿，方法论，资金获取，概念构思。Xin Tan：撰写-初稿，监督指导，资源管理，资金获取，数据整理。Jingyu Gong：验证，资源管理，资金获取，形式分析。Yanyun Qu：可视化，验证，资源管理，资金获取。Yuan Xie：撰写-初稿，资源管理，

关于写作过程中使用生成式AI和AI辅助技术的声明

生成式AI工具仅用于语言润色。所有科学内容均由作者开发和验证。

未引用参考文献

[45]、[46]

利益冲突声明

作者声明没有已知的相互冲突的财务利益或个人关系可能会影响本文所报告的工作。

致谢

本工作受中国国家自然科学基金（项目编号：62502159、W2521174、62476090、U23A20343、62302167、62222602）、中央高校基本科研业务费、上海市自然科学基金（项目编号：25ZR1402135）、上海市科学技术委员会（项目编号：25511103300、25511104302、25511102700）、由上海市教育委员会和上海市教育发展基金会支持的"晨光"项目（项目编号：

Tianfang Sun|Zhizhong Zhang|Xin Tan|Jingyu Gong|Yanyun Qu|Yuan Xie