面向多视角三维目标检测的基础模型高频深度蒸馏

《Pattern Recognition》：High-frequency depth distillation from foundation models for multi-view 3D object detection

　　

• •
  提出了一种用于稀疏激光雷达监督下多视图三维目标检测的高频深度蒸馏框架（HFDD）。
• •
  从深度基础模型中蒸馏高频深度线索，同时保持度量尺度一致性。
• •
  设计了一种前景中心蒸馏方案，结合尺度对齐和小波高频分解。
• •
  引入前景深度交叉注意力模块，以细化查询到几何的对齐，提升三维定位精度。

引言

多视图三维目标检测在自动驾驶感知中发挥着关键作用，旨在仅通过多相机输入估计三维物体的属性，包括位置、尺寸、方向和速度。基于Transformer的三维检测[1]、[2]、[3]近期在该领域取得了显著成功。与依赖昂贵的激光雷达相比，基于相机的方法[2]、[4]、[5]因其成本低且语义信息丰富而受到广泛关注。

这些方法主要聚焦于有效地将二维图像特征提升至三维空间。PETR [4]及其变体[2]、[6]开创了三维位置编码（PE），通过固定深度分桶将三维空间坐标编码到二维特征中。然而，这种固定编码缺乏与场景内容耦合的显式几何信息，导致精确定位受限。为引入更显式的深度先验，近期方法采用基于深度的PE。BEVDepth [7]通过激光雷达监督的深度估计改善了几何提升。3DPPE [8]和ADPE [9]明确研究了如何将深度估计转化为位置编码。Far3D [10]利用深度先验改善远距离感知，而OPEN [11]使用稀疏激光雷达点来初始化物体级位置。这些方法引入辅助深度预测网络（DepthNet），旨在预测密集深度图以生成自适应三维位置编码。预测深度的质量是影响基于深度的检测器性能的关键因素[8]。

尽管取得了上述进展，基于深度的PE训练仍存在固有的结构性矛盾。密集深度估计模块需要同时做到：(i) 利用稀疏激光雷达点锚定全局度量尺度，(ii) 恢复物体的高频深度细节。然而，稀疏且空间不均匀的激光雷达投影监督无法为DepthNet提供足够的高频深度约束。在实际中，监督信号仅来自激光雷达投影，在典型设置下覆盖率不到2%（图1(b)(d)），其中大部分点位于道路表面、远处建筑物和其他大面积背景区域。

因此，深度网络被迫在大部分无监督区域推断高频深度，这与神经网络固有的频谱偏置[12]相悖——在弱监督下倾向于低频成分。结果是，在无约束区域预测的深度过于平滑：锐利的物体边界被侵蚀，小物体或远处物体的高频结构容易与背景融合。由这种退化深度图构建的三维位置编码表现出空间偏差，当这些有偏的几何锚点被注入Transformer时，空间注意力缺乏准确的几何参考，导致物体查询无法可靠地锁定真实目标。如图1(e)所示，深度先验的失效往往导致定位漂移和远距离目标的漏检。

为缓解该问题，我们提出了高频深度蒸馏（HFDD），一种多视图三维检测框架，其核心思想是在保持基于激光雷达的度量尺度一致性的同时，从深度基础模型中恢复高频深度线索。稀疏激光雷达点提供可靠的度量深度锚点，而深度基础模型[13]、[14]则作为教师网络，提供密集的局部结构先验以补充稀疏的度量监督。稀疏激光雷达监督和深度基础模型仅在训练阶段使用，而HFDD在推理时仅需多相机图像。为有效传递高频深度先验，前景中心高频蒸馏（FCHF）首先执行尺度对齐，将学生的度量深度预测映射为与教师相对预测兼容的逆深度表示，并进一步减少尺度与偏移差异；然后应用离散小波变换提取高频分量进行蒸馏。此外，FCHF并非均匀蒸馏整幅图像，而是利用二维检测先验[15]生成动态注意力掩码，将高频蒸馏的焦点集中在前景物体区域，同时抑制大面积无关背景区域。最后，为充分利用蒸馏得到的高质量前景深度进行检测，我们在深度引导解码器中引入了前景深度交叉注意力（FDCA），使物体查询能够与蒸馏增强的前景深度特征进行交互，从而从几何角度精确锁定物体在三维空间中的位置。

总体而言，我们的贡献总结如下：

• •
  我们提出了HFDD，一个用于多视图三维检测的高频深度蒸馏框架，该框架结合了稀疏激光雷达度量监督与从深度基础模型中蒸馏的高频结构信息。
• •
  我们设计了前景中心高频蒸馏（FCHF）模块，执行尺度对齐、小波分解和前景感知加权，以强调检测相关的结构细节。
• •
  我们进一步引入了前景深度交叉注意力（FDCA），在视觉交叉注意力之前通过深度特征交互直接更新物体查询，以提升三维定位精度。
• •
  在nuScenes基准上的大量实验表明，HFDD显著提升了多视图三维检测性能，在中距离和结构敏感物体上的提升尤为显著。

章节摘要

仅相机的多视图三维目标检测

仅相机的多视图三维检测主要遵循密集BEV和稀疏查询范式。

基于密集BEV的方法。LSS [16]利用预测的深度分布将图像特征提升至三维空间，而BEVDepth [7]引入激光雷达监督的深度学习以改善几何提升。BEVFormer [5]通过BEV查询聚合多视图和时序特征，而BEVHeight [17]和BEVHeight++ [18]利用高度感知的几何信息来缓解深度歧义。

基于稀疏查询的方法。

整体架构

我们提出的框架的整体架构如图2所示。基于代表性的稀疏查询检测范式StreamPETR [2]构建，我们的模型以$N$张多视图图像作为输入。首先，使用共享的二维主干网络（如ResNet [40]）结合特征金字塔网络（FPN [41]）提取多尺度图像特征。这些特征随后被送入深度分支以预测密集深度图，同时一个辅助二维头（Focal-PETR [15]）生成前景

数据集与评价指标

我们在nuScenes基准[44]上评估HFDD，该基准包含1000个驾驶场景，分为700/150/150个场景用于训练、验证和测试。遵循仅相机的多视图三维检测设置，我们使用六个环视相机的RGB图像作为输入。我们遵循官方协议，报告平均精度均值（mAP）和nuScenes检测分数（NDS），其中NDS将mAP与五个真阳性指标相结合：mATE、mASE、mAOE、mAVE和mAAE。

我们额外在

结论

本文提出了HFDD，一种用于多视图三维目标检测的高频深度蒸馏框架。HFDD解决了稀疏激光雷达监督深度学习的局限性——稀疏投影可以保持度量尺度，但往往无法恢复细粒度的前景几何。通过结合基于激光雷达的度量监督与深度基础模型中的高频结构先验，HFDD在促进度量深度精度的同时增强了物体级别的深度细节。

CRediT作者贡献声明

王璟欣：原稿撰写、可视化、软件、方法学、数据整理、概念化。李爽：审阅与编辑、验证、方法学。谭铭骥：调查、形式化分析。袁宇：验证、资源。冷嘉旭：审阅与编辑、监督、项目管理。高新博：监督、项目管理、资金获取、概念化。

利益冲突声明

作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

致谢

本工作部分得到国家自然科学基金委员会资助，项目编号：62221005、62472060、U22A2096和U23A20318；部分得到重庆市科技创新重点研发计划资助，项目编号：CSTB2023TIAD-STX0016；部分得到重庆市自然科学基金资助，项目编号：CSTB2024NSCQ-QCXMX0060。

王璟欣|李爽|谭铭骥|袁宇|冷嘉旭|高新博