带有查询去噪策略的稀疏 3D 占据预测网络

《Advanced Engineering Informatics》：A sparse 3D occupancy prediction network with query denoising strategy

　　**摘要**基于纯视觉输入的三维占据预测已成为自动驾驶汽车感知复杂现实环境的关键技术。当前主流方法大多继承自三维目标检测框架的设计原则，通过构建密集三维特征后利用分类网络生成占据预测结果。然而，这一范式本质上忽视了真实世界三维空间数据的稀疏特性，导致计算效率欠佳。虽然已有研究提出利用可学习查询与二维图像特征交互的稀疏建模范式来解决这一问题，但现有方法存在可学习查询表征与目标占据结构之间对齐不足的问题，限制了其可实现的性能上限。为应对这些挑战，我们提出了一种具有带真实值扰动的去噪训练策略的新型稀疏三维占据预测框架。通过将含噪的真实值信号注入输入查询集中，所提方法在查询与输出占据栅格之间建立了稳健的语义关联，从而提升了预测精度。此外，我们还提出了一种距离感知自注意力模块和一种具有深度自适应缩放采样策略的时间点采样模块，两者协同提升了跨时空维度的特征提取效率。在Occ3D-nuScenes和SemanticKITTI数据集上的大量实验表明，所提方法在三维占据预测任务中取得了具有竞争力的性能，展现出强大的工程应用潜力。**引言**在自动驾驶感知任务中，占据栅格预测网络因其能够提供比以目标为中心的范式更为丰富、更细粒度的环境表征而受到越来越多的关注。受基于视觉的三维目标检测启发，早期方法通常采用鸟瞰图（BEV）等密集特征表示来建模占据栅格，如图1所示。后续研究通过多视角特征表示（如TPVFormer、OverlapOcc）和跨帧时间特征对齐（如BEVFormer、PETRv2）进一步增强了这一范式，从而改善了对三维空间结构的建模。然而，尽管这种基于显式密集特征的范式在将二维图像转化为真实世界表示方面行之有效，但它忽视了一个实际的三维占据预测中的基本特征：绝大多数栅格单元对应的是空旷空间。这种固有的稀疏性导致两个关键局限性：处理无目标区域时产生大量冗余计算，以及增加模型优化复杂度，最终限制了可达到的性能上限。鉴于通过显式构建密集三维空间特征进行占据预测的上述局限性，隐式稀疏范式应运而生。这些范式通过联合设计空间稀疏表示和隐式特征编码，借鉴目标检测中广泛采用的可学习查询机制，实现了高效的三维占据栅格预测。通过训练这些查询与二维图像特征高效交互以有效建模稀疏占据栅格，此类方法不仅减少了大规模空旷区域的冗余计算，还将网络的表征能力集中于语义和几何意义更高的区域，从而提升了整体预测性能。然而，从表征学习和训练范式的角度来看，稀疏方法面临一个根本性局限：与稀疏查询相关联的空间占据域缺乏类似于大规模预训练图像骨干网络所提供的先验知识和预训练基础。跨域预训练的缺失迫使稀疏查询在训练过程中进行查询-占据对的对齐和拟合，使它们在整个训练过程中缺乏稳定的语义有意义的空间锚点。这削弱了查询与真实三维结构之间的对齐效率，最终制约了网络的性能上限。为了解决上述问题，我们提出了一种集成去噪训练机制的稀疏三维占据预测网络，如图2所示。与传统流水线从图像特征中显式构建密集三维空间表示不同，所提网络摒弃了显式空间特征生成，转而采用查询作为中介直接与二维图像特征交互，从而隐式学习图像表示与目标三维占据结构之间的映射关系。为缓解查询与占据域之间的不匹配问题，我们引入去噪训练机制以减轻查询域缺乏先验知识所导致的优化困难。该机制最初在基于查询的目标检测框架中提出，通过在训练过程中注入含噪的真实值信号并将其编码为辅助含噪查询，使网络能够学会从受扰动的输入中重建准确的目标。通过这种方式，去噪训练为查询提供了稳定的、语义受限的学习信号，有效弥补了预训练先验的缺失。在本工作中，我们将这一策略扩展至三维占据预测，通过对真实占据栅格的空间位置和语义类别进行扰动，并将扰动后的结果作为辅助查询在训练过程中引入。这一设计鼓励网络学会从受损输入中恢复真实占据状态，从而赋予查询显式的空间和语义锚点。因此，在训练初期便缩小了查询嵌入与真实三维结构之间的表征差距，加速了收敛并提升了训练稳定性。此外，所提框架集成了查询间的自注意力以及多帧图像的时间信息以增强场景理解。具体而言，我们设计了一种距离感知自注意力（DASA）模块和一种时间点采样（TPS）模块，使查询能够根据空间关系更自由地确定注意力权重，并自适应地选择来自不同历史帧的特征采样位置。这些组件共同进一步提升了网络的整体性能。本工作旨在通过去噪训练实现高效且鲁棒的稀疏三维占据预测。主要贡献总结如下：1) 据我们所知，本工作率先将去噪训练机制集成到稀疏三维占据预测框架中。通过在训练过程中注入含噪真实值信号，所提策略为查询初始化提供了更具信息量的几何-语义监督，从而增强了查询表征对齐、加速收敛并提升整体性能。2) 我们提出了一种距离感知自注意力（DASA）模块，能够根据查询之间的三维空间距离自适应调整注意力权重分布。通过几何距离约束，该模块抑制了远距离查询之间的冗余交互，在提高查询表征丰富度和语义聚焦度的同时消除了无关特征干扰。3) 引入了一种时间点采样模块以建立多帧特征一致性约束。通过在多帧序列中同步对齐查询空间位置并执行深度自适应缩放特征采样，该机制增强了稀疏查询的时间特征融合能力，缓解了帧间漂移导致的表征不一致问题。4) 我们将上述组件集成到仅解码器的Transformer架构中。在Occ3D-nuScenes和SemanticKITTI数据集上的大量实验表明，所提方法与现有占据预测方法相比取得了具有竞争力的性能。**章节摘要****三维占据预测**三维占据预测通过预测预定义三维网格中每个体素的占据状态来估计周围环境的密集体积表示。与依赖离散边界框标注的三维目标检测方法相比，占据预测提供了连续的体素级空间表征，使对场景几何和自由空间的整体理解成为可能。早期方法利用……**整体架构**如图2所示，我们网络的输入包含三个组成部分：(1) 经图像编码器处理的多帧时间图像特征**F**及相应的传感器元数据**D**；(2) 查询集Q = {QL, QN}，其中QL表示可学习的体素查询，QN表示通过对真实标签进行扰动生成的含噪查询，每个查询均包含位置向量和内容向量；以及(3) 一种注意力掩码**M**，用于隔离这两个查询子集之间的信息流。为……**数据集与基线设置**我们在Occ3D-nuScenes和SemanticKITTI上对所提方法进行了广泛评估。Occ3D-nuScenes数据集基于nuScenes数据集构建，包含700个训练视频、150个验证视频和150个测试视频。每个视频时长约为20秒，标注的关键帧以0.5秒间隔采样。三维占据体素真实值横跨17个语义类别进行标注，空间分辨率为200 × 200 × 16，对应真实世界……**结论**在本工作中，我们提出了一种集上去噪训练机制的占据预测网络。通过将含噪真实值查询注入稀疏范式中固有的可学习查询输入中，所提方法实现了输入查询域与输出占据栅格域之间的高效对齐，解决了稀疏查询缺乏预训练空间先验从而阻碍训练过程中稳定查询-占据对齐的问题。此外，通过……**CRediT作者贡献声明****李静宇：** 初稿撰写、可视化、验证、软件、方法论、概念构思。**张震海：** 审稿与编辑、概念构思。**黄怡磊：** 软件、调查。**王若松：** 可视化、验证。**孙浩泰：** 验证、软件。**利益冲突声明**作者声明他们不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。**致谢**本工作得到了重大预研背景项目（项目编号ZW040202）和国家国防科技（项目编号202020230028）的支持。