《Pattern Recognition》：Temporal-camera-based semantic scene completion network with query-mask constraint and 3D layout initialization
编辑推荐：
语义场景补全方法提出基于时空信息和查询掩码约束的TQL-SSC框架，通过3D布局初始化增强场景结构，利用时序建模有效融合历史帧信息，并引入查询掩码约束优化特征空间。在SemanticKITTI和SSCBench-KITTI-360数据集上显著优于单帧或时序输入方法。
Xu Zhao|Chade Li|Pengju Zhang|Yihong Wu
中国科学院自动化研究所多模态人工智能国家重点实验室，北京，中国
摘要
基于相机的语义场景补全（SSC）旨在从图像数据中恢复3D场景的语义和几何信息，形成体素网格，这是自动驾驶中的一个基本任务。尽管该领域取得了显著进展，但目前尚未充分利用历史帧中可见但当前未看到的区域的视觉信息。此外，现有的3D特征学习方法在特征空间缺乏明确规范，导致类内特征紧凑性和类间特征区分度不足。为了解决这些问题，我们提出了TQL-SSC，这是一种基于时间的相机方法，结合了查询掩码约束和3D布局初始化机制。3D布局初始化模块利用先验的3D深度点来初始化3D体素特征，从而捕获3D布局信息，降低了从单模态图像数据中恢复3D场景的难度。我们引入了一种简单但有效的时间建模方法，同时利用历史帧中当前未看到区域的视觉信息并抑制时间模糊性。最后，查询掩码约束模块在基于卷积的占用解码器的语义预测指导下，明确规范3D体素特征，从而增强类内相似性和类间差异性。在大型SemanticKITTI和SSCBench-KITTI-360数据集上的广泛实验表明，所提出的方法在单帧或时间序列图像作为输入的情况下优于以往的方法。
引言
在自动驾驶系统中，全面理解周围场景至关重要[1]，[2]。语义场景补全（SSC）作为3D感知任务领域的一个活跃研究课题，因其能够比传统的鸟瞰视图（BEV）更细致地表示复杂环境而受到关注。3D SSC的目标是从传感器数据（如LiDAR和相机）中重建3D场景的几何和语义信息，形成占用网格。
早期的SSC研究主要集中在使用点云[3]，[4]，[5]作为输入。由于LiDAR数据的高获取成本，基于相机的方法最近受到了越来越多的关注。作为第一个基于相机的SSC方法，MonoScene[6]提出了Flosp方法将2D图像特征转换为3D空间。OccFormer[7]将Mask2Former[8]扩展到3D表示，作为占用分割解码器。尽管单目3D SSC取得了有希望的进展，但单张图像无法涵盖整个场景。有限的视场（FOV）和遮挡问题严重阻碍了仅从当前帧重建3D场景。如图1所示，当前帧无法捕捉到黄色框外的区域和红色框内的遮挡细节，而历史帧可以提供对几何补全和语义推理有价值的补充信息。VoxFormer[9]将其第一阶段估计的占用体素投影到历史图像上，并对获取的特征进行平均处理，作为体素的最终特征。PanoOcc[10]在历史BEV特征中保存时间信息，并将其与当前BEV特征聚合。HTCL[11]通过构建当前图像和历史图像之间的成本体积来利用时间信息，并提出了一种基于亲和力的动态细化计划来聚合时间内容。然而，由于估计错误和遮挡问题，将估计的占用体素投影到多张图像上会导致时间模糊性。高度压缩的BEV表示不可避免地会导致信息丢失和噪声。成本体积只能聚合共可见区域的特征，导致非共可见区域的特征在场景补全中未被充分利用。这些方法要么未能有效利用当前未看到的区域，要么在利用时间信息时引入过多的时间模糊性和信息丢失。
另一个问题是占用特征空间内的类内余弦相似性不足。传统的占用监督仅应用于最终的体素级分类结果，缺乏对3D特征空间内类余弦相似性的明确约束。这导致类内特征紧凑性和类间特征区分度不足，最终降低了语义重建的准确性。一些方法[12]在OccFormer之后使用基于Mask2Former的占用解码器进行预测。基于Mask2Former的占用解码器利用查询嵌入和3D体素特征之间的内积进行分割，自然地对齐属于同一查询的3D特征。因此，Mask2Former的架构有可能为占用特征空间提供明确的特征级监督，使其具有相似的类内特征和不同的类间特征。然而，目前还没有方法完全探索占用特征空间的明确余弦相似性约束。
为了解决上述挑战，我们提出了TQL-SSC，这是一种基于相机的SSC网络，能够有效利用时间信息并调节特征相似性。首先，我们引入先验的3D深度点来初始化带有场景布局几何信息的3D体素特征，丰富了3D体素特征，促进了从单模态图像数据中重建3D场景。其次，我们采用了一种简单但有效的时间建模方法，充分利用历史帧中存在的当前未看到的视觉信息，同时防止时间模糊性。历史深度图被缓存并用于选择历史体素提案。当前未看到区域中的体素提案获取历史视觉特征，有助于更全面的场景理解。最后，我们提出了查询掩码约束模块，为占用特征空间提供明确的余弦相似性约束，确保特征学习的稳健性。查询掩码约束模块在基于卷积的占用解码器的预测结果指导下工作，实施3D体素特征的相似性约束，以增强类内相似性和类间差异性。在推理过程中，该模块会被丢弃，不会引入额外的开销。
我们在具有挑战性的SemanticKITTI[13]和SSCBench-KITTI-360[14]，[15]数据集上进行了广泛实验。与以前仅使用单帧或时间序列图像作为输入的方法相比，我们的方法在这两个数据集上都取得了最佳性能。
我们的主要贡献总结如下：
- •
利用先验的3D深度点为3D体素特征初始化提供场景结构信息，降低了从2D图像重建3D场景的难度。
- •
引入了一种时间建模方法，充分利用历史帧中存在的当前未观察到的信息，同时抑制时间模糊性。
- •
提出了一种查询掩码约束模块，为占用特征空间提供余弦相似性约束，促进3D特征的类内相似性和类间差异性。
- •
无论输入是单帧还是时间序列图像，我们的TQL-SSC在SemanticKITTI和SSCBench-KITTI-360基准测试中都表现出优越的性能。
章节片段
基于视觉的3D感知
基于视觉的3D感知由于其在自动驾驶和机器人导航中的广泛应用而受到广泛关注[16]。在基于DETR的2D检测框架成功的基础上，出现了几种3D扩展[17]，[18]。这些方法使用可学习的对象查询将2D图像特征转换为3D空间。
方法
我们在第3.1节对所提出的方法进行了高层次的概述，概述了其关键组成部分和工作流程。在第3.2节中，我们介绍了3D布局初始化，用于用场景结构信息初始化3D特征。然后我们在第3.3节详细介绍了我们的时间建模方法的网络架构。最后，在第3.4节中介绍了查询掩码约束和训练损失，以规范3D特征的相似性。
问题设置。 基于时间的相机SSC方法
数据集
我们在SemanticKITTI[13]和SSCBench-KITTI-360[14]，[15]数据集上进行了实验，这两个数据集都是大规模的自动驾驶数据集。SemanticKITTI数据集包含22个室外驾驶场景，分为10个训练场景、1个验证场景和11个测试场景。它提供了分辨率为1226 × 370的RGB图像，以及分辨率为256 × 256 × 32的有趣场景区域的语义真实值。每个体素网格的大小为
结论
在本文中，我们提出了TQL-SSC，这是一种基于时间的相机语义场景补全方法，结合了3D布局初始化和查询掩码约束。我们首先采用时间建模方法充分利用当前不可见区域内的信息，同时减少时间模糊性。然后我们引入了3D布局初始化模块，将先验3D深度点中的布局信息注入3D体素特征的初始化过程中。最后，
CRediT作者贡献声明
Xu Zhao：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，监督，软件，资源，方法论，调查，形式分析，数据管理，概念化。Chade Li：可视化。Pengju Zhang：项目管理，资金获取，概念化。Yihong Wu：项目管理，资金获取，概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本工作得到了国家自然科学基金（项目编号：62403459、62572468）和北京市自然科学基金（项目编号：L241012）的支持。
