HGS-OCC：基于混合深度优化与多表示几何-语义融合的实时3D占用率预测方法

《Pattern Recognition》：HGS-OCC: Real-time 3D occupancy prediction via hybrid depth optimization with multi-representation geometry-semantic integration

　　段在鹏|胡旭中|安佩|党晨旭|张新民|马杰•我们提出了一种实时多模态3D占用框架，具有出色的性能。•我们提出了一种混合式激光雷达深度优化方法，以实现实时全场景覆盖。•我们提出了一种基于BEV的融合方法，能够有效利用3D几何信息与2D语义信息。引言准确的3D环境感知是自动驾驶系统[1]和机器人平台的基础，它有助于实现安全导航和稳健的决策制定[2]。近年来，3D物体检测技术[3]、[4]以及语义分割技术[5]的进步显著提升了感知能力。然而，物体检测受限于刚性边界框表示，难以处理不规则物体和开放世界场景，而语义分割在复杂遮挡情况下的细粒度分类方面也存在挑战。为了解决这些问题，[6]中引入了3D语义占用预测技术，并在[7]中进一步发展，提供了一种创新的体素级建模方法。该方法通过在体素级别同时处理几何结构和语义属性，构建出可微分的3D占用网格，从而提供详细的空间理解能力，并增强对动态遮挡和复杂几何结构的适应能力。尽管3D占用预测在物体检测和语义分割等任务中具有优势，但现有方法往往难以在性能与计算效率之间取得平衡，高性能通常会导致较慢的推理速度（见图1），在Nvidia 4090上仅有1–3 FPS的运行速度[8]。这是因为基于LSS的方法依赖于均匀分布的深度估计，即虚拟点在3D空间中均匀分布，如图2(a)所示，这限制了3D几何信息的有效利用。此外，由于大多数区域为空，这就需要大量的计算资源来生成高质量的体素特征[9]，而高效的BEV特征表现不佳，虽然时间融合可以提高BEV特征的性能[10]，但会显著增加计算负担。为了解决这些挑战，我们提出了一种实时3D占用预测方法，该方法结合了混合深度优化建模，并通过多表示方式将3D几何信息与2D语义信息融合在一起。具体而言，我们引入了一种基于混合深度优化的虚拟点生成方法，利用经过微调的Depth Anything V2模型生成具有精确相对深度分布但度量深度较差的密集深度图，然后利用激光雷达生成的稀疏度量深度图对其进行优化。这种方法在共可见点周围生成虚拟点，从而保留3D几何结构（见图2(b)），同时减少虚拟点的数量，进而显著加快推理速度。其次，在生成既保留图像语义又保持3D几何结构的虚拟点之后，我们提出了一种创新的多表示几何-语义集成方法。该方法通过多尺度点特征的几何先验、密集BEV特征的几何-语义邻域融合以及稀疏体素表示的特征增强，实现几何-语义特征的交互，有效整合多种表示方式，显著提升占用预测的准确性。在Occ3d-nuScenes和Surround-nuScenes数据集上的实验证明了我们方法的有效性，为快速占用预测提供了新的思路。我们的贡献可总结如下：•我们提出了一种实时占用预测框架，名为HGS-OCC，该框架结合了用于3D建模的混合深度优化，并通过多表示方式将3D几何信息与2D语义信息融合在一起，实现了速度与精度之间的平衡。•我们提出了一种新的虚拟点生成方法，该方法采用混合深度优化技术，将经过微调的Depth Anything模型生成的密集深度图与稀疏度量深度相结合进行优化，从而保留物体的3D几何结构并减少冗余的虚拟点，进而显著加快推理速度。•我们提出了一种多表示几何-语义集成方法，该方法整合了多尺度点特征先验、密集BEV特征的几何-语义邻域融合以及稀疏体素特征增强，有效利用3D几何信息与2D语义信息，提升占用预测的准确性。相关研究近年来，基于激光雷达的感知方法在各种3D感知任务中表现出优异的性能。然而，由于其感知机制的限制，它们难以识别被遮挡的物体，也无法实现全场景覆盖。相比之下，纯视觉方法可以利用前向[11]和后向投影[12]来获得完整的场景感知能力。本研究聚焦于多模态占用预测，旨在充分利用激光雷达与视觉系统的互补优势。问题定义在本研究中，我们旨在利用多视角图像预测周围环境的3D占用状态和语义分类。输入数据为来自N个环视摄像机的T帧连续图像，表示为X∈RN×HC×WC×3，其中HC和WC分别代表图像的高度和宽度。通过训练神经网络，生成3D占用体素图Y∈RH×W×D×L，其中H、W和D分别代表场景的体积维度，Y中的每个体素都被标记为未知、已占用或…实验我们在大规模基准数据集nuScenes上进行实验，以验证所提方法的有效性。此外，我们还进行了消融实验，以确认方法中各组件的有效性。局限性及未来工作虽然我们的方法无需额外的激光雷达特征分支即可实现实时性能和较高的准确率，但它仍然依赖于激光雷达深度作为输入。当完全去除激光雷达传感器后，仅依靠激光雷达深度的稀疏监督会导致性能大幅下降。这主要是因为该系统依赖于预训练的Depth Anything V2模型，而该模型仅能估计相对深度。在使用nuScenes数据集拟合出稀疏的绝对深度后，由于高度的稀疏性…结论在本文中，我们提出了一种实时3D语义占用预测框架，名为HGS-OCC，旨在实现更高的准确率和出色的推理速度。为生成能够保留3D几何结构的虚拟点，我们提出了一种混合深度优化模块。该方法结合了经过微调的Depth Anything V2模型生成的密集相对深度分布以及激光雷达提供的度量深度，用于3D建模，从而有效保持3D几何结构的完整性，同时减少…作者贡献声明段在鹏：写作——审稿与编辑、写作——初稿撰写、可视化、验证、方法论、研究设计、概念构思。胡旭中：写作——审稿与编辑、验证、形式分析、数据整理。安佩：写作——审稿与编辑、验证、指导、方法论、形式分析、数据整理。党晨旭：写作——审稿与编辑、软件开发、方法论、形式分析、数据整理。张新民：写作——审稿与编辑、可视化、方法论…利益冲突声明作者声明没有已知的财务利益或可能影响本文所述工作的个人关系。致谢作者感谢指导老师马杰以及所有团队成员的辛勤付出。本研究得到了华中科技大学跨学科研究计划的资助，项目编号为2024JCYJ027。