基于视觉的高效占用率预测与知识蒸馏技术

《Pattern Recognition》：Efficient Vision-based Occupancy Prediction with Knowledge Distillation

本文提出单模态知识蒸馏框架，通过教师模型（融合LiDAR投影的GT深度）与轻量级学生模型（采用2D卷积和通道压缩）结合，设计特征对齐与通道级蒸馏损失模块，有效缓解跨模态知识迁移的域差距问题，在Occ3D-nuScenes上实现50.15 FPS实时推理，mIoU提升2.19。

　　随着自动驾驶技术的不断进步，基于视觉的占用状态预测成为研究热点。该技术旨在通过多摄像头图像，对现实世界中各种形状和类别的物体进行建模，从而实现对周围环境的三维感知。相比于传统的3D物体检测方法，占用状态预测能够提供更加丰富的几何信息，同时作为一种替代方案，它可以有效减少对激光雷达数据的依赖，从而在成本和计算效率方面具有优势。然而，现有的基于视觉的占用预测方法仍然面临挑战，尤其是在3D体素表示所带来的计算成本问题上。

在本文中，研究团队提出了一种单模态知识蒸馏框架，旨在解决基于视觉的占用预测模型在实际应用中的效率瓶颈。该框架由一个高性能的教师模型和一个轻量级的基于视觉的学生模型组成，并通过两个知识蒸馏模块来实现模型间的知识迁移。教师模型的设计是该研究的核心之一，研究团队采用了标准的基于视觉的模型作为基础，并引入了来自激光雷达的地面真实深度信息作为额外输入。这一改进不仅显著提升了教师模型的性能，还帮助缓解了跨模态知识蒸馏中常见的领域差距问题，使得模型在保持高精度的同时，也能更有效地与学生模型进行对齐。

学生模型的设计则注重计算效率，以确保其能够在实际应用中实现快速推理。在模型构建过程中，研究团队对各个模块的计算成本进行了详细分析，并发现3D卷积网络是主要的性能瓶颈。因此，他们将3D卷积网络替换为更轻量的2D卷积网络，并对不同模块的通道宽度进行了压缩，从而有效降低了整体计算量。此外，为了在保持模型性能的前提下进一步优化效率，研究团队还引入了一种新的成本-性能比率（CPR）指标，用于量化模型在准确性和计算成本之间的平衡。通过这一指标，他们能够系统地评估和优化模型结构，以找到最优的效率-性能权衡方案。

为了进一步提升学生模型的预测精度，研究团队设计了两个知识蒸馏模块：基于特征的蒸馏模块和基于logit的蒸馏模块。在特征层面，由于教师模型和学生模型在特征维度上存在差异，研究团队引入了一个3D-2D对齐模块，利用多层全连接网络来实现特征空间的对齐。此外，考虑到特征中存在大量与蒸馏过程无关的空体素，研究团队还设计了一种基于特征掩码的机制，通过从地面真实占用信息中生成掩码，选择性地传递关键特征。在logit层面，研究团队采用了一种通道级的蒸馏损失函数，通过对教师和学生模型输出的logit进行通道级对比，利用语义通道信息来提升知识转移的效果。这种方法不仅提高了模型的准确性，还增强了模型对复杂场景的理解能力。

在实验部分，研究团队在Occ3D-nuScenes数据集上进行了全面评估。该数据集基于nuScenes数据集构建，包含了从6个环视摄像头中采集的40,000帧图像数据，并按照官方划分方式分为训练集、验证集和测试集。实验结果显示，该方法在保持高实时性能的同时，显著提升了模型的预测精度。具体而言，教师模型在引入地面真实深度信息后，其性能得到了显著提升，mIoU（平均交并比）提高了9.94个百分点。而学生模型则在计算效率方面表现出色，其推理速度达到了50.15 FPS，这使得该模型能够在实际自动驾驶系统中高效运行。此外，学生模型在验证集上的mIoU和RayIoU（射线交并比）分别比基线模型提升了2.19和2.1个百分点，进一步验证了该方法的有效性。

除了性能提升，该研究还在模型结构优化和领域适应性方面做出了重要贡献。通过引入基于特征和logit的知识蒸馏机制，研究团队成功地将教师模型的高质量特征和输出信息传递给了学生模型，使得学生模型在保持轻量化的同时，能够获得更接近教师模型的预测能力。此外，该研究还探讨了不同模块中通道数量对模型性能和计算效率的影响，为后续研究提供了有价值的参考。

总体而言，本文提出了一种创新性的单模态知识蒸馏框架，有效解决了基于视觉的占用预测模型在计算效率和预测精度之间的矛盾。该方法不仅提升了模型的性能，还使其在实际应用中更加实用。通过引入地面真实深度信息、优化模型结构、设计有效的知识蒸馏模块，研究团队成功构建了一个既高效又准确的占用预测模型，为自动驾驶领域的感知技术提供了新的思路和解决方案。未来，该方法可以进一步扩展到其他视觉感知任务中，如场景理解、目标跟踪等，为自动驾驶系统的智能化发展提供更强的支持。