用于目标检测、深度和朝向估计的集成实时3D感知管线

《IEEE Access》：An Integrated Real-Time 3D Perception Pipeline for Object Detection, Depth, and Orientation Estimation

　　

摘要：

精确的环境感知对于自主视觉系统至关重要，需要在实时条件下联合估计目标位置、场景几何结构和目标朝向。现有的单目方法将检测、深度估计和朝向估计作为独立任务分别处理，导致内存开销高且存在空间不一致性问题，不适合实时应用。目前尚无轻量级单趟RGB流水线能够在消费级硬件上以实时帧率集成上述三项任务。本文提出了一种集成的单目框架，能够从单张RGB图像中同时完成目标检测、稠密深度估计和朝向回归。该架构将计算高效的检测模块与基于Transformer的深度估计以及基于回归的朝向估计模块相结合，无需依赖激光雷达或双目输入即可实现多模态场景理解。检测任务与回归任务之间共享的视觉特征表示增强了空间一致性和跨任务一致性。在BDD100K和KITTI数据集上的大量实验表明，该方法性能稳健，检测平均精度均值（mAP）达45.3%，深度估计平均绝对误差（MAE）为1.85米，朝向估计的MAE为4.7°（偏航角）和3.2°（俯仰角）。完整系统以25–30帧每秒的实时速度运行，表明其在资源受限的机器人和自动驾驶应用中具有适用性。