在边缘设备上优化基于深度学习的自动驾驶应用程序

《ACM Journal on Autonomous Transportation Systems》：Optimizing Deep Learning Based Autonomous Driving Applications on Edge Devices

针对自动驾驶系统在边缘设备上的实时性需求，提出基于YOLOv8的通道与精细剪枝、检测层直接优化及NVIDIA TensorRT INT8量化方法，显著提升计算效率并保持模型精度，实验验证其在Jetson Orin Nano上的有效性。

　　

摘要

随着计算和传感技术的最新进展，自动驾驶技术引起了越来越多的关注，并成为支持下一代智能交通系统的有前景的平台。自动驾驶系统的关键要求是能够在边缘设备上利用人工智能和机器学习技术及时做出可靠决策。在实时环境中在边缘设备上部署可靠的机器学习模型是一项具有挑战性的任务。诸如交通监控或交通标志检测等实时应用需要保持极低的延迟，以便设备能够及时响应周围环境。边缘设备能够在不需要将计算任务卸载到云服务器的情况下执行机器学习任务，但它们通常资源有限，这给计算密集型的深度学习应用带来了挑战。因此，针对自动驾驶应用优化神经网络模型对于在资源受限的边缘设备上实现实时性能至关重要。在本文中，我们全面研究了如何利用深度学习优化技术来实现自动驾驶应用的高效和有效决策。我们的贡献包括对YOLOv8模型进行通道剪枝和细粒度剪枝的实现、直接优化检测层，以及使用NVIDIA TensorRT集成INT8量化技术。这些方法在保持模型准确性的同时显著提高了计算效率。在Jetson Orin Nano上的实验评估表明，推理速度和内存利用率得到了显著提升，同时准确性的损失很小。这项工作凸显了在资源受限的自动驾驶系统中部署先进目标检测模型的可行性。