一种用于基于图像的坑洞分类及实时视频坑洞检测的轻量级深度学习框架

《Scientific Reports》：A lightweight deep learning framework for image-based pothole classification and real-time video-based pothole detection

　　

摘要

坑洞对道路安全、车辆完好性以及运输效率构成重大威胁，同时还会增加基础设施的维护成本。传统的坑洞检测方法，如人工检查和基于传感器的系统，往往成本高昂、耗时较长，且不适用于大规模应用。本研究提出了一种集成化的自动坑洞检测框架，结合了图像分类与基于实时视频的坑洞检测技术。研究中评估了多种卷积神经网络架构，包括VGG16、VGG19、InceptionV3、MobileNetV2、DenseNet121、DenseNet201、EfficientNetB3以及一种为该任务定制的CNN，用于坑洞分类。所设计的定制CNN专门用于捕捉与坑洞相关的纹理和形状特征，其分类准确率可达98.7%，在显著减小模型规模的同时仍保持优异性能。虽然EfficientNetB3的分类准确率最高，达到99.54%，但其复杂的架构会增加计算和内存需求。相比之下，定制CNN在准确率上几乎与之相当，但模型体积更小，推理成本更低，更适用于实时及边缘设备部署场景。对于需要通过边界框进行实时定位的场景，研究采用了基于YOLOv8的模型来检测坑洞，并对道路图像和视频流进行预测。整个流程涵盖数据集收集、预处理、标注以及模型训练，以确保在各种道路和环境条件下的稳定性能。模型性能通过标准的分类指标（准确率、精确度、召回率和F1值）以及检测指标（平均精度均值）来评估，YOLOv8模型的推理延迟低于每帧30毫秒，能够满足实时处理需求。该框架为智能坑洞检测提供了一种可扩展且成本效益高的解决方案，可在智能城市基础设施、智能交通系统以及实时道路维护等领域得到应用。