编辑推荐:
道路基础设施的维护和交通安全至关重要,传统人工道路病害检测存在诸多弊端,现有自动化系统也有局限。研究人员开展 MobiLiteNet 轻量级深度学习框架研究,该框架提升检测精度且降低计算成本,为道路管理和智能交通系统助力。
在当今交通领域,道路就像城市的血脉,承载着无数车辆和行人的出行。然而,道路在长期使用过程中,会不可避免地出现各种病害,如裂缝、车辙和坑洼等。这些病害不仅影响道路的使用寿命,增加维修成本,还可能威胁到交通安全。传统的人工道路病害检测方式,就像是用古老的算盘去应对现代的大数据计算,不仅耗时费力,还容易出现误差。而近年来兴起的自动化检测系统,虽然看似先进,但大多依赖高计算成本的设备,就像让一个小个子扛起沉重的大箱子,难以广泛应用。在这样的背景下,开展能够高效、准确且低成本的道路病害检测研究迫在眉睫。
来自德国亚琛工业大学(RWTH Aachen University)等研究机构的研究人员,针对上述问题展开了深入研究。他们提出了 MobiLiteNet 这一轻量级深度学习框架,旨在实现智能手机和混合现实(MR)系统等移动设备上的实时道路病害检测。研究结果表明,MobiLiteNet 框架显著提升了检测精度,同时大幅降低了计算成本。该研究成果发表在《Nature Communications》上,为道路基础设施管理和智能交通系统的发展带来了新的曙光。
研究人员为开展此项研究,运用了多种关键技术方法。首先,通过收集欧洲和亚洲多个地区的道路病害图像,构建了多样化的数据集,涵盖不同环境条件和视角下的图像,还利用 Wasserstein 生成对抗网络(WGAN-GP)进行数据增强。其次,采用了一系列模型优化技术,如高效通道注意力(ECA)机制、结构精炼、稀疏知识蒸馏、结构化剪枝和量化等,对 MobileNet V2 模型进行优化。
下面来看具体的研究结果:
- MobiLiteNet 框架构建:MobiLiteNet 框架整合了 ECA 机制、结构精炼、稀疏知识蒸馏、结构化剪枝和量化等关键组件。先利用 ECA 机制增强模型捕捉关键通道依赖的能力,再通过结构精炼调整模型架构,减少参数和计算负载。稀疏知识蒸馏让学生模型从教师模型获取知识,结构化剪枝去除不重要的通道,最后量化将模型权重转换为 8 位整数(INT8)格式,减小模型大小,提高处理效率,实现了在移动设备上的高效部署123。
- 数据集构建与增强:研究人员收集了德国亚琛、中国北京和英国斯旺西等地的道路病害图像,涵盖不同气候条件和交通模式下的情况,并增加了雨天和夜间的图像以及不同视角的图像。同时,使用 WGAN-GP 生成高质量的合成图像,解决数据不平衡问题,增强了数据集的鲁棒性和模型的泛化能力456。
- 模型优化与性能评估:以 MobileNet V2 为基线模型,经过 MobiLiteNet 框架优化后,模型参数数量大幅减少,从 2,228,996 个降至 498,283 个 ,但精度却从 94.09% 提升到 96.38%。这得益于各优化技术的协同作用,如稀疏知识蒸馏在传递知识的同时引入稀疏性,方便后续剪枝;ECA 机制增强特征表示;量化减小模型大小并加速推理速度78。
- MobiLiteNet 部署与消融分析:将优化后的模型转换为 TFLite 格式,部署在智能手机和 MR 设备上。通过消融研究分析各优化组件的贡献,结果表明每个组件都对模型性能优化起到关键作用,最终优化的模型在保持高检测精度的同时,大幅提高了处理效率,在智能手机和 MR 设备上的处理时间显著缩短91011。
- 跨平台部署与性能分析:优化后的模型成功部署在智能手机和 MR 设备上。在智能手机上,RoadIntelligent 应用能实时捕捉图像并显示检测结果;在 MR 设备上,检测结果可直接叠加在物理路面上,且支持手势控制。性能测试显示,优化后的 Model 5 在智能手机和 MR 设备上的处理时间相比基线模型和 ResNet 大幅缩短,提升了检测效率121311。
- 实地验证:在德国亚琛进行实地验证,使用智能手机和 MR 设备收集数据。智能手机验证中,对 400 张图像的检测总体准确率达到 92.5%。MR 验证中,与基于 YOLOv8 的应用对比,基于优化后 MobileNet V2 模型的 RoadIntelligent 应用准确率为 91%,处理时间仅 87 ms,虽准确率略低于 YOLO 应用,但处理速度快近 27 倍,平衡了检测精度和计算效率141516。
研究结论和讨论部分指出,MobiLiteNet 框架为实时道路监测提供了高效解决方案,在降低模型复杂度的同时保持了高准确率。通过多地区数据收集和数据增强,模型的泛化能力得到提升。该框架在智能手机和 MR 设备上的成功部署,展示了其在不同场景下的适用性。不过,当前研究仍存在一些局限,如应用程序功能有待完善、模型对高质量数据有依赖、在极端条件下检测精度受影响等。未来研究可朝着提高模型在恶劣条件下的鲁棒性、融合多传感器数据、开发更完善的应用程序等方向展开。总的来说,MobiLiteNet 框架为下一代自动化基础设施评估系统奠定了坚实基础,有望在智能交通、智慧城市建设等领域发挥重要作用,推动城市环境向更加智能、包容和有韧性的方向发展。