基于混合优化深度学习模型的高效道路标志检测与3D映射技术，适用于边缘设备部署

《Signal Processing: Image Communication》：Efficient Road Sign Detection and 3D Mapping Using a Hybrid Optimized Deep Learning Model for Edge Device Deployment

　　•YOLOv9能够精准识别各类街道场景中的交通标志。•ViT模型可实时分类标志的颜色、形状及数字信息。•DLWCO通过剪枝、量化与知识蒸馏等技术优化模型性能。•该方案支持在Jetson、树莓派及移动设备上部署，适用于边缘环境。•在自动驾驶与智能交通系统中，其准确率可达99.2%。

引言
大城市中的城市交通日益成为一项挑战，这促使人们考虑运用现代技术并考量其伦理影响，因为交通问题会对环境和经济造成深远影响。车辆自组织网络（VANET）通过车车通信提升智能交通系统（ITS）的性能，是一种可行的解决方案。这类网络配备有嵌入车辆设备中的无线接口，可独立运行[1]。事实上，随着各行业使用更多连接设备及智能系统，数字化进程正在加速发展。物联网（IoT）是实现物品在高度协同环境中互动与运行的基础技术。随着大数据、云计算及人工智能的发展，物联网的优势不断显现，进而催生了更为先进高效的数字化解决方案[2]。内存消耗会影响深度学习模型在边缘设备上的推理效率，这类设备在训练和推理过程中通常需要较高内存，且复杂度越高对内存的需求越大。因此，当内存密集型模型被部署在网络边缘时，其性能会下降，表现为执行速度变慢甚至出现崩溃[3]。对于大规模运行且资源有限的物联网系统而言，即便在边缘设备上，能效也至关重要。例如，人们会使用Jetson Nano、手机、Jetson Orin和树莓派等设备为偏远或难以到达地区的设备充电或更换电池。通过这种方式，不仅能够延长设备使用寿命，还能降低维护成本，提高物联网生态系统的整体可靠性[4]。在这样的场景中，为确保自动驾驶车辆与行人之间安全互动，就必须通过深入理解行人的意图，借助意图识别技术提升互动的安全性与导航效果[5]。除了基于YOLOv9和ViT的架构外，其他一些先进的计算机视觉模型在图像理解和物体识别任务中也取得了优异成果。DeepLab是一种语义分割框架，它采用空洞卷积和空间金字塔池化技术，能够提取多尺度上下文信息，从而实现精确的物体边界提取与场景理解[6]。类似地，EfficientNet则提供了一种复合缩放技术，该技术能在降低计算复杂度的同时，最大化网络的深度、宽度与质量，从而在分类任务中实现高精度，非常适合资源有限的边缘设备使用[7]。

如图1所示，交通标志检测与识别领域的主要研究工作涉及多种物体检测算法（如YOLOv8、CNN-CLFFA、DLHR-TSDR）以及优化方法（如M-YOLO-CRD、CAM-FM）。该图展示了这些研究工作与所提出的YOLOv9-ViT-DLWCO框架之间的关联，以及该系统相较于现有系统的优势所在。Xi等人[8]开发了基于改进高效卷积编码器的连体网络（IECES），该网络由三个核心模块构成，通过高效卷积编码器与对比损失函数来应对交通标志识别中的各种挑战，包括运动模糊和遮挡现象，从而提升系统的鲁棒性。Reza等人[9]设计了基于时差Q学习算法的状态动作奖励状态动作模型（SARSA-TDQ），这是一种用于调控交通流、改善城市环境中车辆行驶效率的智能决策工具。SARSA算法会根据当前策略不断更新其参数值。Zhang等人[10]开发了基于实时检测变换器的交通标志检测模型（TSD-DTR），这是一种专为交通标志检测设计的轻量级模型，其架构融合了检测变换器与卷积神经网络技术。Zhang等人[11]还为YOLOv5设计了简化空间金字塔池化-快速交叉阶段部分连接模型（Sim-SPPFCSPC），该模型通过优化阶段间连接结构以及改进SPP结构来实现更高效的特征提取。Safavi等人[12]开发了基于卷积神经网络的迁移学习方法（TL-CNN），该方法利用预训练的ResNet、VGG或Mobile Net等CNN模型来提升交通标志分类的准确性并提高效率。Meng等人[13]创建了三维行人网络（3DPN），这是一种能够记录行人路径的数字模型，其中还包含了高度信息以及其他垂直运动元素，如楼梯、斜坡、桥梁和隧道等。Aldoski和Koren[14]开发了第八版一次只看一次算法（YOLOv8），该算法作为自动驾驶系统的重要组成部分，可用于检测交通标志。这些标志以可见形式为驾驶员提供指引，但天气和光照条件等因素会影响这些标志的辨识度，以至于人类驾驶员和自动驾驶系统都可能难以区分不同的交通标志。Suleymanoglu等人[15]开发了基于密度的带噪声空间聚类算法（DBSCAN），这是一种机器学习算法，能够根据密度检测出不同形状和大小的聚类群体。DBSCAN并不限制聚类的数量，可以检测出任意形状的聚类。Sarvajcz等人[16]开发了高级驾驶辅助系统（ADAS），这类系统是由多种技术整合而成的，可通过多种驾驶辅助功能提升行车安全性。Rani等人[17]利用深度学习技术开发了基于深度学习的雾天去除与交通标志检测识别系统（DLHR-TSDR），该系统可在复杂环境条件下实现多类交通标志的检测识别。Setyanto等人[18]开发了带有对比表示蒸馏功能的改进版YOLO算法（M-YOLO-CRD），这是对YOLOv4的改进版本，旨在让模型更加轻量级，更适合在资源受限的边缘设备上部署。Ahmed等人[19]开发了无锚点、具备上下文感知能力且高效能的物体检测模型YOLOv8。Wong等人[20]设计了一种小型移动机器人，该机器人具备道路检测、交通标志识别及避障功能，其尺寸仅为18厘米×18厘米×21厘米，配备了CPU、GPU、两个鱼眼摄像头以及能够实现实时处理的2D激光雷达。Bhansali等人[21]开发了CNN-CLFFA模型，这是一种混合深度学习模型，它将卷积神经网络与专为物体识别设计的定制轻量级特征融合架构相结合，尤其适用于实际场景中车辆与交通标志的检测。An等人[22]开发了级联注意力调制融合机制（CAM-FM），这是一种先进的深度学习框架，通过优化特征选择、融合方式及表示形式来提升交通标志识别的性能。

基于人工智能的交通标志识别、物体检测、聚类及导航相关模型的发展，为智能交通系统的进步做出了重要贡献。然而，这些模型仍存在诸多问题，阻碍了其在实际中的应用。表1总结了基于人工智能的交通标志检测与识别领域的主要研究缺口，包括过拟合问题、扩展困难以及特征提取不理想等问题。造成这些缺口的原因是多方面的，比如对标注数据集的过度依赖、硬件限制，以及难以识别出对准确检测至关重要的特征。

YOLOv9-ViT-DLWCO通过数据增强、自我监督学习及知识蒸馏等方法缓解过拟合问题，从而提升人工智能模型的性能。该方案还对边缘设备进行了优化，通过量化处理并调整参数以实现节能高效的运行，进一步提升系统的可扩展性。多尺度YOLOv9检测技术与先进的ViT模型相结合，能够确保高精度结果，非常适合用于实际的智能交通系统应用。

（R1）YOLOv9和ViT在实时交通标志识别方面有哪些优势？
（R2）所提出的DLWCO方案在边缘设备部署上有哪些优点？
（R3）量化、权重剪枝和知识蒸馏等压缩技术如何影响推理速度与精度？

?通过结合YOLOv9与ViT，可全面检测、定位并依据形状、大小和类型对交通标志进行分类。
?采用了包括权重剪枝（P）、量化（Q）和知识蒸馏（KD）在内的多种模型优化与压缩技术，在保持准确率的同时提升计算效率。
?研发并实现了名为DLWCO的混合优化算法，通过调整参数来提升检测阈值与处理速度。
?在Jetson Orin、Jetson Nano、树莓派及手机等边缘设备上，结合离线云环境对系统性能进行测试，以实现高效的实时部署。

方法概述
本研究中的“3D映射”指的是以交通标志为中心的稀疏语义映射，即每个被检测并分类的交通标志都会被转换为具有空间参考信息的地图标记点。该研究并非旨在生成整个道路场景的密集3D重建模型，而是专注于从街道级图像中提取交通标志的位置，并将其投影到能够支持自动驾驶、数字地图更新的3D道路环境表示中。

对比分析
在性能评估方面，本研究使用了scikit-learn；图像处理任务则借助OpenCV；模型开发则采用Python与TensorFlow。可视化分析则依靠Matplotlib和Seaborn工具。在部署与测试环节，则使用了NVIDIA Jetson SDK、适用于树莓派的TensorFlow Lite以及跨平台推理框架ONNX。CUDA/cuDNN技术可加速计算过程，而Jupyter Notebook则提供了交互式的计算环境。所有数据集均经过分层处理。

结论
本研究旨在通过YOLOv9与ViTs组成的混合深度学习框架，构建高效的交通标志检测与分类系统。实验结果表明，通过权重剪枝、量化及知识蒸馏技术，可以在较高的推理速度与接近99.2%的准确率之间取得平衡，这一性能指标对于在Jetson Nano、手机、Jetson Orin及树莓派等边缘设备上的有效部署至关重要。实验结果还显示出该系统具备极高的准确率（99.2%）、良好的环境适应性以及出色的计算性能。

利益冲突声明
作者声明不存在任何利益冲突。所有作者均确认自己与本文讨论的主题或相关材料没有任何财务或非财务利益的关联，也不隶属于任何可能存在此类利益的机构或实体。

作者贡献说明
Godson D’silva：验证、方法设计、概念构思。
Shraddha S. More：可视化、监督工作、项目管理。
Vinayak Ashok Bharadi：文本撰写与修改、初稿撰写、研究工作。
Rajesh Bansode：资金筹措、正式分析、数据整理。