实时边缘计算用于基于多IMU数据和混合CNN-LSTM分类模型的路面分类

《Sensors》：Real-Time Edge Computing for Road Surface Classification Using Multi-IMU Data and a Hybrid CNN-LSTM Classification Model

　　

道路质量监测对于安全性、乘坐舒适性和驾驶辅助系统是必要的。对道路特征的了解使得能够在车辆和基础设施层面采取预防和纠正措施。虽然深度学习模型对于表面分类是有效的，但将它们迁移到实时嵌入式环境需要优化。本研究部署了一个基于卷积和长短期记忆神经网络的模型，使用来自多个惯性测量单元（IMU）的连续振动数据对五种道路条件进行分类。在MicroAutoBox III嵌入式PC上执行，系统在5.0至25.0 km/h的车速下预处理数据。与离线基线部署相比，这种边缘优化架构将推理延迟降低了88%（从33.8 ms到4.05 ms），同时在真实世界、跨平台条件下保持了公平的加权平均F1分数0.8751（相对于离线基线平均F1分数0.9338）。该处理时间在86 Hz传感器轮询速率所需的11.6 ms限制内运行。此外，地理空间映射能够定位结构异常，显示出对环境光照条件的鲁棒性，这经常影响基于视觉的系统。这种信息物理部署表明了执行时序深度学习实时模型的可行性。未来工作将针对高速公路速度验证和域适应，以评估跨不同车辆悬架的迁移能力。

本研究围绕道路路面实时分类这一核心问题展开。道路基础设施的持续退化对安全与维护构成挑战，传统检测方法（如视觉检查和专用设备）存在可扩展性差、成本高或受环境光照影响等局限。基于惯性测量单元（IMU）的振动传感虽为低成本的替代方案，但现有深度学习模型多依赖离线后处理或云端架构，难以在边缘端实现低延迟实时推理。为解决这一瓶颈，研究团队开发了一套基于Robot Operating System 2（ROS 2）的信息物理边缘计算系统，旨在将混合一维卷积神经网络与长短期记忆网络（1D-CNN+LSTM）模型部署于车载嵌入式平台，实现连续、低延迟的路面分类与地理空间异常定位。研究成果发表于《Sensors》期刊。

为开展研究，研究团队主要采用了以下关键技术方法：（1）多IMU数据采集架构：使用三个WT901C 9轴IMUs（±16 g，86 Hz采样率），分别安装在车辆的簧下质量（左/右减震器底部铰链）和簧上质量（底盘前部）；（2）基于ROS 2的边缘计算框架：通过近似时间同步器（ApproximateTimeSynchronizer，容忍窗口0.025 s）对齐异步传感器流，采用速度门控（5.0–25.0 km/h）与滑动窗口（216步长，80%重叠）实现连续推理；（3）模型轻量化与部署：将预训练的1D-CNN+LSTM模型转换为Open Neural Network Exchange（ONNX）格式，在MicroAutoBox III嵌入式PC（Intel Xeon E3-1505L v6，2.20 GHz）上运行，由NumPy矩阵运算完成动态归一化（减均值、除标准差）。测试车辆为2026 Chevrolet Groove，实验路线选取墨西哥城3.75 km城市道路，通过人工逐帧标注1633个物理实例建立地面真相。

研究结果部分分为三个子部分：

3.1 边缘计算性能：通过记录执行时间统计，测量得到平均CPU推理延迟为3.33 ms，总流水线延迟平均为4.05 ms，最大值为7.14 ms，均低于86 Hz传感器轮询周期（11.6 ms），验证了架构的实时可行性。

3.2 分类性能与地理空间映射：基于1633个标注样本评估，系统整体准确率为0.8683，加权平均F₁分数为0.8751，宏平均F₁分数为0.7756。各类别中，Even道路的F₁分数最高（0.9565），Speed bump（0.8321）与Uneven（0.8110）表现良好，Manhole-Pothole为0.7975，Patch最低（0.4810）。混淆矩阵显示主要误分类源于物理特征相似性（如浅坑洼与不平整路混淆）。地理空间映射成功定位了连续退化与孤立几何异常，且惯性系统对复杂光照条件（如树影）表现出鲁棒性。

3.3 可变速度下的预测：分类置信度在5.0–25.0 km/h的四个速度区间内维持稳定，多数类别中位数置信度超过90%，表明模型对速度变化不敏感。

讨论部分指出，边缘架构的4.05 ms总延迟比离线TensorFlow GPU推理（33.8 ms）降低了88%，且相比其他边缘平台（如Raspberry Pi 4、NVIDIA Jetson Nano）在保持模型全精度下表现有竞争力。分类性能差异主要源于Patch类的物理异质性及其在新测试车辆悬架上的振动衰减。系统受限于单车道检测、5–25 km/h速度范围、手动标注误差及单车辆验证，未来需引入域适应与多车联邦学习。研究结论翻译如下：本研究提出了一种利用惯性传感器和1D-CNN+LSTM模型进行实时路面分类的边缘计算架构。该系统在MicroAutoBox III嵌入式PC上运行于ROS 2框架，通过动态预处理（减均值与方差缩放）实现平均4.05 ms总流水线延迟，满足86 Hz传感器轮询率要求，无需云端连接。在3.75 km城市路线上的实证验证取得了0.8751的加权平均F₁分数，系统在5.0–25.0 km/h速度范围内保持稳定分类性能，并实现了对连续退化与孤立几何异常的鲁棒定位。此外，惯性架构对影响视觉模型的光照干扰表现出抵抗力。未来研究将扩展至高速公路速度、多车辆验证与联邦域适应，并将边缘推理节点整合至主动车辆监控回路。