simDP:基于共享动作空间(Shared Action Spaces)的Sim-to-Real迁移(Sim-to-Real Transfer)

《Sensors》:simDP: Sim-to-Real Transfer with Shared Action Spaces

【字体: 大 中 小 】 时间:2026年06月28日 来源:Sensors 4.0

编辑推荐:

  道路质量监测对于行车安全、乘坐舒适性及高级驾驶辅助系统(Advanced Driver Assistance Systems, ADAS)至关重要,掌握道路特征有助于在车辆与基础设施层面采取预防和纠正措施。尽管深度学习(Deep Learning, DL)模型

  
道路质量监测对于行车安全、乘坐舒适性及高级驾驶辅助系统(Advanced Driver Assistance Systems, ADAS)至关重要,掌握道路特征有助于在车辆与基础设施层面采取预防和纠正措施。尽管深度学习(Deep Learning, DL)模型在路面分类中表现良好,但将其部署至实时嵌入式环境需进行优化。研究人员将基于卷积神经网络(Convolutional Neural Network, CNN)与长短期记忆(Long Short-Term Memory, LSTM)神经网络的模型部署于MicroAutoBox III嵌入式PC(Embedded PC)上,利用多惯性测量单元(Inertial Measurement Unit, IMU)的连续振动数据对五类道路状况进行分类,车辆速度范围为5.0~25.0 km/h。与离线基准部署相比,该边缘优化架构将推理延迟降低88%(从33.8 ms降至4.05 ms),同时在真实世界跨平台条件下保持了加权平均F1分数0.8751(离线基准平均F1分数为0.9338)。该处理时间满足86 Hz传感器轮询率所要求的11.6 ms时限。此外,地理空间映射能够定位结构性异常,且对环境光照条件具有鲁棒性——而基于视觉的系统常受光照影响。该信息物理(Cyber-Physical)部署表明时序深度学习模型在实时执行方面的可行性。未来工作将针对高速公路速度验证及域适应(Domain Adaptation)来评估跨不同车辆悬架的可迁移性。
论文解读:基于多IMU与1D-CNN+LSTM的实时道路表面状况边缘分类与地理空间映射
《Sensors》刊载的此项研究针对现有道路状况深度学习方法多依赖离线后处理或云端计算、难以满足车载实时低延迟需求的问题,开展将预训练1D-CNN+LSTM模型部署于车载边缘计算平台的研究。传统视觉方法易受光照与天气干扰,激光雷达与高精度雷达成本高昂且数据量大;基于车载IMU的振动分析法成本低、不受光照影响,但以往研究未在实车嵌入式环境中实现连续高频IMU数据的实时同步、推理与地理映射。研究人员构建基于机器人操作系统第二代(Robot Operating System 2, ROS 2)的Cyber-Physical架构,在MicroAutoBox III嵌入式PC上通过ONNX(Open Neural Network Exchange)运行时执行预训练多IMU 1D-CNN+LSTM模型,对五类道路状况(平整路面、不平整路面、井盖/坑洞、补丁修补、减速带)进行分类,并与GPS同步生成地理空间异常地图。实验结果表明边缘推理总流水线延迟均值4.05 ms(低于86 Hz采样对应的11.6 ms上限),较离线TensorFlow GPU推理提速约88%;在1633个实标注样本上加权平均F1分数达0.8751,各类别F1介于0.4810(补丁修补)至0.9565(平整路面)间;系统在5~25 km/h速度区间预测置信度中位数超90%,且惯性传感方案对树影与复杂光照具鲁棒性。该研究证明时序DL模型可通过ROS 2与ONNX优化在车载CPU上实时运行并完成地理映射,为智能交通系统(Intelligent Transportation Systems, ITS)与主动基础设施监测提供低带宽依赖的边缘解,未来需拓展高速公路速度验证及跨车辆悬架的域适应。
主要关键技术方法:研究人员采用2026款Chevrolet Groove测试车,搭载三枚WT901C 9轴IMU(两枚安装于左右减震器下铰链测非簧载质量Unsprung Mass,一枚于前底盘中部测簧载质量Sprung Mass)以86 Hz采集三轴加速度与角速度,VK?162 USB GPS模块以10 Hz提供车速与经纬度;边缘计算平台为MicroAutoBox III Embedded PC(Intel Xeon E3?1505L v6, 16 GB RAM, Ubuntu 20.04.6 LTS)运行ROS 2框架,通过ApproximateTimeSynchronizer以0.025 s容差对齐三路IMU流,速度门限5~25 km/h触发推理,216步(≈2.5 s)定长缓冲以20%滑动窗更新;预训练1D?CNN+LSTM权重冻结,输入张量216×18经训练集预存均值标准差NumPy归一化后转ONNX格式由ONNX Runtime执行;推理节点输出类别、时间戳与GPS坐标发布至ROS话题并录制ROSBag,后处理以手机前向视频与地理交叉参照人工标注建立Ground Truth,用Accuracy、Precision、Recall、Macro?及Weighted?Average F1?Score与Bootstrap 95% CI评估。
3.1. Edge Computing Performance(边缘计算性能)
研究人员在MicroAutoBox III上对CPU推理延迟与含ROS 2流水线的总延迟进行统计。结果显示平均CPU推理延迟3.33 ms,平均总流水线延迟4.05 ms,最大总延迟7.14 ms,均低于86 Hz IMU采样周期11.6 ms的上限,证明系统可持续无丢包运行,ONNX Runtime相较原生框架显著降低延迟。
3.2. Classification Performance and Geospatial Mapping(分类性能与地理空间映射)
基于1633个人工标注实样本,整体准确率0.8683(95% CI [0.8512–0.8849]),宏平均F1 0.7756(CI [0.7477–0.8022]),加权平均F1 0.8751(CI [0.8590–0.8905])。平整路面F1 0.9565最高;减速带0.8321、不平整路面0.8110、井盖/坑洞0.7975(高精度0.8894低召回0.7228);补丁修补F1最低0.4810(召回0.8261但精度仅0.3393,易与平整路面互混)。混淆矩阵显示误分类主要发生于物理振动特征相近的类别。GPS同步推理输出生成3.75 km城市路线地理空间地图,可有效区分完好铺装段与密集不规则段,且在树影与强光下无误判,证实惯性方案的照度鲁棒性。
3.3. Predictions over Variable Speed(不同车速下的预测表现)
按5–25 km/h分四速度区间分析正确分类的Softmax置信度分布,各路况中位数置信度超90%;平整路面与减速带稳定性高,井盖/坑洞与补丁修补在较低速时间信度四分位距扩大,但整体未显现显著速度依赖性退化,说明固定时长滑动窗在限定速度范围内适用。
讨论与结论翻译
研究人员讨论指出:(1)边缘架构平均总延迟4.05 ms留有逾60%时间余量,ONNX Runtime是在CPU上优化时序DL模型的有效策略,MicroAutoBox III算力超出最低需求,暗示更低成硬件亦可承载推断;(2)分类误差多源于物理特征重叠(如浅坑洞近似不平整路面振动、新补丁缺乏明显边缘冲击),补丁类因几何不规则致信号变异大且跨车悬架衰减明显,未来可引入混合传感器融合改善;(3)惯性基线不受光影遮挡干扰;(4)局限含单车道映射受限、速度限于训练范围5–25 km/h、手工视频标注时序不确定、单一测试车辆悬架耦合,后续拟开展高速公路速度拓展、多车联邦域适应(Federated Domain Adaptation)及接入主动悬架与ITS闭环。
结论:研究人员提出并部署了基于ROS 2框架、运行于MicroAutoBox III嵌入式PC的路边状况实时分类边缘计算架构,利用多IMU与预训练1D?CNN+LSTM模型。动态预处理IMU信号后推断节点平均总流水线延迟4.05 ms,满足86 Hz传感器轮询11.6 ms时限且无需云端连接。3.75 km城市实测五类道路加权平均F1 0.8751,5–25 km/h速度内分类稳定,地理映射可定位连续劣化与孤立几何异常,且对复杂光照与光学遮挡具鲁棒性。未来研究将拓展高速公路速度验证、多车联邦域适应解耦悬架特异性,并探索边缘推断节点接入ADAS、动态悬架调校及大规模IoT基础设施分析,以服务下一代ITS。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号