基于视觉的自主四足机器人用于震后快速裂缝类建筑损伤检测

《Sensors》:Vision-Based Autonomous Quadrupedal Robot for Rapid Post-Earthquake Crack-Based Building Damage Detection

【字体: 大 中 小 】 时间:2026年08月07日 来源:Sensors 4.0

编辑推荐:

  震后快速可靠的基于裂缝的视觉损伤检测对于安全有效的灾害响应至关重要。人工巡检在不稳定结构中往往缓慢且对工程师构成危险。研究人员提出了一种四足机器人巡检系统,用于钢筋混凝土结构中震后快速基于裂缝的视觉损伤检测。一台配备Intel RealSense D435i

  
震后快速可靠的基于裂缝的视觉损伤检测对于安全有效的灾害响应至关重要。人工巡检在不稳定结构中往往缓慢且对工程师构成危险。研究人员提出了一种四足机器人巡检系统,用于钢筋混凝土结构中震后快速基于裂缝的视觉损伤检测。一台配备Intel RealSense D435i RGB-D相机(RGB-D camera,红绿蓝-深度相机)的Unitree Go2机器人从现场与公开来源收集了3255张标注裂缝图像的数据集。在NVIDIA Jetson AGX Xavier边缘计算设备上训练并部署的YOLOv8n模型,在钢筋混凝土试件实验室测试中展现出高性能检测表现,精确率(Precision)、召回率(Recall)与mAP@50值均超过85%。该系统提供快速、准确且自动化的结构健康评估(Structural Health Monitoring, SHM),降低人员风险并提升危险灾后环境中的巡检效率。未来工作将拓展损伤检测能力并推进真实场景部署。
研究背景方面,地震持续威胁人类生命与建成基础设施,震后及时评估对应急响应、安全回迁与修复优先级判定至关重要。传统依赖人工巡检的方法耗时、耗资源且在轻微至中度损伤建筑中具危险性。尽管人工智能(Artificial Intelligence, AI)与深度学习在裂缝检测、剥落分类与严重度估计上取得进展,卷积神经网络(Convolutional Neural Network, CNN)、生成对抗网络(Generative Adversarial Network, GAN)与迁移学习提升了有限数据下的精度,但深度学习模型需大量标注数据,真实灾后数据获取难且贵,边缘算力受限,黑盒特性引发可解释性担忧。机器人系统中无人机(Unmanned Aerial Vehicle, UAV)适于外部航拍,自主地面车辆(Autonomous Ground Vehicle, AGV)中四足平台适于受限与瓦砾环境,但结合四足机器人与轻量视觉检测模型用于震后钢筋混凝土表面裂缝巡检的端到端验证仍缺乏。为此,研究人员开展集成Unitree Go2四足机器人、Intel RealSense D435i RGB-D相机、ROS 2中间件与NVIDIA Jetson AGX Xavier边缘计算的设备,训练YOLOv8n单阶段无锚框检测器,在实验室钢筋混凝土试件上验证端到端裂缝检测流水线。结论表明该系统在受控条件下精确率、召回率与mAP@50均超85%,单帧模型推理约4.3毫秒,可离线记录带注释裂缝图像供操作人员复核,能降低人员暴露于危险环境的风险,为震后初步视觉巡检提供有效工具,但尚不能区分装饰性裂缝与结构性关键损伤,亦未实现度量坐标映射。该文发表于《Sensors》。
关键技术方法上,研究人员构建3255张标注裂缝图像数据集,来源含Roboflow公开平台与Kahramanmara?地震现场调查图像,辅以实验室钢筋混凝土(Reinforced Concrete, RC)试件剪切与弯曲裂缝及剥落图像,按YOLO格式归一化边界框标注,分训练2658张、验证300张、测试297张(测试集独立取自实验室试件机器人巡检帧)。模型选用YOLOv8n,输入resize至640×640,batch size 8,SGD+momentum,初始学习率0.01,训练100 epoch约2.293小时。机器人侧以Ubuntu 22.04+ROS 2 Humble为中间件,Unitree Legged SDK发步态指令,realsense-ros发布30 Hz RGB-D话题,Jetson AGX Xavier做GPU加速推理,深度图用于裂缝相对高度估算但不做全局坐标变换。实验室验证采用C25/30混凝土+B420C钢筋制作的550 mm×1700 mm×300 mm×高1850 mm RC框架试件,Go2预编程步态扫描,人工标注真值比对。
研究结果部分,第2节研究框架中,2.1数据集与训练过程表明混合现场与公开数据加增强(旋转、翻转、亮度调整)提升泛化,YOLOv8n总损失由定位损失Lbox、置信损失Lconf、分类损失Lcls加权组成,测试集独立于训练验证故具物理试件验证意义。2.2模型架构与性能指标中,YOLOv8n锚框自由、单阶段,实验室测试集得Precision 84.6%、Recall 82.6%、mAP@50 86.7%、mAP@50–95 61.3%,最优F1 0.84于置信度0.531,混淆矩阵显示89%裂缝正确识别、11%误归背景,推理4.3 ms/帧。第3节自主机器人系统,3.1嵌入式感知与处理组件集成Unitree Go2+RealSense D435i+Jetson AGX Xavier于ROS 2,publisher-subscriber通信保障低延迟;3.2运动与自主导航利用关节编码与IMU估中心质量(Center of Mass, CoM)状态;3.3相机数据与深度学习实时融合中RGB-D 30 Hz入YOLOv8n,深度算裂缝离地高,但不做metric coordinate transformation。第4节实验室验证中,Go2扫RC试件,Precision/Recall/mAP@50均>85%,推理<5 ms,边界框贴合真值但有少量误检漏检。第5节讨论指出四足平台补UAV室内受限环境之短,但现系统仅可见表面裂缝、无宽度量化、无SLAM(Simultaneous Localization and Mapping,同步定位与建图)、无地理参考映射,4.3 ms仅为模型级延时非端到端延时。第6节结论重申系统集成可行,未来扩损伤类、做裂缝宽度像素-度量校准、引SLAM、做交叉验证与功耗基准。
讨论部分总结:研究人员明确本工作为受控实验室验证的机器人视觉巡检辅助框架,非独立结构安全决策工具;四足+深度学习减人险、助工程师初筛,但细裂缝、低对比度、遮挡裂缝仍挑战;与UAV互补而非替代;未区装饰与结构缝、未量化宽、未建图均为限。结论部分译文如下:本研究提出基于四足机器人的震后裂缝类视觉损伤巡检系统,集成Unitree Go2、Intel RealSense D435i RGB-D相机、NVIDIA Jetson AGX Xavier与YOLOv8n;YOLOv8n单阶段无锚框架构高效检钢筋混凝土可见表面裂缝,模型级推理4.3 ms/帧,整流水线在线运行但端到端延时受采集与ROS 2通信影响;3255张标注图训验,独立实验室RC试件测试Precision、Recall、mAP@50均超85%;模型对可控条件下多向可见裂缝有效但有假阳假阴;图像采集+板载推理+机器人巡检端到端打通,输出带边界框与置信度注释图;现系统做图像级检测与可视化报告,未做物理缝宽、度量变换、SLAM或地理参考映射,属实验室验证框架非全自动诊断;四足机器人+深度学习可降低震后人员暴露并支撑快速初步视觉评估。未来方向含真实场测、微裂缝增强、扩损类(剥落/分层/锈损/露筋)、缝宽校准、SLAM建图、交叉验证、导航规划与Jetson功耗热基准。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号