《Applied Sciences》:Real-Time Post-Earthquake Structural Crack Segmentation Using a Quadrupedal Robotic Inspection Platform
编辑推荐:
震后结构检测对于公共安全和恢复至关重要,但传统的人工评估速度慢、危险且资源密集。本文提出一种新型系统,将四足机器人(quadrupedal robot)与深度学习(deep learning, DL)视觉模型相结合,以快速检测地震后的结构裂缝和损伤。一台配备摄
震后结构检测对于公共安全和恢复至关重要,但传统的人工评估速度慢、危险且资源密集。本文提出一种新型系统,将四足机器人(quadrupedal robot)与深度学习(deep learning, DL)视觉模型相结合,以快速检测地震后的结构裂缝和损伤。一台配备摄像头和传感器的Unitree Go2四足机器人与YOLOv8实例分割(instance segmentation)网络配对,实现近实时(near-real-time)的裂缝检测与定位。该方法通过允许操作员监督下在危险或难以到达区域进行近实时视觉裂缝筛查,解决了人工灾后检测的关键限制。YOLOv8模型基于策划的裂缝和损伤图像数据集训练,以支持裂缝检测与分割性能,其先进的分割能力允许精确描绘损伤区域。该集成系统在具有模拟损伤的实验室规模混凝土-钢(concrete–steel)框架上得到验证。初步结果表明,Unitree Go2四足机器人能够导航并检测结构构件,同时人工智能(AI)模型在近实时实验室操作条件下识别并分割裂缝和表面损伤。本研究凸显了结合先进腿式机器人(legged robotics)和最新DL进行结构健康监测(structural health monitoring, SHM)的潜力,提供一种初步视觉筛查工具,可支持操作员态势感知并帮助优先安排需要专家结构检测的区域。
**震后结构裂缝实时分割:基于四足机器人检测平台的集成研究**
**1. 研究背景与问题**
地震对建筑基础设施造成严重破坏,需要进行及时的结构评估以指导应急响应和修复。然而,传统的震后损伤评估由工程师通过目视检查进行,这一过程劳动强度大、耗时且常因结构不稳定而危险。人工检查还需专业知识,易受人为错误影响,且在灾害条件下覆盖范围有限。这些限制推动了自动化方法的发展。近年来机器人技术和计算机视觉的进步提供了有希望的替代方案,因为自动化能够克服人工评估的低效。特别是,部署自主机器人调查受损建筑可通过减少人员暴露于易倒塌区域来提高安全性,并加速损伤信息收集。同时,震后检查也可被视为一种时间关键的风险管理任务,决策常在不确定、损伤区域访问受限及安全条件快速变化的情况下进行。因此,机器人感知系统在提升态势感知、减少检查员暴露并提供支持分类和后续详细评估的可追溯证据方面具有价值。腿式机器人如Unitree Go2四足机器人已成为导航复杂和废墟密集环境的理想平台。此外,计算机视觉领域在自动裂缝检测和损伤识别方面取得了显著进展,尤其是深度学习(DL)方法包括卷积神经网络(CNN)被广泛用于基于图像的损伤检测。然而,已有研究较多关注单独领域,较少强调在近实时约束下将四足机器人移动性与实例分割进行实施层面的耦合。为填补这一空白,研究人员开发并评估了一种集成的四足机器人与分割工作流程,用于在机器人行进过程中进行裂缝描绘。本研究发表在《Applied Sciences》。
**2. 主要关键技术与方法**
本研究采用的关键技术方法包括:硬件集成方面,使用Unitree Go2四足机器人(Unitree Robotics,杭州,中国),搭载内置摄像头和基于NVIDIA Orin Nano 8 GB平台的EDU扩展坞(NVIDIA Corporation,美国)进行机载计算。软件集成采用机器人操作系统(ROS 2 Humble)框架和Unitree软件开发工具包(SDK),开发专用ROS节点处理摄像头流采集、运动命令传输和AI模型推理部署。视觉检测方法基于YOLOv8实例分割模型(Ultralytics框架),该模型支持像素级裂缝分割,采用特征金字塔表示(feature pyramid representation)实现多尺度特征提取。模型训练所用数据集由1000张裂缝图像组成(约1600个注释实例),通过Roboflow平台进行管理与标注,数据集划分比例为700张训练、199张验证和101张测试。实验室验证在实验室规模的混凝土-钢框架试件上进行(混凝土强度等级C25/30,钢筋等级B420C,尺寸550×1700×300 mm,总高1850 mm),试件表面具有模拟裂缝。
**3. 研究结果**
**3.1 训练与验证结果**
通过训练和验证损失曲线及性能指标(包括框和掩模的精度、召回率和mAP)的分析,研究人员发现模型在100个epoch的训练过程中损失曲线稳步下降,训练和验证损失紧密对齐,表明稳定收敛。精度、召回率、mAP@50和mAP@50-95指标持续提升,但召回率和mAP值仍属中等水平,表明需进一步扩展数据集和优化模型以减少欠拟合风险。
**3.2 混淆矩阵分析**
混淆矩阵显示模型对背景类别的分类能力很强,所有真实背景样本均正确分类(高真负率)。但对于裂缝类别,约69%的真实裂缝样本被正确识别,31%被误分类为背景,说明模型有时会漏检裂缝,原因包括裂缝结构薄、对比度低或与背景纹理相似。这表明需提升裂缝敏感性,可通过增加训练数据多样性、数据增强或优化架构实现。
**3.3 数据集分布与相关性分析**
通过分析注释边界框的空间分布和尺寸特征,研究人员发现裂缝实例主要集中在图像中央区域,向边界逐渐减少,且边界框尺寸偏向较小尺寸,反映裂缝的细长特性。交叉相关性分析显示坐标和尺寸参数之间存在有限但有意义的关联。这种非均匀分布可能引入对边界附近或较少见裂缝模式的偏差,未来需通过针对性数据增强和更丰富的样本集来缓解。
**3.4 基于置信度的性能评估**
F1-置信度曲线显示F1分数在置信度阈值为0.316时达到最大值约0.61,表明在此阈值下精度和召回率得到最佳平衡。精度-置信度曲线表明精度随阈值升高而单调增加,在约0.908时达到1.00,但对应更低的召回率。精度-召回率曲线显示mAP@0.5值为0.629,表明模型在中等置信度下有较一致的性能。该结果指导实际部署中需根据检测目标动态调整阈值。
**3.5 训练和验证批次的定性结果**
训练批次可视化展示了样本多样性(不同表面类型、光照、纹理)以及注释与裂缝几何形状的一般一致性,但存在因裂缝碎片化导致的密集注释重叠。验证批次定性结果中,模型在置信度0.6-0.8范围内通常能准确定位并描绘裂缝,但长或倾斜裂缝可能被碎片化或部分漏检,且存在多个重叠检测现象,需优化非极大值抑制等后处理步骤。
**3.6 实验室机器人部署结果**
在实验室混凝土-钢框架试件上,Unitree Go2四足机器人受远程操控运行,机载摄像头连续捕获图像,YOLOv8模型在机载计算机上以约3.28-3.43帧/秒(FPS)的速度进行近实时处理。模型成功检测了试件表面的裂缝并生成像素级分割掩模,即使在薄且不规则的裂缝模式下也能实现边界描绘。该实验验证了集成系统在慢速、操作员监督的近距离检测条件下工作流程的可行性。
**4. 讨论与结论总结**
讨论部分指出,尽管当前实验室结果展示了系统可行性,但表面纹理(如灰尘、污渍、剥落、水分、阴影等)会显著影响分割精度,真实震后环境可能降低裂缝对比度并增加误检风险。此外,机器人速度与检测精度之间的关系尚未定量分析,低光照条件下的鲁棒性也需未来研究。当前系统作为操作员辅助工具,其输出应结合专家判断及多视角重复观察,未来可结合应力、应变、压力或振动感知实现多模态评估。
**研究结论翻译**:本研究提出了一种集成的机器人检测框架,将四足移动机器人(quadrupedal mobile robot)与基于YOLOv8的实例分割模型相结合,支持操作员监督的裂缝检测,用于震后结构评估场景。通过利用四足机器人平台的移动性和基于深度学习的现代视觉模型的像素级描绘能力,所提系统解决了传统人工检查的主要局限性,包括安全风险、可达性受限和时间限制。全面的定量和定性评估表明,YOLOv8分割模型在训练中实现了稳定收敛,并在验证和测试数据集上表现出一致的检测性能。模型有效识别了不同大小和方向的裂缝模式,而基于置信度的分析强调了在安全关键检查任务中适当阈值选择以平衡精度和召回率的重要性。通过使用钢筋混凝土-钢框架试件的实验室机器人部署进一步评估了所提方法。在Unitree Go2四足机器人上部署分割模型展示了在操作员监督的实验室条件下近实时裂缝检测和像素级边界描绘的可行性。这些结果表明模型能够将学到的裂缝特征迁移到测试的实验室试件,但需进一步验证以评估在更复杂震后现场条件下的泛化能力。总体而言,研究结果表明,将基于实例分割的DL模型与移动机器人平台相结合为震后结构检查中的初步裂缝筛查和视觉文档提供了一种有前景的辅助方法。由于实验验证在受控条件下于实验室规模试件上进行,研究结果应主要作为系统可行性的证据,而在复杂震后环境中的更广泛验证仍是未来工作的重要方向。