基于移动机器人的结构表面裂缝实时分割与自动量化方法

《Developments in the Built Environment》：A real-time segmentation and automated quantification method for structural surface cracks based on mobile robots

　　

结构表面裂缝监测的传统人工检测方式存在效率低、风险高且难以量化等问题，而深度学习算法在实际工程中的部署仍面临挑战。本文提出一种可在边缘设备上部署的实时裂缝分割与自动量化方法，并在自研轮式机器人和旋翼无人机平台上进行了验证。实时裂缝分割方面：基于YOLOv8-seg设计了一套方案，结合ONNX-TensorRT加速以及Jetson Orin NX上的多线程调度框架，实现了稳定40 FPS的推理速度，较未优化部署提升28%。自动裂缝量化方面：提出了基于无向图拓扑的骨架剪枝方法和基于KNN-SVD法向量估计的宽度测量方法，在静态标定条件下MAE为0.067 mm，MAPE为2.68%；在动态机器人检测条件下，与人工标注相比，像素宽度合并MAPE为4.95%。实验结果表明，所提方法在结构表面裂缝监测任务中具有良好的实用性、鲁棒性和工程应用潜力，可为基础设施的智能化和自动化检测提供有价值的参考。此外，本文还构建了一个面向真实工程场景的桥梁裂缝数据集，命名为SZCrack。

# 论文解读：基于移动机器人的结构表面裂缝实时分割与自动量化方法

## 一、研究背景与问题

公路、铁路及其附属基础设施（如道路、桥梁、隧道）在长期荷载、材料老化、温度效应和环境作用下，表面易产生裂缝。裂缝一旦出现，外部侵蚀性介质（水、空气、盐分等）可渗入结构内部，诱发进一步开裂并削弱结构耐久性，因此表面裂缝是结构监测与损伤评估的关键指标。然而，传统人工检测方式耗时费力、效率低，且易受主观因素影响，难以满足日益增长的高效可靠结构评估需求。基于数字图像的方法已成为结构损伤检测的有效手段，其中深度学习方法通过数据驱动使神经网络自主预测，但要将在服务器上验证的深度学习方法转化为适用于真实工程场景的可靠监测方法，必须实现从“算法层面”到“系统层面”的跨越——算法需部署在能自主或远程进入监测现场、稳定采集数据并具备一定边缘计算能力的物理载体上。移动机器人平台作为深度学习方法的感知与执行实体，是连接识别算法与现场工程应用的桥梁。目前仍面临三大关键挑战：（1）工程部署中性能与效率的权衡，需综合考虑模型识别精度、输出格式、任务目标和算力约束；（2）真实环境动态测试缺乏，现有研究多依赖静态图像，无人机动态测试尤为稀缺；（3）移动机器人平台的场景适应性与现场表现，如何针对不同工程场景合理选择机器人平台仍待深入探索。

## 二、研究内容与结论

针对上述挑战，研究人员提出了一种专为边缘计算设备部署设计的实时裂缝分割与自动量化框架，并在自研轮式机器人和旋翼无人机平台上进行了实证验证。该方法包含四个核心模块：无人设备图像采集、边缘端实时裂缝分割、裂缝尺寸计算与后处理、裂缝损伤数据传输。在实时分割方面，基于YOLOv8-seg模型结合ONNX-TensorRT加速和多线程调度框架，在Jetson Orin NX上实现了稳定40 FPS的推理速度，较未优化部署提升28%。在自动量化方面，提出了基于无向图拓扑的骨架剪枝方法和基于KNN-SVD法向量估计的宽度测量方法，静态标定条件下MAE为0.067 mm、MAPE为2.68%，动态机器人检测条件下与人工标注相比的像素宽度合并MAPE为4.95%。研究还构建了面向真实工程场景的高分辨率桥梁裂缝数据集SZCrack（1466个样本），弥补了现有公开数据集在图像分辨率和真实场景样本覆盖方面的不足。研究结果表明，该方法在结构表面裂缝监测任务中具有良好的实用性、鲁棒性和工程应用潜力，为基础设施智能化和自动化检测提供了有价值的参考。

## 三、关键技术方法

研究人员采用了以下主要技术方法：（1）基于YOLOv8-seg的实例分割模型，通过原型掩膜与掩膜系数线性组合高效生成裂缝掩膜；（2）ONNX-TensorRT模型转换与加速框架，将PyTorch模型导出为ONNX格式，再由TensorRT进行层融合、FP16量化与内核自动选择，生成硬件专用的.engine序列化模型；（3）基于生产者–消费者模型的多线程调度框架，实现图像采集与推理的解耦与零丢帧；（4）基于无向图拓扑的骨架剪枝方法，通过顶点度数识别端点与分叉点，迭代去除长度小于阈值的伪分支；（5）基于KNN-SVD法向量估计与自适应局部轮廓提取的宽度测量方法，利用SVD分解求取法向量并结合局部坐标变换和线性插值计算裂缝宽度；（6）针孔成像模型将像素宽度转换为物理宽度。实验样本方面，轮式机器人平台采用自研四轮差速驱动底盘（Pixhawk 6C+APM固件），搭载NVIDIA Jetson Orin NX（8 GB）边缘计算模块，测试对象为校园沥青路面裂缝；无人机平台为自研四旋翼（Pixhawk 6C mini+PX4固件），测试对象为校园混凝土路面裂缝。模型训练使用包含R_Crack（5228张道路裂缝图像）和TB_Crack（37886张隧道桥梁裂缝图像，含SZCrack）的数据集。

## 四、研究结果

### 4.1 模型评估

研究人员在R_Crack、TB_Crack和SZCrack三个数据集上比较了YOLOv8-seg不同规模（n/s/m/l/x）模型，以Precision、Recall、mAP50、mAP50:95和mIoU为精度指标，以参数量和GFLOPs衡量模型大小，以FPS衡量推理速度。结果显示，更大模型带来更高计算成本，需根据工程需求进行性能与效率权衡。考虑到边缘部署约束，选用了m尺寸模型进行后续验证。研究强调不宣称分割性能超越最先进架构，YOLOv8-seg作为部署友好的基线，其实例级掩膜输出是后续裂缝分解与量化流程的前提，且原生支持ONNX-TensorRT工具链，量化误差端到端测量自实际分割输出，已包含分割不完善的影响。

### 4.2 推理速度对比

在不同计算平台（Jetson Nano、Orin NX）、不同输入设备（USB相机、HIK工业相机）、不同优化配置（无优化、模型加速、全优化）下对比推理速度。结果表明，在Orin NX平台上，输入尺寸640×640时，全优化配置下USB相机平均FPS为50.5，HIK相机为40.2；而Jetson Nano在相同全优化配置下仅6.6 FPS。框架优化在模型加速基础上额外带来约20%–30%的性能提升。

### 4.3 移动平台动态分割实验

**轮式机器人平台**：在校园沥青道路典型裂缝区域，轮式机器人以0.8 m/s恒速沿裂缝方向行驶，机载相机距地面45 cm连续采集视频流，在Orin NX上进行实时实例分割。算法在复杂光照和动态场景条件下成功提取裂缝几何轮廓，达到稳定40 FPS的推理速度。结合量化方法，损伤数据通过局域网传输至PC，最终生成裂缝宽度热力图和宽度等值线映射结果。

**无人机平台**：在校园混凝土道路典型裂缝区域，无人机分别以65 cm和175 cm飞行高度对两条裂缝进行恒定速度测试。识别流程与通信方式与轮式机器人一致。实验结果验证了基于无人机的智能裂缝检测可行性，且无人机基于雷达的定位在GNSS拒止环境中能可靠完成识别任务。

### 4.4 像素宽度一致性分析

为评估动态检测条件下基于分割的像素宽度估计的鲁棒性，研究人员对轮式机器人（相机高度45 cm）和无人机（飞行高度65 cm和175 cm）三种工况下采集的数据进行像素宽度一致性评估，覆盖约三倍工作距离变化。每个测试图像沿骨架均匀采样约11个测量位置（共246个点），以人工标注掩膜为参考，预测掩膜为对比，两者经同一量化流程处理并在相同骨架位置测量宽度。结果显示，三种条件下预测像素宽度与参考标注高度一致，合并MAPE为4.95%，R2为0.989；各条件MAPE范围为4.84%–5.11%，两个无人机飞行高度（65 cm对175 cm）尽管工作距离相差近三倍，MAPE仅差0.27个百分点。这表明在不同距离、视角、平台运动和振动条件下，像素宽度估计与人工标注保持一致性。

### 4.5 物理宽度测量精度验证

为验证所提宽度测量方法的准确性，研究人员将Hikrobot MV-CS050-10UC相机（焦距8 mm镜头）固定在三角架上拍摄在役混凝土路面裂缝，图像分辨率2048×2048，工作距离标定36.2 cm，像素尺寸3.45μm×3.45μm。经YOLOv8-seg分割得到裂缝掩膜后，执行自动量化流程，沿骨架每100像素间隔保留一条宽度测量线，最终经针孔成像模型将像素宽度转换为物理宽度，并与裂缝宽度仪人工测量值对比。5个试件共111个测量点的误差指标为：MAE=0.067 mm，RMSE=0.104 mm，MAPE=2.68%；线性回归y=1.003x+0.031 mm，R2=0.998；Bland–Altman分析显示平均偏差为+0.034 mm，95%一致性界限为[?0.160, +0.227] mm，差异围绕零点均匀分布且无明显比例趋势。结果表明所提方法达到与人工裂缝宽度仪测量相当的精度。

### 4.6 消融实验

为量化量化流程两个核心组件的单独贡献，研究人员在相同实验设置和评估协议下进行消融研究，比较两个变体与完整方法的差异：一个变体不使用基于图拓扑的骨架剪枝，另一个将KNN-SVD法向量估计替换为沿骨架的有限差分切线。结果显示，无骨架剪枝时，在伪骨架分支上产生305个虚假测量点，破坏沿裂缝的宽度分布，整体精度略有下降（MAE从0.067 mm增至0.084 mm）；替换KNN-SVD法向量估计为有限差分导致最严重退化（MAE增至0.316 mm，RMSE增至0.985 mm，MAPE增至11.81%，R2降至0.708），因为有限差分切线对骨架局部锯齿敏感，在弯曲裂缝段产生倾斜测量线，系统性高估宽度。结果表明两个组件均不可或缺，其中KNN-SVD法向量估计是测量精度的主导贡献因素。

## 五、讨论与结论

讨论部分指出，所提方法的主要局限性包括：机载有效载荷限制无人机续航约15分钟；旋翼振动引起的图像模糊目前仅在软件层面缓解，后续将加入稳定云台和保护罩；在非正视视角、连续变化物距或无人机姿态变化引起的透视畸变下，宽度测量精度可能下降。研究结论可翻译为：本文提出了一种可在边缘设备上部署的实时裂缝分割与自动量化方法，用于结构表面裂缝监测，并在自研轮式机器人和旋翼无人机平台上于真实工程场景中进行了验证。（1）边缘端实时裂缝分割：基于YOLOv8-seg模型，结合ONNX-TensorRT加速和多线程调度框架，在NVIDIA Jetson Orin NX上推理速度稳定达到40 FPS（含图像采集、在线推理和数据传输），较未优化部署提升28%。（2）自动裂缝量化：提出了基于无向图拓扑的骨架剪枝方法和基于KNN-SVD法向量估计与局部轮廓提取的宽度测量方法，在111个测量点上实现MAE为0.067 mm，MAPE为2.68%（R2=0.998）；消融结果证实KNN-SVD法向量估计是测量精度的主导贡献因素。（3）移动平台现场验证：轮式机器人和无人机平台在路面和混凝土结构动态测试中稳定完成数据采集和机载实时处理；246个测量点的像素宽度一致性验证得到合并MAPE为4.95%（R2=0.989），表明在不同工作距离、视角和平台运动条件下，像素宽度估计与人工标注保持一致。（4）数据集贡献：构建并公开了高分辨率桥梁裂缝数据集SZCrack（1466个样本），弥补了现有公开数据集缺乏真实工程场景样本的不足。所提方法为结构表面裂缝检测提供了完整的边缘智能解决方案，对自动化基础设施检测具有重要工程价值。未来工作将聚焦于模型轻量化以及多机器人协同下的三维损伤评估。