基于无人机视觉 - 激光雷达融合的混凝土表面缺陷检测与三维定位方法

《Measurement》：UAV-based Visual-LiDAR fusion method for concrete surface defect detection and 3D localization

　　

•数据构建与鲁棒性增强：SAM 辅助标注提高了像素级标注的一致性和效率，而基于天气和光照的增强增加了数据多样性，并在复杂现场条件下增强了泛化能力。
•面向嵌入式部署的轻量级分割网络：轻量级网络架构和高效的分割头集成了共享卷积、深度卷积和多尺度特征融合，在保持分割性能的同时降低了模型复杂性并提高了推理效率。
•低冗余彩色化映射与区域 3D 定位：相机视场约束的视觉 - 激光雷达融合方法，结合体素地图管理，减少了冗余点云存储，并将像素级缺陷结果转换为全局坐标，用于 3D 定位和可视化。

引言
混凝土是基础设施中最常用的材料，广泛应用于建筑物、桥梁、大坝和隧道等结构。然而，随着时间的推移，混凝土结构由于长期荷载、环境腐蚀和老化效应 [1]，容易产生裂缝、表层脱落和泛碱等缺陷。这些缺陷不仅影响结构的美观，还可能带来显著的安全风险 [2]。因此，及时有效地检测混凝土表面缺陷并评估其健康状况，对于确保建筑物和桥梁的长期稳定性、提高安全性以及降低维护成本至关重要 [3]。

传统的混凝土表面缺陷检测方法主要依赖人工检查和手持设备。虽然这些方法可以检测一些缺陷，但在实际应用中存在显著局限性。人工检查通常依赖于检查人员的经验和精度，导致检查效率低，且容易受环境条件和检查人员疲劳的影响。手持设备在复杂或高空环境中受限，难以全面覆盖结构的所有部分。此外，这些方法难以获得高精度的三维数据，导致缺陷识别的准确性和覆盖率不足 [4]。

近年来，机器人和传感技术的快速发展将一系列自动检测平台引入了基础设施检测中，包括无人地面车辆（UGV）[5]、无人水面车辆（USV）[6]、爬壁机器人 [7] 和无人机（UAV）[8]，[9]。这些平台可以减少人工参与并提高检测自动化水平。例如，UGV 和 USV 可以搭载多模态传感器进行近距离检测，而爬壁机器人可以对垂直或倾斜表面进行高精度扫描。然而，这些平台通常受工作空间可达性和移动性条件的限制，导致覆盖范围有限，部署成本相对较高，且在长跨度桥梁和高楼立面等复杂场景下难以实现快速全面的检测。相比之下，无人机具有卓越的机动性、大面积覆盖和灵活部署能力，能够在短时间内对大型结构进行近场检测。它们特别适用于传统方法难以企及的区域，如桥梁底部、高桩和高楼立面，因此已成为自动检测的重要平台 [10]。

在此背景下，自动检测平台与计算机视觉的紧密集成为民用基础设施的智能缺陷识别提供了新途径。基于深度学习的视觉识别在检测裂缝、剥落和钢筋外露等表面缺陷方面取得了显著进展 [11]。例如，Yang 等人 [12] 针对机载计算和能量预算有限的无人机应用，在无锚框检测范式下重新设计了 YOLOv6，并结合量化感知训练，实现了快速实时多类缺陷识别，证明了轻量级检测器在无人机平台上的可部署性。Sun 等人 [13] 通过在 YOLOR 框架内改进锚框生成和定位损失，解决了桥梁多缺陷检测问题，提高了各类缺陷的检测精度。在不同的设置中，Mathur 等人 [14] 使用 YOLOv5 Large 识别高楼立面裂缝，表明目标检测在复杂立面背景下依然有效。Diniz 等人 [15] 提出了一种基于 YOLOv8 的检测加分类工作流，将检测到的区域裁剪并重新分类，以提高裂缝识别的可靠性。此外，Sun 等人 [16] 为资源受限的工程应用开发了 YOLOv8s 的轻量级变体，在保持多种路面缺陷类型检测性能的同时降低了模型复杂性。尽管取得了这些进展，基于目标检测或图像分类的方法通常只输出缺陷类别，而无法捕捉精确的几何边界。这限制了缺陷规模的量化，并降低了其在后续结构评估中的实用性。

为了解决这些局限性，越来越多的工作引入了实例或语义分割，以像素级提取缺陷，从而实现对裂缝长度和宽度以及剥落面积的定量测量 [17]，[18]。Qi 等人 [19] 提出了 VCV-Net，将视觉变换器与凸变分公式集成，利用全局特征建模和曲线演化来细化缺陷边界。然而，该架构相对复杂，产生了巨大的计算成本。Yang 等人 [7] 专注于混凝土检测，将 InspectionNet 语义分割网络纳入爬壁机器人系统，实现了对裂缝和剥落的像素级识别。Zhang 等人 [5] 在 YOLOv5-seg 框架之上构建 S2TNet，开发了一种轻量级裂缝实例分割和跟踪方法，其中分割到跟踪机制提高了帧间的时间一致性并支持运动控制。Song 等人 [20] 通过结合深度可分离卷积与轻量级注意力机制，引入了一种用于基于无人机的桥梁检测的轻量级 UNet 变体，在减少计算的同时保持了裂缝分割精度。

最近，诸如 Segment Anything Model (SAM)[21] 等通用分割模型在复杂场景中显示出强大的分割能力，为高保真缺陷提取提供了新机遇。Liu 等人 [22] 引入了参数高效适应策略，通过在 SAM 编码器中插入轻量级适配器模块并仅微调少量参数来分割盾构隧道漏水，证明了 SAM 对工程图像的适应性。Chen 等人 [23] 提出了一种面向隧道的适配器方法，冻结 SAM 主干并通过自适应模块进行高效微调，实现了衬砌漏水的像素级分割。Ye 等人 [24] 探索了基于 SAM 的表面损伤实例分割，对 ViT 注意力层应用低秩更新，以改进裂缝及相关目标的实例分割，并生成自动提示或 Mask2Former 掩码。尽管取得了这些进展，此类模型通常需要大量的 GPU 计算和内存，这使得直接在无人机平台上部署进行实时在线检测具有挑战性。因此，在分割精度和模型效率之间取得更好的平衡仍然是基于无人机的缺陷检测中的一个关键未解决问题。

为了使自动检测系统在实际工程中真正有用，仅靠缺陷识别和分割是不够的。缺陷的空间定位和基于地图的表示对于数字运营、维护和决策支持至关重要。因此，研究人员已开始将缺陷检测结果与 3D 映射集成，以在结构环境中定位缺陷 [25]。Savino 等人 [26] 遵循无人机摄影测量流程，使用运动恢复结构（SfM）重建钢结构 3D 模型，并将腐蚀分割投影到模型上以估计腐蚀面积和空间位置。然而，该工作流程依赖于离线处理，需要大量计算资源，并依赖于有利定位条件下的预先计划任务。Jiang 等人 [27] 研究了桥梁底部检测的近距离成像，进行离线 3D 重建，然后在重建模型上进行缺陷识别和尺寸估算。这种方法反映了映射、定位和测量范式，但定位精度受 SfM 重建质量强烈影响，且缺乏机载实时分析。Zhao 等人 [28] 将裂缝分割映射到 SfM 模型上以生成裂缝宽度热图，实现了定量评估和空间可视化。更广泛地说，基于结构光或多视图图像的方法已被广泛用于 3D 重建，但它们通常依赖 GPS 或地面控制点来恢复尺度和姿态，且通常是离线的，后处理时间长，这限制了其在实时检测中的适用性。

纯视觉 SLAM 可以支持在线映射，但其性能对光照变化高度敏感。在低纹理或高反射环境中经常发生映射失败和漂移累积。Cai 等人 [29] 开发了一种自主热成像机器人系统，将基于前沿的探索与主动视觉 SLAM 结合用于在线映射和导航，并将热泄漏检测注册到点云中进行定位。然而，定位精度仍然容易受到突发光照条件的影响，包括强光眩光和低光。为了缓解这一问题，一些研究引入了人工基准标记，如 AprilTags，以校正视觉里程计漂移并提高姿态精度 [30]。

基于 LiDAR 的 SLAM 受光照影响较小，通常提供更高的定位精度，但 LiDAR 点云通常缺乏纹理信息，使得缺陷解释和后续分析不够直观。因此，许多工程系统采用务实的工作流程，其中 LiDAR SLAM 提供平台姿态，基于相机的检测通过传感器校准映射到空间坐标中。Tse 等人 [31] 在自定义无人机平台上使用 LiDAR SLAM 进行映射和定位，结合分割与基于深度的转换进行毫米级裂缝量化，并使用相机内参和外参将裂缝像素转换为世界坐标进行空间定位。Ge 等人 [32] 提出了一种配备 LiDAR 和低成本单目相机的简化 UGV 系统，使用实例分割与实时 LiDAR SLAM 结合，并将分割结果映射到全局 3D 地图上进行缺陷定位和可视化。虽然这些研究证明了 LiDAR 姿态、视觉分割和坐标映射流水线的有效性，但将彩色视觉信息与 LiDAR 点云更深度的集成以生成信息丰富的彩色化地图并持续支持 3D 缺陷表示仍然相对有限。

尽管自动检测方法在识别混凝土结构表面缺陷方面取得了显著进展，但在 UAV 和 UGV 等机载平台上实现可靠的实时缺陷分割仍然是一个突出的挑战。受限于机载计算能力和内存容量，现有方法往往难以同时平衡分割精度、推理速度和模型复杂性。因此，在有限的机载资源下保持强大的分割性能同时确保计算效率，仍然是一个值得进一步研究的关键问题。

映射和定位带来了额外的约束。许多现有方法依赖 GPS，这限制了它们在信号降级环境中的适用性。视觉 SLAM 实现了在线映射，但它对光照变化敏感，并在低纹理或高反射场景中可能失效。仅 LiDAR 映射提供了更可靠的几何重建和准确的定位，但生成的点云缺乏纹理线索，降低了缺陷检测的可解释性。视觉 -LiDAR 融合映射是一个有前景的方向，因为它可以结合几何精度和视觉上下文，但一个未解决的挑战是如何在控制冗余点累积和整体数据量的同时保留信息丰富的彩色化表示。

为解决上述挑战，本研究提出了一种专为 GPS 拒止环境设计的轻量级、实时缺陷检测和定位方法。为提高缺陷识别性能，引入了一种基于自动分割的标注策略，以加速标注同时提高标签一致性和准确性，从而增强模型学习的有效性。为提高现场条件下的鲁棒性，本研究进一步采用了一套数据增强策略，模拟多种天气和光照变化，从而扩展训练分布并增强复杂环境中的泛化能力。在此基础上，开发了一种轻量级网络架构，通过共享卷积运算和深度卷积降低计算成本和参数数量，从而显著提高推理效率。为解决不同尺度缺陷的检测需求，引入了一种尺度适应机制以提高缺陷检测精度。

在缺陷定位和映射阶段，本研究通过基于融合的映射方法，将来自 LiDAR 的几何信息与来自相机的纹理线索集成。引入了一种基于体素的地图管理方案和平面结构建模策略，以结构化过滤点云，同时视点约束限制有效采集范围，仅保留具有稳定几何约束的观测值。该方法在保留 RGB 信息的同时，有效消除了冗余点并防止重复存储，从而在不妨碍映射精度的情况下显著减少内存使用并提高系统效率。

此外，通过设计一种像素到世界坐标变换算法，系统将缺陷检测结果映射到 3D 点云上，实现了室内和室外场景、不同定位条件以及不同光照条件下可靠的检测和可视化输出。本研究的主要贡献总结如下：(1) 数据构建与鲁棒性增强：SAM 辅助标注提高了像素级标注的一致性和效率，而基于天气和光照的数据增强增加了数据多样性，并在复杂的野外条件下增强了泛化能力。(2) 用于嵌入式部署的轻量级分割网络：轻量级网络架构和高效分割头集成了共享卷积、深度卷积和多尺度特征融合，在保持分割性能的同时降低了模型复杂度并提高了推理效率。(3) 低冗余彩色化映射与区域 3D 定位：结合体素地图管理的相机视场约束视觉 -LiDAR 融合方法，减少了冗余点云存储，并将像素级缺陷结果转换为全局坐标以实现 3D 定位和可视化。本文其余部分组织如下。第 2 节介绍了所提出的 3D 缺陷检测和定位方法，包括无人机硬件组成、算法设计、数据处理和技术实现。第 3 节描述了实验设计和结果，随后对实验发现进行分析和比较。第 4 节讨论了实验结果，并进一步分析了所提出方法在实际检查场景中的适用性。最后，第 5 节总结了本研究的主要工作并概述了未来的研究方向，旨在为相关研究提供参考和见解。

章节片段

方法论

本研究提出了一种基于无人机的视觉 -LiDAR 融合方法，用于缺陷检测和 3D 定位，整体过程如图 1 所示。该过程主要包括无人机数据采集、视觉 -LiDAR 协同建图、缺陷检测和分类、坐标变换以及点云映射和可视化。最初，无人机在无 GPS 环境下依赖 LiDAR 进行定位检查，将 LiDAR 姿态转换为 PX4 坐标系以支持。

结果

实验在统一的硬件和软件环境中进行。平台配置包括 Ubuntu 20.04 系统、NVIDIA GeForce RTX 3070 Ti GPU、Intel Core i7 处理器和 32 GB 内存，确保了一致的计算性能和环境设置。为了验证模型的实际应用，在嵌入式设备 Jetson Orin NX 上进行了额外测试。该设备也运行 Ubuntu 20.04，并配备 16 GB LPDDR5 内存和。

讨论

为了阐明所提出方法相对于现有研究的特点，表 21 比较了代表性的结构缺陷检测和定位系统。现有研究主要集中在图像级缺陷检测、摄影测量 3D 重建、自主导航和定位以及机器人检查平台。Congress 等人 [10] 主要采用摄影测量和正射影像来支持结构状况评估。尽管这种方法可以减少。

结论

本研究提出了一种视觉 -LiDAR 融合方法，用于混凝土表面缺陷检测和 3D 定位，以解决当前自动化检查方法在基础设施应用中面临的挑战。该方法将基于无人机 LiDAR 的定位与视觉算法相结合，生成彩色点云地图，允许检查人员直观地观察和定位缺陷，同时在无 GPS 环境下实现高效检查。为了提高检测精度。

CRediT 作者贡献声明

朱金松：写作 – 审查与编辑，监督。高经伟：写作 – 原稿，软件，方法论，调查。

竞争性利益声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能被认为影响了本论文中报告的工作。

致谢

本研究得到国家自然科学基金面上项目 (52378310) 的支持。

朱金松 | 高经伟