《Symmetry》：Keyframe-Guided Crack Segmentation and 3D Localization for UAV-Based Monocular Inspection
Feifei Tang,
Wuyuntana Gongzhabayier,
Jing Li,
Tao Zhou,
Yue Qiu,
Yong Zhan and
Qiulin Song
编辑推荐：
本文针对无人机单目巡检中裂缝因几何非对称、细长、低对比度导致的漏检误报，以及三维重建中帧冗余多、效率低的问题，提出了一个融合关键帧选取、增强YOLO-DWL分割和3D空间映射的高精度裂缝分割与定位框架。实验表明，该方法在提升分割精度（mAP@50提高7.2%）的同时，显著降低了计算量和建模时间（3D建模时间减少59.4%），为桥梁裂缝的高效智能化巡检提供了有效解决方案。
在桥梁等基础设施的长期服役过程中，表面裂缝是其结构健康状况的关键“晴雨表”。然而，这些裂缝目标“狡猾”且难以捉摸：它们在无人机拍摄的图像中，通常呈现出几何非对称、形态细长、与背景对比度低的特点，这使得传统计算机视觉方法难以准确捕捉。更棘手的是，即便成功在二维图像上识别出裂缝，如何精确地将其“钉”在真实三维结构上，实现空间定位，从而评估其实际危害，一直是工程实践中的一大挑战。现有方法在处理细长裂缝时易漏检，而基于单目视觉的三维重建又常被海量冗余视频帧所拖累，导致建模效率低下，难以满足高效、自动化巡检的需求。为此，一项发表于《Symmetry》期刊的研究，提出了一套创新的技术方案，旨在为无人机桥梁巡检装上“火眼金睛”和“空间尺规”，实现裂缝从“看得清”到“定得准”的飞跃。
为了系统解决上述问题，研究人员设计并实现了一套完整的技术流程。该方法首先利用ORB-SLAM3（一种基于特征的同步定位与建图系统）对无人机高帧率视频流进行实时处理，智能筛选出具有有效视角变化和几何约束的“关键帧”，从而大幅削减后续处理的图像数量，抑制数据冗余。接着，在筛选出的关键帧图像上，使用一种名为YOLO-DWL的增强型模型进行高精度裂缝分割。该模型在YOLOv11框架基础上，集成了DWR（膨胀残差）模块以增强对细长裂缝的多尺度特征提取能力，采用WIoU（加权交并比）损失函数提升训练稳定性，并引入LSCSBD（轻量级共享卷积与分离批归一化检测头）来增强对小目标的敏感性。最后，利用SfM-MVS（运动恢复结构与多视图立体视觉）技术对关键帧进行稠密三维重建，生成桥梁表面的三维模型，并将二维分割结果通过相机参数反投影映射到三维模型表面，实现裂缝的精准三维空间定位。
2.1. ORB-SLAM3关键帧约束的SfM-MVS三维建模方法
针对高帧率视频直接进行三维重建存在计算量大、匹配不稳定等问题，本研究采用了一种混合策略。首先，对相机进行标定，获取内参和畸变系数。然后，将视频序列输入单目ORB-SLAM3系统进行实时位姿估计和关键帧选择。ORB-SLAM3根据特征点数量、平台运动状态等条件自适应地插入关键帧，其决策逻辑遵循文档中给出的公式。通过这一步骤，从1930帧原始图像中筛选出代表性关键帧，有效去除了视角高度相似的冗余帧。在此基础上，仅对这些关键帧应用标准的SfM-MVS流程进行稠密三维重建。这种方法在保证模型几何精度的前提下，显著降低了计算规模，提高了建模效率，为后续精准的空间映射奠定了基础。
2.2. 基于YOLO-DWL的桥梁裂缝分割方法
在图像分割部分，研究团队对YOLOv11-seg模型进行了针对性增强，构建了YOLO-DWL模型。核心改进包括三点：第一，引入Dilation-wise Residual (DWR) 模块，该模块利用不同膨胀率的卷积并行提取特征，增强了模型在不同感受野下对细长裂缝特征的捕捉能力。第二，采用WIoU (Weighted IoU) 损失函数替代传统IoU损失，通过对锚框质量进行动态加权，降低了低质量样本（如特别小或模糊的裂缝）在训练中的负面影响，提升了边界框回归的稳定性。第三，设计了LSCSBD (Lightweight Shared Convolution and Separate Batch Normalization Detection Head) 检测头。该结构在多个检测尺度间共享卷积参数以减少计算量，但对每个尺度使用独立的批归一化(BN)层，从而保持了对不同尺度（尤其是小尺度）裂缝目标的检测灵敏度。这些改进共同提升了模型在复杂桥梁背景下对低对比度、细长裂缝的分割精度和鲁棒性。
2.3. 裂缝检测结果到三维模型表面的空间映射
获得二维分割掩码和三维模型后，需要建立二者之间的精确对应关系。该研究通过“像素反投影与三角网格相交”策略实现空间映射。具体而言，对于分割掩码中的每一个裂缝像素，利用其所在的图像帧对应的、已由ORB-SLAM3估计出的精确相机位姿（包括旋转和平移）以及相机内参，计算出一条从相机光心出发、穿过该像素的三维射线。这条射线会与SfM-MVS生成的三维表面网格（由许多三角形面片构成）相交。通过计算射线与网格的交叉点，即可确定该像素在三维空间中的实际位置。遍历所有裂缝像素并完成映射后，便在三维模型上形成了一条条彩色的、具有明确三维坐标的裂缝轨迹，实现了从二维像素到三维世界坐标的转换，从而完成了裂缝的精确空间定位。
研究结论与意义
本研究成功开发并验证了一个高效、高精度的无人机桥梁裂缝巡检框架。该框架的贡献主要体现在三个方面：首先，提出的YOLO-DWL模型显著提升了对细长、低对比度裂缝的分割性能，mAP@50指标较基线模型提高了7.2%，同时计算复杂度（GFLOPs）有所降低。其次，创新的ORB-SLAM3关键帧约束SfM-MVS建模方法，通过利用SLAM系统的实时筛选能力，有效去除了冗余图像，将三维建模时间大幅缩减了59.4%，极大地提升了整体处理效率。最后，建立的二维-三维空间映射管道，实现了裂缝在三维模型上的直观可视化与精确坐标定位，为量化分析裂缝长度、宽度及其空间分布提供了可能。
综上所述，这项工作不仅解决了无人机裂缝巡检中分割不准、建模慢的痛点，更将检测结果从抽象的二维图像提升到了具有实际工程意义的三维空间，形成了一套“近实时建模、精准分割、空间定位”的完整技术闭环。它为桥梁等基础设施的自动化、智能化定期巡检与预防性维护提供了强有力的工具，具有重要的工程应用价值与前景。该研究发表于《Symmetry》期刊，标题为“Keyframe-Guided Crack Segmentation and 3D Localization for UAV-Based Monocular Inspection”。
