注意力稀疏性与双向融合技术在基于无人机的桥梁检测中用于高效裂纹实例分割

《Results in Engineering》：Attentive Sparsity and Bidirectional Fusion for Efficient Crack Instance Segmentation in UAV-based Bridge Inspection

　　邓江华|陈新宇|华林鑫|乐璐|乔哲|陈旭|沈一鑫|陈艳晨
中国常州技术学院土木工程与建筑学院，213032

摘要
从无人机（UAV）图像中进行自动裂缝分割对于高效的桥梁检测至关重要，但由于裂缝的精细尺度、低对比度以及复杂、嘈杂的环境，这一任务仍然具有挑战性。为了解决这个问题，提出了YOLOv11-DSC，这是一种新颖的实时实例分割网络，它在YOLOv11框架中引入了两项关键的架构创新，以实现领域特定的优化。动态稀疏卷积（DSC）模块能够自适应地减少特征计算，将网络能力集中在高空间频率的裂缝区域；而加权双向特征金字塔网络（WB-FPN）则采用可学习的通道级注意力机制，动态融合多尺度特征，从而提高对细微裂缝的敏感度，并改善延伸裂缝结构的连续性。YOLOv11-DSC在包含阴影、水渍和手写干扰的具有挑战性的自采集UAV桥梁裂缝数据集上进行了训练和评估，其mAP@0.5达到了89.2%，比基线YOLOv11n-seg提高了43.8%，同时保持了68 FPS的高推理速度。全面的消融研究验证了每个组件的贡献，与最先进的实时分割器的比较也证明了该模型的优越准确性和鲁棒性。所提出的框架为自动化视觉检测提供了可靠、高效的AI解决方案，为后续的3D几何量化流程奠定了高质量的基础。

1. 引言
桥梁基础设施的维护和安全在很大程度上依赖于对表面裂缝的及时检测和评估，这些裂缝是结构退化的主要指标。传统的手动检测工作量庞大、主观性强且往往存在危险。无人机（UAV）为远程、大规模的数据采集提供了变革性的平台，使得基于视觉的自动裂缝检测成为了一个非常有前景的研究方向[1]。然而，将深度学习模型应用于从UAV图像中进行实时、准确的裂缝分割面临一系列独特的挑战：（1）精细尺度和低对比度目标：裂缝通常表现为仅几像素宽的细弱线条，在混凝土背景上的对比度很低。（2）复杂的环境噪声：UAV拍摄的图像受到光照变化（例如强阴影、高光）、运动模糊以及普遍存在的非结构性伪影（如污渍、接缝和手写痕迹）的影响，这些伪影容易与裂缝混淆。（3）严格的实时要求：在自主检测任务中，需要实时或在接近实时的处理能力[2,3]。
尽管卷积神经网络（CNN）以及最近的视觉变换器在裂缝检测方面取得了进展，但它们在UAV场景中的适应性往往导致次优的结果。最先进的实时实例分割模型，特别是“you only look once”（YOLO）系列，是为通用对象类别设计的。当应用于桥梁裂缝时，它们经常对长而细的裂缝预测不连续，并且对细微缺陷的敏感度降低，从而影响召回率和精确度。问题的核心在于它们的通用特征提取和融合机制没有针对裂缝的特定纹理和几何特性进行优化。
为了解决这一难题，本文提出了一种有效模型，该模型融入了两项核心能力：（1）自适应的计算焦点，以在噪声中增强微弱裂缝信号；（2）智能的多尺度融合，以保持不同尺寸裂缝的结构一致性。受此启发，引入了一种改进的实时检测算法——YOLOv11优化动态稀疏卷积（YOLOv11-DSC），它结合了三维（3D）桥梁重建技术，以增强裂缝的映射和分析能力，这是对高效YOLOv11-seg架构的针对性增强。本工作的主要贡献有四个方面：
（1）裂缝感知焦点的算法创新：提出了将DSC集成到YOLOv11主干网络中的方法。DSC生成依赖于输入的稀疏掩码，动态地减少信息量较少的计算，迫使网络将其表示能力集中在显著的裂缝边缘区域。通过特征可视化验证，这种机制显著提高了模型检测细微和低对比度裂缝的能力。
（2）新型的多尺度裂缝融合架构：设计了加权双向特征金字塔网络（WB-FPN）来替代标准的路径聚合网络。WB-FPN在融合节点处加入轻量级的注意力块，使模型能够学习不同尺度和深度特征的组合权重，从而生成更加连续和边界清晰的裂缝掩码，尤其是对于延伸结构。
（3）严格的实证验证：在具有挑战性的自采集UAV桥梁裂缝数据集（BCD-UAV）上进行了广泛的实验。通过系统的消融研究，量化并确认了每个 proposal 模块的性能提升。与领先的实时模型进行了公平比较，证明了其卓越的准确性和鲁棒性。
（4）先进检测的实际基础：通过实现实时的高保真2D分割，本研究为实现精确的3D几何量化提供了关键的第一步。讨论了如何将YOLOv11-DSC的输出直接集成到基于SfM的3D重建流程中，以增强检测系统。

本文的其余部分组织如下。第2节回顾了相关工作。第3节详细介绍了提出的YOLOv11-DSC架构。第4节描述了数据集和实验设置。第5节展示了在复杂环境下的消融研究、比较分析和结果。第6节总结了本文并展望了未来工作。

2. 相关研究
2.1. 民用基础设施中的裂缝检测
近几十年来，研究人员和实践者提出了多种检测桥梁基础设施表面裂缝的方法。主要方法包括手动检测协议[4,5]、红外热成像[6,7]、3D重建分析[8,9]以及视觉系统[10,11]。在计算机视觉领域，对象检测已成为一个关键领域，特别是通过神经网络驱动的图像分析来识别混凝土结构中的裂缝[12]。当前的裂缝检测方法可以大致分为两类：传统的图像处理技术（IPTs），它们使用手工制作的特征和基于规则的顺序工作流程，包括图像分割、特征提取和分类器分类；以及深度学习架构，主要是卷积神经网络（CNNs），它们利用分层特征学习进行自动裂缝识别[13]。
这两种范式反映了从基于规则的分析方法向数据驱动的计算模型的演变。现代深度学习对象检测方法大致分为两类框架：一类是直接预测对象位置和类别的单阶段检测器；另一类是首先生成区域提议，然后进行分类的双阶段检测器。双阶段范式的特点是先生成区域提议，然后再进行对象分类，这一范式由Girshick等人的开创性工作[14]奠定了基础。他们提出的基于区域的卷积神经网络（R-CNN）为双阶段检测奠定了基础，随后通过迭代创新进行了改进：Fast R-CNN通过感兴趣区域（RoI）池化优化了特征提取；Faster R-CNN[15]引入了区域提议网络（RPN）来简化候选区域的生成；Mask R-CNN[16]通过并行掩码预测分支扩展了框架，实现了像素级别的实例分割。这些架构改进已被应用于民用基础设施监测中的结构缺陷分析。Mask R-CNN被用于混凝土裂缝的量化，结合了形态学后处理以提高测量精度[17,18]。

2.2. 向实时检测的演变
同时，研究人员探索了混合优化策略[19,20]。例如，开发了一种混合轻量级编码器-解码器网络，用于在真实世界场景下自动检测桥梁裂缝[21]。还提出了一种两步光梯度提升机器，用于从混凝土表面图像自动检测裂缝[22]。此外，一种通过非监督生成合成真实裂缝图案的互补数据增强策略与Deeplabv3+网络结合使用，提高了泛化能力[23]。虽然这些创新逐渐提高了检测精度，但双阶段架构存在固有的计算限制，限制了其实际应用。顺序区域提议-分类范式导致显著的计算需求，表现为：（1）推理延迟瓶颈（在标准图形处理单元（GPU）上通常≤10帧每秒（FPS）；（2）实时结构监测（SHM）的可扩展性受限；（3）在资源受限的嵌入式部署场景中效率极低。
然而，许多上述模型更注重准确性而非速度，这限制了它们在实时UAV应用中的适用性。YOLO系列[24]因其出色的速度-准确性 trade-off 成为了实时检测的公认标准。YOLO检测方法采用直接基于回归的预测，同时估计对象概率和空间坐标，无需中间区域提议阶段，从而实现实时检测。YOLO检测器系列在多个领域得到了广泛应用。这一框架促进了混凝土裂缝检测应用的广泛研究[25]。例如，提出了一种改进的YOLOv2算法，通过架构优化提高了检测精度，尽管其计算复杂性限制了其在对延迟敏感场景中的应用[26]。为了解决这些限制，开发了改进的YOLOv3网络，结合了基于基准标记的定位技术，提高了精度同时保持了计算效率[27]。此外，YOLOv4-FPM结合了剪枝算法，使用先进的特征提取机制处理复杂的多变量裂缝图案，实时提高了在低对比度和光照不足图像上的性能[28]。裂缝特征金字塔网络（Crack-FPN）框架在检测低对比度混凝土裂缝方面的有效性得到了验证，其中裂缝是通过YOLOv5使用边界框检测到的[29]。然而，这些基于YOLOv2-YOLOv5的方法对微观裂缝的敏感度较低，揭示了需要进一步研究的准确性-效率 trade-off。
YOLO系列继续快速发展，以提升实时性能。YOLOv8引入了一种无锚点方法，采用了解耦的头部设计，提高了模型变体的可扩展性，但仍保持了对细微裂缝不优化的通用特征提取。YOLOv9采用可编程梯度信息（PGI）来减少深度网络中的信息丢失，但其计算开销限制了其在无人机检测中的边缘应用。YOLOv10在训练期间消除了非最大值抑制（NMS），并优化了密集场景的延迟，尽管其效率提升是以降低对低对比度目标的敏感度为代价的。虽然这些进展为一般对象检测建立了更强的基准，但由于缺乏针对延伸、细长结构的领域特定架构调整，它们在裂缝分割方面仍存在根本限制。在这些基础上，YOLOv11代表了最新的迭代，提供了改进的速度-准确性 trade-off，并为领域特定优化提供了坚实的基准，如第3节所详述。

2.3. 研究空白和动机
尽管取得了这些进展，基于深度学习的桥梁裂缝检测仍面临两个主要限制：（1）依赖于劳动密集型的人工注释；（2）对桥梁特定操作条件的适应不足。当前的数据集主要由人工注释者处理的传统裂缝图像组成，这些图像不能充分代表无人机（UAV）在动态现场条件下捕获的真实世界桥梁图像[30]。这种差异为使用基于视觉的方法进行桥梁的稳健裂缝检测带来了重大挑战。在基于UAV的桥梁检测应用中出现了两个主要问题。首先，大多数无人机照片中捕获的裂缝的相对大小和可见性通常会降低，使得细微裂缝变得不明显或模糊。其次，现有算法经常忽略关键的桥梁检测挑战，例如区分结构裂缝和非结构性伪影（如施工接缝、风化污渍、手写痕迹）以及处理由环境退化引起的尺度变化和表面纹理干扰。最近将变换器与抽象特征提取结合的方法在检测沥青和混凝土表面的裂缝方面显示出潜力[31]。尽管基于CNN的检测分析、Gabor滤波器和注意力机制在受控实验室环境中显示出有效性，但当应用于具有密集裂缝网络或不规则表面几何形状的复杂场景时，其准确性显著下降[32]。
尽管有这些进展，但仍存在显著差距。当前的基于YOLO的应用主要将检测器视为通用工具，直接应用于裂缝图像，而没有解决模型默认归纳偏差（例如，偏向紧凑、中等大小的物体）与裂缝的独特特征（例如，延伸、细长、低对比度且经常是碎片化的）之间的根本不匹配。这导致了特征表示和融合的次优，表现为观察到的敏感性-准确性 trade-off。此外，现有算法经常忽略关键的桥梁检测挑战，例如区分结构裂缝和非结构性伪影以及处理严重的尺度变化。因此，迫切需要在YOLO框架内进行有针对性的架构修改，以明确增强其感知和分割复杂UAV捕获图像中特定裂缝特征的能力。

3. 提出的YOLOv11-DSC检测器的基本原理
3.1. 架构概述和设计理念
YOLO算法经历了显著的进化发展，YOLOv11代表了实时对象检测技术的重大飞跃。这一最先进的迭代不仅保留了先前版本的核心优势，还引入了新的架构创新，为提出的领域特定优化提供了坚实的基准[33]。如表1所示，YOLOv11架构提供了可扩展的变体，其中选择YOLOv11n-seg变体以优先考虑适合边缘部署的轻量级配置。
表1. YOLOv11分割变体的扩展因素。
模型参数 YOLOv11n-seg YOLOv11s-seg YOLOv11m-seg YOLOv11l-seg YOLOv11x-seg
深度 0.5 0.5 1.0 1.0
宽度 0.25 0.5 1.0 1.5
最大通道数 10 24 10 24 51 12 51 12 51
在YOLOv11n-seg的基础上，本研究通过针对性的架构改进提出了改进的YOLOv11模型。这种 architectural refinement（建筑精炼）使得裂缝分割和定位更加精确，这对于SHM（结构健康监测）应用尤为重要，在这些应用中，检测亚毫米级的缺陷是必不可少的。改进的特征提取能力解决了土木基础设施检查中的常见挑战，例如来自表面风化的噪声干扰以及次要结构元素的遮挡。此外，由于深度网络的空间分辨率有限且容易特征退化，小目标检测在计算机视觉中仍然是一个关键挑战[34]。为了解决这一限制，本研究将DSC（动态稀疏卷积）集成到了YOLOv11主干网络中。使用DSC进行裂缝检测的核心理念在于它能够诱导输入自适应的稀疏性。与标准卷积不同，后者对所有空间位置进行均匀处理，从而在均匀的混凝土表面上浪费计算资源，DSC学会了生成一个动态掩码，仅在具有高空间频率的区域（如边缘、角点和纹理变化处）选择性地激活。由于裂缝本质上表现为强度和纹理的局部不连续性，DSC机制自然地将网络的计算资源集中在这些裂缝显著的区域。这带来了双重好处：（1）通过集中模型能力，增强了对于细微裂缝特征的表示学习；（2）通过减少冗余计算，提高了推理效率。利用YOLOv11在检测速度和准确性方面的固有优势，优化的DSC变体表现出对复杂桥梁裂缝检测环境的更好适应性。具体来说，这些修改提高了特征提取对裂缝形态特征的敏感性，包括微裂缝和不规则图案，同时在不同的照明和表面纹理条件下保持了稳健的性能。

DSC是一种在运行时自适应稀疏化卷积权重的技术，以减少计算量同时保持准确性。与固定剪枝等静态稀疏化方法不同，DSC根据输入数据或学习到的重要性指标调整稀疏模式[35]。在提出的YOLOv11中，DSC可能会跳过对象性得分较低的网格单元的计算。具体而言，DSC根据输入特征动态优化卷积核采样路径和权重分配，实现自适应的多尺度特征融合。在主干网络中，DSC替换了标准卷积层，以增强对小目标的特征提取。通常，DSC在预测的对象边界生成稀疏控制点，引导内核关注与细长或碎片化裂缝结构对齐的可变形区域。这种机制改善了细节保留，例如边缘和纹理，这些细节在分层下采样过程中常常丢失。与传统可变形卷积不同，DSC通过选择性地激活稀疏采样路径而非密集的网格遍历来引入最小的计算开销。提出的YOLOv11-DSC的整体架构保留了标准的三部分结构（即主干、颈部和头部），但如图1所示，增强了主干和颈部的功能。核心理念是用关注裂缝空间和尺度特性的机制替换通用操作。主干作为YOLOv11-DSC框架中的一个基本架构组件，旨在从输入图像中分层提取多尺度判别特征。这个过程涉及系统地堆叠卷积层，并与专门的计算模块（如残差模块或跨阶段部分模块）结合，生成逐渐粗糙的空间分辨率的金字塔式特征表示。通过这种分层架构，主干网络在高分辨率的浅层特征中捕获细致的纹理细节，在低分辨率的深层特征中捕获抽象的语义模式，为后续的多尺度融合和检测奠定了基础。优化配置确保了计算效率，同时保持了实时应用所需的表示能力。

下载：下载高分辨率图像（669KB）
下载：下载全尺寸图像

图1. 提出的YOLOv11-DSC模型的网络架构。关键修改部分已突出显示：集成到主干中的动态稀疏卷积（DSC）模块用蓝色方块表示，替换标准颈部的加权双向特征金字塔网络（WB-FPN）用绿色区域表示。（Conv：卷积层；SPPF：空间金字塔池化快速；C2PSA：跨级部分空间注意力；CAW：通道注意力加权）。

如图1所示，Conv代表卷积层。在YOLOv11-DSC中，C3k2指的是一个修改后的C3块（具有3个卷积的跨阶段部分网络），它使用核大小2（K2）而不是标准的核大小3（K3）。这是针对某些用例的优化，特别是在优先考虑较小接收域或计算效率的情况下。SPPF（空间金字塔池化快速）是YOLOv11中使用的经典SPP（空间金字塔池化）模块的优化版本，它在保持多尺度特征提取能力的同时提高了计算效率。C2PSA（跨级部分空间注意力）是YOLOv11-DSC中引入的一种新颖的注意力机制，用于在保持计算效率的同时增强多尺度特征融合。它提高了对象检测性能，特别是在对象大小不同的复杂场景中（例如，桥梁检测中的裂缝检测）。

3.2. 动态稀疏卷积（DSC）用于高效的特征提取
由于深度网络的空间分辨率有限和特征退化，小目标检测仍然具有挑战性[36]。标准卷积对所有空间位置进行均匀处理，在无信息的均匀区域（例如，完整的混凝土表面）上消耗了大量计算资源。为了解决这个问题，将动态稀疏卷积（DSC）集成到了主干网络中。其主要创新在于其输入依赖的稀疏性。与静态剪枝不同，DSC使用一个轻量级的门控网络为每个输入特征图X生成一个动态掩码M。这个掩码主要在具有高空间频率的区域（如边缘和纹理变化处）激活。由于裂缝表现为局部强度不连续性，DSC机制自然地将计算资源集中在这些裂缝显著的区域。数学上，对于输出通道m，输出特征图Y∈RCout×H′×W′的计算公式如下：
(1)Ym=∑c=1CinMc(W(m,c)×Xc)+bm
其中，输出通道是m；输入通道是c；Mc是一个二进制掩码，用于剪除输入通道中不重要的核；W是稀疏卷积；X是输入特征图；b是激发注意力权重。

二进制掩码Mc的计算公式为：
(2)Mc=TopK(sigmoid(G(Xc)))
其中G(·)是一个轻量级的1×1卷积门控网络。TopK操作仅保留激活分数最高的最高k%的空间位置，k默认设置为30%，从而在均匀背景区域上剪除70%的计算资源。

实际影响：通过添加DSC，这种增强提供了双重好处：（1）通过集中表示能力在细微裂缝梯度上提高敏感性，从而提高召回率；（2）通过减少均匀区域上的冗余计算，提高计算效率，保持实时性能。在实现中，DSC在均匀混凝土区域上将FLOPs减少了大约65-70%，使得主干网络的总FLOPs减少了10.6%（从8.5 GFLOPs降至7.6 GFLOPs），且准确率几乎没有损失。因此，DSC模块充当了一种自学习的、任务引导的注意力机制。

3.3. 加权双向特征金字塔网络（WB-FPN）
裂缝表现出大范围的变异和复杂的几何形状。标准路径聚合网络（PANet）使用固定权重进行特征融合，这对于裂缝来说并不理想，因为裂缝路径上细微细节和语义上下文的重要性差异显著。虽然YOLOv11中的PANet通过分层的自上而下和自下而上的路径实现了多尺度融合，但其固定权重聚合策略难以适应不同尺度和复杂空间分布的物体。为了克服这一限制，在提出的YOLOv11-DSC的颈部，PANet被加权双向特征金字塔网络（WB-FPN）所取代。WB-FPN的设计动机源于裂缝的多尺度和几何复杂性。单个裂缝在其路径上可以表现出不同的宽度和上下文外观。使用固定权重的标准融合无法最佳平衡捕捉细裂缝体所需的高分辨率像素级准确性和区分裂缝与污渍或连接不连续部分所需的高级语义理解之间的需求。WB-FPN引入了可学习的通道级注意力权重，在双向传播过程中动态重新校准跨尺度特征贡献。在自上而下的路径中，高级语义特征被上采样并与早期层的横向连接融合，而在自下而上的路径中，通过整合下采样的上下文线索来精细化低级细节。具体来说，WB-FPN优化了多尺度融合，并作为YOLOv11中裂缝检测的最佳颈部，连接主干（特征提取器）和检测头部。与传统FPN不同，WB-FPN在分层特征之间引入了自适应权重分配。对于每个层次i，自上而下（P?i）和自下而上（Qi）的特征以可学习权重组合，融合后的特征Fi用于检测头部，保留了来自自下而上的高分辨率细节和来自自上而下的语义丰富性。
(3)Fi=wiT×P?i+wiB×Qi+wiP
其中wiT、wiB和wiP是softmax标准化的权重，用于平衡细粒度浅层特征和语义深层上下文。

可学习的权重wiT、wiB和wiP使用softmax进行标准化，使得wiT+wiB+wiP=1。这些权重在训练期间通过标准反向传播进行更新。对于裂缝分割任务，学习到的权重通常收敛到大约[0.25, 0.45, 0.30]，表明自下而上的路径（携带高分辨率细节）对最终掩码质量贡献最大。这种动态重新加权机制允许网络根据输入自适应地优先考虑细裂缝的细粒度空间细节或用于区分裂缝与污渍的语义上下文。这种公式通过在低对比度区域动态协调异构分辨率来减轻边缘模糊。总体而言，这些创新为YOLOv11-DSC的准确性和稳健性建立了理论基础，特别是在可变形物体定位任务中。DSC和WB-FPN的集成构建了一个计算效率高的框架：DSC优化了主干特征稀疏性，而WB-FPN增强了多尺度上下文聚合。这种协同作用对于分割可变形物体至关重要，需要结合DSC保留的局部纹理细节和WB-FPN捕捉的全局结构一致性。

如图2所示，WB-FPN在每个融合节点使用压缩和激发（SE）模块来计算自适应权重，优先考虑小物体的语义丰富特征和大物体的几何精确激活。这种机制减轻了由尺度变化引起的特征错位，特别是对遮挡和小型目标有益。在实现方面，YOLOv11-DSC中的原始PANet层被WB-FPN模块替换，以保持输入输出张量维度，确保与现有检测头部的兼容性。

下载：下载高分辨率图像（144KB）
下载：下载全尺寸图像

图2. WB-FPN连接到主干端的SPPF模块。

3.4. 补充优化和损失函数
YOLOv11-DSC通过将C2f块替换为C3k2块引入了关键修改。这种新颖的C3k2块专门设计用于提高计算效率并减少推理延迟，如图3所示。YOLOv11-DSC主干网络利用优化的DSC结构与C3k2模块集成，促进了增强的梯度流传播。该配置与颈部组件结合，通过金字塔架构实现多尺度特征融合。头部网络实现了来自解耦头部范式的无锚点、解耦架构，提高了检测精度，同时保持了计算效率。

下载：下载高分辨率图像（146KB）
下载：下载全尺寸图像

图3. C3k2模块的示意图。

提出的YOLOv11-DSC引入了一种复杂的损失函数架构，以应对多尺度物体检测的挑战，强调定位精度和分类可靠性。在之前的YOLO版本基础上，损失函数集成了四个关键组成部分：定位损失、分类损失、对象性损失和自适应多尺度平衡。这种设计优化了检测精度和计算效率之间的权衡，特别是在物体大小不同和类别分布不平衡的情景中。

3.4.1. 定位损失
定位损失使用为细长裂缝结构量身定制的修改版完全交并比（CIoU）损失来细化边界框回归。虽然标准CIoU对所有物体类别的纵横比偏差进行同等惩罚，但该修改引入了一个缩放因子β，放大了对于典型的裂缝（纵横比较高的物体）的纵横比惩罚。具体来说，对于纵横比>10:1的裂缝实例，β设置为1.5（而对于标准物体，β=1.0），从而提高了对边界框伸长的敏感性。其中β=1.5用于裂缝，否则β=1.0。这种调整解决了标准CIoU在极端纵横比下低估重叠的问题，确保了对细长裂缝形状的更准确回归。修改后的CIoU损失公式如下：
(4)LmCIoU=1?IoU+ρ2(p,pgt)c2+β·αv
(5)IoU=|A∩B||A∪B|
(6)α=υ1?IoU+υ
(7)υ=4π2(arctanwgthgt?arctanwh)
2
其中LCIoU是CIoU的损失。B代表真实框，A是预测框。符号ρ表示框中心之间的欧几里得距离。p和pgt分别是预测框和真实目标框的中心。覆盖A和B的最小包围框的对角线距离为c。α是权重函数。IoU是实际框B和预期框A的交并比。υ是纵横比。真实框的宽度为wgt，高度为hgt。预测框的尺寸为w×h。

3.4.2.8. 对象性损失
在YOLOv11-DSC中，对象性损失是一个关键组成部分，用于评估锚框是否包含有效的对象。它利用二元交叉熵（BCE）损失和动态的正负样本平衡来有效区分前景（对象）和背景（噪声）。对象性损失的公式如下：
(8) Lobj = ?λpos ∑i∈Spos yi log(pi) ? λneg ∑j∈Sneg (1?yi) log(1?pi)
其中，λpos=1 和 λneg=0.5 是用于平衡前景和背景样本的动态权重，Spos 和 Sneg 分别是正样本和负样本的集合，yi 是真实标签（例如，1 表示正面，0 表示负面），pi 是锚框 i 包含对象的预测概率。

3.4.3. 分类损失
对于类别预测，YOLOv11-DSC结合了Focal Loss和标签平滑来处理类别不平衡和难样本问题。分类损失的公式如下：
(9) Lcls = ?∑c=1C αc (1?pc)γyc log(pc) + ?×Smoothing
其中，αc 是每个类别的加权因子，用于平衡类别重要性，pc 是类别 c 的预测概率，yc 是平滑后的真实标签（1 表示真实类别，否则为 0），γ 调节对误分类样本的关注。这种机制减少了易处理负样本的影响力，并提高了稀有类别的识别能力。

3.4.4. 总损失函数
在YOLOv11-DSC中，总损失函数将三个关键组件（包括定位损失（边界框回归）、对象性损失（置信度评分）和分类损失（类别预测）结合起来，形成一个统一的优化目标。总损失函数的公式如下：
(10) Ltotal = λbox LCIoU + λobj Lobj + λcls Lcls
其中，权重 λbox=0.05 用于保持梯度与其他损失的平衡，权重 λcls=0.5 用于平衡定位损失和对象性损失。

3.4.5. 自适应多尺度平衡
在YOLOv11-DSC中，通过可学习的每尺度权重 wk 来协调 WB-FPN 的多尺度特征贡献。这种机制在训练过程中动态调整每个金字塔层次的重要性，优化了跨尺度的检测性能。学习权重的公式如下：
(11) Output = ∑k=1 gwk × Fk，
其中，wk = sigmoid(αk)
Output 表示每个尺度 k 的加权输出特征图，αk 是通过梯度下降更新的可学习参数，Fk 是尺度 k 的特征图，sigmoid 确保权重保持在 [0, 1] 范围内。

4. YOLO v11 网络实现
4.1. 使用无人机采集和处理裂缝数据集
所提出的自动化、基于无人机的桥梁检测系统的整体架构和工作流程如图 4 所示。该集成框架旨在将实时数据采集与先进的计算分析无缝结合，解决了传统手动检测方法的关键限制。过程从自主飞行任务开始。无人机导航被部署来自动执行预定义的飞行路径，覆盖目标结构——位于中国常州的混凝土悬索桥。这种自动飞行控制确保了全面的覆盖范围和最优的数据收集，从多个视角捕捉桥梁表面的高分辨率视频流。
下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图 4. 所提出的基于无人机的检测系统的整体框架及 3D 重建
该系统的核心创新在于这些视觉数据的协同处理。系统实现了实时裂缝分割与 3D 桥梁重建的并行处理。实时分割模块由计算效率高、轻量级的深度学习网络驱动，立即识别并勾勒出视频流中的裂缝区域。同时，使用结构光（SfM）和多视图立体（MVS）摄影测量技术处理图像，生成桥梁的密集、高保真的 3D 点云模型。
真正的增强来自于这两种数据流的融合。通过准确地将分割出的 2D 裂缝图投影到重建的 3D 模型上，系统实现了改进的裂缝映射和分析。这种集成促进了多种高级功能：(1) 空间定位：在 3D 桥梁几何结构中精确定位裂缝位置；(2) 几何量化：在真实世界坐标系统中准确测量裂缝尺寸（包括长度、宽度和面积），并校正视角失真；(3) 纵向监测：为后续检测周期建立几何上精确的数字基线，以追踪裂缝的扩展。
实现这一实时能力的关键特性是系统的部署策略。高精度裂缝检测和测量的计算密集型任务直接在无人机系统中集成的边缘计算平台上进行。这种基于边缘的实现，得益于优化的轻量级 YOLO 基础网络，减少了数据传输延迟，允许在机载上进行分析，并即时生成可操作的洞察。因此，这个闭环系统提供了可靠、定量数据，支持精确和及时的决策，用于桥梁维护和保护，超越了定性评估，转向了数据驱动的基础设施管理范式。
裂缝数据集是通过配备先进光学传感器的无人机对混凝土桥梁进行拍摄收集的，如图 5 所示。多相机阵列中的每个成像单元具有 4096 × 2160 像素的分辨率和 20mm 的焦距镜头。安装在无人机上的成像系统可以提供所有桥面板和盾构段界面的全面视觉覆盖，并通过陀螺稳定保持最佳焦点稳定性。图 4 展示了这种基于无人机的数据采集系统的操作过程和设备配置，突出了其在桥梁检测应用中的技术规格和部署方法。
下载：下载高分辨率图像（930KB）
下载：下载全尺寸图像
图 5. 数据集收集和编译系统
数据集多样性：BCD-UAV 数据集包括了在各种条件（包括晴天、阴天、阴影和低光环境）下拍摄的混凝土悬索桥图像。环境干扰包括水渍、手写文字、施工接缝和部分遮挡。原始图像中的裂缝宽度在 4096 × 2160 分辨率下 ranging 从 3 到 6 像素，经过校准后对应于亚毫米级的物理尺寸。
在这项研究中，系统获得了 2400 张高分辨率图像（4096 × 2160 像素），随后对这些原始无人机图像进行了后处理以准备裂缝数据集。这些原始无人机图像被裁剪成 12,400 个有效的 320 × 320 像素块，并随机分为训练集、验证集和测试集，比例分别为 70%:15%:15%，如表 2 所总结。如图 6 所示，注释方法解决了桥梁结构中裂缝分割的独特挑战。考虑到结构裂缝的细长和狭窄特性，注释者在标记时被指导策略性地选择适当的周围区域，以确保裂缝模式的精确定位和完整的形态表示。
表 2. BCD-UAV 数据集的统计信息
分割图像 比例 裂缝实例
训练集 8680 70% 1447
验证集 1860 15% 310
测试集 1860 15% 309
总计 12400 100% 2067
下载：下载高分辨率图像（519KB）
下载：下载全尺寸图像
图 6. (a) 裂缝和 (b) 干扰手写文字的注释
为了提高所提模型的判别能力，标记了与裂缝相似的干扰特征“手写文字”类别。该数据集包含了桥梁检测场景中典型的环境变化，包括低光条件和部分遮挡，使模型能够适应复杂的桥梁环境。这种策略性的多样性促进了模型的泛化能力，最终提高了桥梁基础设施 SHM 应用的分割性能。
注释过程：所有裂缝实例均由三名受过培训的土木工程研究人员使用 LabelMe 软件中的多边形掩码手动注释。注释者被指导：(1) 跟随裂缝中心线并勾勒出整个裂缝轮廓，偏差不超过可见裂缝边界的 2 像素；(2) 排除裂缝与污渍或阴影相交的模糊区域；(3) 将所有手写干扰标记为单独的类别。每张图像由两名独立注释者进行注释，分歧由资深桥梁检测专家解决。注释者之间的一致性通过 IoU 测量为 0.86 ± 0.07，表明注释质量一致。
对裂缝图像数据集的定量分析表明，在原始图像的 4096 × 2160 分辨率下，裂缝形态的最大宽度范围为 3-6 像素，裂缝像素占总图像面积的不到 0.98%。这些缺陷的亚像素级特性带来了重大的计算挑战，包括低内存分配效率（约 72% 的背景像素被浪费）、训练收敛时间延长以及直接使用未处理图像时分割精度降低。为了解决这些限制，实施了多阶段预处理流程：
(1) 输入图像通过双线性插值重采样到 4160 × 2240 分辨率，以方便均匀的块划分同时保留边缘细节；
(2) 64 像素的重叠缓冲区将图像分成 320 × 320 块，以最小化边界伪影（图 7）；
下载：下载高分辨率图像（785KB）
下载：下载全尺寸图像
图 7. 数据集裁剪示例：(a) 带有块的原始原始图像；(b) 符合保存条件的样本；(c) 不符合条件的样本将被删除；
(3) 仿射矩阵映射同步转换后的注释坐标。
应用了诊断阈值来优化样本相关性：保留 ≥20% 原始裂缝表面积（≥64 像素2）的块被分类为有效训练样本，而亚临界或无裂缝的块被丢弃。有效样本接受数据增强，包括几何变换（随机旋转 ±25°，剪切畸变 ≤8°）和光度扰动（自适应直方图均衡化，高斯噪声注入 [σ=0.05]，亮度调制 [Δ±40%]）。这些增强全面放大了低对比度裂缝特征，同时模拟了桥梁退化模式（例如，不均匀照明、颗粒遮挡）。

4.2. 模型训练
为了保持实验的完整性，本研究中描述的所有调查都是在标准计算条件下使用相同的硬件配置进行的。使用配备了 NVIDIA RTX A4000 GPU 和 32 GB RAM 的工作站进行实验。算法在 PyTorch 1.9.1 中实现，基于 Python 3.10.6 构建，并使用 CUDA 11.1 进行 GPU 加速训练。
模型性能使用四个关键指标进行评估：精确度、召回率、F1 分数和平均精确度（mAP）。精确度如公式 12 所示，量化了所有正预测中的真正例比例，其中 TP 和 FP 分别表示真正例和假正例。召回率通过公式 13 中正确识别的正例与所有实际正例的比例来衡量检测的完整性。F1 分数通过公式 14 中的调和平均值来协调这些竞争指标。
(12) Precision = TP / (TP + FP)
(13) Recall = TP / (TP + FN)
F1-score = 2 × Precision × Recall
Recall + Precision
mAP 指标通过计算每个类别的平均精确度值来将评估框架泛化到多类别场景。在使用 YOLO 系列网络等架构的对象检测任务中，mAP 结合了分类准确性和边界框定位质量，评估范围通常为 IoU 阈值（通常为 0.5 到 0.95）。mAP 的正式定义如下：
(15) mAP = 1 / N ∑c=1 N APc
如图 8 所示，对改进后的 YOLOv11-DSC 模型的定量评估显示了分割精度的显著提升，这归因于在特征感知和多尺度信息融合方面的架构改进。F1 分数曲线确认了模型的平衡性能，在最优置信度阈值 0.425 时达到峰值 0.78。这些结果表明该模型在桥梁检测中具有强大的裂缝分割能力和适应复杂环境条件的能力。
下载：下载高分辨率图像（775KB）
下载：下载全尺寸图像
图 8. YOLOv11-DSC 模型评估结果：(a) F1-置信度曲线；(b) 召回率-置信度曲线；(c) 精确度-置信度曲线；(d) 精确度-召回率曲线。
此外，精确度-召回率（PR）曲线分析显示，在所有类别中，mAP@0.5 为 0.788，其中裂缝检测的类别特定 AP 分数为 0.909，手写干扰抑制的 AP 分数为 0.666。改进的裂缝 AP 分数 0.909 表明了模型在识别真正裂缝特征同时排除背景伪影方面的强大判别能力。相反，干扰 AP 分数 0.666 反映了其在抑制环境噪声引起的假正例方面的有效性。这些指标与最优置信度阈值（0.425）的一致性验证了模型在现实世界检测场景中的操作可靠性。总体而言，这些结果确认了架构改进成功地解决了关键挑战，包括低对比度裂缝检测和动态干扰模式。因此，所提出的 YOLOv11-DSC 模型代表了桥梁基础设施自动化 SHM 的稳健解决方案。需要注意的是，图 8 显示了训练期间用于置信度阈值分析的验证集评估曲线，而表 3 和表 4 总结了在独立测试集上选定的最佳模型的最终性能。因此，相应的 mAP 和类别特定的 AP 值并不完全相同。
表 3. 不同改进模块的全面性能比较
模型 AP_裂缝 AP_手写 GFLOPs 参数 (M) FPS mAP@0.5 mAP@0.5:0.95
YOLOv11n-seg(基线) 0.629 0.279 8.53 465 0.454
基线+DSC 0.905 0.639 7.6 (-10.6%) 3.1 (-8.8%) 72 0.772 0.578
YOLOv11-DSC(我们的) 0.949 0.836 7.0 (-17.6%) 2.9 (-14.7%) 68 0.892 0.678
表 4. 与传统和最先进的实时分割模型的比较
模型 AP_裂缝 AP_手写 mAP@0.5 mAP@0.5:0.95
推理速度 (FPS) 参数 (M) GFLOPs
YOLOv11-DSC (我们的) 0.949 0.836 0.892 0.678 68 2.97.0
YOLOv8n-seg 0.850 0.710 0.780 0.561 86 3.0
YOLOv9n-seg 0.868 0.731 0.799 0.585 75 3.1 8.9
YOLOv10n-seg 0.872 0.725 0.798 0.580 80 2.7
SegNet 0.894 0.747 0.820 0.60
117 29.5 286
DeepLabv3+ 0.776 0.645 0.711 0.520 52 59.5
5 286
Mask R-CNN 0.758 0.734 0.746 0.538 10 44.2
275
CondInst 0.416 0.596 0.506 0.380 46 48.1
205 4.3. 消融实验：隔离核心创新的贡献
对于实时 SHM 应用而言，在保持计算效率的同时，仔细考虑形态变化和表面污染条件是必不可少的。在一致的训练参数和环境条件下进行的受控消融研究（图 9，表 3）定量展示了所提出的技术改进对自动裂缝分割准确性的互补效应。
下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图 9. 不同方法的模型改进：(a) YOLOv11n-seg；(b) 基线 + DSC；(c) YOLOv11-DSC (我们的)
所提出的 YOLOv11-DSC 架构结合了顺序增强模块。DSC 与 C3k2 特征提取器的集成使裂缝检测的 AP 提升了 27.6%，证明了通过自适应感受野调节的有效裂缝形态捕获。
总体而言，这些架构创新使 mAP@0.5 相比基线 YOLOv11n-seg 模型提高了 43.8%。逐步的 IoU 提升证明了裂缝特征表示的成功层次优化。具体来说，DSC模块通过自适应核学习提高了对裂纹扩展模式的几何敏感性。然后，WB-FPN通过动态特征路由来解决复杂裂纹网络中的空间不连续性问题。这种协同增强策略显著提高了桥梁表面裂纹分析的判别性能，尤其是在处理形态变化和表面污染时，同时保持了实时SHM所需的计算效率。定量消融研究证实了这些技术改进的互补性，测量的AP增益验证了它们对自动裂纹分割精度的协同效应。

消融结果的深入分析：表3中的数据揭示了每个组件的不同作用。添加DSC后，AP_crack从0.629显著增加到0.905，这突显了其在增强特征对裂纹类别本身敏感性方面的主要功能。这与理论预期一致，即DSC将计算集中在类似边缘的特征上，直接放大了微小裂纹的信号。关键的是，在此过程中计算成本同时得到了降低。具体而言，DSC模块单独将GFLOPs减少了10.6%（从8.5减少到7.6），参数减少了8.8%（从3.4M减少到3.1M），这表明输入依赖的稀疏性有效地削减了均匀背景上的冗余计算。进一步添加WB-FPN后，裂纹AP增加到0.949，并且在更严格的mAP@0.5:0.95指标上也有了显著提升（从0.578增加到0.678）。该指标平均了不同IoU阈值下的性能，并且对掩模边界质量敏感。这些改进表明，WB-FPN的自适应融合机制对于提高分割精度和掩模一致性至关重要，这对于精确的几何测量来说是必不可少的。值得注意的是，完整的YOLOv11-DSC模型与基线相比，GFLOPs减少了17.6%，参数减少了14.7%，同时保持了68 FPS的高推理速度。这种有利的准确性与效率之间的权衡证实了所提出的创新在减少处理冗余的同时不会影响实时性能。DSC提供更好的裂纹感知特征与WB-FPN更智能地融合这些特征之间的协同作用得到了明确的证明。

4.4 比较模型

本研究不仅对经典的分割网络进行了全面的比较评估，更重要的是，还对专为实时实例分割设计的当代最先进模型进行了评估，这是无人机应用中最相关的类别。所比较的模型包括SegNet [36]、DeepLabv3+ [31]、Mask R-CNN [17] 和CondInst [37]，以及YOLO系列中当前的领先实时实例分割模型：YOLOv8n-seg、YOLOv9n-seg和YOLOv10n-seg。所有模型都在相同的条件下使用相同的桥梁裂纹数据集进行训练和评估。使用标准性能指标（例如mAP和AP）进行的定量分析证实了所提出的YOLOv11-DSC的优越分割精度。表4的关键结果表明：(1) 所提出的YOLOv11-DSC取得了0.892的显著mAP@0.5，显著优于所有基线模型，包括其最新的实时竞争对手YOLOv8n-seg、YOLOv9n-seg和YOLOv10n-seg；(2) 针对裂纹的AP（即AP_crack）与所有基线模型相比有了显著改善；(3) 干扰类型的AP（例如手写）达到了0.836，表明其对无关背景干扰具有很强的鲁棒性。

比较性能分析：表4提供了对所有评估模型的多方面比较。与传统模型（SegNet、DeepLabv3+等）相比，YOLOv11-DSC显示出更高的准确性以及更高的推理速度和更轻的模型重量，这突显了其适用于基于无人机的实时裂纹检测的适用性。特别是在与其直接竞争对手YOLOv8n-seg、YOLOv9n-seg、YOLOv10n-seg相比时，该模型在准确性上建立了明显的优势（例如mAP@0.5提高了9.4%），同时保持了相似的参数数量并降低了计算成本（GFLOPs）。这表明，DSC和WB-FPN的架构创新在针对桥梁裂纹分割这一特定领域挑战时，确实带来了明显的性能提升。mAP@0.5:0.95指标进一步巩固了这一优势，显示了该模型在不同IoU阈值下生成高质量、精确分割掩模的卓越能力。这些指标突出了三个关键进展：(1) 更好地区分了真正的结构裂缝和假缺陷；(2) 提高了特异性，表现为非裂纹类别中的假阳性减少了；(3) 通过架构改进优化了形态敏感性。

性能的转变验证了该框架对复杂表面条件的适应性，并解决了自动化桥梁SHM系统中的关键挑战，特别是在：(1) 精确的裂纹形态检测；(2) 有效的干扰抑制；(3) 在变化的表面条件下的可靠运行。图10表明，传统分割模型（如SegNet、Deeplabv3+、Mask R-CNN、CondInst）在裂纹不明显的条件下表现有限。虽然能够进行基本的空间定位，但由于部分特征编码，这些模型产生的裂纹表示不完整，最终在后续的尺寸分析中引入了显著的测量误差。

相比之下，所提出的YOLOv11-DSC框架通过以下方式在这些具有挑战性的场景中保持了强大的分割保真度：(1) 通过分层特征金字塔增强多尺度感知；(2) 通过自适应融合机制实现连续裂纹拓扑重建。图11进一步证明了该模型在检测桥梁结构退化中的细小线性裂纹方面的卓越性能。比较结果验证了YOLOv11-DSC对几何复杂性裂纹形态的出色适应性，包括亚毫米级裂纹和分支模式。这种能力源于跨尺度特征提取和基于上下文的空间推理的架构优化，即使在变化的光照或表面污染下也能实现精确的边界划分。在桥梁检测场景中，这种框架性能优势尤为明显，它减少了分割引起的尺寸误差。这些改进直接提高了老化桥梁基础设施结构健康评估的可靠性。

4.5 3D投影精度的定量评估

如第4.1节所述，无人机检测流程将实时裂纹分割与基于SfM的3D重建集成在一起。为了定量评估将2D分割掩模投影到3D模型上的保真度，引入了两个指标：(1)重投影误差（RE）：投影掩模边界与原始图像空间中手动标注的裂纹边界之间的平均欧几里得距离（以像素为单位）；(2)相对尺度误差（RSE）定义为：RSE = |L3D ? LGT| / LGT × 100%，其中L3D是投影2D分割掩模后在3D模型上测量的裂纹长度，LGT是使用参考对象从3D点云中手动测量的真实长度。这些指标在我们BCD-UAV数据集的三个代表性桥梁检测场景上进行了评估。对于每个场景，使用COLMAP（基于运动的结构）和60-80张重叠图像重建了密集的3D点云，并手动识别了10-15个裂纹段进行评估。表5总结了结果。

表5. 3D投影精度的定量评估。

场景 裂纹段 重投影误差（像素）相对尺度误差（%）
场景A（混凝土，晴天） 121.85±0.42 4.2±1.3
场景B（混凝土，阴影） 102.13±0.58 4.8±1.5
场景C（混凝土，复杂背景） 151.92±0.49 4.1±1.2
平均 12.3 1.97±0.50 4.4±1.3

平均重投影误差为1.97像素，表明投影的2D分割掩模与3D模型中的实际裂纹位置对齐良好，偏差通常小于两个像素。平均相对尺度误差为4.4%，表明从投影掩模中得出的几何测量对于实际的桥梁检测任务（例如裂纹扩展监控的长度估计）是相当准确的。这项评估是一个初步验证。一个完整的3D几何量化系统，包括沿3D骨架的自动裂纹宽度估计和跨多个检测周期的时空分析，是正在进行的研究的一部分。本研究专注于建立一个可靠的2D分割基础，作为实现这一目标的重要第一步。

5. 裂纹测量

5.1 用于裂纹特征提取的形态学操作

桥梁裂纹图像通常包含由环境条件引起的混合噪声类型（例如高斯噪声、椒盐噪声和光子噪声）。去噪流程包括：(1)灰度转换以统一颜色通道；(2)中值过滤以去除椒盐噪声；(3)双边过滤以减少高斯噪声和光子噪声，同时保持裂纹边界。这种顺序方法在噪声抑制和特征保留之间取得了最佳平衡，确保了裂纹的可靠形态学分析。

桥梁结构中的不均匀照明经常产生低对比度的图像，严重影响了裂纹的可见性和测量精度。为了解决这个问题，本研究中的预处理流程采用了：(1)伽马校正用于非线性强度调整，然后是(2)基于区域的对比度受限自适应直方图均衡（RCLAHE）用于局部对比度增强。伽马校正对像素强度应用幂律变换以增强暗部或过度曝光的图像，而RCLAHE则自适应地规范不同图像区域的照明变化。这种组合方法有效增强了裂纹的可见性，同时防止了均匀区域中噪声的过度放大。

Vout = A × Vin^γ，其中Vout是输出像素强度；Vin是归一化到[0, 1]的输入像素强度；A规范化强度范围，γ控制亮度重新映射（γ >1使过曝图像变暗，γ <1使暗部图像变亮）。这些预处理步骤在保持裂纹边缘的同时平衡了整体亮度。

在后续分析中，增强后的图像进行自适应二值化，生成包含真实裂纹特征和残余伪影的二进制输出。这些伪影被分类为分散的像素簇或不规则的块状干扰。本研究中的分层去噪策略应用了：(a)基于大小的过滤以去除分散噪声，使用像素面积阈值；(b)基于形状的过滤以去除块状伪影，采用矩形性标准。这种系统方法在有效消除增强引起的伪影的同时，保持了裂纹的结构完整性。

裂纹形态提取过程采用基于种子的区域生长来隔离连接的裂纹区域，然后通过迭代形态学细化生成单像素宽度的骨架，同时通过控制的边缘侵蚀保持拓扑完整性，最终实现与中间轴对齐的表示，从而实现精确的尺寸量化。这种集成工作流程在桥梁检测场景中表现出强大的性能，因为它在变量照明和表面条件下有效平衡了噪声抑制和特征保留。这种方法成功解决了自动化SHM中的关键挑战，特别是在：(1)准确的裂纹形态检测；(2)有效的干扰抑制；(3)在可变表面条件下的可靠操作。

图12展示了在桥梁检测图像中提取的裂纹骨架作为单像素宽度特征，具有四种连接类型（例如水平、垂直和±45°对角线）。在尺寸分析之前，一个系统分类过程根据连接方向和邻接计数对像素进行分组（例如端点、分支点），以解决裂纹网络中的拓扑复杂性。这种方法通过解决交叉分支和不规则形态的几何歧义，显著提高了测量精度。

5.2 测量结果和讨论

复杂的桥梁环境，其特征是不均匀的照明、湿度和灰尘积聚，对基于计算机视觉的SHM系统构成了挑战，如图13所示。在模拟的恶劣桥况下进行的实验评估系统地评估了四种环境变化，检查了检测鲁棒性、分割精度和裂纹区域提取性能。首先使用所提出的YOLOv11-DSC对裂纹进行分割，并提取相应的掩模。之后，对裂纹掩模应用了后处理技术，包括闭合和打开操作。最后，对裂纹掩模进行二值化以进行裂纹测量。闭合和打开是用于细化检测掩模或边界框的形态学操作，可以减少噪声、填充间隙和平滑分割或二值检测输出中的边缘。

图13.模型在复杂环境中的性能表现。YOLOv11-DSC模型在非均匀光照和水渍干扰下仍展现出稳健的定位和分割能力，尽管在 dusty（充满灰尘）的环境中会部分出现分割错误，但定位准确性得以保持。这一限制源于桥梁中颗粒物的空间分布模式，灰尘与裂缝的结合减弱了局部对比度特征，降低了特征区分度，导致形态预测出现错误。该框架在应对各种环境挑战时表现出显著效能：对于不均匀光照，伽马校正（gamma correction）和RCLAHE协同工作，既能标准化亮度，又能增强裂缝与背景的对比度。在湿润污渍场景中，该方法利用了污渍边界（通过伽马的非线性强度映射被抑制）与裂缝边缘（通过RCLAHE得到增强）之间的差异，并通过基于像素面积和矩形性阈值的几何滤波去除残余伪影。虽然颗粒物干扰仍然存在挑战，但系统在多变的水分和光照条件下仍能保持可靠的性能，这对于基础设施检查至关重要。

由于颗粒物沉积模式与裂缝形态之间的空间相互作用，灰尘干扰带来了复杂的问题，尤其是当颗粒物与裂缝边界重合时，RCLAHE的分块处理可能会放大伪影，在二值化过程中产生寄生分支或边缘畸变，这些问题难以通过传统去噪方法解决。这意味着在颗粒物密度较高的情况下，定位精度仍然保持稳定，但分割完整性会受到影响。为了解决这些限制，提出了以下策略性改进：（1）采用高分辨率成像和光谱优化照明进行采集级改进，以最大化自然对比度；（2）开发具有上下文意识的算法框架，以实现多尺度特征区分、动态纹理识别以及颗粒物与裂缝相互作用的模拟。这些改进旨在消除重叠的特征表示，同时在极端颗粒物条件下保持拓扑完整性，最终扩展混凝土桥梁检查的能力。

5.3 实验评估：单位转换
在桥梁结构中，裂缝的扩展对结构完整性和运行安全构成重大风险，因此需要精确的尺寸量化来进行风险评估。在裂缝分割之后，应用了先进的图像处理技术：（1）骨架化提取中轴表示，便于进行像素连通性分析以进行分割分类；（2）长度量化通过沿骨架化路径的校准像素宽度测量得出；（3）宽度确定利用基于骨架轴的计算机生成的正交轮廓线，便于进行局部横向尺寸分析。这种双轴测量框架提供了裂缝特征的全面几何描述，对于混凝土桥面上的线性裂缝尤其有效，尽管在结构安全评估过程中，对于复杂的网络拓扑，性能可能会有所不同。图14系统性地展示了桥梁检查应用中的裂缝量化工作流程。这种渐进式的可视化方式证明了该流程能够将初始分割转换为精确的几何参数，特别是对于线性混凝土桥裂缝。尽管该框架在SHM（Structural Health Monitoring）应用中表现出稳健性，但在分析高度破碎或分支复杂的裂缝网络时，其有效性可能会受到限制。

下载：下载高分辨率图像（401KB）
下载：下载全尺寸图像

图14. 图像处理后的结果：(a) YOLOv11-DSC模型的原始裂缝检测结果；(b) 经过伽马校正、RCLAHE基于的对比度增强和去噪后的增强二值表示；(c) 通过形态学细化生成的精细单像素宽度骨架；(d) 用蓝色正交矢量表示的局部裂缝区域横向测量的宽度量化可视化。

准确的裂缝量化需要精确的物理尺度校准，这通过使用桥面几何作为参考平面来实现。根据相机分辨率和光学参数，确定了一个有效的测量范围为1.8米，从而获得0.015毫米/像素的空间分辨率。对于长度测量，采用基于质心的折线算法计算骨架像素质心之间的累积距离，多图像拼接技术协调了YOLOv11-DSC框架检测到的各子区域的测量结果。这种分层方法确保了尺寸的一致性，同时处理了局部检查中的部分特征表示问题。

宽度量化采用了一种分段分析方法，通过像素聚类将裂缝划分为子区域。与局部骨架方向对齐的正交矢量提供了横向测量轴，宽度是根据强度梯度得出的。图15显示了三维（3D）误差分布。主要误差来源包括伽马校正和RCLAHE引起的预处理过程中的边缘伪影，这些伪影偶尔会降低裂缝与混凝土表面之间的灰度区分度。

下载：下载高分辨率图像（264KB）
下载：下载全尺寸图像

图15. 平均裂缝宽度统计。

亚毫米级裂缝对分辨率约束特别敏感，其亚像素尺寸小于0.015毫米/像素，这会导致对比度增强过程中的系统性高估。解决这些限制需要提高高分辨率成像系统和抗伪影处理算法的发展，这是下一代桥梁检查方法的关键焦点，它们必须在测量精度和现场操作效率之间取得平衡。

6. 结论
本研究提出了YOLOv11-DSC，这是一种专为无人机图像中的裂缝检测设计的分割框架，旨在用于以3D重建为中心的检查流程中。该模型的开发是基于对高保真输入到3D几何分析的需求，主要贡献包括以下几点：（1）动态稀疏卷积（DSC）被集成到YOLOv11的核心架构中，以适应性地将计算资源集中在裂缝显著的边缘区域，提高对细小和低对比度裂缝的检测灵敏度；（2）加权双向特征金字塔网络（WB-FPN）取代了标准的PANet，动态融合多尺度特征，提高了细长裂缝结构的掩膜连续性和边界准确性；（3）在自收集的无人机桥梁裂缝数据集上的广泛实验表明，YOLOv11-DSC实现了89.2%的mAP@0.5和68 FPS的检测性能，超过了当前最先进的实时分割器。

核心发现与验证：实验结果强烈验证了我们提出的架构创新。DSC的集成非常有效，通过将计算资源集中在显著边缘区域，显著提高了裂缝检测的灵敏度。WB-FPN对于实现高质量的分割掩膜至关重要，这在严格的mAP@0.5:0.95指标上得到了体现，该指标反映了更优越的边界精度和掩膜一致性。特别是在与当前最先进的实时分割模型（包括YOLOv8-seg和YOLOv10-seg）的公平全面比较中，YOLOv11-DSC显示出明显的性能优势，达到了89.2%的mAP@0.5和67.8%的mAP@0.95，同时保持了实时推理速度（68 FPS）。这成功解决了该领域中常提到的精度与效率之间的权衡问题。

实验结果表明，通过专门的裂缝检测方法，性能得到了显著提升，实现了0.892的mAP@0.5和0.949的AP（Area Under the Curve），以及0.836的AP干扰抑制。所提出的YOLOv11-DSC网络包括一种特征保留机制，能够有效处理包括低对比度表面和复杂干扰模式在内的具有挑战性的桥梁检查条件。补充检测框架的是量化方法，该方法采用基于骨架的分析和像素分组。虽然所提出的方法能够有效分割和测量静态图像中的裂缝，但未来的工作将集中在：（1）高分辨率处理优化以提高精度；（2）通过迁移学习进行跨领域适应，以应对其他具有类似约束的挑战性环境，例如隧道、地下结构等，在保证桥梁检测能力的同时实现快速部署并减少重新训练的需求。

走向集成3D几何量化：YOLOv11-DSC在实时2D裂缝分割中的稳健性能为3D投影提供了可靠的数据来源。定量评估显示，投影分割掩膜的平均重投影误差为1.97像素，相对尺度误差为4.4%，适用于多个桥梁场景，证实了将2D结果与基于SfM（structure from motion）的3D重建流程相结合的可行性。这项工作为未来开发完全自动化的、基于无人机的桥梁检查系统奠定了验证基础。

限制与未来方向：尽管已经展示了有效性，但仍需承认几个限制。首先，当前的评估主要集中在白天条件下的混凝土斜拉桥；在极端光照条件下的性能下降，如黎明/黄昏的低光操作或湿表面强烈的反射，仍需系统地进行量化。其次，尽管BCD-UAV数据集涵盖了多种环境伪影，但模型对根本不同的基础设施类型（如钢桥、石砌拱结构或沥青路面系统）的泛化能力仍需进一步验证，这些基础设施具有不同的表面纹理和裂缝形态。第三，基于骨架的量化方法假设裂缝拓扑相对连续；高度破碎或密集分支的裂缝网络可能会引入测量不确定性。这些限制可以通过以下三个方向的未来研究来解决：（1）光敏度增强：集成自适应曝光校正和红外热融合，以在整个24小时检查周期内保持检测的准确性；（2）跨材料迁移学习：开发领域适应性微调协议，以最小注释数据将YOLOv11-DSC的应用范围扩展到钢桥、石砌结构和复合材料；（3）拓扑感知的3D量化：超越2D投影，直接进行3D点云分割，实现体积裂缝特征分析和与数字孪生框架集成的自动化结构完整性评估。

CRediT作者贡献声明：
邓江华：概念化、数据策划、资金获取、撰写-原始草案、撰写-审阅与编辑；
陈新宇：调查、撰写-审阅与编辑；
华琳欣：验证、撰写-审阅与编辑；
卢叶：可视化、撰写-审阅与编辑；
车桥：调查、撰写-审阅与编辑；
陈旭：验证、撰写-审阅与编辑；
沈一欣：可视化、撰写-审阅与编辑；
陈燕：调查、撰写-审阅与编辑。