基于无人机影像的构件级桥梁自动化检测方法：三维损伤映射与状态量化

《AUTOMATION IN CONSTRUCTION》：Automated element-level bridge inspection from unmanned aerial vehicle imagery using 3D damage mapping and condition-state quantification

　　

• BridgeELSpect将无人机影像转化为符合AASHTO标准的CS1–CS4输出。• 覆盖优化策略将3440张影像缩减至262张，同时保持覆盖完整性。• 多视角融合将重复观测合并为统一的3D损伤多边形。• 基于几何的分析量化损伤并分配构件级状况等级。• 验证结果复现了官方检查记录中的主要劣化模式。引言构件级检查（Element-Level Inspection, ELI）代表了桥梁状况评估的根本性转变，从粗粒度的构件评级转向量化、构件分辨的状等级。ELI由美国联邦公路管理局（FHWA）提出，并通过《AASHTO桥梁构件检查手册》正式确立。与传统国家桥梁清单（NBI）做法不同，后者对整个结构类别（如桥面、上部结构、下部结构）分配一个单一整数分数（0至9）。ELI则根据可量化的损伤机制（如分层、剥落、开裂、钢筋外露）评估单个桥梁构件（如主梁、桥面、桥墩），并将测量数量分配到四个标准化的状况等级（CS1至CS4）中，代表从"良好"到"严重"的递增严重程度。构件数量以工程单位表示，并按状况等级汇总，产生桥梁劣化的精细清单。这种精细度支持资产管理、生命周期成本分析、维护优先级排序和基于绩效的资金决策[1]。尽管ELI具有这些优势，但当前实践仍依赖于人工目视检查，而后者存在有据可查的检查员间不一致性。检查员必须识别损伤类型、估算面积或长度等数量，并根据标准化SNBI指南分配状况等级[2]。即使经过严格培训和质量控制，这些结果仍易受主观性影响，尤其是在估算损伤范围和严重程度时。先前研究反复报告了检查记录和评级中存在显著的变异性。在一项对NBI检查记录的研究中，95%的主要评级在均值两点范围内变化，仅68%在一点范围内变化，且现场笔记、照片存在不一致，状况等级应用不当[3]。一项受控的虚拟现实测试平台发现，仅约30%的检查员完全匹配参考状况评级，且评级准确性与检查员经验或培训之间无统计显著关系[4]。对于钢桥的疲劳开裂，检查员在裂缝检测和定位方面均存在显著差异[5]。即使在总体一致性较高的情况下（例如，NYSDOT检查团队中约96%的构件达到≥90%的一致性[6]），仍存在不可忽视的变异性。在构件报告层面，一项涵盖三个州40名检查员的比较研究报告了损伤数量和状况等级分配的显著差异[7]。总体而言，这些发现表明，构件级和要素级检查均易受不一致性影响，这促使需要自动化工作流以产生可重复、可量化的要素级状况输出。无人机（UAV）、摄影测量和计算机视觉的最新进展为桥梁检查自动化提供了实用基础；然而，大多数现有方法无法产生可直接用于检查的要素级输出。Agnisarman等人[8]综述了基础设施目视检查中的人机协同系统，Spencer等人[9]总结了基于计算机视觉的土木基础设施检查和监测的更广泛发展。Seo等人[10]展示了一种无人机启用的桥梁检查方法，Ham等人[11]综述了配备相机的UAV用于目视监测的应用。这些研究表明，无人机可以改善对难以到达区域的访问并支持高效采集高分辨率影像，而摄影测量重建可将影像转化为桥梁几何的3D表示。与此同时，深度学习方法提高了图像中桥梁损伤的检测和分割能力。Zhuang等人[12]综述了表面裂缝检测的深度学习方法，Huang等人[13]开发了一种多类桥梁表面损伤检测方法，Holm等人[14]使用卷积神经网络对腐蚀和涂层损伤进行分类。Flotzinger等人[15]引入了dacl10k基准用于桥梁损伤的语义分割，Hoskere等人[16]提出了MaDnet用于结构材料和损伤的联合分割，Fukuoka和Fujiu[17]应用基于transformer的模型进行桥梁损伤检测。尽管取得了这些进展，大多数研究仍局限于图像级检测、分割或定性可视化。因此，在端到端工作流方面仍存在明显差距，该工作流能够将2D损伤观测映射到3D桥梁几何上，以物理单位量化劣化，将损伤与单个桥梁构件关联，并分配符合AASHTO标准的状况等级以实现实际要素级检查。现有自动化桥梁检查方法可大致分为三类，均无法产生具有量化CS1–CS4分布的符合AASHTO标准的要素级输出。第一类是图像级损伤检测和分割方法。上述研究涵盖了表面裂缝检测[12]、多类桥梁表面损伤检测[13]、腐蚀和涂层损伤分类[14]、语义桥梁损伤分割[15]、结构材料和损伤的多任务分割[16]以及基于transformer的桥梁损伤检测[17]。Malepati等人进一步结合多模态图像，使用视觉transformer分割表面和混凝土内部损伤[18]。尽管这些方法提供了详细的图像空间损伤信息，但未能以物理单位量化损伤或将其与单个桥梁构件关联。第二类将基于图像的损伤观测映射到3D空间。Lin等人融合影像和点云进行损伤检测和3D配准[19]。Xiao等人使用点云分割和3D到2D投影识别裂缝检测的区域兴趣[20]。Ni等人结合深度学习和3D重建来检测和定位表面损伤[21]。这些方法提供了空间上下文，但未能执行要素级聚合或标准化状况等级分配。第三类自动化NBI式0–9构件评级[22,23]，这无法提供ELI所需的精细度。在所有三类方法中，从2D损伤观测到量化的、按构件划分的AASHTO状况等级的路径仍不完整。在三个类别中，2D到3D投影最接近要素级量化，但其现有方法分为两个家族，均共享关键局限性。第一个家族将2D检测配准到点云[19,20]，产生用于可视化的点级标签。第二个家族将损伤反投影到网格上，报告的变体包括通过UV映射和平均化产生每面状况图[16]、通过多视角三角同态积分[24]，或仅在平面表面上进行仅裂缝的度量重建[25,26]。两个家族的投影和量化精度均与底层原语的分辨率相关联：第一个家族为点密度，第二个家族为面或三角形大小。因此，损伤范围仅能以该粒度恢复。两个家族均未将损伤隔离为离散的3D实例，均未将多视角观测融合为统一的损伤几何体（导致在多个图像中可见的单个物理缺陷被计为多个），且两者均依赖完整的UAV影像集，未解决规模化标注、审查和投影负担问题。这些方法均不支持自动化ELI。尽管先前研究涉及了这一过程的部分环节，但要闭合2D观测与AASHTO要素级输出之间的循环，需要协调整合现有工作流中尚未充分发展的两项能力。首先，损伤严重程度必须以物理单位量化，这无法仅从2D影像中恢复，而需要深度图或投影到桥梁的高保真3D几何表示上。其次，产生的3D损伤必须通过实例分割的点云与特定桥梁构件关联，以在AASHTO标准下获得按构件划分的状况等级分布。表1总结了代表性先前工作相对于本框架的能力。除了投影方法之外，海量UAV影像造成的冗余和计算瓶颈限制了实际可扩展性，无论影像是用于人工审查、标注还是损伤推理。从覆盖角度来看，UAV检查规划分为两类：(1) 在采集前选择最佳视角集以确保准确的摄影测量重建，(2) 在采集后保留最佳子集，该子集足以支持下游任务如损伤投影和长期存档。先前研究已针对几种基础设施应用探讨了UAV覆盖和路径规划。Majeed和Lee提出了一种足迹扫描拟合算法用于城市环境的覆盖规划[29]。Baik和Valenzuela开发了一种UAV路径规划方法用于电力输电塔的目视检查[30]。Nedjati等人提出了一种多UAV震后评估系统的完全覆盖规划[31]。其他研究将几何模型和视角优化纳入规划过程。Lindner等人优化了自主运动恢复数据采集的多视角覆盖[32]。Ibrahim和Golparvar-Fard使用四维建筑信息模型规划UAV飞行以进行施工监测[33]。Bircher等人开发了一种迭代视角重采样方法用于空中结构检查[34]。然而，这些研究主要聚焦于数据采集前的视角选择。采集后场景仍存在关键研究空白：提取一个最小子集影像，同时确保对已重建的3D桥梁模型的完整结构覆盖。这种子集是必要的，以减少损伤标注和审查验证工作量，同时防止在3D映射和量化过程中对同一损伤进行冗余的多视角投影。在本研究中，我们提出了BridgeELSpect，一个端到端的桥梁构件检查框架，集成了基于UAV的采集、摄影测量重建、覆盖优化的影像选择、多视角损伤投影和基于几何的损伤量化。流水线始于UAV影像采集和摄影测量重建，产生3D网格、点云和相机位姿。覆盖优化的影像子集选择策略识别一个最小但充分的影像集，共同覆盖整个桥梁几何体，减少冗余同时保持检查完整性。对应AASHTO类别（分层/剥落/修补区域、钢筋外露、泛碱/锈渍、磨损/侵蚀、开裂）的损伤区域通过两阶段深度学习流水线进行分割，该流水线结合微调的仅编码器掩码变换器（EoMT）处理空间扩展缺陷，并使用专门的nnU-Net裂缝分割器，随后进行验证。经验证的损伤掩码通过光线投射方法投影到重建的3D网格上，来自多个视角的冗余投影在空间上融合为一致的3D损伤多边形。随后，这些多边形通过语义和实例分割的点云与单个桥梁构件关联，实现自动化要素级损伤量化。最后，量化的损伤指标按AASHTO桥梁构件检查手册映射到状况等级（CS1–CS4），产生与当前检查标准直接兼容的输出。本工作的贡献如下：• 一个集成的端到端ELI工作流，通过将图像空间损伤分割、3D损伤映射、构件关联和状况等级分配链接起来，将UAV影像转化为符合AASHTO标准的要素级损伤数量和状况等级。• 一种多视角2D到3D损伤映射和融合流程，将同一物理缺陷的重复观测转化为单个3D损伤多边形，减少要素级量化过程中的重复计数。• 一种采集后的覆盖优化影像子集选择策略，在保留下游损伤投影和ELI所需结构覆盖的同时减少冗余UAV影像。• 一种边界阈值误差传播公式，解释分割和投影不确定性如何影响连续损伤数量和最终AASHTO状况等级分配。• 在钢筋混凝土桥梁上使用官方检查记录、度量损伤测量、现实模型比例验证和分割质量敏感性分析进行验证，以评估检查保真度和工作流可靠性。章节片段建议的要素级检查工作流所提出的工作流，即BridgeELSpect，实现了如图1所示的端到端要素级检查流水线。首先，收集UAV影像并通过摄影测量重建处理，获得3D网格、稠密点云和校准的相机参数。然后选择覆盖优化的影像子集，在保持检查分辨率下完整结构可见性的同时减少冗余。损伤区域在图像空间中使用一种两阶段分割方法进行分割，该方法是[原文截断]案例研究所提出的自动化检查框架在位于德克萨斯州休斯顿的一座钢筋混凝土桥梁（桥梁ID：121020B58977002）上进行了评估，该桥梁承载北谢泼德大道跨越白橡湾，坐标为北纬29° 46′ 45.83323″，西经95° 24′ 34.44415″。实验与结果所提出的自动化要素级检查框架使用同一座桥梁进行了评估。该桥梁由钢筋混凝土桥面和上部结构组成，由多个主梁、次梁、楼板和钢筋混凝土桥墩支撑，为要素级检查提供了代表性测试平台（表2）。使用配备VT300-L视觉传感器的Skydio X10平台共采集了3440张UAV影像。所有影像均使用Bentley iTwin处理以重建3D网格、[原文截断]讨论本节解释第4节中呈现的实验结果。案例研究评估为所提出的框架提供了三种互补的证据形式：针对部署桥梁保留测试集UAV影像的按类别投影准确性、针对代表性缺陷的现场测量的几何验证，以及要素级输出与官方AASHTO检查报告的直接比较。以下各小节讨论每一项内容。结论本文提出了一种端到端的桥梁要素级检查工作流，将UAV影像转化为符合AASHTO标准的损伤数量和状况等级分布。

该工作流程整合了摄影测量重建、覆盖优化图像选择、基于图像的损伤分割、光线投射投影、多视图损伤融合、桥梁构件关联以及基于几何的损伤量化。通过将图像空间中的损伤观测与单个桥梁
CRediT 作者贡献声明
Asad Ur Rahman：撰写 – 原稿，验证，软件，方法，形式分析，数据管理，构思。
Delaram Hassanlou：撰写 – 审阅与编辑，可视化，验证，数据管理。
Vedhus Hoskere：撰写 – 审阅与编辑，监督，资源，项目管理，调查，资金获取，数据管理，构思。
资金
本研究由得克萨斯州交通部 (TxDOT) 在项目编号 TxDOT 0-7181 下提供支持。
利益冲突声明
作者声明，他们没有已知的相互竞争的经济利益或个人关系，这些利益或关系可能已经影响到本文报告的工作。
Asad Ur Rahman|Delaram Hassanlou|Vedhus Hoskere