通过将主动热成像和视觉系统与YOLO（You Only Look Once）算法相结合，实现钢桥涂层损伤的自动化检测与分类

《Engineering Structures》：Automated detection and classification of coating damage in steel bridge by integrating active thermography and vision system with YOLO

　　摘要
本研究提出了一种便携式涂层损伤检测（CDI）系统，用于自动化检测、分类和量化钢桥上的涂层损伤。该系统将主动热成像技术与视觉系统结合，将红外（IR）图像和RGB图像融合为4通道（RGB+IR）数据集。这种多模态数据融合能够识别可见和不可见的涂层损伤。使用YOLO模型根据RGB+IR数据集检测和分类涂层损伤类型，并对检测到的损伤区域进行量化。CDI系统的完全嵌入式硬件和算法组件提高了其在钢桥检测中的便携性和适用性。通过实验室规模和现场测试验证，证明了所提出方法的有效性，实现了0.951的分类准确率、0.944的分类精确度和2.06%的量化误差。与传统的IR、RGB和CbCr+IR输入方法相比，RGB+IR输入在原位涂层损伤检测中提供了可靠的检测和量化性能。

引言
钢桥上保护涂层的完整性对于防止底层钢构件劣化至关重要。涂层系统作为一种屏障，保护钢构件免受湿气、氧气和除冰剂的侵害，这些因素可能导致损伤并最终导致截面面积减小。一旦涂层系统受损，桥梁的结构状况会迅速恶化。因此，准确评估涂层系统的状况非常重要。
根据美国[1]和韩国[2]的政府指南，钢桥上的涂层损伤被分为几种主要类型，包括腐蚀性剥落、分层、起泡、裂纹和粉化。每种损伤类型的严重程度根据其结构重要性应用特定的权重因子进行量化。韩国的标准使用A到D等级对损伤进行分类。两种指南都优先评估关键损伤类型，如腐蚀性剥落和分层。
实际中的传统涂层损伤检测方法主要依赖于手动视觉检查，如现有检测标准所规定的那样，这些方法劳动强度大且容易受到主观误差的影响[3]。由于这些方法仅限于表面检查，因此难以检测到表层以下的涂层损伤。即使损伤可见，区分损伤类型也较为困难，这使得涂层状况的准确评估变得复杂。这些限制推动了对更可靠、客观和自动化检测技术的需求不断增加。
基于视觉的涂层检测通过分析RGB图像中捕获的光学信息（如颜色变化、纹理变化、边缘和几何图案）来检测表面损伤。基于这一原理，深度学习-based的视觉方法已被广泛用于自动化涂层损伤检测和分类。早期的基于视觉的涂层检测研究主要依赖传统的图像处理和统计分析技术来识别表面图像中的腐蚀性剥落和涂层劣化[4,5]。最近，基于深度学习的对象检测方法也被积极应用于自动化涂层和基础设施损伤检测。Jiang等人提出了一个结合无人机视觉检测和接触式无损检测（NDT）测量的桥面涂层检测框架，其中使用基于深度学习的检测方法来定位涂层劣化区域以进行后续的厚度评估[6]。除了对象级检测外，还研究了基于分割的方法，以更详细地定位和量化损伤区域。Bae等人应用SegNet进行像素级的裂纹检测，而Wang等人使用YOLOv8-seg在复杂表面条件下进行自动化分割[7,8]。此外，多项研究引入了数据增强和迁移学习技术，以提高在不同环境条件和有限训练数据集下的鲁棒性和分类性能[9,10]。这些研究表明，基于视觉的技术在自动化涂层损伤检测方面是有效的，特别是在基于纹理和颜色信息检测表面可见缺陷方面。然而，大多数基于视觉的方法主要依赖于可见的表面特征，限制了它们检测不可见或表层以下涂层损伤的能力。
热成像检测通过测量表面温度分布和瞬态热响应来检测涂层损伤。在主动热成像中，外部热量被施加到涂层表面，如分层、空气间隙或内部不连续性等缺陷会干扰热传递并在IR图像中产生局部热对比度。基于这一原理，主动热成像已被广泛用于涂层钢结构和基础设施系统的非接触式检测[11]。在专注于涂层的研究中，Jonsson等人检测到了早期阶段的腐蚀性剥落和起泡，而Santangelo等人评估了热喷涂涂层的附着力和内部缺陷[12,13]。最近，AI技术被引入以改进自动热成像缺陷检测。Ta等人评估了在不同条件下的各种基于深度学习的对象检测器以检测内部缺陷[14]。Kulkarni等人应用Efficient Net和无人机辅助的IR数据来识别现场条件下的表层以下空洞[15]。为了提高现场适用性，最近的研究探索了移动和可现场部署的热成像检测平台。Omar等人使用基于无人机的红外热成像对大面积桥面进行非接触式检测[16]。相比之下，还开发了包括爬壁无人机和磁性附着攀爬平台在内的表面附着式检测系统，用于对钢桥涂层状况进行近距离热成像评估[17,18]。这些方法对于检测表层以下或视觉上难以区分的缺陷非常有效。尽管有这些进步，但基于热成像的方法在不同损伤类型之间往往表现出相似的热响应，仅依赖热信息进行可靠分类和量化具有挑战性。

为了克服单模态检测的局限性，最近的研究探索了结合视觉和热信息的多模态融合方法来提高损伤检测效果。Pozzer等人比较了红外、可见光和融合图像的检测性能，证明融合数据可以通过利用互补特征来提高基于CNN的损伤检测精度[19]。Alexander等人开发了一个基于深度学习的RGB-热融合框架，表明多模态输入可以在不同环境条件下提高缺陷检测的鲁棒性[20]。在涂层相关应用中，Lim等人将更快的R-CNN应用于融合的CbCr+IR图像进行腐蚀性剥落检测，与单模态输入相比显示出更好的定位性能[21]。虽然先前的研究表明，多模态数据可以通过结合表面纹理信息和对表层以下敏感的热特征有效提高缺陷检测效果。然而，大多数现有方法主要关注检测任务，对同时进行损伤分类和定量评估的考虑有限。此外，许多研究依赖于单独获取的数据集或离线融合过程，缺乏同步视觉和热成像采集的集成硬件系统。相比之下，所提出的方法专注于在一个便携式检测框架内集成同步的RGB和主动热成像感测，以适用于实际现场应用。
本研究旨在通过将主动热成像和视觉技术集成到一个便携式系统中，以提高涂层损伤检测性能。通过融合视觉（RGB）和IR图像，该系统提供的信息比单独使用任何一种模式都更加丰富，能够检测可见和不可见的损伤。这种融合最大限度地提高了检测和分类涂层损伤的准确性，显著改善了性能。所提出的钢桥自动化涂层损伤检测（CDI）系统带来了几个关键贡献：（1）通过结合主动热成像和视觉数据检测可见和不可见的涂层损伤；（2）通过多模态（RGB+IR）输入实现自动和即时涂层损伤分类和量化；（3）开发了针对现场应用优化的紧凑型便携式CDI系统；（4）通过在钢桥上的现场测试进行验证。所提出系统的有效性通过实验室规模和现场测试得到了验证。在所有测试中，RGB+IR数据的表现始终优于其他输入配置，证实了其在涂层检测方面的优越性。

本文的其余部分组织如下。第2章描述了便携式CDI系统的硬件。第3章介绍了CDI算法，包括图像融合、损伤分类和量化。第4章通过实验室实验和现场测试验证了所提出的便携式CDI系统的性能。第5章讨论了模型选择和量化改进策略，包括YOLO版本的比较和像素级损伤量化。最后，第6章总结了研究结果。

便携式涂层损伤检测系统硬件的开发
本章描述了所提出的便携式CDI系统的操作原理和配置。如图1所示，该系统集成了主动热成像和视觉系统，以实现原位检测可见和不可见的涂层损伤。在附着到检测表面后，CDI系统施加热量，并同时捕获红外（IR）和视觉（RGB）数据。然后，机载算法自动检测、分类和量化损伤。

涂层损伤检测算法的开发
基于从集成硬件系统获取的数据，开发了一种涂层损伤检测算法，用于检测、分类和量化各种涂层损伤。通过利用IR和视觉图像中的不同特征并将它们融合，该算法能够全面评估可见和不可见的损伤。以下部分详细描述了所提出的CDI算法的结构。

测试设置
图9展示了便携式CDI系统的实验设置。在图9(a)中，检测人员手动定位系统，展示了其紧凑的设计和现场适用性。在测量过程中使用磁性固定装置将系统牢固地固定在钢表面上，减少了操作者的负担并提高了测量稳定性。定位后，包括距离（250毫米）、检测时间（10秒）、灯操作时间（5秒）和检测区域等检测参数被设置。

YOLO模型比较
为了确定所提出的CDI系统的最佳YOLO模型，进行了跨YOLO版本（v5、v8、v11）的比较实验。选择YOLO v5是因为其在各种研究中的稳定性和广泛应用[31,32]。YOLOv8通过用C2f模块替换Cross Stage Partial Bottleneck，实现了显著的架构升级，同时保持了轻量级架构[33]。在此基础上，YOLOv11进一步进行了架构调整。

结论
本研究开发了一种便携式涂层损伤检测系统，用于钢结构的自动化涂层损伤检测。通过集成主动热成像和视觉技术，所提出的系统成功识别了可见和不可见的涂层损伤。具体来说，红外（IR）图像捕捉到卤素灯加热引起的温度模式，而视觉（RGB）图像提供了涂层表面特征。这些互补的特点被融合并用于检测。

作者贡献声明
Hyeonjin Kim：撰写——审稿与编辑、撰写——原始草稿、验证、方法论、调查、数据管理。
Hyung Jin Lim：撰写——原始草稿、方法论、数据管理。
Hoon Sohn：指导、项目管理、资金获取、概念化。
Jae-Gwon Jeong：调查、数据管理。
Soonkyu Hwang：撰写——审稿与编辑、可视化、验证、指导。

在撰写过程中使用生成式AI和AI辅助技术的声明
在准备这项工作期间，作者使用了ChatGPT进行写作校对。作者根据需要审查和编辑了输出内容，并对发表文章的内容承担全部责任。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢
本研究得到了韩国科学技术信息通信部的InnoCORE计划（编号N10260092）的支持，同时也得到了韩国基础设施技术促进机构（KAIA）的资助，该机构由韩国土地、基础设施和交通部资助（授予编号RS-2026-25527902）。

作者信息
Hyeonjin Kim | Hyung Jin Lim | Hoon Sohn | Jae-Gwon Jeong | Soonkyu Hwang
韩国科学技术院土木与环境工程系，大田