在单轴光伏支撑结构中,对腐蚀后的螺栓连接处进行自动化机器人检测和数字损伤绘制

《AUTOMATION IN CONSTRUCTION》:Automated robotic inspection and digital damage mapping of corroded bolted joints in single-axis photovoltaic support structures

【字体: 大 中 小 】 时间:2026年10月28日 来源:AUTOMATION IN CONSTRUCTION 12.6

编辑推荐:

  •一种移动机器人可在SAPV支架上获取近距离的螺栓图像。•SDA-YOLO能够在复杂的现场条件下检测到小螺栓和腐蚀现象。•MACRA方法将腐蚀掩模转换为面积比例、实际腐蚀面积和腐蚀等级。•组件级索引将局部腐蚀结果映射到全局损伤节点上。•现场测试验证了SAPV支架的自动化腐蚀检测功

  •一种移动机器人可在SAPV支架上获取近距离的螺栓图像。•SDA-YOLO能够在复杂的现场条件下检测到小螺栓和腐蚀现象。•MACRA方法将腐蚀掩模转换为面积比例、实际腐蚀面积和腐蚀等级。•组件级索引将局部腐蚀结果映射到全局损伤节点上。•现场测试验证了SAPV支架的自动化腐蚀检测功能。

1. 引言
随着安装的光伏容量的快速增长,许多光伏电站已进入长期运行和维护阶段[1]、[2]、[3]。在SAPV支架结构中,螺栓接头是连接立柱、横梁和其他构件的关键载荷传递节点,其状态直接影响模块稳定性和系统安全性。这些接头暴露在温湿度循环、降雨、风载等环境因素下,容易发生因腐蚀导致的截面减薄和预应力下降,进而可能导致接头松动、连接失效和局部安全隐患[4]、[5]、[6]。因此,定期检查和维护螺栓的腐蚀状况对于SAPV支架结构的持久运行至关重要。然而,目前的检测仍主要依赖于人工视觉检查,这种方法效率低下、主观性强、可追溯性差且在节点级定位方面不够精确。这难以满足大规模光伏设施对全面覆盖、定量分析和可追溯性维护的需求。因此,迫切需要结合腐蚀识别、定量评估和结构化定位的自动化检测方法。
基于深度学习的结构表面损伤识别方法已广泛应用于土木工程检测[7]、[8]、[9]、[10]、[11],能够自动识别裂缝、腐蚀和螺栓松动等缺陷。与依赖颜色阈值、纹理描述符和经验参数的传统图像处理方法不同,深度学习模型可以自适应地从复杂图像中提取层次化特征,将结构损伤识别从对象级检测提升到像素级分割。两阶段检测和分割方法通常具有较高的定位和区域识别准确性[12]、[13],而单阶段方法在推理速度、部署灵活性和实时响应方面具有优势[14]、[15]、[16]、[17],使其更适合配备边缘计算设备的移动机器人检测平台。作为代表性的单阶段框架,YOLO系列模型在效率和准确性之间取得了良好的平衡,已成为工程检测中实时视觉检测的重要基础[18]、[19]。基于视觉的螺栓缺陷检测也受到了越来越多的关注。Jiang等人[20]将螺栓检测分为对象分割和损伤分类,并在服役中的桥梁检测中验证了这一策略。He等人[21]提出了Bolt-YOLO,通过特征感知下采样和多尺度特征融合减少了小物体的信息丢失,从而提高了在复杂背景下的螺栓缺陷检测能力。这些研究表明了深度学习在自动化螺栓缺陷识别方面的潜力[22]。然而,SAPV支架结构中的螺栓接头更小且分布更密集,腐蚀区域往往具有较弱的纹理和不规则的颜色变化。此外,它们还受到遮挡、金属反射、阴影、成像角度偏差以及与目标区域相似的背景纹理的影响。尽管现有的通用检测模型可以实现对象级定位,但在SAPV螺栓腐蚀场景中仍存在小目标特征丢失、腐蚀边界不明确和虚假检测的问题,难以提供高质量的分割结果以用于后续的腐蚀量化和结构化损伤映射。
为了实际操作和维护,仅判断螺栓是否腐蚀不足以评估SAPV支架的结构状况;还需要腐蚀面积比例和损伤严重程度等定量指标。以往的研究探索了基于数字图像处理和深度学习的方法来进行腐蚀量化。Khayatazad等人[23]使用灰度共生矩阵和基于HSV的腐蚀颜色直方图来定位腐蚀区域并量化腐蚀面积。Vorobel等人[24]结合了HSV变换、Retinex预处理和自适应分割,以提高在复杂涂层颜色和不均匀照明条件下的腐蚀提取效果。然而,这些方法通常依赖于颜色阈值、纹理特征和经验参数,限制了其在光照变化、背景干扰和腐蚀形态不规则情况下的鲁棒性。最近的研究进一步整合了检测、分割和量化任务。Lao等人[25]结合了YOLOv5和PIPNet进行关键点检测,并利用透视变换和几何成像量化松动螺栓的状态。Tan等人[26]提出了DSNet,以实现对象检测和像素级分割的结合,用于识别腐蚀螺栓。Li等人[27]从钢桥螺栓图像中建立了腐蚀等级数据集,用于自动腐蚀识别和严重程度评估。这些研究为自动化腐蚀评估提供了重要基础。然而,大多数现有方法仍局限于局部二维图像分析,无法直接将量化结果与SAPV支架结构中的具体组件、螺栓接头或空间位置关联起来。这限制了它们在结构级状况评估和维护规划中的应用。因此,必须进一步将可靠的局部腐蚀量化与组件层次结构和节点位置联系起来,以支持SAPV支架结构的全局损伤映射。
为了从局部检测结果实现对整个结构的评估,以往的研究将二维缺陷信息与BIM、三维重建、SLAM或点云模型相结合,以实现空间损伤定位和全局可视化。例如,Zhang等人[28]将无人机图像作为纹理映射到BIM模型上,以改善建筑立面缺陷的可视化和管理。Ge等人[29]通过相机-LiDAR融合实现了损伤定位、定量分析和三维可视化。Zhou等人[30]利用RTK-GCP协同定位方法构建了基于缺陷的三维桥梁模型,实现了裂缝识别、量化和可视化。Wang等人[31]进一步将三维场景重建与迁移学习相结合,将基于二维图像的缺陷结果投影到三维结构场景上。这些研究表明,BIM映射、三维重建和多源感知融合可以将离散的缺陷信息嵌入到整体的结构模型中,在损伤定位、全局表示和辅助评估方面具有明显优势。然而,与表面相对连续的桥梁或建筑立面不同,SAPV支架结构是由立柱、横梁、连接板和众多螺栓接头组成的规则化组装系统。其螺栓和腐蚀区域较小且部分被遮挡,容易受到金属反射和复杂背景的影响,使得使用完整的三维模型或点云进行可靠表示变得困难。此外,完整的三维重建通常需要高度重叠的多视图图像和精细的后处理,这对大规模光伏电站的常规检测来说效率低且成本高。相反,SAPV支架结构具有清晰的组件层次结构、规则的空间布局和重复的拓扑关系。这些特点使得组件级索引更适合将局部腐蚀结果与整体支撑结构关联起来。因此,SAPV支架中的螺栓腐蚀检测需要一种轻量级的全球损伤定位和表示方法,避免完全的三维重建,而是利用规则的组件关系将局部检测结果转换为主观结构级别的信息,用于状况评估和维护规划。
为了实现组件级的损伤映射,局部图像不仅需要支持螺栓腐蚀的识别和量化,还需要可靠地与相应的组件类型、节点位置和检测顺序关联起来。因此,针对特定工程场景定制的智能检测平台成为整合图像采集、损伤识别和空间定位的关键工具。近年来,机器人技术越来越多地应用于光伏电站、钢结构和桥梁的运行和维护任务。例如,Kuo等人[32]使用热成像无人机进行大规模光伏电站的自动缺陷检测;Nguyen等人[33]开发了一种具有移动和过渡模式的机器人平台,用于复杂的钢桥表面;Lin等人[34]结合了轻量级机器学习和磁力攀爬机器人进行实时螺栓缺陷检测;Sarkis等人[35]提出了一种用于太阳能板清洁的混合无人机系统,表明混合机器人平台在光伏运维中的潜力。这些研究表明,智能检测平台可以提高数据采集效率、可访问性和操作连续性。然而,它们的适用性受结构形态、检测目标和作业模式的强烈限制。在SAPV支架结构中,组件细长且交错分布,螺栓接头密集,遮挡和金属反射现象明显。现有的通用平台往往难以同时实现大范围覆盖、近距离成像、节点级位置绑定以及自动识别和量化。对于螺栓腐蚀检测而言,如果图像采集不能与组件层次结构和节点位置同步,局部识别结果就无法转换为结构评估和维护规划所需的结构化信息。因此,需要一种结合螺栓腐蚀识别、细粒度量化和全局损伤映射的机器人检测方法。
为应对这些挑战,本研究提出了一种用于SAPV支架中螺栓腐蚀检测、量化和数字损伤映射的自动化机器人视觉框架。如图1所示,该框架使用本研究开发的移动检测机器人进行近距离螺栓图像采集。它还利用SAPV支架规则的组件布局、重复的螺栓分布和预定义的检测路径来建立组件级索引机制。通过这种方式,局部螺栓图像可以与组件类型、节点位置和检测顺序关联起来。随后,基于SDA-YOLO的模型被开发出来,用于在复杂背景和局部遮挡条件下检测和分割小螺栓和腐蚀区域。接着,MACRA方法根据分割后的螺栓和腐蚀区域量化腐蚀面积比例、实际腐蚀面积和损伤等级。最后,腐蚀属性、定量指标、损伤等级和节点位置被映射到整个支撑结构上,生成用于状况评估和运行维护规划的数字损伤图。

2. 本文的主要贡献如下:
(1) 提出了一种用于SAPV支架中螺栓腐蚀检测的自动化机器人视觉框架,集成了图像采集、腐蚀识别、定量评估和数字损伤映射功能。
(2) 为了提高在复杂现场背景下的检测和分割能力,开发了基于SDA-YOLO的模型,用于检测和分割小螺栓和腐蚀区域。
(3) 基于分割后的螺栓和腐蚀区域,MACRA方法将像素级掩模转换为腐蚀面积比例、实际腐蚀面积和腐蚀等级。
(4) 组件级索引和全局映射策略将局部腐蚀结果与组件类型、节点位置和损伤属性关联起来,实现了结构级的定位和可视化。

本文的其余部分组织如下:第2节介绍整体方法论;第3节描述SDA-YOLO检测和分割模型以及基于MACRA的腐蚀量化方法;第4节介绍组件级索引和全局损伤映射;第5节详细说明移动检测机器人和图像采集过程;第6节介绍现场验证;第7节总结全文。

3. 本文提出的方法框架
本研究建立了SAPV支架中螺栓腐蚀检测、量化和定位的集成技术流程,如图2所示。

该工作流程整合了移动检测机器人、SDA-YOLO螺栓腐蚀检测网络、MACRA腐蚀量化方法和组件级全局损伤映射策略,旨在将局部腐蚀识别结果转换为定量、空间可追溯和结构化的信息,以便进行运行和维护。所提出的方法包括三个阶段:数据采集、腐蚀识别和量化以及全局损伤映射。首先,移动机器人根据立柱、横梁的布局进行光伏支撑阵列的检测,并按照组件级采集路径进行拍摄。安装在机器人手臂上的工业相机和照明设备在预设的螺栓节点处获取高分辨率图像,同时记录支撑区域、组件类型、节点位置和图像ID。采集的图像随后通过SDA-YOLO进行处理,以在像素级别识别和分割螺栓目标、有效螺栓区域和腐蚀区域。接着,MACRA通过候选提取、连接组件聚合、区域校正和面积统计进一步完善初始腐蚀掩模,从而计算腐蚀面积比例、实际腐蚀面积和腐蚀等级。最后,通过组件级索引将检测和量化结果与全局支撑区域、局部分区、组件类型和局部网格位置关联起来,生成用于腐蚀评估和运行维护规划的全局损伤节点和损伤分布图。随后,MACRA方法对腐蚀区域进行了细化、量化和分类,为组件级别的定位和数字损伤映射提供了可靠的定量输入。3.1. 螺栓腐蚀检测网络的改进SAPV支撑结构的现场检查图像中通常包含小的螺栓目标、复杂的背景、局部遮挡和照明干扰,这些都对检测准确性、分割质量和边缘推理效率提出了挑战。为了解决这些问题,本研究开发了SDA-YOLO作为螺栓定位和腐蚀提取的检测和分割模型。该模型基于YOLO26构建,共享了用于多尺度特征提取和融合的Backbone和Neck。检测分支预测螺栓的位置、类别和置信度,而分割分支生成有效的螺栓和腐蚀区域的像素级掩码。这种设计减少了冗余计算,并支持在机器人检查平台上进行在线腐蚀识别、定量评估和数字损伤映射。3.1.1. 基于YOLO26的网络YOLO系列模型在检测速度和识别精度之间实现了良好的平衡,使其非常适合在机器人和无人机等机器人检查平台上进行实时螺栓腐蚀检测[36]。在本研究中,选择YOLO26作为基准网络。其架构包括三个主要组成部分:Backbone、Neck和Head。Backbone从输入图像中提取多级语义特征,Neck融合和转移不同尺度的特征,Head输出检测结果,包括对象位置、类别和置信度。与传统的YOLO模型相比,YOLO26针对端到端推理和轻量级部署进行了进一步优化。通过采用无DLF的回归设计,并结合ProgLoss、STAL和MuSGD等训练策略,它在检测效率、模型收敛性和部署适应性方面取得了强大的整体性能。然而,直接将YOLO26应用于SAPV支撑结构中的螺栓腐蚀检测仍然存在局限性。在现场检查图像中,螺栓通常很小,分布密集,并与柱子、轴颈、檩条和连接板等金属部件交错。背景纹理与螺栓边界之间的相似性可能会减弱目标响应并导致边界模糊。此外,近距离图像采集容易受到局部遮挡、金属反射、阴影变化和成像角度偏差的影响。早期腐蚀通常表现为轻微的颜色变化或弱纹理斑块。在YOLO26的原始下采样和多尺度融合过程中,这些浅层细节和微妙的腐蚀特征可能会逐渐减弱,导致小目标的遗漏检测、腐蚀分割不准确、定位偏差和边界不完整。因此,单独使用原始的YOLO26在这种情况下不足以进行小目标检测、弱纹理表示和像素级分割。需要进行有针对性的结构改进,以减少遗漏和错误检测,并提高腐蚀区域分割的稳定性和精度。3.1.2. SDA-YOLO的改进为了解决这些局限性,本研究基于YOLO26开发了SDA-YOLO,如图3所示(见图4、图5)。所提出的网络引入了SPD-Conv以保留小目标和腐蚀细节,采用了C3k2-DBB在复杂背景下增强特征表示,并结合了带有P2检测层的ASFFHead以加强多尺度融合和小目标响应。这些改进提高了螺栓定位和腐蚀分割的稳定性。(1)SPD-Conv模块。下载:下载高分辨率图像(193KB)下载:下载全尺寸图像图4. SPD-Conv模块的框架结构。下载:下载高分辨率图像(608KB)下载:下载全尺寸图像图5. C3k2-DBB模块的框架结构。下载:下载高分辨率图像(386KB)下载:下载全尺寸图像图3. 提出的SDA-YOLO网络的结构。SAPV支撑结构中的螺栓通常很小,而早期腐蚀通常表现为弱纹理或轻微的颜色变化。传统的步长卷积或池化可以扩大感受野并增强语义表示,但它们会降低特征图的分辨率,并可能削弱小目标边界和细粒度的腐蚀细节。为了解决这个问题,引入了SPD-Conv模块来替代原始的下采样操作[37]。SPD-Conv由空间到深度的转换层和非步长卷积层组成,它将局部空间信息重新排列到通道维度,同时保留下采样效果,从而在特征压缩过程中减少细节损失[38]。对于输入特征图?? ∈???×??×??in,标准卷积可以表示为:(1)????=??????∑??=1????,???????+????,其中?表示卷积操作;????和????分别代表第??个输入通道和第??个输出通道;????,??和????表示卷积核权重和偏置项。传统的下采样通过步长卷积或池化直接减小特征图的大小,这可以实现特征压缩,但不可避免地会丢弃部分空间和局部细节信息。相比之下,SPD转换通过空间重新排列将局部邻域信息从空间维度映射到通道维度。给定一个下采样因子??,对于任何??,?? ∈{0,1,…,???1},SPD转换可以表示为:(2)??′(??,??)=?????(????+??,????+??),其中??′是重新排列的通道索引,定义为??′ =(???1)???2 +???? +?? +1。经过SPD转换后,输入特征图从其原始的空间尺寸?? ×??重建为具有增加的通道尺寸的较小空间尺寸,即??′ ∈?????×????×??in???2。然后对重新排列的特征图??′应用步长为1的标准卷积,其输出可以表示为:(3)????=?????????2∑??′=1??′??,??′???′??′+??′??,其中??′??,??′和??′??分别表示作用在重新排列的特征图上的卷积核权重和偏置项。SPD-Conv的最终输出特征图的大小为???? ×???? ×??out。与传统的步长卷积或池化不同,SPD-Conv在下采样过程中不会直接丢弃空间位置。相反,它首先将局部空间细节转换到通道维度,然后通过非步长卷积进行特征提取。这种结构在保持特征压缩的同时保留了更多细粒度的空间信息,从而增强了对小螺栓边界、局部腐蚀纹理和弱缺陷区域的表示。 (2)C3k2-DBB模块。为了在复杂背景下增强小螺栓目标、弱腐蚀纹理和局部边界特征的提取,引入了C3k2-DBB模块。尽管原始的C3k2结构提供了轻量级的特征聚合,但其单个卷积路径在表示SAPV支撑检查图像中的多尺度和不规则特征方面能力有限,因为螺栓经常与金属部件、连接板和反射区域混合。因此,在C3k2的局部卷积单元中嵌入了一个多样化的分支块(DBB),以在训练期间加强特征学习,并在部署期间通过结构重新参数化保持高推理效率[39]。DBB模块包括多个并行分支,包括一个标准的3×3卷积分支、一个1×1卷积分支、一个1×1–3×3复合卷积分支和一个恒等映射分支。这些分支从不同的感受野和映射路径中提取特征响应,从而提高了螺栓边界、腐蚀纹理和背景干扰的区分能力。多分支融合的输出可以表示为:(4)??DBB=??∑??=1????(??),其中??表示输入特征图,?????(·)表示第??个分支的特征映射操作,??是分支的数量,??DBB是融合后的多分支输出。通过多分支特征学习,DBB在训练期间引入了更丰富的局部表示,使网络能够更好地区分螺栓边缘、腐蚀纹理和背景干扰。在DBB嵌入到C3k2结构之后,输入特征首先沿通道维度被分割。一部分被保留为快捷路径,另一部分被输入到基于DBB的局部特征提取单元。然后这两个部分沿通道维度连接并通过卷积层融合。这个过程可以表示为:(5)??C3k2-DBB=???(Conv?(Concat?(??1,???(??2)))),其中??1和??2表示通道分割后的两个特征部分,??2(·)表示基于DBB的局部特征提取单元,Concat?(·)表示通道级连接,Conv?(·)表示卷积融合,???(·)表示激活函数。为了平衡特征表示和边缘推理效率,可以通过结构重新参数化将DBB折叠成一个单一的卷积分支。等效的卷积可以表示为:(6)??DBB=??eq???+??eq,其中??eq和??eq分别表示从多分支结构转换得到的等效卷积核和偏置,?表示卷积操作。通过结构重新参数化,C3k2-DBB在训练期间通过多分支表示增强了特征学习,同时在推理期间保持接近单分支卷积的计算形式,从而平衡了特征表示和部署效率[40]。对于SAPV支撑结构中的螺栓腐蚀检测,该模块更有效地提取了包括螺栓边缘、局部纹理和早期腐蚀线索在内的判别信息,提高了模型在金属反射、阴影变化和复杂背景下的鲁棒性,以及小螺栓识别和腐蚀分割的稳定性。 (3)ASFFHead模块。在螺栓腐蚀检测和分割中,不同尺度的特征对螺栓主体、边界和腐蚀区域的响应不同。固定的融合策略难以同时满足小目标定位和细粒度腐蚀分割的要求。尽管FPN-PAN通过预定义的特征融合改善了多尺度检测,但在密集的小目标和弱纹理腐蚀场景中可能会出现语义不一致和空间响应冲突。因此,如图6所示,将ASFF模块引入到Head中,通过空间自适应加权动态融合多尺度特征[41],[42]。下载:下载高分辨率图像(144KB)下载:下载全尺寸图像图6. ASFF模块的框架结构。设三个输入特征图分别为??1、??2和??3。在它们的空间分辨率对齐后,ASFF自适应地学习不同尺度特征在每个空间位置的融合权重。融合输出可以表示为:(7)??????????2(??,??)=??12(??,??)3??12(??,??)+??22(??,??)3??22(??,??)+??32(??,??)3??32(??,??),其中??ASFF2(??,??)表示位置(??,??)处的融合特征;??12(??,??)、??22(??,??)和??32(??,??)表示分辨率对齐后不同尺度的输入特征;??12(??,??)、??22(??,??)和??32(??,??)是相应尺度的自适应权重,满足??12(??,??) +??22(??,??) +??32(??,??) =1。通过应用Softmax归一化获得不同尺度的权重,以学习可响应:(8)???2(??,??)=exp?(???2(??,??))∑3??=1exp?(???2(??,??)),??=1,2,3,其中???2(??,??)表示位置(??,??)处第?个尺度特征的可学习响应。通过这种自适应加权机制,ASFFHead可以在不同空间位置动态选择更有效的尺度特征,并抑制由多尺度特征冲突引起的无效响应。对于SAPV支撑结构中的螺栓腐蚀检测,该模块增强了对小螺栓、模糊腐蚀边界和尺度变化目标的响应,从而在复杂背景下提高了检测和分割的准确性。3.1.3. SDA-YOLO的性能评估 (1)数据集和评估指标。为了验证所提出的SDA-YOLO模型的有效性,构建了一个螺栓腐蚀图像数据集。该数据集包括公开的在线图像和从实际SAPV支撑检查场景收集的图像,如图7所示。它涵盖了多样的成像条件,包括背景光、低照明、金属反射、污渍干扰、局部遮挡和复杂的组件背景。在去除低质量样本、数据增强和注释细化之后,获得了7869张螺栓图像,并按8:1:1的比例分为训练集、验证集和测试集。为了确保模型训练和比较实验的一致性,所有图像都使用了统一的预处理流程,并被中心裁剪和调整为640×640像素。下载:下载高分辨率图像(280KB)下载:下载全尺寸图像图7. 螺栓腐蚀数据集:(a)训练;(b)带真实值的验证。模型性能使用精确度(Precision)、召回率(Recall)、F1分数(F1-score)、IoU(IoU)、AP(Area under the Precision-Recall curve)和mAP(mean AP)进行评估。精确度衡量正确识别的样本在所有预测阳性样本中的比例,而召回率表示正确检测到的真实目标的比例。F1分数提供了精确度和召回率的平衡度量。上述指标定义如下:(9)??=????????+???? (10)??=????????+???? (11)????1=2??×????+?? (12)????=∫10??2(??)???? (13)??????=????????+????+????,其中TP、FP和FN分别表示真阳性、假阳性和假阴性。AP是精确度-召回率曲线下的面积,mAP是所有类别的平均AP,IoU是交并比。 (2)模型性能评估。SDA-YOLO使用预训练的YOLO26n-seg权重进行初始化,每次训练运行大约需要23.5小时。为了确保公平比较,所有模型使用相同的数据集分割、输入大小、训练参数和评估指标。每个模型训练了三次,报告的结果是三次独立运行的平均值。实验环境和训练设置在表1中列出,表中未指定的所有参数保持其默认值。表1. 实验环境和训练参数。环境项目版本参数值OSWindows 11输入大小640×640Python 3.10批量大小16CUDA 12.1优化器AdamCPU Intel Ultra 9285 KMomentum 0.9RAM 64 GB学习率0.0001GPU RTX 5070Ti 16 GB耐心50在比较实验中,选择了包括U-Net++、DeepLabv3+和SegFormer在内的经典分割模型作为基准。不同网络的训练结果在表2中呈现。所有模型使用相同的数据集分割和评估指标以确保可比性。结果显示,SDA-YOLO在复杂背景下实现了更优越的腐蚀区域区分和整体分割稳定性。表2. 与其他标准网络的比较(%)。网络结构PRF1IoU U-Net++ 84.74 77.23 80.81 67.80 DeepLabv3+ 85.91 78.29 81.92 69.38 SegFormer 86.83 80.17 83.37 71.49 Mask2Former 87.46 80.84 84.02 72.45 YOLO26n-seg 86.24 78.48 82.18 69.76 SDA-YOLO 89.12 80.72 84.71 73.48为了进一步评估每个模块的贡献,通过逐步将提出的改进引入SDA-YOLO进行了消融实验。整个消融实验大约需要220小时,结果在表3中报告。与原始模型相比,SDA-YOLO 的精确度提高了 2.88%,F1 分数提高了 2.53%,这表明所提出的改进有效地增强了小螺栓目标和局部腐蚀区域的特征表示。表 3 显示了 SDA-YOLO 的消融实验结果(%)。设计与部署检验平台
该检验平台作为自动化螺栓腐蚀检测系统的现场执行单元,旨在沿支撑阵列进行移动检查、对准螺栓节点、获取近距离图像并执行边缘数据流程处理。如图11所示,硬件系统由移动底盘、差速驱动模块、多自由度机械臂、近距离成像模块、防撞雷达、边缘计算单元和数据传输模块组成。整体设计注重轻量化配置、稳定移动性、近距离成像、安全避障以及实时处理能力,适用于具有交错组件、分散螺栓节点、严重遮挡和小目标尺度的复杂SAPV支撑结构检测场景。

下载:下载高分辨率图片(607KB)
下载:下载全尺寸图片
图11. 移动检验平台的硬件配置。

移动底盘采用组装结构,结合了模块化钣金部件和3D打印部件。主体由坚固的ABS工程塑料制成,关键承重位置配备铝合金加固件,以平衡结构刚性和轻量化设计。整车重量控制在5.0公斤以内,降低移动过程中的功耗和启停惯性,同时为机械臂、成像系统和边缘计算模块预留足够承载能力。移动单元采用四轮差速驱动配置,底盘四个角装有高摩擦橡胶驱动轮,每个轮子由310直流电机直接驱动。底盘控制单元基于STM32F407VET6控制器,通过调整左右驱动轮的速度差实现前进、后退、原地旋转和曲线行驶,满足沿支撑阵列移动和靠近采集点进行局部对准的需求。

为描述机器人沿支撑阵列移动的轨迹约束关系,设??表示沿支撑结构主方向的检测轨迹参数,??Γ?(??)表示参考路径点,??Γ?(??)表示路径法向量,??表示垂直单位向量,????和???分别表示机器人相对于参考路径的横向和高度偏移量。则移动底盘在全球坐标系中的位置可表示为:
(26)
???????(??) = [?????(?????(??))?????(??) + ??????????(??) + ??????]
其中???????(??)表示从机器人底盘坐标系??到全球坐标系??的齐次变换矩阵,?????(?????(??))表示底盘沿检测路径的转向旋转矩阵,???????Γ?(??)和??????分别限制机器人与支撑结构之间的横向安全距离和相对高度。此公式将移动底盘限制在支撑阵列附近的有效检测范围内,为后续的螺栓节点近距离观察提供稳定移动基础。

机械臂和成像模块用于局部对准和螺栓节点的近距离观察。平台采用六自由度数字伺服机械臂,其底座牢固安装在车辆平台中心。通过数字伺服驱动,关节可调节相机姿态和工作距离(通过升降、伸展、俯仰和旋转),适应在不同高度、方向和遮挡条件下的图像采集需求。设六自由度机械臂的关节变量为?? =[??1,??2,…,??6]??,??和??分别表示末端执行器坐标系和相机坐标系。则相机在全球坐标系??中的位置可表示为:
(27)
???????(??,??) = ???????(??)????????(??)???????
其中???????(??,??)表示从相机坐标系??到全球坐标系??的齐次变换矩阵;???????(??)表示从机器人底盘坐标系??到??的姿态变换;???????(??)表示由机械臂关节变量??确定的末端执行器姿态;??????表示从末端执行器到相机的固定安装变换。此公式表明最终相机姿态由底盘检测位置??和机械臂配置??共同决定。底盘将平台靠近目标组件,机械臂精细调节相机方向和工作距离。为确保螺栓节点的成像质量,末端相机姿态需满足距离和视角约束。设????表示第??个螺栓节点的中心,????表示其表面法向量,?????(??,??)表示相机光心,????表示光轴方向。近距离成像约束可表示为:
(28)
|????????| ≤ ∥?????(??,??) ? ????∥2 ≤ ????????, |???????????| ≥ ?????????
其中??min和??max分别表示允许的最小和最大成像距离,??表示最大允许的视角偏差。通过底盘轨迹约束和机械臂的多自由度调整,检验平台可适应不同组件高度、螺栓方向和局部遮挡条件,从而获取稳定的近距离成像视图。

近距离成像模块包括Hikvision MV-CS120-10UC工业相机和自适应LED环形照明设备。相机配备16毫米定焦镜头,光圈F/2.8,最大分辨率4024×3036像素。采集时配置1024×1024像素感兴趣区域(ROI),以捕捉螺栓节点的高分辨率局部图像。照明设备可在光照变化、局部阴影和金属反射条件下提升成像质量。

为确保连续的现场采集、在线分析、安全避障和数据管理,平台集成NVIDIA Jetson Xavier NX边缘计算单元、128GB固态硬盘、防撞雷达和数据传输模块。边缘计算单元部署螺栓腐蚀检测模型、执行图像推理并存储检测结果;防撞雷达感知周围障碍物和组件边界,提供安全距离约束;数据传输模块支持远程控制、状态反馈和结果上传。

5.2. 自动化腐蚀检测系统集成
为实现螺栓腐蚀检测结果的自动化输出,将移动检验平台、图像采集与传输模块、SDA-YOLO检测与分割模型、MACRA腐蚀量化方法及组件级定位索引集成到统一检测系统中,如图12所示。系统分为五个阶段:全局区域检测、组件级局部检测、图像采集与传输、智能分析以及结果输出,实现从现场图像采集到腐蚀状况评估的自动化处理。

下载:下载高分辨率图片(869KB)
下载:下载全尺寸图片
图12. 自动化螺栓腐蚀检测系统的集成工作流程。

机器人首先根据SAPV支撑结构的重复跨度单元和组件布局进行全局区域检测,快速覆盖目标检测区域。随后在目标组件附近进行组件级局部检测,机械臂调整相机姿态和工作距离,获取柱子、吊杆和连接节点处螺栓的近距离图像。采集的图像传输到边缘计算单元后,由SDA-YOLO分割有效螺栓区域和腐蚀区域,进而通过MACRA计算腐蚀面积比例、实际腐蚀面积和腐蚀等级。系统界面显示原始图像、有效螺栓区域、腐蚀分割结果、提取的腐蚀掩膜、空间分辨率、面积比例和等级分类。同时,检测结果与图像ID、组件ID和节点位置关联,形成用于组件级损伤记录和全局损伤绘制的结构化数据。这样,腐蚀识别、分割、量化和定位在移动检验平台上统一部署,形成从局部图像检测到支撑结构全局损伤表示的闭环数据流。

6. 现场测试与实施
6.1. 现场设计与测试策略
在一组SAPV支撑结构上进行了现场检测测试,如图13所示。被测试的支撑系统总跨度约为50.7米,宽度约为5米,包含三个支撑单元。

下载:下载高分辨率图片(848KB)
下载:下载全尺寸图片
图13. 现场测试的SAPV支撑结构。

经过长期使用,发现多个连接节点处的螺栓出现明显腐蚀,某些局部区域腐蚀分布较密集,对结构安全构成潜在风险。由于SAPV支撑结构中的纵向和横向组件交错排列、节点分散以及局部遮挡,部分螺栓难以直观观察。传统人工检测难以同时实现高效、全覆盖和精确位置记录。因此,采用移动检测机器人进行近距离图像采集和现场测试,验证所提出方法在实际支撑场景中的适用性。

测试前先对检测区域进行勘察,并根据支撑布局、组件类型和目标螺栓节点分布,在机器人控制终端规划检测路径。测试过程中,机器人沿预定路径移动至目标检测区域,机械臂调整工业相机的空间位置和成像姿态,获取柱子、吊杆和连接节点处螺栓的近距离图像。为确保螺栓边界、表面纹理和腐蚀区域的足够分辨率,成像距离控制在1至2米范围内。现场图像采集由移动机器人、机械臂和Hikvision工业相机共同完成,分辨率为1024×1024像素。数据采集过程如图14所示。

下载:下载高分辨率图片(527KB)
下载:下载全尺寸图片
图14. 现场测试中的数据采集过程。

此次测试共收集893张螺栓图像,并无线传输至地面站。采集的图像及其对应位置信息用于后续腐蚀识别、面积量化和全局损伤绘制。

6.2. 螺栓损伤定位
将现场图像输入自动化螺栓检测系统后,获得203张包含腐蚀螺栓的有效图像。根据SDA-YOLO的腐蚀识别结果和MACRA的面积量化结果,系统输出每根螺栓的腐蚀面积比例、实际腐蚀面积和腐蚀等级。结果进一步与现场组件ID和节点位置关联,生成可追溯的结构化损伤节点代码。这些代码与上述定义的组件级位置索引一致,包含全局支撑区域、二维局部分区、组件类型和局部网格位置。例如,吊杆连接节点处的腐蚀螺栓可表示为Z1-Ω03-Spindle-G10,而吊杆连接节点处的腐蚀螺栓可表示为Z1-Ω07-Purlin-H12。其中Z1表示全局支撑区域,Ω03和Ω07表示局部分区,Spindle和Purlin表示组件类型,G10和H12表示螺栓在局部网格中的行列位置。这样,来自局部图像的腐蚀识别结果可直接映射到支撑结构中的特定组件和节点位置。

根据ISO 4628-3和ASTM D610中的螺栓表面腐蚀演变特性和基于可见腐蚀区域的评估标准,对现场螺栓腐蚀状态进行分类。根据全局损伤映射结果,该SAPV支撑结构中的腐蚀螺栓主要集中在两个区域:吊杆连接节点和吊杆连接节点。不同腐蚀等级通过颜色编码映射到全局损伤图中,便于区分损伤严重程度。第1部分和第2部分中的部分吊杆连接节点显示出较高的腐蚀面积比例,被认定为关键节点,这些连接区域可能需要优先重新检查、维护或更换;其余区域多数仅出现轻微腐蚀,可纳入后续定期监测。

最终的全球损伤图和检测报告如图15所示。高风险螺栓以红色标出,其全局位置、组件ID、组件类型、腐蚀面积比例、实际腐蚀面积和腐蚀等级均包含在输出结果中。结果表明,所提出方法能够实现螺栓腐蚀的细致识别和量化描述,将基于局部图像的缺陷转化为结构级的全球损伤信息,为SAPV支撑结构的运营和维护规划提供视觉支持。

下载:下载高分辨率图片(426KB)
下载:下载全尺寸图片
图15. 现场检测结果和生成的报告。

6.3. 手动验证与效率比较
为进一步验证现场应用结果的可靠性,选择了六根具有代表性的腐蚀螺栓进行手动验证。将所提出方法得到的实际腐蚀面积、腐蚀面积比例和等级分类与手动参考结果进行比较。手动验证结合软件辅助标注和人工细化完成。有效螺栓区域首先被用来限定分析范围,之后在像素级别手动修正可见的腐蚀边界,以生成真实的腐蚀掩膜。基于这些掩膜和已知的螺栓规格,计算出实际的腐蚀面积和面积比例。比较结果使用相对误差和平均相对误差来评估,如表4所示。

表4. 代表性现场螺栓的腐蚀面积量化比较。
| 编号 | 建议面积(mm2) | 建议比例(%) | 手动面积(mm2) | 手动比例(%) | 手动等级 | RE(%) |
| ---- | ------ | -------- | ------------ | -------- | ------- | ------ |
| 1Z2-Ω06-Purlin-H12 | 139.44 | 23.24 | III | 128.84 | 21.47 | III |
| 3Z1-Ω03-Spindle-G10 | 40.13 | 6.69 | II | 45.27 | 7.55 | II |
| 3Z3-Ω08-Purlin-K13 | 233.69 | 38.95 | IV | 218.73 | 36.46 | IV |
| 4Z1-Ω07-Purlin-J09 | 111.40 | 18.57 | III | 106.38 | 17.73 | III |
| 5Z3-Ω02-Pillar-F08 | 16.01 | 2.67 | I | 17.39 | 2.90 | I |
| 6Z2-Ω04-Spindle-E11 | 336.37 | 56.06 | IV | 385.92 | 64.32 | IV |
| 7Z3-Ω08-Purlin-K13 | 12.84 | 8.65 | MRE | // | // | // |

结果表明,所提出方法得到的腐蚀面积比例、实际腐蚀面积和等级分类与手动验证结果基本一致,六个代表性样本的平均相对误差为8.65%。对于腐蚀区域连续、边界清晰且背景干扰有限的样本,计算结果与手动标注非常接近。对于受到分散腐蚀斑块、颜色过渡模糊、阴影或金属反射影响的样本,面积量化会出现一定偏差,但总体误差仍在可接受范围内。这些结果表明,SDA-YOLO和MACRA的结合可以可靠地支持SAPV支撑螺栓的腐蚀提取、面积计算和等级分类。

在检测效率方面,传统的人工检测需要逐点观察、图像捕捉、记录保存和后期处理。在拥有众多螺栓和重复组件的SAPV支撑结构中,位置识别和结果汇总特别耗时。对于涉及大约50.7米×5米的支撑系统的本次检测任务,人工检测和结果整理大约需要20小时。相比之下,所提出的方法使用移动检测机器人完成了近距离图像采集,并在大约3小时内自动进行了腐蚀识别、面积量化、等级分类和组件级映射。因此,该方法减少了人工工作量,同时生成了可量化、可定位和可追溯的损伤信息,从而实现了高效的螺栓腐蚀检测。

7. 结论

本研究提出了一个自动化机器人视觉框架,用于SAPV支撑结构中的螺栓腐蚀检测、量化和数字损伤映射。该框架整合了移动机器人图像采集、基于SDA-YOLO的腐蚀检测、基于MACRA的腐蚀量化和组件级损伤映射功能。局部图像结果被转化为包含腐蚀属性、组件关联和空间位置的结构化损伤节点,为状况评估和运营维护规划提供了支持。主要结论如下:
(1) 开发了一个用于SAPV支撑结构螺栓腐蚀检测的移动机器人检测平台。该平台集成了移动底盘、多自由度机械臂、工业相机、照明设备、边缘计算单元、数据传输模块和防碰撞雷达,能够进行支撑阵列检测、螺栓节点对齐和近距离高分辨率图像采集,为现场腐蚀检测和定量分析提供稳定的数据基础。
(2) 开发了一种基于SDA-YOLO的螺栓腐蚀检测和分割模型。为了解决现场图像中小螺栓目标、复杂背景、金属反射、局部遮挡和腐蚀边界模糊的问题,引入了SPD-Conv、C3k2-DBB和自适应ASFF检测头,以增强小目标特征保留、多尺度特征融合和腐蚀区域表示能力。与原始模型相比,SDA-YOLO的分割精度提高了2.88%,F1分数提高了2.53%,表明在复杂的SAPV检测场景中具有更好的鲁棒性。
(3) 开发了一种基于MACRA的螺栓腐蚀量化方法,将像素级分割结果转换为工程评估指标。该方法基于SDA-YOLO的输出,执行腐蚀候选体提取、连接组件聚合、掩膜细化、面积比例计算、实际腐蚀面积估计和等级分类。所获得的腐蚀面积比例、实际腐蚀面积和腐蚀等级提高了螺栓腐蚀检测结果的可解释性和可比性。
(4) 为SAPV支撑结构建立了组件级索引和数字损伤映射方法。利用规则的组件布局、重复的支撑单元和相对固定的螺栓节点分布,每个螺栓都与其支撑区域、局部分区、组件类型和节点位置相关联。腐蚀面积比例、实际腐蚀面积和损伤等级进一步映射到相应的位置索引,形成了可追溯的全局损伤节点。这使得能够进行损伤统计、关键组件筛选和腐蚀分布的数字可视化。

尽管所提出的方法实现了SAPV支撑结构中螺栓腐蚀的自动化检测、量化和定位,但仍存在一些局限性。腐蚀等级主要基于可见的二维腐蚀面积比例来确定,没有考虑腐蚀深度、材料损失或承载能力下降。此外,组件级索引方法主要适用于规则的SAPV支撑结构,其在较大安装偏差、严重遮挡和复杂结构布局下的鲁棒性需要进一步验证。未来的工作将整合多源感知、三维重建和机械性能评估,以提高机器人螺栓腐蚀检测在复杂现场环境中的可靠性、定位准确性和工程评估能力。

作者贡献声明:
Haiyun Li:撰写——初始草案、方法论、数据整理
Yu Chen:撰写——审核与编辑、软件
Shuhan Kong:撰写——审核与编辑、数据整理
Junwen Zheng:软件、数据整理
Haowen Jia:撰写——审核与编辑、监督
Jinghuan Zhang:监督、项目管理、调查
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号