一种基于在线修复技术的风力涡轮机叶片图像拼接改进方法

《COMPUTERS IN INDUSTRY》：An improved image stitching method for blades of wind turbine based on online repair technology

针对风力涡轮机叶片裂纹在线检测中图像拼接存在的特征点检测困难、匹配率低及配准精度不足等问题，提出基于改进加速KAZE（AKAZE）算法的图像拼接方法。通过构建非线性尺度空间增强特征点检测能力，采用二进制鲁棒不变可缩放特征点描述符提高描述符区分度。结合网格运动统计算法预匹配特征点，利用随机样本一致性（RANSAC）算法优化匹配结果并计算图像变换模型。最后采用加权融合算法处理重叠区域，实现高分辨率裂纹图像拼接。实验表明，该方法在特征点数量、匹配准确率、光照鲁棒性和拼接质量等方面均优于传统方法。

　　

高伟伟|崔晨阳|刘新天|杨浩|张海峰|方宇

上海工程技术大学机械与汽车工程学院，中国上海201620

摘要

当使用机器视觉技术对风力涡轮机叶片进行在线缺陷检测时，现有的图像拼接方法在检测图像特征、正确匹配率和准确配准图像方面存在困难。因此，本文提出了一种适用于风力涡轮机叶片在线修复机器人平台的图像拼接方法，该方法基于改进的加速KAZE（AKAZE）算法。利用AKAZE算法检测风力涡轮机叶片裂纹图像的特征点，并使用二值鲁棒不变可扩展关键点描述符对其进行描述。采用基于网格的运动统计算法进行特征预匹配，然后使用随机样本一致性算法优化特征匹配结果并计算图像变换模型。通过加权融合算法合并图像的重叠区域，以获得高分辨率且完整的风力涡轮机叶片裂纹图像。在裂纹风力涡轮机叶片图像上验证了所提出方法的拼接效果，并与其他算法在特征点检测、正确匹配率、拼接质量和效率方面进行了比较。实验结果表明，所提出的方法能够有效实现高分辨率的风力涡轮机叶片裂纹图像拼接。因此，改进的AKAZE图像拼接方法可以支持基于在线修复技术的风力涡轮机叶片修复机器人的大修任务。

引言

风力涡轮机能够捕获并将风能转换为电能（Li等人，2024年；Yucesan和Viana，2021年）。作为发电机的核心部件，风力涡轮机叶片由于长期暴露而容易受到大面积损伤，如涂层裂纹和裂纹（Wang和Zhang，2017年；Wang等人，2022a年；Kaewniam等人，2022年）。这严重影响了风力涡轮机的性能和发电效率（Katsaprakakis等人，2021年；Guo等人，2021年；Liao等人，2022年；Márquez和Chacón，2020年）。近年来，基于配备机器视觉的无人驾驶飞行器（UAV）的在线无损检测方法已被广泛研究和应用于风力涡轮机叶片（Ren等人，2022年；Liao等人，2020年；Poozesh等人，2017年；Poozesh等人，2020年；Zhang等人，2020年；Ma等人，2016年；Peng等人，2022年）。然而，相机视野的限制和大面积裂纹损伤使得难以用单张图像完全覆盖整个裂纹，从而增加了叶片精确大修的复杂性。

图像拼接是一种将具有重叠区域的多个局部图像拼接成全景图像的图像处理技术（Wang和Yang，2020年；Zhang等人，2022年）。图像拼接包括两个步骤：图像配准和融合，其中图像配准决定了拼接的质量。基于灰度级、变换域和特征点的图像配准方法是三种不同的方法。基于特征点的图像配准方法已应用于许多领域，包括农业（Liu等人，2022年；Zhang等人，2018年）、地理映射（Wang等人，2020年；Colorado等人，2015年）、水下测量（Chen等人，2022年；Yang等人，2020年）和桥梁检测（Liu等人，2020年；Won等人，2021年），因为它们具有较高的计算速度和良好的鲁棒性。图像配准是通过检测图像特征点、根据特征点的相似性关系进行特征点匹配，并使用正确的匹配点估计单应性矩阵来进行图像对齐。最常用的特征点检测算法包括尺度不变特征变换（SIFT）（Zhao等人，2019年）、加速鲁棒特征（SURF）（Hassanin等人，2019年）和定向FAST和鲁棒BRIEF（ORB）（Zhang和Cao，2022年）。SIFT算法已被用于混凝土大裂纹的图像拼接（Wang等人，2021年）。为了拼接水下地形图像，使用了AKAZE算法进行特征提取，RANSAC算法进行图像匹配（Wang等人，2022b年）。SIFT算法用于检测水下断裂图像的特征点，RANSAC算法用于特征点匹配，APAP（As-Projective-As-Possible）算法用于最终拼接水下断裂图像（Cao和Li，2022年）。改进的AKAZE-learned arrangements of three patch codes（LATCH）+基于网格的运动统计（GMS）方法被应用于重复电致发光（EL）图像检测和光伏（PV）图像拼接（Zhao等人，2020年）。A-BEBLID配准方法结合了AKAZE和增强型高效二值局部图像描述符（BEBLID），用于解决锂离子电池盖板印刷（LBCSP）质量检测中的漏检和误检问题（Wang等人，2023年）。近年来，基于深度学习的特征点检测和匹配算法也应运而生，例如Superpoint（DeTone等人，2018年）、Superglue（Sarlin等人，2020年）和局部特征变换器（LoFTR）（Sun等人，2021年）。此外，Nie等人提出了一种基于无监督学习的图像拼接算法（Nie等人，2021年）。

在一项使用无人机机器视觉进行风力涡轮机叶片图像拼接的研究中，利用无人机飞行过程中的速度信息进行图像配准，并采用多带融合算法消除拼接接缝（He等人，2023a）。Harris算法用于检测叶片图像的角点，RANSAC算法用于实现特征匹配（Li等人，2020年）。首先根据叶片边缘和无人机与叶片之间的距离，在粗粒度级别生成初始叶片全景图，然后基于纹理和形状损失的回归进行细粒度优化调整（Yang等人，2023）。Harris算法用于检测特征点，自适应非最大值抑制（ANMS）算法用于均匀分布特征点。随后使用RANSAC算法进行特征匹配，并应用加权融合消除拼接接缝（Li等人，2023年）。提出了一种专门针对无人机图像的接缝自适应结构保持方法，通过保留局部结构细节同时适应性地处理接缝伪影，从而提高拼接图像中风力涡轮机叶片特征表示的完整性（Li和Zhou，2025年）。提出了改进的VGG16孪生网络，以实现无人机遥感图像的端到端拼接（Zhu等人，2023年）。此外，U-Net被用于分割无人机收集的红外图像中的风力涡轮机叶片区域。计算了两张相邻图像之间的旋转、平移和缩放参数，以获得更好的风力涡轮机叶片拼接红外图像（Yu等人，2023年）。这些风力涡轮机叶片的图像拼接方法基于对无人机飞行的精确控制，并利用飞行信息进行拼接。这一过程相对复杂，难以实现实时图像拼接。

与无人机视角下的风力涡轮机叶片图像拼接相比，本研究使用修复机器人从近距离获取受损叶片区域的多个风力涡轮机叶片图像。然后使用图像拼接方法获得完整的风力涡轮机叶片图像。然而，当将现有方法应用于风力涡轮机叶片的拼接图像时，它们在图像特征检测、正确匹配率低和配准精度差方面遇到困难，这使得满足风力涡轮机叶片的高质量图像拼接要求变得具有挑战性。为了解决这些问题，本研究提出了一种用于风力涡轮机叶片在线修复技术的图像拼接方法。本研究的主要贡献总结如下：

• (1)
  提出了一种改进的AKAZE算法用于特征点检测。使用AKAZE算法构建非线性尺度空间进行特征点检测，并使用二值鲁棒不变可扩展关键点（BRISK）描述符描述由此获得的特征点。改进的AKAZE算法可以更好地保持图像的局部精度和边缘细节，从图像中提取大量特征点，并在光照变换环境中提供良好的稳定性。
• (2)
  提出了一种粗到细的GMS-RANSAC匹配算法。使用GMS算法快速筛选初始正确匹配集，然后使用RANSAC算法消除错误匹配，从而获得高质量的匹配集。该算法结合了GMS算法的特征选择和匹配策略以及RANSAC算法的异常值去除机制，有效提高了匹配精度和拼接精度，从而确保了风力涡轮机叶片图像的精确对齐和拼接。
• (3)
  从四个关键方面（特征点数量、匹配精度、光照鲁棒性和与其他方法的比较性能）对所提出的算法进行了定量评估，证明了其在风力涡轮机叶片图像拼接方面的优越性。

本文的其余部分组织如下：1介绍风力涡轮机叶片修复机器人平台和叶片表面特性；2介绍改进的风力涡轮机叶片图像拼接方法；3提供实验验证；最后4总结研究。

章节片段

风力涡轮机叶片修复机器人

传统的风力涡轮机叶片修复方法主要依赖于手动操作，如绳索攀爬和平台支持的工作，这在机械工程领域面临重大挑战。具体来说，修复人员需要具备丰富的经验和专业知识。此外，手动修复效率低下、劳动强度高且成本高昂。此外，叶片的大尺寸带来了相当大的安全风险。

图像拼接算法流程

为了高效获取风力涡轮机叶片表面的信息，需要高分辨率且完整的叶片裂纹损伤图像，因此使用图像拼接技术。图像拼接包括特征点检测和描述、特征点匹配、图像变换和图像融合。具体过程如图4所示。对于特征点提取，使用AKAZE算法检测风力涡轮机叶片的特征点。

实验与结果

图8显示了在局部风力涡轮机叶片上进行裂纹图像采集的测试示意图。图像采集测试包括一个机器人、一个工业相机、一个风力涡轮机叶片和叶片上的裂纹。测试叶片是从大型风力涡轮机叶片上切割下来的部分叶片结构。带有工业相机的机器人直接放置在涡轮机叶片的裂纹上方，相机固定在固定高度进行图像采集。

为了验证所提出方法的有效性

结论

在机器人的在线修复操作中，仅通过相机从近距离拍摄的单独图像无法完全捕捉到风力涡轮机叶片表面的损伤区域。这将影响对风力涡轮机叶片健康状况的有效测量和评估。因此，研究风力涡轮机叶片在线修复技术的图像拼接方法具有重要的工程价值。

在本文中，提出了一种基于在线的改进图像拼接方法

CRediT作者贡献声明

方宇：监督、资源提供。 张海峰：资源提供。 杨浩：资源提供。 刘新天：监督、形式分析。 崔晨阳：方法论、形式分析。 高伟伟：方法论、概念化。

资助

本工作得到了国家自然科学基金（编号：62402308）和上海市教委人工智能支持的科学研发计划（编号：2024AI013）的支持。

利益冲突声明

本手稿的提交不存在利益冲突，所有作者均同意发表。

致谢

作者感谢匿名审稿人的帮助。