水平面上倾斜视角旋转体基于图像到图像转换的视觉振动位移测量

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：Image-to-image translation-based visual vibration displacement measurement of a rotating body with tilted viewing angle in horizontal plane

　　

**摘要**

在现代工业领域，旋转体的动态稳定性对设备的运行效率和安全至关重要，而精确测量其振动位移具有重要意义。虽然图像识别算法已经实现了旋转体振动位移的视觉测量，但现有算法仍存在针对特定场景数据处理和依赖人工标注等问题。为此，本文提出了一种测量水平面内倾斜视角下旋转体振动位移的方法，将图像到图像转换与传统视觉技术相结合。利用图像到图像转换技术，将不同倾斜角度下采集的倾斜视角转子图像转换为统一视角图像。该方法有效降低了振动位移提取过程中的数据依赖性。此外，考虑到转子振动图像的特征特点，设计了空间融合与跨维度优化策略，引入逐步下采样方案、深度级联块（DCB）模块和跨轴分组残差块（CAGRB）模块，对pix2pixHD的生成器网络进行优化，从而提升视角转换质量。所提出的方法结合深度学习与传统视觉技术，实现了转子振动位移的测量，同时消除了人工标注引起的人为误差。基于消融实验、多种神经网络模型对比以及涡流传感器数据对比，结果表明：在每秒2000帧的采集速率下，三个倾斜角度下的振动位移测量均方根误差（RMSE）分别低至0.0236 mm、0.0288 mm和0.0348 mm，峰值信噪比（PSNR）分别达到41.18 dB、39.98 dB和39.65 dB。此外，与基于图像识别的振动位移提取方法相比，所提出的方法能够有效提取稳定光照条件下的转子振动位移以及本研究测试的三个固定倾斜视角下的转子振动位移。然而，在低光照与复杂背景的叠加影响下，视角3处观察到明显的失效边界。

**引言**

在现代工业关键应用中，旋转体作为核心动力传动单元，其动态稳定性直接影响运行效率和服务安全[1]、[2]、[3]。在高速重载条件下，由多因素引起的非线性振动日益显著[4]、[5]、[6]，可能导致严重后果。因此，精确测量旋转体的动态位移对于解决这些问题至关重要。

传统上，旋转体位移的测量可分为两大范式：接触式和非接触式方法。大多数旋转体振动测量依赖于接触式技术，例如使用应变计[7]、[8]、加速度计[9]、[10]及类似传感器。这些传感器通过与旋转体直接接触来获取振动数据，具有高测量精度和信号稳定性等优点。然而，接触式方法存在若干局限性。例如，在高速旋转条件下，传感器与旋转体之间的接触可能干扰正常运行，导致测量不准确。此外，长期接触可能造成传感器磨损，从而降低使用寿命并降低测量精度。为克服这些缺点，非接触式测量技术应运而生。非接触式传感器如激光位移传感器[11]、[12]、涡流传感器[13]、激光多普勒测振仪[14]、[15]和电容位移传感器[16]，可在无需物理接触的情况下监测转子振动。这些方法响应迅速，消除了机械干扰，特别适合高速、高温和高压等恶劣工况。然而，非接触式传感器也存在局限性。例如，其精度可能受环境因素影响，信号处理往往复杂，且整体成本相对较高。

随着视觉传感器分辨率不断提高、帧率大幅提升以及成本逐步降低，基于视觉的旋转体振动位移测量方法开始受到越来越多的关注[17]、[18]。其中，基于传统图像处理技术的方法得到了广泛的研究和应用。通过提取和跟踪旋转体表面的特征点[19]、[20]，并借助灰度分析[21]、[22]和边缘检测[23]、[24]等经典算法，可以获得特征点在不同时刻的位置信息，进而计算旋转体的振动位移。例如，利用带有标记点的双目立体匹配系统来感知电机转子轴的振动位移[25]，可捕捉到10微米量级的振动幅度。同时，基于视频的相位方法能够提取轴承的振动位移信号[26]，实现复杂振动的精确测量。然而，上述传统图像处理方法对图像质量要求较高，在复杂光照条件或旋转体表面纹理不清晰的情况下，特征点提取和匹配的精度会大打折扣。

深度学习的强大特征学习能力使基于图像识别的旋转体振动测量在一定程度上克服了传统图像处理方法的局限性[27]，能够在复杂背景下更准确地提取和分析旋转体的特征。因此，目标检测与跟踪以及图像分割技术逐渐被应用于旋转体的一维振动位移测量[28]、[29]（图1(a)）和二维振动测量[30]、[31]、[32]、[33]、[34]（图1(b)）。在实际应用场景中，相机通常需要固定在相对于旋转体的某个视角。虽然这种图像采集方式提高了视觉振动测量的稳定性，但也限制了采集角度的灵活性。具体来说，当相机角度无法自由调整时，难以全面获取旋转体不同部位的振动信息。如图1(c)所示，当相机相对于转子振动平面倾斜时，图像分割算法会受相机对焦状态的影响，导致分割性能下降，而目标检测算法会包含过多的背景区域，从而降低目标识别的精度。同时，当前基于图像识别技术的旋转体振动测量也面临一些挑战。一方面，现有的振动位移提取算法通常是针对特定场景和数据设计的，缺乏通用性。另一方面，基于图像识别的测量通常依赖人工标注的数据来训练模型，这不仅耗费人力物力资源，而且容易引入人为误差。

值得注意的是，近年来图像生成任务在工业检测领域得到了越来越多的应用。例如，超分辨率重建技术已被用于提高转子位移检测算法的精度[35]、[36]、[37]，图像到图像转换技术也被引入以解决工业数据集中数据不平衡和不足的问题[38]、[39]、[40]，展现了图像生成方法在工业视觉应用中的巨大潜力。此外，由倾斜视角引起的几何透视失真通常可以通过相机标定和几何校正技术（如基于单应性矩阵的变换）进行修正。此类方法具有清晰的物理可解释性和较高的计算效率，在相机参数精确标定、视角变化有限且成像条件稳定的情况下可以获得令人满意的校正效果。然而，几何校正方法通常依赖于相机内外参数的精确标定以及目标平面相关的几何约束[41]。在涉及大幅视角变化、复杂安装条件或频繁调整相机位置的监测场景中，实施复杂度和维护成本会显著增加。几何校正方法对精确相机标定和几何约束的依赖，促使将图像到图像转换技术与传统基于视觉的测量方法相结合。通过学习从多个视角采集的图像与统一参考视角图像之间的映射关系，将水平面内不同视角下采集的转子振动图像转换为统一视角下的标准化图像。与需要为各个视角建立显式几何变换模型的传统几何校正方法不同，所提出的图像转换框架以数据驱动的方式进行视角转换，从而降低了对精确标定参数和显式视角量化的依赖。在标定条件准确且视角变化较小的情况下，几何校正仍是一种高效且具有物理可解释性的解决方案。然而，通过所提出的图像转换框架，可以在多视角配置、安装空间有限、视角变化较大或无法频繁重新标定的工业监测环境中获得更强的适应性和灵活性。在统一视角下生成的标准化视觉输入进一步促进了后续的振动分析，并增强了振动测量系统在复杂工况下的实际适用性。

本文提出了一种基于图像转换的倾斜视角下旋转体振动位移测量方法，如图2所示。该方法旨在测量多个倾斜视角下的旋转体振动位移，其中视角未知、未标定且缺乏先验几何信息。首先进行数据采集，使用正对转子的相机采集训练所需的地面真值（GT）数据（GT为统一视角下的转子振动图像，因此该相机不需要随机放置），而另一台相机放置在水平面上的三个不同视角以采集不同视角下的转子振动图像。为确保实验公平性，未使用任何辅助角度测量工具（如角度尺）进行角度标定。随后，对原始图像进行裁剪以保留感兴趣区域，从而提高计算效率。将裁剪后的图像输入图像到图像转换GAN，将不同倾斜角度的转子图像转换为统一视角下的转子图像。获得统一视角图像后，执行图像拼接以整合多帧图像，提供更全面的转子振动信息。然后，对拼接后的图像进行边缘检测以提取转子边缘轮廓，通过分析边缘轮廓在不同时刻的位置变化，将其转换为亚像素级位移数据。最后，对这些像素位移数据进一步处理以绘制转子振动曲线，从而实现倾斜视角下转子振动位移的测量。

针对基于图像到图像转换的倾斜视角下旋转体振动位移视觉测量，本研究的主要贡献如下：

（1）采用两台相机同步采集标准视角和二维水平面内三个倾斜视角下的转子振动位移图像。引入图像到图像转换任务用于倾斜视角下的振动位移测量，将不同倾斜视角下的转子图像转换为统一视角下的转子图像，并对统一视角下不同倾斜视角的转子图像进行振动位移测量。

（2）改进Pix2pixHD[42]中的生成器网络，使其更好地适应转子图像特征并生成更高质量的统一视角图像。设计了逐步下采样模块，并设计了深度级联块（DCB）和跨轴分组残差块（CAGRB）用于特征增强过程。

（3）通过整合图像拼接和亚像素边缘检测技术，开发了适用于统一视角图像的振动位移提取流程，实现了从图像变换到位移测量的端到端工程适配。本研究结合深度学习与传统计算机视觉技术，提出了一种低标注依赖的振动目标边缘检测与测量方法。

本文的整体框架如下：第1节回顾了转子振动位移测量技术的发展并指出现有挑战。第2节描述了多视角转子振动数据集的构建。第3节提出了本文的图像到图像转换方法。第4节介绍了用于振动位移提取的图像拼接和边缘检测过程。第5节报告并讨论了实验结果，第6节为结论。

**多视角倾斜视角下转子振动数据集构建**

在基于图像到图像转换的倾斜视角下转子振动测量研究中，数据集是训练和模型性能评估的基石。

这部分重点介绍三种倾斜视角条件下转子振动数据集的构建过程，涵盖相机布置、图像采集、裁剪和处理等关键方面。相机布置采用双相机协同策略，如图3所示。相机(1)固定在前方的……

基于图像到图像翻译的倾斜视觉转子振动测量方法
引言
本研究利用图像到图像翻译方法，将二维平面内多个倾斜视角下的转子振动图像转换为统一视角。通过利用GAN强大的图像生成能力，构建了适用于转子振动图像的图像到图像翻译模型。所提出的方法不仅克服了相机固定视角导致的振动信息获取不完整的问题，还提供了……

基于边缘检测的转子振动图像拼接和振动位移提取方法
在通过图像到图像翻译算法将三种视角下获取的转子振动图像转换为统一视角的转子振动图像后，需要提取转子的振动位移。本研究采用转子振动图像拼接和边缘检测流程来获取转子的振动曲线，如图5所示。首先，在统一视角的转子图像中，选择具有单像素垂直区域……

实验
在本研究中，转子图像数据采用倾斜视角成像配置采集，相机(1)用于采集标准转子视频作为图像到图像翻译算法的真值(GT)数据，而相机(2)从三个视角采集转子振动视频作为算法实验验证的训练数据，并将验证结果与不同生成器的算法进行比较，通过……评估算法性能。

结论
本研究提出了一种融合图像翻译与传统视觉技术的混合框架，解决了倾斜视角条件下旋转结构的振动位移测量问题。实验结果表明，所提出的方法达到了相对较高的测量精度。在实现方面，采用图像翻译将不同倾斜视角下采集的转子图像进行统一，从而克服了……的局限性。

CRediT作者贡献声明
李泽峰：撰写——审阅与编辑，撰写——原稿，验证，方法论，调查。
刘畅：项目管理，概念化。
王森：软件，项目管理，调查，形式分析。
刘晓琴：验证。
刘涛：概念化。
丁锋：软件。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

李泽峰|刘畅|王森|刘晓琴|刘涛|丁锋