基于Transformer的视频运动放大技术用于视觉驱动的结构健康监测：实验室与全尺寸结构的实验验证

《Engineering Structures》：Transformer-based video motion magnification for vision-driven structural health monitoring: Experimental validation on lab and full-scale structures

　　**摘要**- 基于Swin Transformer的模型提高了视频运动放大中的空间连贯性。- 基于注意力的架构增强了边缘稳定性和全局运动表征。- 实现了对结构健康监测（SHM）中振动相关指标的无接触提取。- 在视频分辨率受限的情况下，比基于CNN的方法提供更稳定的结果。- 已在实验室规模和全尺寸土木工程结构上进行了验证。**引言**结构健康监测（SHM）在确保民用基础设施的安全性、可靠性和长期性能方面发挥着关键作用。近年来，基于视觉的SHM技术作为一种补充或替代传统传感器方法的方案，获得了越来越多的关注[1][2]。通过将相机与计算机视觉算法相结合，这些方法能够实现非接触、空间密集的结构性响应测量，在部署灵活性和成本效益方面具有优势。然而，在现实条件下（例如环境激励或大观测距离）可靠地捕捉极低幅度的振动仍然具有挑战性，因为存在空间分辨率限制和噪声敏感性的问题。解决这些挑战对于有效利用基于视觉的测量技术用于SHM至关重要。视频运动放大（VMM）作为一种有前景的方法，能够放大视频记录中几乎不可见的结构振动[3][4]。通过放大像素级变化，VMM使得振动模式、振型以及由频率引起的挠度等运动模式得以可视化，而这些原本是无法感知的。基于空间滤波或小波变换的经典欧拉VMM方法已证明了非接触振动测量的可行性。然而，它们通常受到噪声放大、模糊和运动伪影的影响，特别是在高频激励或低光照条件下[3][4]。这些效应可能扭曲底层结构响应，并限制从放大视频中得出的定量分析的准确性，如频率识别。因此，需要改进的VMM方法，在提供清晰运动放大的同时抑制伪影，以可靠地支持模态分析和损伤敏感振动评估等SHM任务。计算机视觉和深度学习领域的最新进展为克服经典VMM技术的局限性提供了新的机会。基于学习的VMM方法已被提出，利用卷积神经网络（CNN）或基于Transformer的架构从数据中直接学习运动放大任务，减少了对人工设计滤波器的依赖。在之前的工作中，作者研究了基于深度学习和运动放大技术的视觉振动分析和损伤敏感响应表征[5][6]，证明了与传统方法相比具有更好的噪声特性和更少的伪影。基于这一研究方向，作者随后引入了一种基于Swin Transformer的视频运动放大（STB-VMM）框架，专注于在通用条件下核心放大架构的开发和基准测试。尽管之前的工作主要侧重于运动放大性能的定性评估，依赖于视觉检查和图像级比较，但并未提取或验证结构健康监测所需的定量振动指标，因此也没有解决与SHM应用相关的具体要求、约束和验证协议。本文是对该研究工作的必要延续，其明确目标是通过提取和分析定量振动相关指标，来使STB-VMM能够用于基于视觉的SHM，并进行验证和批判性评估。在此背景下，STB-VMM被作为底层运动放大框架采用，以实现结构监测的高保真振动增强。作者先前开发的STB-VMM模型利用基于Transformer的架构，具体为Swin Transformer，来捕获视频序列中的局部和全局运动特征。这种架构设计提高了放大输出的空间连贯性和边缘稳定性，从而增强了抗噪声的鲁棒性，并改善了放大运动的清晰度，相较于传统的VMM方法具有显著优势。这些特性对于从视频数据中可靠提取振动相关信息尤为重要，包括固有频率和工作挠曲模式，这些是定量SHM分析的基础。本工作的范围是通过在结构振动测量过程中系统地集成、验证和批判性评估基于Transformer的运动放大框架，来推动基于视觉的SHM发展。本文的主要贡献如下。第一，制定了一个基于STB-VMM的可重复的视觉到信号SHM流程，包括视频采集、感兴趣区域（ROI）选择、运动放大和振动信号提取。第二，分析了Swin Transformer架构中固有的分层自注意力机制在振动测量中的作用，突出了其对提高空间连贯性、边缘稳定性和全局运动表征的贡献。第三，对STB-VMM的性能进行了定量评估，针对与SHM相关的振动指标，超越了纯粹的视觉评估。第四，通过涉及三层实验室基准结构和全尺寸钢筋混凝土框架的实验案例研究，验证了所提方法的适用性。此外，还明确考察了视频空间分辨率和噪声条件对测量质量的影响，从而识别当前的局限性和适用性约束。这些贡献共同旨在弥合先进的计算机视觉技术与实际结构工程需求之间的差距，向更有效率的视觉结构监测迈进。本文的组织结构如下。第2节回顾了与基于视觉的SHM和视频运动放大相关的研究。第3节提出了所提方法和STB-VMM的实现。第4节报告了实验设置和结果。第5节总结了论文并概述了未来研究方向。**章节摘要****基础**运动放大是计算机视觉研究领域的一个方向，涉及放大视频序列中极微小的运动，使其肉眼可见。这些技术在生物医学研究[7][8][9]、深度伪造检测[10]、结构模态分析[11][12][13][14][15]或状态监测[16]等领域都有应用。这些方法如同运动的显微镜，揭示了先前不可见或无法感知的运动。**视觉动态响应捕捉**为了获取后续实验的像素位移-时间响应，本文使用了[5]中描述的方法，并通过图形工具实现[6]。所实现的方法遵循第2.2节中描述的流程，即用户选择线性测量区域进行放大。接下来，对该选择区域进行处理，对于放大视频序列的每一帧，将像素的线性区域依次放置在图像上（见图2）。**三层建筑基准**在本小节中，展示了三层建筑基准及其不同配置的实验结果并进行了分析。图6展示了使用STB-VMM获得的自功率谱与参考压电加速度计的对比结果。如预期的那样，视觉方法的噪声本底高于加速度计，然而，它只需要一个传感器即可获得这四个信号。此外，基于位移的视觉方法明显更加……**结论**本研究评估了STB-VMM的性能，这是一种用于结构健康监测（SHM）的基于视觉的运动放大方法，集成了Swin Transformer架构。所提方法的一个显著特点在于使用了分层自注意力机制，使模型能够捕获局部和全局运动模式，并增强放大响应中的空间连贯性。实验结果表明，该方法能够可靠地识别固有频率……**作者贡献声明****Marco A. Pérez：** 写作——审阅与编辑、可视化、验证、指导、资源、方法论、调查研究、经费获取、形式分析、概念构思。**Ricard Lado-Roigé：** 写作——初稿撰写、可视化、验证、软件、方法论、调查研究、形式分析、数据管理、概念构思。**数据可用性**重现本研究结果所需的原始数据，包括实验视频、处理后的数据和辅助文件，均公开可在Mendeley Data上获取，地址为：https://doi.org/10.17632/568gxcg5n3.1。如果后续工作中使用或修改了这些数据，恳请用户同时引用本文和相关数据集。**利益冲突声明**作者声明不存在已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。Marco A. Pérez | Ricard Lado-Roigé