基于物理原理的“连体追踪器”：在能见度下降的情况下，实现鲁棒的视觉结构位移监测

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：Physics-guided Siamese tracker for robust vision-based structural displacement monitoring under visibility degradation

　　•基于视觉的结构位移监测框架克服了结构健康监测（SHM）中可见度下降的问题。•改进的深度学习-based Siamese网络跟踪器。•基于置信度和物理一致性模块确保了跟踪的可靠性。•零样本泛化能力使得无需针对特定地点进行重新训练即可部署。•在简支梁、多层框架和实际桥梁上进行了验证。

引言
结构位移响应是结构健康监测（SHM）中的一个基本动态指标，因为它反映了民用基础设施的整体变形和承载负荷的行为，并为安全性评估提供了直接依据[1]。这些动态位移信号可以广泛应用于各种SHM任务，包括结构动态分析[2]、模态参数更新[3][4]、性能评估[5]、荷载反演[6][7]以及索力识别[8][9]。此外，结构位移已经被纳入多个结构设计和验收标准中。因此，准确且持续地现场监测结构位移对于结构健康监测至关重要。

传统的基于接触的位移监测方法（如LVDTs[10]、加速度计[11]、光纤传感器[12]和GNSS[13]）需要在结构表面进行安装、固定和布线。这些方法往往受到结构可访问性的限制，需要复杂的安装过程，并且难以大规模部署。为了克服这些部署限制，开发了非接触式传感器，如激光位移传感器（LDS）、激光多普勒测振仪（LDV）[14]和光束雷达（LiDAR）[15]。然而，这些方法仍存在一些问题，例如有效操作距离短、对目标表面反射率的敏感性以及高维护成本[16]。因此，这些方法通常无法满足大型结构（如桥梁和建筑物）的大范围监测需求。

随着计算机视觉和图像处理技术的进步[17][18]，基于计算机视觉的结构位移监测（CV-SDM）已成为SHM中的一个热门研究方向。CV-SDM作为一种非接触式位移传感器，具有灵活部署、低维护成本以及大范围和远距离监测的能力。其可行性和高精度已经在包括桥梁、建筑物、水坝和斜坡在内的多种民用基础设施结构中通过实验室和现场场景得到了验证[[19][20][21][22][23][24]]。CV-SDM的基本原理是利用结构振动视频跟踪目标的运动路径，然后利用成像几何关系将像素位移转换为物理位移。因此，目标跟踪算法是决定测量准确性和可靠性的关键因素。现有文献回顾将基于视觉的结构位移测量方法分为三类：首先是基于数字图像相关性（DIC）[[[25][26]]的模板匹配方法，通过计算初始帧中的模板与后续帧中搜索区域之间的灰度相似性来实现连续跟踪。为了确保高测量精度和稳定性，这种方法通常需要与亚像素细化算法结合使用，并且需要人工标记[[27][28]]。其次是基于特征点匹配的方法[[29][30][31]]，从图像中提取稳定且可重复的局部特征（如角点和斑点），并通过特征描述符的相似性进行匹配。这种方法的一个显著优势是不需要人工标记；然而，它要求结构表面有足够的纹理以确保提取到足够的特征点数量。此外，这种方法还需要结合异常值去除算法（例如RANSAC）来进一步过滤不同特征点的匹配结果，以保持位移结果的稳定性。第三是基于光流的方法[[32][33][34]]，通过检查像素强度的时间变化来确定运动矢量场，从而不需要人工标记。为了保持计算效率，这种方法通常仅限于跟踪稀疏特征点的运动。尽管这些方法在实验室中表现良好，但在复杂的现场环境中往往由于受到理想成像条件和清晰视野的制约而表现不佳。然而，在现实世界中，复杂的环境因素（如光线变化、降雨和雾）会限制目标的可见性[35]。此外，遮挡和背景干扰等其他因素也可能导致这些基于视觉的位移监测方法失败[36]。

为了提高当前方法在现场应用中的鲁棒性，最近的研究探索了深度学习技术在CV-SDM中的潜力[[37][38][39]]。一种流行的方法是基于类别的方法，这些方法通常在“检测驱动跟踪（TBD）”模式下运作。这些方法利用基于深度学习的对象检测（例如YOLO系列）或分割（例如Mask R-CNN）模型来识别预定义的目标或结构特征，并通过检测框或分割区域的几何中心来计算位移。例如，Lu等人[40]构建了一个特定的数据集来训练YOLOv5模型以定位圆形目标以获取位移信息，而Zhang等人[41]使用Mask R-CNN进行目标分割和测量。这些方法通常在每个帧中独立检测目标，而不考虑时间因素。一些研究者将经典跟踪算法与深度学习检测模型相结合。Wang等人[42]将Hough线检测器与基于ResNet的分割模型结合用于测量缆绳振动；Zhu等人[43]将梯度相关性与YOLOv8模型集成；Pan等人[44]将光流与YOLOv3模型结合。尽管这些基于深度学习的方法有效地解决了现场监测中的可见度下降问题，但它们受到“任务特定性”的限制。对于不同的结构或目标，这些方法需要创建特定的训练集并进行重新训练或微调。这种依赖性严重限制了其在一般工程场景中的快速部署。因此，一些研究者尝试探索基于实例的方法。这些方法无需重新训练即可提取和跟踪不同类型目标的共同特征。例如，Shao等人[45]使用SuperPoint和SuperGlue框架进行实验室跟踪。Zhao等人[46]将LoFTR算法应用于结构表面纹理較弱的场景。尽管如此，基于深度学习的逐帧特征点匹配仍是这些方法的核心。因此，当监测目标被遮挡时，它们会停止工作，导致无法维持SHM所需的持续长期监测。

为了解决可见度下降带来的限制，本文提出了一种名为CP-SiamRPN的鲁棒基于视觉的位移监测框架。该方法采用改进的深度Siamese网络架构作为基础跟踪器，并创造性地结合了物理一致性模块和基于置信度的模块以提高跟踪的鲁棒性。与现有的基于深度学习的方法不同，所提出的框架具有零样本泛化能力，使得无需针对特定目标进行重新训练或微调即可在新目标实例上部署。最后，我们在实验室和现场工程应用中对所提出的方法进行了系统的验证。

本文的主要贡献总结如下：
(1) 提出了一种鲁棒基于视觉的位移监测方法，有效克服了复杂现场环境中可见度下降的挑战。
(2) 在改进的SiamRPN跟踪器的基础上提出了两个新颖的决策模块，即基于置信度的模块和物理一致性模块，以实现主动遮挡恢复并确保严格的物理一致性。
(3) 为了验证所提方法的有效性，进行了简支梁冲击测试和五层框架摇台测试，并对实际运营中的桥梁进行了现场监测。

本文的其余结构如下：第2节描述了所提出的框架及其主要组件。第3节使用了一系列实验室测试来验证该方法的有效性。第4节详细介绍了整体的现场桥梁监测过程和结果。第5节总结了结论。

提出的框架概述
本文提出了一种名为CP-SiamRPN的鲁棒基于视觉的位移监测框架。其主要目标是在目标可见度降低的情况下，从视频数据中获取准确且稳定的结构位移时间历史。该框架作为一个统一的流程运作，以原始视频素材为输入，通过基于深度学习的跟踪模型进行处理，最终输出结构的物理位移。

实验验证
为了验证所提出的基于视觉的位移监测方法的适用性，进行了两种类型的实验室实验：简支梁冲击测试和多自由度框架摇动测试。这两种实验分别代表了桥梁结构和建筑物结构的典型动态响应形式。这些实验室实验构成了方法验证的基础，为后续的现场桥梁测试提供了参考。

现场实验设置
为了验证所提方法在现实工程场景中的可行性，在河北省香河县的王家嘴桥进行了现场测试。如图16所示，该桥是一种独特的“Y形”翼状拱梁复合系统，具体跨度为35米+164.5米+56.5米，总长度为256米。具体的实验设置如图17所示。基于视觉的监测系统被安装在桥面上。

结论
本研究通过提出CP-SiamRPN方法解决了基于视觉的结构位移监测中可见度下降的关键问题。本文的核心贡献是将基于置信度的机制和物理一致性机制整合到改进的基于深度学习的SiamRPN跟踪器中，为实际应用中的基于视觉的结构位移监测提供了一个鲁棒的解决方案。

来自实验室和现场测试的实验结果

CRediT作者贡献声明
张胜飞：撰写 - 审核与编辑、撰写 - 原始草稿、可视化、验证、软件、方法论、调查、形式分析、概念化。
刘晓刚：撰写 - 审核与编辑、撰写 - 原始草稿、可视化、验证、资源、方法论、资金获取、概念化。
倪平河：撰写 - 审核与编辑、验证、资源、数据管理。
韩强：撰写 - 审核与编辑、可视化、资源、数据管理。
岳清瑞：利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢
作者感谢国家自然科学基金重大项目（编号52192663、52192662）的支持。本文中呈现的结果和结论仅代表作者本人的观点，不一定反映资助方的立场。所有支持来源均表示感谢。

张胜飞 | 刘晓刚 | 倪平河 | 韩强 | 岳清瑞