基于视觉的结构位移测量：通过鲁棒的局部特征跟踪和触发的局部校正

《Structures》：Vision-based structural displacement measurement via robust local feature tracking and triggered local correction

　　

摘要

局部特征光流跟踪在结构位移测量中效率较高，但在有效跟踪数量减少、离群值增加或出现异常位移估计时可能变得不稳定。深度特征匹配能够提供可靠的跨帧关联，但其逐帧应用需要反复进行匹配质量过滤，引入持续的计算开销，并可能影响位移时程的连续性。为解决上述局限性，本研究提出了一种角色分离的基于视觉的框架，将鲁棒的连续局部特征跟踪与触发式局部校正相结合，用于结构位移测量。局部特征检测和金字塔卢卡斯-卡纳德（LK）光流构成连续跟踪主干，同时采用前后向（FB）一致性检查和基于中位数绝对偏差（MAD）的离群值剔除获得鲁棒的帧间位移估计。当跟踪质量下降或检测到异常位移跳变时，选择性地触发基于LightGlue的局部匹配，并且仅在满足规定质量约束时将候选校正并入基于LK的位移序列。该框架通过三层钢框架和缩尺钢筋混凝土（RC）框架振动台试验进行了验证。在钢框架试验中，在大多数试验工况下，鲁棒连续跟踪主干相较于基线LK跟踪通常产生更低的归一化均方根误差（NRMSE）值以及相当或更高的皮尔逊相关系数。在XFeat、SuperPoint和SIFT三种特征下，所提框架的平均NRMSE值为3.17%–3.25%，对应的平均皮尔逊相关系数约为0.93。在RC框架试验中，所提框架在两个测量点和两个地震水平下的平均NRMSE为1.97%，验证了其适用于不同结构体系。连续跟踪主干保持毫秒级逐帧处理效率，而触发式局部校正为部分局部退化或异常跟踪段提供补充恢复。

引言

基于计算机视觉（CV）的结构位移测量因其非接触特性、远距离测量能力、低成本以及多点测量潜力，已成为结构监测的重要方法[1], [2], [3], [4], [5], [6], [7], [8]。现有的基于CV的方法主要包括模板匹配、数字图像相关、边缘检测、特征点匹配、相位法运动估计、光流以及基于深度学习的方法[9]。模板匹配和数字图像相关方法能够实现较高的测量精度，但通常依赖人工标记、高对比度模板或独特的目标纹理，其在大规模视频处理中的计算效率以及在复杂成像条件下的鲁棒性也可能受限[10], [11], [12], [13]。边缘检测和特征点匹配方法可以利用表面纹理估计结构位移[12]，但其性能对纹理质量、光照变化和背景干扰敏感[14], [15]。相位法运动估计方法适用于小幅振动，但对于大位移或复杂结构响应，其适用性和精度可能受限[16], [17], [18]。这些方法还需要仔细选择参数，包括滤波器设计和频带设定，这可能复杂且耗时[9], [16]。总体而言，可靠的位移时程估计仍需在测量精度、计算效率、时间连续性以及在退化成像条件下的鲁棒性之间取得平衡。

LK光流方法因其高计算效率而被广泛应用于结构位移测量[14], [19], [20]。Kanade-Lucas-Tomasi框架将特征点检测与LK光流相结合，实现高效的稀疏跟踪，而金字塔LK通过由粗到细的估计缓解了小运动限制，并提高了对相对较大帧间运动的适应性[21], [22], [23], [24], [25], [26]。尽管如此，基于LK的运动估计仍然依赖亮度恒定假设，并且对特征点质量敏感，在长序列跟踪过程中可能导致误差累积或跟踪漂移[15], [22], [25]。为增强光流跟踪在复杂环境中的鲁棒性和适应性，已引入自适应参数调整、离群值剔除和特征点更新等方法[20], [25], [27], [28]。将局部特征检测与金字塔LK结合，进一步提供了计算效率和连续跟踪能力，并已被应用于结构振动位移测量[27], [29]。然而，光照变化、视角扰动、图像噪声和运动模糊仍可能减少有效跟踪点数量、增加离群值并引起异常位移跳变，导致误差累积甚至局部跟踪失稳[14], [18], [21], [28], [30]。因此，在局部退化阶段提高鲁棒性，同时保持位移时程连续性和计算效率仍然十分必要。

在这些发展的同时，深度学习已通过深度光流估计、基于学习的局部特征检测与描述以及深度特征匹配被引入基于视觉的结构位移测量领域[9]。深度光流模型提供稠密运动估计，并能提高对大位移的适应性，但在亚像素精度方面仍存在局限[9], [15], [22], [31], [32], [33], [34], [35]。基于学习的局部特征检测与描述方法，如DISK[36]、SuperPoint[37]、ALIKE[38]和XFeat[39]，增强了复杂成像条件下的特征表示，而SuperGlue[40]和LightGlue[41]通过建模局部特征之间的上下文关系进一步改善了跨帧关联[30]。然而，逐帧深度匹配仍面临误匹配和模糊对应的问题，需要反复进行匹配质量过滤，并引入持续的计算开销，这可能影响位移时程的连续性[22]。

现有方法通常在整个测量序列中依赖单一的跟踪或匹配策略。然而，连续结构位移测量在稳定阶段和局部退化阶段涉及不同的需求：正常运行时更倾向于高效的时序跟踪，而只有在跟踪可靠性恶化时才需要更强的跨帧关联。如何根据跟踪状态协调这两种角色，同时保持局部恢复期间位移时程的连续性，尚未得到充分研究。这些考虑促成了一个角色分离框架的提出，其中光流维持连续位移估计，而深度特征匹配仅在局部跟踪退化阶段或发生异常位移跳变时才被调用。在所提框架中，跟踪质量评估确定是否需要局部匹配，并且候选校正仅在满足规定质量约束后才被并入。校正操作用于更新触发帧的位移估计，而不使用LightGlue匹配替换LK特征集，同时特征点维护仍是连续跟踪主干的一部分。因此，本研究将基于LK的鲁棒跟踪主干与触发式LightGlue局部校正相结合。

本研究的主要贡献如下：（1）建立了一个用于基于视觉的结构位移测量的角色分离框架。鲁棒局部特征跟踪作为主要测量分支，以保持位移时程连续性和计算效率，而深度特征匹配被赋予选择性恢复角色而非持续应用。（2）针对局部退化或异常跟踪阶段，开发了一种质量感知且保持连续性的局部校正机制。使用多个质量指标评估跟踪可靠性，并且仅当满足指示跟踪退化或异常位移跳变的预定义条件时才激活LightGlue。采用渐进式参考选择和匹配质量约束获得质量受控的校正，并将其并入当前位移估计，而无需重新初始化或替换正在进行的LK跟踪过程。（3）通过钢框架和RC框架振动台试验，在全局和事件层面评估该框架。不同特征检测与描述方法之间的比较检验了其适用性，而事件层面分析则识别了触发式校正的局部效果和实际作用。本文余下部分安排如下：第2节提出所提方法，第3节介绍小型三层钢框架振动台试验，第4节报告缩尺RC框架振动台试验，第5节总结主要结论。

章节片段

方法论

鲁棒基于LK的局部特征跟踪构成连续测量主干，而基于LightGlue的匹配保留用于选择性局部恢复。本研究中，LK鲁棒表示由金字塔LK跟踪、FB一致性检查、基于MAD的离群值剔除以及相关的特征点和ROI维护过程组成的连续跟踪主干。触发式局部校正表示由跟踪质量评估和

试验设置与比较设置

所提方法通过小型三层钢框架振动台试验进行了评估。每层高度为200 mm，钢楼板尺寸为300 mm × 300 mm × 3 mm。试验采用北京波谱WS-Z30–50单向振动台，最大有效载荷为35 kg，最大水平加速度为2 g。采用El Centro、Taft和Kobe地震记录作为输入激励。三层楼板的结构位移通过

试验设置与比较设置

所提方法进一步利用先前报道的1:4缩尺、三层、平面不规则RC框架振动台试验数据进行了评估[42]，如图7所示。试验在三向六自由度振动台上进行，输入地震动为1940年帝国谷地震的El Centro台站记录。该记录根据中国建筑抗震设计规范[43]进行了缩放，以代表设计基准和罕遇

结论

本研究开发了一种连续的基于视觉的结构位移测量框架，其中鲁棒局部特征跟踪执行主要测量任务，基于LightGlue的匹配被选择性激活用于局部校正。该方法通过三层钢框架振动台试验和缩尺RC框架振动台试验进行了验证。主要结论总结如下。

• (1)
  鲁棒LK跟踪执行连续位移估计，并且总体上

CRediT作者贡献声明

王翠云：写作—审阅与编辑，写作—原稿，验证，软件，方法论，调查，数据管理，概念化。 杜永峰：监督，资源，方法论，概念化。 郝佳欣：写作—审阅与编辑，验证，软件，调查。 朱乾坤：写作—审阅与编辑，验证，调查。

利益冲突声明

作者声明，他们不存在已知的竞争经济利益或个人关系，这些可能影响本文所报告的工作。

致谢

本文所述研究得到国家自然科学基金（编号 52178291, 51578274）的资助。

王翠云|杜永峰|郝佳欣|朱乾坤