一种基于无监督学习、利用低分辨率视频对无目标传统砖墙进行全场位移监测的方法

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：A full-field displacement monitoring method for target-free traditional brick walls using low resolution videos based on unsupervised learning

　　张成文|春青|林一杰|史嘉顺|吴元德|戴世兵|孙晓阳
东南大学建筑学院，南京210096，中国

摘要
非接触式单目位移自动监测可以解决传统接触式位移监测方法中测量点稀疏和设备昂贵的问题。然而，现有的非接触式单目位移监测方法在低分辨率和无目标条件下进行大位移测量时精度较低，并且对临时遮挡的抵抗力较弱。为了解决这些问题，本研究旨在基于少样本无监督学习和改进的光流方法建立SAM2-SR-DIS模型。SAM2-SR-DIS算法只需要在第一帧中提供手动提示点即可实现全流程自动监测。通过将算法的输出与压缩作用下硫酸盐侵蚀砖墙的实验位移数据进行比较，验证了结果的可靠性。研究结果表明，所有识别精度均达到毫米级，其中超过60%的精度达到亚毫米级。每帧的计算时间可降至亚秒级别，相比基准方法减少了57.20%。此外，SAM2-SR-DIS在对抗亮度变化、噪声和临时遮挡方面表现出更好的鲁棒性。这项研究可以支持在砌体结构中建立非接触式自动结构健康监测系统。

引言
自动实时位移监测已成为结构健康监测（SHM）中最关键的问题之一[1]，它在模型更新和损伤检测中起着重要作用。尽管基于接触的位移监测可以可靠地获取位移数据，但它受到测量点稀疏和高成本的限制。近年来，基于计算机视觉的非接触式位移监测技术在应对这些挑战方面显示出潜力。然而，建筑遗产的位移监测具有独特的要求：由于美观保护的需求，通常无法喷洒散斑图案或最小化表面目标。这对现有非接触式位移监测方法的识别精度提出了重大挑战。此外，硫酸盐侵蚀是砌体建筑遗产中典型的劣化机制，它会在砖面上生成复杂的硫酸盐晶体。这些晶体对基于视觉的位移监测精度的影响尚不清楚。因此，迫切需要研究针对硫酸盐侵蚀的传统砖墙的非接触式位移识别方法。
目前的基于视觉的非接触式位移监测方法已经取得了显著成果[2]、[3]、[4]，包括基于图像的3D模型重建[5]和运动轨迹识别方法[6]、[7]。由于双目检测在3D位移测量任务中具有高分辨率（HR）和高精度[8]，因此得到了广泛研究。Lee等人[9]提出了一种使用互连主摄像头和子相机的自我运动补偿长期位移测量策略。Zhu等人[10]使用带有协作棱镜的双目相机解决了相机运动补偿问题。然而，测量尺度与图像空间分辨率之间的固有矛盾仍然存在。对于公里级桥梁的监测，Hu等人[11]开发了一种带有协作标记的双目系统。Banerjee和Saravanan[12]引入了一个结合Kanade-Lucas-Tomasi（KLT）算法[13]的协作视觉-物理框架，用于多视图位移提取。一些研究将计算机视觉与接触传感器[14]集成，以迭代校正位移或振动测量[15]、[16]、[17]。然而，这些多设备系统显著增加了监测成本。
为了降低此类系统的复杂性和成本，使用消费级相机的单目视觉位移监测方法受到了越来越多的关注[18]、[19]、[20]。Feng和Feng[21]采用上采样互相关[22]和方向码匹配技术，使用单个相机测量多点位移[23]、[24]。为了实现亚像素级精度，Hou等人[25]提出了一种使用监控相机和改进的核化相关滤波器（IKCF）的位移测量系统。Li等人[26]提出了一种基于单目视觉的移动相机方法，将3D位移分解为平面内和平面外分量。然而，由于设备限制和高速传输要求，视频图像可能受到低分辨率、噪声、光照变化和背景干扰的影响，从而影响识别精度[27]。当前的解决方案包括基于散景效应的图像增强技术[28]、用于改善低光图像的深度上下文敏感分解网络[29]以及基于注意力的特征增强匹配策略[30]，所有这些方法都旨在提高环境适应性[31]。然而，超分辨率或图像增强的监督学习通常需要大量的训练样本。为了解决这个问题，Yu等人[32]开发了一种基于BasicVSR++的视频超分辨率架构，并结合了无监督的Homography估计网络。Li等人[33]利用改进的SRGAN进行超分辨率处理，以增强图像细节[34]。然而，这些方法假设了已知的图像退化模式，从而限制了其泛化能力。
此外，大多数现有的基于视觉的位移识别方法依赖于密集的散斑图案或目标标记[35]、[36]、[37]，这些方法不适合具有严格外观保护要求的遗产结构[38]、[39]、[40]。因此，提出了无目标位移监测方法[41]、[42]、[43]。可以通过特征匹配[48]或视觉跟踪算法[49]选择结构表面特征点[44]、[45]进行位移识别[46]、[47]。Wu等人[50]将先验知识纳入区域匹配中，以降低计算成本[51]、[52]。Xu等人[53]提出了一种结合深度学习Siamese跟踪器和基于相关性的模板匹配的位移测量方法。为了进一步推进无目标光学测量，最近的代表性研究引入了混合计算机视觉框架。Valente等人[54]开发了一个结合无监督k-means聚类和总变分去噪的简化粒子过滤框架，半自动地从运动放大的视频中提取量化的操作变形形状，减少了对手动边缘检测的依赖。Valente等人[55]进一步扩展了这项工作，将整体嵌套边缘检测与二维粒子过滤相结合，提高了对重影伪影、背景遮挡和非均匀光照条件的鲁棒性。由于这些方法主要是为振动和操作变形形状提取设计的，因此在大幅变形、高噪声和低分辨率条件下进行全场位移估计仍然具有挑战性。因此，现有算法在处理大变形和噪声环境时通常需要在测量精度和计算效率之间进行权衡。此外，还提出了基于梯度的匹配方法[56]、基于边缘梯度信息的自适应边缘点匹配技术[57]和熵正则化最优传输模型[58]。然而，稀疏点匹配难以获得全场结构位移。Wu等人[59]提出了一种结合特征匹配和光流跟踪的特征光流方法，用于全场位移获取。Luan等人[60]提出了一种相位匹配-光流协同方法，用于亚像素级精确的全场大位移监测。Wang等人[61]进一步使用多尺度运动金字塔估计了1377米悬索桥的全场位移。然而，在结构损坏情况下（如开裂、倾斜或局部故障），准确进行位移场估计仍然具有挑战性。
现有对象跟踪方法的收敛性依赖于特征点的选择，而深度学习方法可以提高收敛性和效率[62]、[63]、[64]。传统的跟踪算法容易受到亮度变化和背景噪声的影响。为了解决这个问题，Nguyen等人[65]提出了一种结合KLT跟踪[66]和深度学习模型的混合ToMP-KLT框架，以在遮挡和光照变化下提供更好的鲁棒性。Guo等人[67]提出了一种改进的基于相位的运动放大方案和基于深度学习的RAFT光流[68]方法来抑制背景噪声。Zhang等人[69]提出了一种稀疏贝叶斯学习和基于视觉的位移监测系统[70]，以提高跟踪鲁棒性。然而，这些方法在复杂背景或远距离成像场景中仍然面临计算效率低的问题[71]、[72]。对象分割技术[73]、[74]在加速推理速度方面显示出潜力。Tian等人[75]引入了一个带有图像增量网络的分割网络来修复遮挡区域。Xu等人[76]提出了SAM-DN，它结合了分割、去噪、自动目标标记和基于神经网络的去模糊[77]。此外，结合对象分割和光流估计的两阶段神经网络框架在全场位移监测中显示出有效性[78]。然而，现有的分割模型主要是为静态图像设计的，而不是视频序列，这限制了处理视频数据时间域中的临时遮挡的能力。
总之，在成本限制下，可以使用低成本的单目相机构建位移监测系统，而无需人工目标或散斑图案。然而，仍存在三个关键挑战：（1）低成本单目相机的分辨率（LR）有限。当前的超分辨率方法主要依赖于监督学习，这需要大量的HR-LR图像对，因此成本较高。现有的无监督方法假设LR图像具有特定的退化模型，可能会影响泛化能力。（2）虽然许多无目标算法可以跟踪大位移，但在大变形情况下进行精确的全场位移测量仍然具有挑战性，特别是在存在结构损坏的情况下。（3）分割模型可以提高计算效率，但现有的基于图像的分割方法容易受到临时遮挡的影响。因此，本研究的动机是建立一种基于少样本无监督学习和密集逆搜索（DIS）光流方法的SAM2-SR-DIS模型，以轻量级的方式在无目标和LR场景中非接触式识别位移。本研究的主要贡献可以总结如下：（1）采用了一种针对测量视频的少样本无监督学习策略，减少了对大量HR-LR配对数据的依赖，并减轻了由假设的退化模型引起的性能下降。（2）结合了分割增强DIS光流的超分辨率模型，以提高大位移测量精度和计算效率。（3]据作者所知，基于视频的分割与时间记忆很少被用于自动位移监测。本研究可以减轻由于基于图像的分割模型导致的临时遮挡引起的误差累积问题。

本研究其余部分的结构如下。第2节提出了一个用于位移识别的少样本无监督学习模型，称为SAM2-SR-DIS算法。第3节描述了所开发算法的验证实验和实现细节。第4节提供了视频超分辨率和分割结果、全场位移识别结果以及负载-位移曲线识别结果，还包括计算效率改进的结果。第5节讨论了视频分辨率、插值模式、亮度条件和噪声水平对识别精度的影响。还解释了临时遮挡对结果鲁棒性的影响。最后，在第6节总结了研究结果。

方法
本研究中提出的算法称为SAM2-SR-DIS模型，如图1所示。首先，将带有噪声的LR视频流输入SAM2模块以获得掩码和降维后的视频流。这些结果随后被输入无监督超分辨率（SR）模块，生成SR和去噪后的视频流以及更新后的掩码。最后，SR视频流和掩码都被输入DIS模块以确定位移。

实验实现细节
为了验证所提算法的有效性，准备了30个具有不同程度硫酸盐侵蚀的传统砌体墙。这些砌体墙使用同一批次的蓝色砖块（240毫米×115毫米×53毫米）建造。砂浆使用传统的中国建筑材料——纯白石灰，水灰比为1:0.95[83]。每面墙由13层砖块组成，砖块之间的砂浆接缝为5毫米。

分割和SR的结果
SAM2-SR-DIS模型的典型掩码计算结果如图5(a)所示。为了清晰起见，选择了150秒间隔的结果进行显示。在图5中，蓝色区域代表墙掩码，灰色区域表示视野（FOVs），其他颜色表示为目标标记构建的掩码。图5(a)表明在整个视频序列中所有目标标记都被有效识别。执行计算后获得的...

精度与人工SR尺度之间的关系
人工SR方法是指通过插值而不是基于硬件的方法（例如镜头）进行的分辨率增强。使用SAM2-SR-DIS处理的SR视频作为基准，通过OpenCV的插值算法进行了分辨率调整。在调整过程中固定了原始的宽高比，以避免图像失真。通过改变常见分辨率（144-2160像素）的宽度，生成了类似于图8的R2箱形图。

结论
为了应对使用无目标标记或表面处理的LR视频实现毫米级位移监测的挑战，提出了一种名为SAM2-SR-DIS的少样本无监督学习模型，用于中国的传统盐蚀蓝色砖砌体。实验比较表明，该模型具有毫米级精度的全过程位移监测能力，同时保持了文物的完整性。