《Engineering Structures》:Smart structural health monitoring using multi-camera computer vision and edge computing for long-span bridge mode shape identification
编辑推荐:
精确的位移测量对大尺度结构的可靠结构健康监测(SHM)与模态识别至关重要。基于计算机视觉的位移测量具有远距离监测、非接触传感及易于部署等优势,使其非常适合土木基础设施SHM。然而,其大规模应用仍受限于高帧率视频产生的大量数据以及多相机间精确同步的实现难度,这阻
精确的位移测量对大尺度结构的可靠结构健康监测(SHM)与模态识别至关重要。基于计算机视觉的位移测量具有远距离监测、非接触传感及易于部署等优势,使其非常适合土木基础设施SHM。然而,其大规模应用仍受限于高帧率视频产生的大量数据以及多相机间精确同步的实现难度,这阻碍了大型结构上的连续多点监测。本研究开发并验证了一种先进的多相机边缘计算视觉二维位移测量系统(EdgeCVDMS-II),用于同步、实时多点位移跟踪与模态振型识别。该系统集成了六个具有可调变焦镜头的高分辨率IMX477相机与一个NVIDIA Jetson AGX Orin边缘设备,实现了低延迟GPU加速的亚像素精化模板匹配。在4米长简支桥模型上的实验室验证表明,位移测量精度为0.15像素,相对于激光位移传感器的归一化均方根误差(NRMSE)为1.45%,且与基于加速度计的模态参数高度一致。在280米长跨度斜拉桥上的现场部署证实了该系统在超过100米远距离下,能够捕获环境激励下空间密集的低频动态位移响应。识别出的基本模态振型与加速度计结果高度相关(MAC = 0.9724),展示了在实际条件下鲁棒的低阶模态识别与使用性水平结构评估能力。所提出的EdgeCVDMS-II通过提供同步、分布式、实时的视频处理与位移测量,克服了现有视觉方法的局限性,将基于计算机视觉的SHM应用扩展到大型土木基础设施的连续监测。
**论文解读**
**研究背景与问题**
结构位移响应在服役或受控荷载下蕴含丰富的结构性能信息,对结构健康监测(SHM)与模态识别至关重要。传统传感器如线性可变差动变压器(LVDT)和激光位移传感器虽精度高,但在大跨度桥梁现场应用中面临测量范围有限、需安装固定参考点等实际困难,难以大规模部署。基于计算机视觉的位移测量方法具有远距离、非接触、易部署等优势,但受限于高帧率视频产生的大量数据存储需求以及多相机间精确时间同步的困难,限制了其在大跨度结构上的连续多点监测应用。为克服这些挑战,研究人员开发了EdgeCVDMS-II系统,旨在实现多相机同步、实时视频处理与位移测量,支持大跨度桥梁模态振型识别。该研究论文发表在《Engineering Structures》。
**主要技术方法**
研究人员采用以下关键方法:
1. 硬件层面:集成六个Sony IMX477高分辨率相机(12.3 MP,原生像素尺寸1.55 μm × 1.55 μm),配备12–120 mm C接口变焦镜头,通过MIPI CSI-2多相机适配器连接至NVIDIA Jetson AGX Orin边缘设备,支持硬件同步与直接GPU流传输。3D打印相机支架实现俯仰和偏航角精确调节。
2. 算法层面:开发完全基于GPU的位移跟踪流水线,包括模板匹配与亚像素精化。模板匹配在局部搜索区域(ROI)内进行,亚像素精化采用二维二次曲面拟合与加权最小二乘法,减少边缘噪声影响。
3. 系统工作流程:边缘计算层实现实时预览、GPU加速运动跟踪与视频录制;云层支持远程控制(SSH、远程桌面)及数据存储至AWS云。
4. 校准与验证:实验室测试在4米简支桥模型上进行,参考激光位移传感器(Keyence IL-300,重复性30 μm)和加速度计(PCB Piezotronics 393B04,灵敏度1000 mV/g)。现场测试在西澳大利亚Boorloo Bridge(280米斜拉桥)进行,使用智能手机(iPhone 12)内置加速度计作为参考,未安装人工靶标,直接跟踪自然特征点(缆-桥面连接点)。
**研究结果**
(保留原文小标题,但为简洁,此处用文字概括)
**3. Experiment validation of the EdgeCVDMS-II system**
- **3.1 Experimental setup**:在4米简支桥模型上,系统距目标约3米,每相机覆盖约0.8米跨度,相邻相机重叠0.1米。共39个测量点,使用锤击激励。
- **3.2 Real-time video processing efficiency evaluation**:测试不同ROI(300×300、500×500、800×800像素)与模板尺寸(100×100至300×300像素)。ROI=300×300、模板=100×100时,六通道均达到约30帧/秒处理速度,满足实时要求。
- **3.3 Computer vision-based displacement measurement accuracy evaluation**:以激光位移传感器为基准,计算均方根误差(RMSE)为0.0617 mm,归一化均方根误差(NRMSE)为1.45%,相关系数0.993。亚像素精度约0.15像素。
- **3.4 Bridge modal identification by using the developed EdgeCVDMS-II system**:基于频域分解(FDD)方法提取一阶模态振型,与加速度计和有限元模型(FEM)结果对比,模态保证准则(MAC)分别为0.998和0.9988。
- **3.5 Time synchronization evaluation**:通过带通滤波与希尔伯特变换分析39点相位一致性,最大相位差不超过3°,证明系统时间同步精度高。
**4. Field validations of the developed EdgeCVDMS-II system**
- **4.1 Field test setup**:在Boorloo Bridge中跨(C8–C21共14个测量点,跨度超150米),系统距目标超过100米,摄像头焦距设为120 mm,采用三次移动摄像头测试(每个测试中Cam3固定指向C16作为参考)。环境温度约14°C,微风。
- **4.2 Results analysis**:位移频谱显示主峰在0.6032 Hz,与加速度计结果(0.5921 Hz)一致。通过带通滤波(0.5–0.7 Hz)提取一阶模态位移,Cam3(距目标约105米,俯仰角2.2°)的位移测量与加速度计双积分结果对比,RMSE=0.0531 mm,NRMSE=7.1%,相关系数0.958。最终基于三次移动摄像头测试的模态振型拼接,得到MAC=0.9724,与加速度计结果高度一致。
**讨论与结论**
讨论部分指出,当前研究未显式补偿相机自运动(ego-motion)或校准不确定性,可能引入低频偏差,限制绝对或准静态位移响应的恢复。未来工作将采用基于静止参考点的策略进行自运动补偿,并整合动态指标(如频率、阻尼、振型)与准静态指标(如挠度模式、分布系数)至统一框架,实现大跨度桥梁综合状态评估与早期预警。此外,未来将进行多位置同步视觉-加速度计测量,以评估方法在更大距离和倾斜角下的鲁棒性。
研究结论部分翻译如下:
本文开发并验证了EdgeCVDMS-II——一种无靶标的多相机边缘计算视觉系统,用于大跨度桥梁的二维振动位移测量与模态振型识别。实验室测试(4米简支桥,相机距目标3米)表明,基于GPU的亚像素模板匹配实现了六通道30 Hz实时跟踪,精度约0.15像素,相对于激光位移传感器NRMSE为1.45%,且与加速度计导出的模态参数高度吻合。相机间同步维持数度相位扩散。在Boorloo Bridge上的现场测量证明了在超过100米远距离下可靠的多点动态位移估计能力,且模态振型识别结果与加速度计结果一致(MAC=0.9724)。通过结合同步采集与设备端处理,该系统缓解了原始视频的存储和吞吐负担,解决了多相机时间对齐的实际困难,从而实现了大型结构的分布式、连续、非接触监测。