《Engineering Structures》：A monocular vision-based deep learning approach for 3D full-field displacement monitoring of planar structures
编辑推荐：
•单目成像实现全场三维位移测量。•光学扩展将面内运动估计与面外运动估计耦合。•物理信息渲染生成带位移标签的散斑图像。•在合成测试和实验室测试中验证了亚像素级图像域精度。•在约0.1毫米以上实现了可靠的定量测量。引言在动态载荷下监测结构位移对于评估机械性能和运行状态至关重要[[
- •
单目成像实现全场三维位移测量。
- •
光学扩展将面内运动估计与面外运动估计耦合。
- •
物理信息渲染生成带位移标签的散斑图像。
- •
在合成测试和实验室测试中验证了亚像素级图像域精度。
- •
在约0.1毫米以上实现了可靠的定量测量。
引言
在动态载荷下监测结构位移对于评估机械性能和运行状态至关重要[[1], [2], [3], [4], [5]]。传统接触式传感器，如三坐标测量机[6]和应变片[7,8]，虽然精度高，但仅限于离散点测量，无法捕获全场变形。尽管3D激光扫描仪可以通过点云重建表面几何形状[9,10]，但它们主要适用于变形后的静态评估，不适用于实时动态监测。这些局限性推动了非接触式、全场测量技术的发展。
随着机器视觉和高速度成像技术的进步，基于视觉的方法已成为强大的非接触式全场动态变形测量工具[[11], [12], [13]]，具有高时空分辨率，并广泛应用于平面结构变形分析[[14], [15], [16]]。数字图像相关法（DIC）是一种基于视觉的全场非接触式技术，可通过图像分析提取位移、变形和应变[17]。由于其安装简单、鲁棒性强、测量精度高，DIC已被广泛应用于工程结构的变形和应变评估[[18], [19], [20]]、裂纹扩展监测[[21], [22], [23]]、3D变形分析[24]、动态响应测试[25,26]以及原位实验[27]。
DIC通常分为两种构型：2D-DIC测量面内位移[18]，3D-DIC捕获全场三维运动[28]。光流法从图像对中提取位移场[29]，精度达到亚像素级[30]，与DIC的任务一致。这些方法可以有效利用高对比度随机散斑图案提供的丰富纹理信息，从而更全面地发挥两种技术的优势。深度学习在光流估计方面取得了显著进步，基于卷积神经网络（CNN）的方法在精度和计算效率上均优于传统方法[31]。这些网络可以利用层次化特征表示有效地恢复稠密的位移场。一些研究将CNN引入DIC进行位移和应变预测[[32], [33], [34], [35]]。然而，大多数现有方法仅限于2D-DIC，无法准确恢复面外变形，而面外变形在许多结构应用中至关重要。
与2D DIC相比，立体3D DIC在材料表征[36,37]、结构安全评估[24]和动态振动分析方面具有显著优势。然而，传统立体系统依赖于双目相机设置，需要严格的空间配置、精确的同步以及涉及内参估计和姿态确定的复杂标定程序[38,39]。为降低系统复杂度，单目3D DIC方法已被探索[40]。现有方法通常采用光学组件，包括：(1) 使用平面镜[41]或棱镜[42]的表面投影技术，在单个成像平面上获取双视角；(2) 通过光学滤波器[43,44]和分束器实现多光谱通道分离。虽然这些策略简化了硬件要求，但往往会牺牲空间分辨率或需要复杂的光学对准。此外，它们的位移估计仍然依赖于传统的子集匹配和相关分析，限制了其在动态场景中的鲁棒性和适用性。尽管做出了这些努力，使用简单的单目设置实现准确的全场3D位移测量仍然是一个重大挑战。
近年来，单目3D光流估计的进展主要集中在通过光学扩展原理推断相对深度变化[45,46]。受这些发展的启发，本研究提出了一种基于单目视觉的深度学习框架，用于平面结构的全场3D位移测量。首先，开发了一种多尺度特征重建网络，用于从单目图像序列中估计表观位移场。其次，引入了一种基于局部仿射建模的光学扩展网络来推断面外位移。第三，采用残差校正策略来补偿面外引起的畸变，从而实现精确的全3D位移场恢复。此外，构建了一条结合可变形网格建模与基于物理的渲染的合成数据生成管线，以生成带有真实3D位移标签的逼真散斑图像。仿真和板-弹簧冲击实验表明，所提出的方法达到了与商用立体3D-DIC系统相当的精度，同时显著降低了硬件复杂度和安装约束。这些结果表明，所提出的框架是高精度结构位移监测的高效实用解决方案，适用于空间和硬件受限的场景。
各章节摘要
方法论
本研究提出了一种名为M3DIC-Net的单目视觉深度学习框架，用于平面结构的全场3D位移测量。基于随机散斑图案的图像对，所提出的框架将单目3D位移估计问题构建为一个顺序三阶段过程，包括表观平面位移重建、基于局部仿射的面外运动估计和残差位移校正。M3DIC-Net的工作流程为
数据集生成
为训练所提出的M3DIC-Net，需要一个专门的数据集，包含散斑图像对（变形前和变形后）及其对应的3D位移场标签。本研究提出了一种基于可控网格变形和基于物理的渲染的合成数据集生成方法，该方法可以提高数据集构建的效率，并确保数据的丰富性和任务针对性。整体流程如图7所示。
性能与鲁棒性
本节在构建的数据集上训练M3DIC-Net，并从精度、计算性能和鲁棒性方面进行系统评估。考虑了两个互补的参考对比。采用商用立体3D-DIC系统Vic-3D作为公认的测量基准，代表传统的全场3D位移测量标定立体视觉解决方案。此外，考虑到任务相关性、可复现性和兼容性
实验验证与结果分析
为了研究所提出方法的实际适用性，本节呈现了板-弹簧系统冲击实验的实验室实验复制。目的是系统评估M3DIC-Net在物理条件下的噪声底和位移预测能力。
结论
本研究提出了M3DIC-Net，一种用于从图像对进行全场3D位移测量的单目深度学习框架。通过引入光学扩展来恢复面外运动，该方法实现了单目3D位移重建，同时降低了硬件复杂度并消除了多相机同步需求。此外，进一步开发了一条基于网格变形、逼真散斑渲染、光照变化等技术的物理信息合成数据生成管线。
7. 局限性及未来工作
所提出的M3DIC-Net通过降低硬件复杂度同时保持令人满意的精度，为动态位移测量提供了传统立体3D-DIC系统的实用替代方案。单目构型消除了对立体标定和同步的需求，从而简化了实验设置并增强了在受限或现场环境中的适应性。
在当前实验采用的光学配置下，测量可靠性
CRediT作者贡献声明
杨夏森：撰写——初稿，方法论，调查，概念化。严鹏：项目管理，资金获取，形式分析。孟晓良：验证，监督。周超：撰写——审阅与编辑，可视化。李明泽：验证，软件。王高辉：验证，资源。路文博：监督，资金获取。
利益冲突声明
作者声明他们没有已知的财务利益或人际关系可能影响本文所报告的工作。
致谢
本工作得到了国家自然科学基金[资助号 52379108、51939008、U25B20221]和水利部重大科技项目[资助号 SKS-2025017]的资助。作者感谢所有支持者。
杨夏森|严鹏|孟晓良|周超|李明泽|王高辉|路文博
