GratingNet：基于光栅图像和深度学习的面内位移场预测方法

《Measurement》：GratingNet: the in-plane displacement field prediction method based on grating images and deep learning

　　

• •
  基于光栅的光学测量方法被广泛用于全场位移表征；然而，由于大规模图像处理的高计算成本，其在动态变形测量中的应用受到限制。为了应对这一挑战，我们提出了一种基于摩尔光栅图像的深度学习面内位移预测框架。
• •
  在本工作中，开发了一种双分支卷积神经网络，称为 GratingNet，用于从变形前后的光栅图像中联合学习空间域和频率域特征。该网络结合了可变形卷积、注意力机制、多尺度特征提取和不确定性加权多任务损失，以实现准确且鲁棒的位移场预测。使用星形和随机生成的位移场进行验证表明，GratingNet 显著优于经典的 U-Net 架构和传统的采样摩尔法。
• •
  所提出的方法有效地将光栅光学测量原理与现代深度学习技术相结合，为面内位移场表征提供了一种高精度和高效率的解决方案。

引言

基于光栅的相位测量技术是一种高效实用的测量面外和面内位移场技术，已在实验力学领域得到广泛应用。使用该技术可以通过提取变形光栅的相位场来测量位移场。近年来，随着光学信息处理的进步，涌现了多种相位处理技术，通常可分为单帧和多帧方法。单帧方法，如傅里叶变换轮廓术（FTP）[1]，光栅条纹图案通过单次图像采集变换到频率域，并通过频谱分析提取相位信息。该方法特别适用于动态场景的实时测量。然而，由于频谱混叠的影响，单帧方法在处理复杂变形光栅时会受到显著测量误差的影响，因此相应的结果可能无法准确反映真实变形。对于多帧方法，如采样摩尔法 [2] 和相位偏移轮廓术（PSP）[3]，需要多幅图像来获取相位信息。对于前者，通过捕捉变形光栅图像计算相位分布，并利用数字相位偏移技术进行相位解调。而对于后者，投影并记录多个正弦条纹图案，利用多步相位偏移算法获得包裹相位，然后应用相位展开算法重建高精度相位场。近年来，这些方法已被广泛应用于宏观结构 [4], [5], [6], [7], [8] 的面内和面外位移测量，以及微观面内变形测量 [9], [10], [11]。然而，在涉及大规模图像数据集的动态测量场景中仍面临巨大挑战。特别是，传统的相位解调过程计算耗时，从而限制了高速或实时变形测量的效率。这种计算瓶颈反映了大规模数据处理中的更广泛挑战 [12]，这些局限性促使人们开发更高效的数据驱动方法，以减少对复杂相位处理程序的依赖，并直接在光栅图像和相应变形信息之间建立关系。

为了适应这一背景下的需求，深度学习方法 [13] 因其强大的特征提取和非线性映射能力，已成为大规模数据高效处理的有前景的解决方案，并已在光学成像、空间定位 [14], [15]、图像分析和多模态特征学习 [16], [17], [18], [19], [20] 等各个领域得到广泛应用。因此，将深度学习与光栅相位测量技术相结合，以实现动态测量数据的高效处理，已引起广泛关注并成为活跃的研究课题 [21], [22], [23], [24], [25]。例如，冯等人通过引入深度神经网络（DNNs）[26]、贝叶斯卷积神经网络（BNNs）[27] 和集成深度学习方法 [28]，进一步提高了光栅条纹图案中相位解调的精度、效率和可靠性。同样，于等人通过设计条纹图案变换网络（FPTNet）[29] 和条纹调制增强卷积神经网络（FMENet）[30]，在保持高计算效率的同时显著提高了相位计算的精度。最近，李等人 [31] 提出了一种多阶段卷积神经网络，用于高散斑噪声下的相位展开，进一步证明了深度学习在解决传统光学测量瓶颈方面的能力。

除了基于深度学习的光栅或条纹相位分析外，数字图像相关（DIC）也被广泛用于面内位移和变形测量。近年来，卷积神经网络被引入 DIC 以提高位移预测精度和计算效率，特别是对于大规模图像数据。这些方法通常从变形前后记录的散斑图像中学习位移关系 [32], [33], [34], [35]，展示了深度学习在实验力学中的潜力。例如，闵等人 [36] 将三维卷积神经网络引入 DIC 以减少位移计算时间，而杨等人 [37] 使用两个独立的卷积神经网络进行端到端的位移和应变场预测。程等人 [38] 进一步提出了 DIC-PCNN，通过将位移和应变误差纳入损失函数，从而提高了预测精度。

尽管基于深度学习的条纹/光栅相位分析和 DIC 方法取得了显著进展，但仍存在一个关键差距：现有的用于面内位移测量的深度学习研究主要是针对散斑图像设计的，而不是光栅图像。基于散斑的 DIC 方法依赖于随机强度图案，而光栅图像具有独特的周期性结构，需要不同的特征提取策略。简单地将基于散斑的 DIC 网络应用于光栅图像会忽略固有的周期性，导致精度次优，特别是在亚像素位移预测中。随着对使用摩尔光栅进行面内动态变形测量需求的增长，迫切需要一种专门的深度学习方法，能够明确利用光栅图像的周期性。

为了解决这一局限性，我们提出了一种双域学习框架，称为 GratingNet，用于从光栅图像中估计面内位移场。GratingNet 将空间变形建模与频率域表示学习集成在一个统一的端到端架构中，使网络能够联合捕捉光栅图案的局部几何变化和全局周期性特征。通过将光栅结构的内在周期性信息纳入学习过程，GratingNet 提高了复杂变形条件下位移估计的鲁棒性和准确性。本文其余部分组织如下。第 2 节介绍了 GratingNet 框架，包括其双分支架构、关键模块和数据集生成。第 3 节通过数值模拟评估了其位移预测精度和鲁棒性。第 4 节比较了所提出的方法与采样摩尔法和 U-Net 在预测精度和计算效率方面的表现，并通过消融研究进一步调查了各个网络模块的贡献。第 5 节总结了论文并概述了未来的研究方向。

章节摘要

方法论

为了解决传统光栅图像位移测量方法在精度和效率方面的不足，本文提出了一种基于光栅图像和深度学习的面内位移场测量网络，即 GratingNet。所提出方法的总体架构如图 1 所示。采用了深度学习的多分支神经网络结构 [39]，并通过端到端学习和频率域辅助分析，实现高精度的面内

预测结果与性能评估

使用第 2.3 节描述的测试数据集，验证了 GratingNet 在 u 和 v 方向的位移测量精度，以确定其测量平面二维位移场的适用性和准确性。生成了 15 个具有不同位移特性的测试样本。对于每个样本，在 u 和 v 方向进行精度预测，并计算平均绝对误差（MAE）和均方根误差（RMSE），如

通过与 U-Net 和采样摩尔法比较评估预测精度

为了更全面地评估所提出方法的预测性能，我们将 GratingNet 的预测结果与传统采样摩尔法和 U-Net 网络获得的結果进行了比较。采样摩尔法是一种高精度的位移和变形测量技术，其原理基于使用规则的周期性光栅结构作为变形载体。通过分析变形前后光栅图像的相位变化

结论

为了满足面内位移测量和表征的需求，我们提出了一种基于深度学习的变形场预测方法，使用二维光栅图像。基于本文获得的结果，可以得出以下结论：

• (1)
  提出了一种双分支卷积神经网络 GratingNet，用于面内位移场预测，集成了空间域和频率域特征学习。通过利用内在周期性

CRediT 作者贡献声明

胡家亮：写作 – 初稿。陈儒：写作 – 审查与编辑。郑波：写作 – 审查与编辑。刘站伟：写作 – 审查与编辑。谢惠敏：写作 – 审查与编辑。贾亚磊：写作 – 审查与编辑。张战飞：写作 – 审查与编辑。

竞争利益声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能被认为影响了本文报告的工作。

致谢

本研究得到了 国家自然科学基金 的资助（项目编号：12532009，12032013，12327801）。

胡家亮 | 陈儒 | 郑波 | 刘站伟 | 谢惠敏 | 贾亚磊 | 张战飞