基于无监督Transformer的深度学习方法在数字图像相关性和数字体积相关性分析中的应用

《Optics & Laser Technology》：Unsupervised Transformer-based deep learning for digital image correlation and digital volume correlation

本文提出基于Transformer的未监督DIC模型DICTr，引入多分辨率位移梯度一致性（MrDGC）约束，无需标注数据即可准确测量复杂变形场。扩展至三维的DVCTr模型在模拟和真实牵引力显微镜实验中表现出高精度和抗噪性，优于传统迭代方法和监督学习模型。

　　

何浩阳|周一飞|张雅静|蔡宇琦|李瑞|刘一平|唐立群|孙涛林|江振宇

华南理工大学土木与交通学院，中国广州510640

摘要

基于深度学习的数字图像相关性（DIC）在测量极其复杂的变形场时显示出比传统DIC显著的优势。然而，深度学习模型的性能依赖于带有真实位移标注的高质量训练数据集，而这些数据集对于复杂变形来说往往难以通过实验获得。为了解决这一限制，我们通过引入无监督学习的范式，扩展了我们之前提出的基于Transformer的DIC模型（DICTr）。在损失函数中加入了一种称为多分辨率位移梯度一致性（MrDGC）的自发约束，以补充光度一致性。这种设计使模型能够在没有标记数据的情况下学习物理上合理的变形，并且不需要对位移场的平滑性做出不合理的假设。在各种斑点图像上的实验结果表明，无监督的DICTr能够准确测量多种变形场。此外，该模型还被扩展到数字体积相关性（DVC），即无监督的DVCTr。在牵引力显微镜的模拟和真实示例中，无监督的DVCTr在测量高度局部化的变形方面表现出高精度，并且对体积图像中的噪声和伪影具有鲁棒性，优于传统的迭代数字体积相关性方法。

引言

数字图像相关性（DIC）和数字体积相关性（DVC）已成为在某些极端实验条件下测量变形场不可或缺的方法[1]、[2]、[3]、[4]，因为它们具有非接触式和全场测量的能力[5]、[6]。然而，传统的DIC和DVC方法在处理复杂变形场时存在固有的局限性。这些方法基于使用非线性优化算法的子集匹配，其中测量分辨率和空间分辨率受到形状函数阶数和子集窗口大小的约束[7]。具体来说，使用较小的子集窗口有助于测量高度局部化的变形，但代价是匹配精度降低以及由于子集内斑点信息较少而导致的匹配失败风险增加。相反，扩大子集有助于抑制随机误差，但由于形状函数阶数有限，会引入低通滤波的效果，从而削弱了表征复杂变形场的能力。

为了克服传统DIC算法在测量复杂变形场时的局限性，研究人员最近引入了基于深度学习的模型，这些模型受到光流技术的启发，以打破DIC中子集和形状函数的限制。Min等人[8]和Boukhtache等人[9]实现了基于卷积神经网络（CNN）的深度学习DIC。Yang等人[10]使用端到端CNN来测量位移和应变场，他们的工作还展示了斑点图像数据集质量对预测精度的重要影响。Duan等人[11]首次将深度学习应用于数字体积相关性（DVC），其计算速度比传统DVC算法快了两到三个数量级。然而，大多数基于FlowNet-S[12]及其变体的DIC模型存在一个根本性限制：它们的处理范式在灰度分布（参考图像和变形图像之间）和位移场之间建立了直接映射，这严格限制了可测量的位移范围在卷积核的有效感受野内。因此，这些模型只能测量大约6-8像素以内的位移，而且仅通过增加训练样本中的位移幅度无法缓解这一限制。一些研究采用了PWC-Net中的机制来解决大变形的测量问题[13]、[14]、[15]。这些方法采用多阶段方案，逐步处理图像，从而在一定程度上使卷积神经网络（CNN）能够测量更大的位移。Zhou等人[7]提出了一个基于Transformer增强特征的DIC模型（DICTr），将处理范式恢复到图像特征匹配。通过利用Transformer中的注意力机制，该模型赋予特征描述符更强的区分度和全局语义表示能力，从而为鲁棒的特征匹配奠定了坚实的基础。这种方法具有明确的物理解释，并且能够在不牺牲精度的情况下测量更大的位移。通过增加训练数据集中的位移幅度，可以进一步增加可测量范围。它还便于扩展到基于Transformer的数字体积相关性（DVCTr）。

基于深度学习的DIC和DVC方法的性能在很大程度上受到训练数据集中样本数量有限以及位移场多样性不足的限制。特别是，监督式深度学习模型所实现的泛化能力和空间分辨率高度依赖于带有真实位移的数据集的质量[16]。然而，实验上获得这些高精度的位移场具有挑战性，因为很少有技术能够在DIC和DVC等不同场景中准确高效地提供全场位移测量。研究人员尝试通过数值方法增加数据集中位移场的多样性，例如通过高阶插值[10]、[13]或使用高斯模糊从自然景观图像合成变形场[17]。然而，这个问题仍然没有得到解决。首先，数值生成的变形场可能与实际应用中遇到的变形场有很大不同。其次，如果数值生成的变形场包含过多的低频位移成分，训练好的模型在测量具有高频变化的复杂变形场时可能会表现不佳。此外，数值生成的数据集在真实测试中忠实地再现图像噪声和其他实验因素的效果仍然是一个未解决的挑战。

无监督学习是解决这一问题的一个有前途的方法。现有基于无监督学习的DIC的核心思想是光度一致性，即变形物体表面上特定点的强度保持不变。这一假设允许评估目标图像在根据预测的位移场进行逆向变形后是否与参考图像完全对齐。Wang和Zhou[18]将无监督学习DIC模型的损失函数设计为均方误差和参考图像与逆向变形目标图像之间的皮尔逊相关系数的组合，以指导模型训练。Zhu等人[19]将子集匹配与形状函数结合到损失函数中，类似于传统的DIC，提高了模型对具有更高空间频率的变形场的适应性。在此基础上，Cheng等人[20]进一步引入了对变形场的连续性假设，以抑制图像噪声对光度一致性标准的影响。Yang等人[21]试图通过结合光度一致性和对位移场及强度场的平滑性约束来构建更鲁棒的优化目标。应该注意的是，这些方法，特别是那些借鉴了传统DIC思想的方法，在某种程度上似乎是概念上的回归，因为基于子集匹配的光度一致性标准带来了传统DIC中固有的问题。关于变形场连续性或平滑性的假设与降低形状函数阶数相同，这损害了处理严重变化变形场的能力。

在这项工作中，我们提出了一种新颖的无监督学习方法用于DICTr。在损失函数中加入了跨多个分辨率的预测位移场之间的一致性，并完成了像素级的光度一致性。发现多分辨率位移梯度一致性（MrDGC）可以有效抑制图像噪声对优化目标的影响，而无需对连续性或平滑性做出严格假设。此外，无监督的DICTr被扩展到无监督的DVCTr，用于测量三维体积图像中的位移场。通过使用数值生成的示例和真实测试的示例，验证了这两种无监督模型的性能和泛化能力，并与其他基于无监督学习的模型（UnDICNet[21]）、基于监督学习的模型（DICTr[7]、DVCTr和StrainNet-f[22]）以及传统的DIC/DVC算法（OpenCorr[23]）进行了比较。相关代码和数据集将在https://github.com/vincentjzy/dictr处提供。

网络架构

图1展示了DICTr和DVCTr的主要组成部分，主要包括三个模块：特征提取、增强和匹配。工作流程可以描述为三个步骤：（i）ResNet编码器从参考图像和目标图像中提取密集的图像特征，分别以图像全分辨率的1/2和1/4的分辨率。（ii）将这些特征输入Transformer编码器，为每个图像生成增强的特征描述符。（iii）参考图像...

实验设置

为了全面评估模型性能，将无监督的DICTr与几种代表性模型和算法进行了比较，包括基于监督学习的DIC模型（DICTr[7]和StrainNet-f[22]）、基于无监督学习的DIC模型（UnDICNet[21]）以及传统的DIC方法（OpenCorr[23]）。StrainNet-f和UnDICNet的配置遵循其作者预先训练的公开版本。StrainNet-f基于FlowNet-S[12]，使用U-Net卷积...

消融实验

无监督的DIC和DVC模型大多基于光度一致性构建其损失函数，这使得预测的位移场容易受到斑点图案质量和图像噪声变化的不当影响。

图16比较了无监督DICTr在损失函数中是否包含MrDGC的不同配置下，在旋转情况下的绝对误差。仅使用光度一致性进行训练的无监督DICTr显示...

结论

本研究展示了基于先前基于Transformer的DIC模型（无监督DICTr）及其扩展到DVC（无监督DVCTr）的实施。我们的主要成就之一是在无监督学习过程中将多分辨率位移梯度一致性（MrDGC）纳入损失函数。消融实验确认MrDGC补充了广泛采用的光度一致性，并显著抑制了随机误差...

CRediT作者贡献声明

何浩阳：撰写——原始草案、软件、方法论、研究。周一飞：软件、方法论、研究。张雅静：验证、研究。蔡宇琦：形式分析。李瑞：验证、软件。刘一平：项目管理、资金获取。唐立群：项目管理、资金获取。孙涛林：监督、项目管理、资金获取。江振宇：撰写——审阅与编辑、监督、项目管理、资金。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

作者感谢国家自然科学基金（资助编号：12232017、12072115、12432008和12372181-->）的财政支持。本研究还得到了广东省基础与应用基础研究基金（编号：2023A1515012049）、国家科技重大专项（编号：2025ZD0614401）和广东省引进创新与创业团队（2019ZT08Y318-->）的支持。