《Optics & Laser Technology》:HAC-NET: A soft displacement estimation network for digital image correlation
编辑推荐:
•提出了一种具有软匹配功能的由粗到精网络HAC-NET,用于亚像素DIC测量。•SMAPM将硬匹配转化为软概率推断,以实现亚像素精度。•Swin Transformer与BCFT实现了全局双向跨特征交互。•凸上采样结合多阶段融合策略,有效缓解边界模糊和误差累积问题。引言数字图
- •
提出了一种具有软匹配功能的由粗到精网络HAC-NET,用于亚像素DIC测量。
- •
SMAPM将硬匹配转化为软概率推断,以实现亚像素精度。
- •
Swin Transformer与BCFT实现了全局双向跨特征交互。
- •
凸上采样结合多阶段融合策略,有效缓解边界模糊和误差累积问题。
引言
数字图像相关(DIC)技术融合了图像处理与变形测量技术[1],通过追踪参考图像与变形图像之间散斑图案的运动,实现全场表面位移和应变的非接触测量。与传统接触式测量方法相比,DIC具有空间分辨率高、测量范围灵活、易于实现等优势,已被广泛应用于材料测试[2]、[3]、结构健康监测[4]、[5]以及工业检测[6]、[7]等领域。DIC的基本原理是追踪参考图像与变形图像之间散斑图案的运动,并通过相关性分析确定局部位移。尽管传统的基于子区域的预测方法[8]、[9]已被证明是有效的,但其核心技术瓶颈是多方面的:基于牛顿-拉夫森或逆合成高斯-牛顿(IC-GN)迭代优化的亚像素解法对初始位移估计高度敏感,初始值不准确会导致收敛性差甚至发散;传统的亚像素精度依赖于相关函数峰值附近的曲面拟合(例如二次多项式插值),其精度显著受散斑纹理质量和图像噪声的影响,且与主计算框架解耦,无法实现数据自适应优化;子区域大小和步长等关键参数必须根据工程经验手动设置——子区域过小则匹配稳定性差,子区域过大则空间分辨率降低——使得在复杂散斑条件下难以自动获得最优配置;此外,逐点迭代计算的范式在高分辨率图像和大数据集上计算效率低下,无法满足在线实时测量的需求。这些局限性使传统基于子区域的DIC方法在小位移连续测量、复杂散斑匹配和实时处理等条件下面临精度-效率瓶颈。
针对传统方法的这些局限性,深度学习凭借其强大的特征学习能力和端到端可优化性,为DIC技术提供了一条新的技术路径:网络可以从大规模样本中学习对散斑纹理具有鲁棒性的特征表示,位移预测与特征提取联合优化,从根本上避免了传统方法中特征提取与后处理之间固有的解耦问题。然而,现有的基于深度学习的DIC方法(在第2.1节中进行了详细综述)在涉及小位移连续变形的场景中仍面临若干核心问题,制约了其进一步发展。
首先,大多数方法依赖硬匹配机制进行位移估计。无论是通过argmax选择位移,还是直接从相关体积中回归,输出本质上被限制在离散值或有限精度值;即使后续应用插值技术,硬匹配过程中丢失的信息也无法恢复,从而限制了亚像素位移估计的精度。其次,现有的DIC网络普遍采用卷积神经网络进行特征提取;其有限的感受野容易在散斑图案中具有重复纹理或小位移连续变形的场景中引起匹配歧义,从而影响位移估计的稳定性和鲁棒性。第三,当前主流的由粗到精串行架构缺乏自适应融合机制,容易导致不同阶段之间的误差累积;此外,各阶段之间引入的外部空间畸变操作破坏了整个网络的端到端可微性,中断了完整的梯度传播链,从而影响模型的整体优化性能。
为解决上述问题,本文提出了一种分层注意力引导的由粗到精位移估计网络(HAC-NET)。为了解决硬匹配机制带来的精度问题,构建了一个软匹配自适应图像块匹配(SMAPM)模块,将传统的离散硬匹配转化为概率分布上的期望计算,实现了高精度的亚像素位移估计。为了解决传统CNN感受野的局限性,引入了Swin Transformer作为特征提取骨干网络,并构建了一个双向跨特征Transformer(BCFT)模块,通过双向对称注意力机制实现参考图像与变形图像之间的高效全局特征交互。为了应对由粗到精架构中的误差累积和特征融合不足问题,采用了结合凸上采样的多阶段可学习融合策略,以提高高分辨率位移场重建的质量。本文旨在实现复杂变形场景下小位移的高精度连续测量,并进一步提升基于深度学习的DIC方法的稳定性和泛化能力。
本文的主要贡献如下:
- 1.
构建了一个软匹配自适应图像块匹配(SMAPM)模块,通过带有可学习温度参数的Softmax函数将传统的离散硬匹配转化为概率分布上的期望计算,从而实现高精度的亚像素位移估计。同时,设计了一种具有可学习融合机制的双路径架构,以互补方式整合软流输出与卷积解码器的回归输出。
- 2.
引入了Swin Transformer作为HAC-NET的特征提取骨干网络。与近期在直接回归框架中使用Swin Transformer的DIC方法不同,HAC-NET利用其层次化表示为后续的的概率软匹配提供更具判别力的特征。
- 3.
提出了一个用于特征增强的双向跨特征Transformer(BCFT)模块。与DICTr[17]中使用单向特征增强不同,BCFT采用双向对称注意力机制,使参考特征与变形特征对称交互;多头注意力和残差连接进一步强化了表示能力,同时保持了线性的计算复杂度。
- 4.
所有组件被集成到一个统一的端到端可训练框架中,其中可学习融合机制与凸上采样结合,自适应地平衡不同信息源的贡献,从而缓解高分辨率位移场恢复过程中的边界模糊和误差累积问题。
本文的其余部分组织结构如下。第2节综述了基于深度学习的DIC方法以及Transformer在视觉任务中的应用。第3节详细介绍了所提出的HAC-NET。第4节给出了实验结果和消融研究。第5节对全文进行了总结。
章节摘要
基于深度学习的数字图像相关方法
深度学习为数字图像相关技术提供了一条高效的端到端解决方案路径,有效缓解了传统方法中依赖手动参数调优、计算效率低下以及亚像素精度有限等缺陷,已成为该领域的重要研究方向。
端到端直接回归方法代表了早期DL-DIC的主流范式。StrainNet [10]首次将深度学习应用于DIC领域,使用FlowNet
总体架构
HAC-NET由若干核心功能模块组成,其总体架构如图1所示:(1) Swin Transformer特征提取扩大了感受野并提取多尺度特征;(2) BCFT双向跨特征增强通过双向交叉注意力实现参考图像与变形图像之间的对称全局特征交互;(3) SMAPM粗位移估计基于Softmax软
实验设置
我们在两个具有不同位移特性的合成散斑数据集上评估HAC-NET的性能。HermiteDataset包含由Hermite插值生成的连续位移场,位移范围为0至12像素;主要用于评估对平滑位移场的估计能力。SpeckleDataset包含更复杂的位移模式,范围为0至17像素,包括旋转和剪切。Mfd-Dataset使用48个真实实验散斑
结论
本文构建了一种分层注意力引导的由粗到精位移估计网络(HAC-NET),以解决现有基于深度学习的数字图像相关(DIC)方法的不足,包括亚像素精度瓶颈、有限的感受野以及传统由粗到精流水线中的误差累积问题。主要结论总结如下。
- (1)
在位移估计方面,所提出的SMAPM模块将离散相关
作者贡献声明
潘竹:撰写——审稿与编辑、可视化、验证、概念化。阎世杰:撰写——初稿、软件、方法论、调查。周星琳:监督指导、资源提供。
资金支持
本研究未获得公共、商业或非营利部门基金机构的任何特定资助。
利益冲突声明
作者声明不存在任何可能影响本文所报告工作的已知的竞争性经济利益或个人关系。
潘竹|阎世杰|周星琳