一种基于端到端小波技术的非规则变换器，采用Gumbel采样方法进行时空焊接预测

《Engineering Applications of Artificial Intelligence》：An end-to-end wavelet-based irregular transformer with gumbel sampling for spatiotemporal welding prediction

　　刘长辉 | 金科 | 孙建志 | 邓林 | 冷杰武 | 李鑫 | 李倩 | 杨青成
上海同济大学机械工程学院，201804，中国

**摘要**
焊接预测在确保薄壁结构装配精度和减少返工方面起着至关重要的作用。数据驱动的方法越来越受到关注；然而，大多数现有方法依赖于过于简化的输入表示，忽略了不规则的时间动态，并且仅关注单变量预测，这限制了它们在复杂焊接场景中的适用性。针对这些挑战，本研究开发了一种端到端的小波不规则变换器（Wavelet Irregular Transformer），该变换器结合了Gumbel采样技术，旨在实现焊接引起的变形和残余应力的准确时空预测。从人工智能的角度来看，该模型包含了一个基于大型语言模型的嵌入初始化器，用于压缩和 contextualize 步骤级仿真参数，以及一个自适应的参数化Gumbel关键帧提取器，用于动态识别最具信息量的时间段。这种设计能够在保持高保真时间表示的同时，高效地处理超长焊接序列。从工程应用的角度来看，开发了一种通道感知的小波编码器-解码器，用于融合多频率和多通道特征，从而提高空间连贯性并捕捉应力-应变耦合。在专门的薄板焊接数据集上的验证，结合物理实验表明，与优化的编码器-解码器和序列建模基线相比，所提出的方法在准确性、鲁棒性和计算效率方面具有优越性。所提出的小波不规则变换器结合Gumbel采样在测试集上的变形平均绝对误差为0.033毫米，均方根误差为0.045毫米，与最佳均匀采样基线相比，变形平均绝对误差减少了92.0%，均方根误差减少了82.1%，同时所需的十亿次浮点运算次数减少了76.7%。

**引言**
由于薄壁结构具有较高的强度重量比和结构效率，因此在航空航天和土木工程中得到了广泛应用（Mittelstedt, 2024; Ren et al., 2024）。这些组件通常通过连续焊缝焊接工艺（如电弧焊接和激光焊接）制造（Anand and Khajuria, 2013）。然而，这些工艺中固有的高热输入和复杂的热机械相互作用不可避免地会导致焊接变形。这种变形会在后续制造阶段累积和传播，最终导致最终产品的尺寸偏差和装配不准确（Liu et al., 2020）。这个问题不仅会损害结构完整性，还会增加制造成本和返工需求，从而对薄壁零件的精密制造构成重大挑战。

最近关于焊接变形的研究越来越多地结合了基于物理的仿真和学习替代方法，从简化或降阶的有限元分析（FEA）（Carrera et al., 2013; Yan-ting et al., 2017）程序到人工神经网络（ANN）（Ansaripour et al., 2020; Mathew et al., 2018），以估计在不同工艺参数和几何形状（例如板材、加劲面板、船体组件）下的变形和残余应力。此外，一些最新工作尝试结合基于图像的表示来进行焊接变形预测（Cai et al., 2022, 2023; Wang et al., 2024b）。然而，仅靠图像特征无法有效捕捉深度信息，这限制了它们的描述能力。尽管点云数据可以作为补充表示，以更好地编码几何深度和结构不规则性，但现有方法仍存在一些局限性（Wang et al., 2024a）。大多数方法仅依赖焊接变形作为唯一条件，而没有明确考虑可能显著影响焊接过程的特定于零件的制造偏差（W?rmefjord et al., 2016）。此外，预测结果通常仅限于单个变量，如焊缝深度或变形，而不是提供整个焊接过程的全面预测，包括其时间演变和多物理相互作用。

近年来，时间序列预测技术取得了快速进展，研究人员试图利用时空信息来改进焊接变形预测（Jiang et al., 2025）。为了将时间特征整合到熔池图像特征提取中，一些研究尝试引入时间维度，以更全面地描述焊接过程中熔池状态的动态演变。循环神经网络（RNN）及其变体长短期记忆（LSTM）网络已被越来越多地应用于捕捉薄壁结构中焊接引起的变形（Shi et al., 2023; Wang et al., 2021; Zhou et al., 2024）。与主要关注单帧表示的卷积神经网络（CNN）相比，基于RNN和LSTM的方法能够模拟焊接步骤中的变形和残余应力的序列演变。为了进一步增强这些方法，引入了注意力机制，使模型能够选择性地关注在变形积累中起主导作用的关键焊接阶段和结构区域（Ye et al., 2022）。研究了带有加性延迟组件的采样数据控制框架，用于使用循环功能方法进行神经网络同步（Tamil Thendral et al., 2026），这类技术为不规则序列预测中的延迟感知时间建模提供了设计依据。尽管如此，这些循环架构仍可能遇到梯度消失、并行化有限以及建模长距离依赖性方面的挑战，这可能会限制它们完全捕捉焊接过程中固有的复杂时空模式的能力。

虽然上述方法已经取得了一些进展，但在应用于薄壁结构时仍有一些方面需要进一步改进。许多现有模型依赖于单一输入类型，限制了过程表示，而预测所有中间变形或完整空间场往往会导致过高的复杂性和计算成本，阻碍了实际应用。此外，预测输出的范围往往较为局限——许多方法仅预测单一指标，如峰值变形或焊缝穿透深度，而对其他有价值的结果（如残余应力模式或变形在连续阶段的分布）关注较少（Chen et al., 2021; Liang et al., 2019; Liu et al., 2022）。这些方面——包括需要更全面的数据融合、提高计算效率和更广泛的预测覆盖范围——突显了开发一个更加协调和多功能的建模框架的重要性，该框架能够整合多种输入并在整个焊接过程中提供多个有意义的输出。

具体来说，有三个研究空白激发了本项工作。首先，大多数现有方法在固定的均匀时间步长上离散化焊接序列，忽略了关键事件（焊缝开始、峰值热负荷、逐渐冷却）的物理不规则时间间隔。其次，基于CNN或ViT（视觉变换器）的空间编码器在像素域中操作，无法同时分离不同频率带的多尺度变形模式。第三，在一个端到端框架内多变量联合预测变形、残余应力和温度的研究仍然不足。

在本文中，提出了一种结合小波不规则变换器（WITGS）和Gumbel采样的方法，通过整合异构信息源和不规则时间特征来预测薄壁结构中的焊接变形和内部应力。如图1所示，该框架由两个核心模块组成：通道感知小波（CAW）编码器和点引导关键嵌入（PGKE）采样器。首先，CAW编码器对变形、内部应力、开始时间和时间跨度进行编码，并与来自Time2Vec函数的不规则时间嵌入连接起来，从而形成时间丰富的输入令牌。同时，焊接参数与开始时间和时间跨度的热源结合，构建一个查询令牌，该令牌也通过Time2Vec嵌入进行时间对齐。接下来，在焊接参数的指导下，PGKE采样器自适应地减少输入令牌中的冗余信息，确保高效表示同时防止模型过于复杂。采样的输入令牌由变换器编码器处理以生成键值矩阵，而转换后的查询令牌作为交叉注意力模块中的查询。最后，CAW解码器重建输出，提供变形和内部应力的预测。本工作的主要贡献总结如下：
1) 所提出的框架不仅融合了异构信息源，包括焊接参数、几何偏差、时间特征和热源条件，还将预测范围从单一标量变量扩展到多个焊接结果。这样，模型能够联合估计变形场和残余应力，提供焊接响应的全面表示，而不仅仅是关注孤立指标。
2) 引入了自适应的PGKE采样器，自动选择和细化来自不规则和冗余输入的最具信息量的时间段。这种自适应机制避免了不必要的序列扩展，防止预测模型变得过于复杂，从而在模拟薄板焊接过程的演变时确保了效率和准确性。
3) 该框架设计用于灵活适应薄壁组件的变化，如板材、加劲面板和船体组件。通过捕捉结构异质性并整合不同配置下的反馈，所提出的方法在实际焊接场景中表现出广泛的适用性和鲁棒性，确保学习到的模型可以泛化到不同的结构类型，而无需进行大量重新训练。

与假设均匀时间步长的传统时间变换器相比，WITGS通过基于Gumbel的可微分PGKE模块解决了不规则的时间动态问题，该模块无需人工重采样即可进行自适应关键帧选择。集成的通道感知小波（CAW）编码器-解码器同时捕捉低频全局变形趋势和高频局部应力集中——这些能力是纯空间域注意力无法有效实现的。

**问题描述**
假设一个柔性薄板由其上表面采样的点云表示。假设该板在材料属性上是均匀的，并被均匀划分为大小为H×W的规则网格。在每个空间位置（i,j），提供以下初始物理状态：
- 初始变形场 D0∈RH×W×3，表示每个表面点相对于其参考（未变形）配置的三维位移。
- 初始内部应力场 S0∈RH×W×6，其中...

**小波不规则变换器结合Gumbel采样（WITGS）**
小波不规则变换器结合Gumbel采样（WITGS）是一种针对不规则焊接过程设计的编码器-解码器，自回归架构。在步骤t，模型消耗两种类型的令牌：对应于先前观察到的步骤{1, …,t?1}的输入令牌，每个令牌包括多通道场（变形D（毫米）、内部应力S（兆帕）以及标量过程控制（焊接开始时间、焊接持续时间），以及当前步骤t的查询令牌。

**数据准备**
在不同条件下进行了四组脉冲激光焊接实验。选择Q235钢作为工件材料。实验中使用了两个单独的工件，每个工件尺寸为0.2毫米×0.15毫米，厚度均匀为1毫米。为了确保薄壁板焊接过程的稳定性和准确性，设计了一个专用的夹具系统。工件和夹具布局的示意图如图4(a)所示。

**结论**
在本文中，提出了一种端到端的小波不规则变换器结合Gumbel采样（WITGS），用于预测薄壁板中的焊接引起的变形和内部应力。通过整合通道感知小波编码器-解码器、Time2Vec嵌入和可微分Gumbel采样，该框架实现了焊接过程的准确、高效和多模态的时空建模。还构建了一个专门的薄板焊接数据集，为研究提供了宝贵的支持。

**作者贡献声明**
刘长辉：撰写——审稿与编辑、监督、方法论。
金科：撰写——原始草稿、验证、方法论。
孙建志：验证、资源。
邓林：可视化、验证。
冷杰武：撰写——审稿与编辑、验证。
李鑫：验证、方法论。
李倩：可视化、资源。
杨青成：可视化、资源。

**利益冲突声明**
作者声明与本手稿的发表没有利益冲突。手稿中描述的研究是独立进行的，作者与其他个人或组织没有财务、个人或其他关系，这些关系可能不恰当地影响或偏置论文的内容。所有作者均已批准手稿，并同意将其提交给《Engineering Applications of Artificial Intelligence》。

**致谢**
本工作部分得到了中国国家自然科学基金（项目编号52575305）、上海市教育委员会未来学科：极端环境建设（项目编号22120220649）、同济大学中央高校基本科研业务费（项目编号22120220649）以及上海高校学术发展高峰项目的支持。