《Materials & Design》：Attention-driven tab transformer for predicting tensile strength of friction stir welded aluminium alloys
编辑推荐：
提出了一种新颖的TT-WPAL表格Transformer（Tab Transformer）模型，用于准确预测搅拌摩擦焊（Friction Stir Welding, FSW）中归一化抗拉强度。该模型融入了已确立的热机械描述符，包括旋转-行进速度比（Rotati
提出了一种新颖的TT-WPAL表格Transformer（Tab Transformer）模型，用于准确预测搅拌摩擦焊（Friction Stir Welding, FSW）中归一化抗拉强度。该模型融入了已确立的热机械描述符，包括旋转-行进速度比（Rotation–Travel Speed Ratio, RTR）、焊接螺距（Welding Pitch, WP）和热输入指数（Heat Input Index, HII），以增强特征表示。通过基于注意力的深度学习，该模型有效捕捉了焊接参数之间复杂的非线性关系。与基线模型相比，该模型实现了优越的预测性能，R2分数达到0.98，并降低了预测误差。通过五折交叉验证和消融分析，该模型展现出稳健的预测性能。该框架为焊接参数交互的数据驱动预测与分析提供了可解释且可扩展的途径。
一、研究背景与问题提出
搅拌摩擦焊（Friction Stir Welding, FSW）已成为铝合金固态焊接最有效的方法之一，因其无需熔化母材即可生产高质量焊缝，在航空航天、汽车和海洋应用中广泛采用。然而，FSW过程中旋转速度、焊接速度和倾斜角等工艺参数对焊接接头的力学性能尤其是抗拉强度具有显著影响。这些参数控制着焊接过程中的热量产生、材料流动行为和微观组织发展，最终决定接头质量和结构完整性。但工艺变量之间存在高度复杂和非线性的关系，使得传统解析方法难以准确预测抗拉强度。
尽管已有研究探索了人工神经网络（Artificial Neural Network, ANN）、支持向量机（Support Vector Machine, SVM）和集成学习模型在FSW中的应用，但多数研究仅关注预测精度，未考虑工艺变量间的相互关系，且模型缺乏可解释性，对影响抗拉强度发展的机理提供有限见解。近年来，基于Transformer架构的深度学习模型为克服这些问题提供了新途径，其注意力机制能够学习输入变量间的特征交互和上下文依赖关系。然而，很少有研究将领域特定的热机械特征工程与基于Transformer的注意力机制相结合，以获得更好的上下文特征表示。此外，尽管近期预测模型取得了高精度结果，但对学习参数间交互的解释以及各焊接变量相对影响的评估关注有限。
二、研究内容与主要贡献
针对上述挑战，研究人员提出了一种基于注意力驱动的表格Transformer（Tab Transformer）预测框架，结合焊接参数注意力学习（TT-WPAL）机制，用于预测FSW铝合金接头的归一化抗拉强度。该框架将焊接过程衍生的工程特征（RTR、WP、HII）与注意力引导的参数交互学习策略相结合，增强了工艺变量的上下文表示。研究通过基于注意力的交互分析和敏感性分析，系统探索了各焊接参数间学习到的关系，量化了单个焊接参数的影响并识别关键变量。该方法增强了模型可解释性，将注意力驱动的见解与焊接过程行为联系起来，支持数据驱动的决策制定，以改善焊接质量和过程控制。
三、关键技术方法
研究采用的数据集来自Zenodo公开存储库，包含533个焊接样本，记录工艺参数及对应的归一化抗拉强度。数据预处理包括特征标准化、数据增强和训练-测试集划分。研究采用SMOGN（Synthetic Minority Over-Sampling Technique for Regression with Gaussian Noise）方法增强连续目标分布中欠表示区域，训练集扩充至1066个样本，测试集仅保留原始实验数据以避免数据泄漏。特征工程方面，研究人员从原始参数中推导出三个热机械描述符：旋转-行进速度比（RTR = N/V）、焊接螺距（WP = V/N）和热输入指数（HII = N×θ/V）。模型架构采用Tab Transformer结合TT-WPAL注意力层，通过自注意力机制学习焊接参数间的上下文依赖关系，并辅以五折交叉验证和消融分析评估模型稳健性。
四、研究结果
4.1 预测性能评估
TT-WPAL-enabled Tab Transformer模型在归一化抗拉强度预测中取得了R2 = 0.98的优异性能，显著优于基线模型，包括随机森林（Random Forest, RF）、梯度提升（Gradient Boosting）、神经网络（Neural Network, NN）、K近邻（KNN）、支持向量回归（Support Vector Regression, SVR）和线性回归（Linear Regression, LR）。模型预测误差较基线模型有所降低，表明注意力机制有效捕捉了焊接参数间的复杂非线性关系。
4.2 交叉验证与消融分析
通过五折交叉验证，模型展现出稳健的预测性能，验证了框架在不同数据子集上的泛化能力。消融分析进一步确认了工程特征（RTR、WP、HII）和注意力机制的贡献，证明这些组件对提升预测精度具有重要作用。
4.3 参数交互与敏感性分析
基于注意力的交互分析揭示了焊接参数间的依赖关系，敏感性分析量化了各参数对归一化抗拉强度的影响。分析表明，焊接速度、旋转速度和倾斜角及其衍生特征对焊缝性能具有不同程度的影响，为理解FSW过程中参数交互对抗拉强度演化的作用提供了定量依据。
五、讨论与结论
讨论部分指出，与现有研究相比，该框架的优势在于将领域特定的热机械特征工程与Transformer注意力学习相结合，实现了更好的上下文特征表示和模型可解释性。研究结果有助于识别决定抗拉强度的关键工艺参数，支持数据驱动的焊接工艺优化决策。结论部分强调，所提出的TT-WPAL-enabled Tab Transformer框架为FSW抗拉强度预测提供了可解释且可扩展的解决方案，通过注意力机制和敏感性分析增强了模型的可解释性，为智能制造和焊接过程优化提供了新的技术途径。该研究填补了Transformer预测框架与可解释性结合的空白，为后续研究奠定了方法论基础。
