一种基于深度学习的方法，利用FT-Transformer预测石灰石骨料的耐久性 作者：穆拉特·伊尔马兹（Murat Y?lmaz）、M. 埃尔登姆·伊森库尔（M. Erdem Isenkul）、尼尔·武拉尔（Nil Vural）和阿蒂耶·图古尔（Atiye Tugrul）

《Processes》：A Deep Learning Approach to Predicting the Durability of Limestone Aggregates Using the FT-Transformer Murat Y?lmaz, M. Erdem Isenkul, Nil Vural and Atiye Tugrul

　　摘要 石灰石骨料的耐久性是影响混凝土长期性能的关键因素，尤其是在恶劣环境条件下。然而，传统的耐久性测试（如硫酸镁稳定性测试）耗时且劳动强度高。本研究采用了一种基于Transformer的深度学习模型——FT-Transformer，利用标准的骨料指标来预测石灰石骨料的硫酸镁稳定性损失。建模阶段使用的数据集包含108个石灰石骨料样本，每个样本都具备颗粒密度、吸水率、洛杉矶破碎值和硫酸镁稳定性损失等特性。尽管每个样本都进行了四项标准化实验室测试，共获得了432个单独的测试结果，但预测数据集仅包含108个完整的观测值。FT-Transformer的预测性能与线性回归、多项式回归和支持向量回归模型进行了评估和比较。在单分割评估中，FT-Transformer的测试R2值为0.6473，测试MSE值为0.0212。此外，重复随机分割统计分析表明，在50次重复的训练、验证和测试划分中，FT-Transformer的平均预测性能优于线性回归。这些发现表明，基于Transformer的表格学习方法可以为骨料耐久性预测提供一个有效且实际可行的框架，并可能支持初步的材料评估和工程决策过程。

1. 引言
骨料由细颗粒和粗颗粒（如砾石、沙子和碎石）组成，在各种建筑应用中发挥着基础性作用。高质量的骨料应具备足够的强度、优良的工程性能以及抵抗环境影响的能力[1]。骨料的质量直接影响混凝土的成本效率和机械性能，而耐久性是最关键的参数之一[2]。骨料的耐久性主要由其抗冻融循环和物理降解能力决定[3]。在寒冷气候下，冻融抗性尤为重要，因为反复的温度波动会显著影响混凝土的耐久性和机械性能[4]。缺乏足够冻融抗性的骨料会随时间推移而退化，导致开裂和结构损坏[5]。因此，高耐冻融性能对于延长道路、桥梁和建筑物等基础设施的使用寿命至关重要，特别是在恶劣环境条件下[6]。相反，使用低质量骨料会加速退化并增加维护和修复成本，而耐久性强的骨料则能提高长期成本效益。因此，冻融测试是验证骨料是否满足耐久性要求的基本程序，尤其是在温差较大的地区。

通过使用化学溶液（通常是饱和钠或硫酸镁溶液）来加速分解过程的耐久性测试，可以评估骨料的冻融行为[7]。硫酸盐耐久性测试会在骨料孔隙中产生结晶和/或水化压力，这可能导致其机械性能显著下降[8]。骨料的抗分解能力通常根据ASTM C88[9]或EN 1367-2[10]标准进行评估。这些协议评估骨料能否承受五次循环（对于混凝土骨料）或十次循环（对于道砟骨料）。尽管此类耐久性测试相对简单，但它们仍然耗时且成本较高，这激发了寻找替代预测方法来评估骨料耐久性的呼声。最近在岩石和建筑材料方面的研究表明，耐久性和降解相关行为受多种相互作用物理参数的控制，并且通常表现出高度非线性特征[11,12]。与此发展同步，近期研究也继续强调多因素材料表征和以性能为导向的评估在地质材料和建筑材料中的重要性。专注于预测天然骨料耐久性的先前研究在文献中相对较少[6,13]。相比之下，许多研究探讨了人工智能技术在混凝土耐久性和强度相关领域中的应用，这些工作主要集中在预测建模、材料属性优化和结构性能评估上。一些研究者研究了混凝土的冻融和风化相关耐久性[4,14,15]，包括在重复循环荷载下的使用寿命预测[16,17,18]。机器学习方法也被广泛应用于再生骨料混凝土，涵盖了抗压强度预测[19,20,21]、可持续配合比设计[22,23]以及骨料成分分析[24,25]。最近，由于其强大的预测能力和高效处理大规模数据的能力，机器学习方法受到了广泛关注，适用于复杂的工程预测任务。

支持向量机（SVMs）、人工神经网络（ANNs）、决策树（DTs）、随机森林（RFs）和梯度提升（GB）等机器学习算法已在耐久性预测研究中得到广泛应用。最近，深度学习模型也因能够学习多个变量之间的非线性关系而被用于结构化工程数据集。在这些方法中，基于Transformer的模型作为表格预测问题的有前途的替代方案出现。特别是FT-Transformer，它是一种专为表格数据设计的Transformer架构，其中输入特征被表示为令牌，它们的相互作用通过自注意力机制进行建模[26]。这种设计使模型能够有效捕捉复杂的特征间依赖性，特别适合于具有耦合和非线性材料行为的工程数据集。在本研究中，FT-Transformer架构被用来预测石灰石骨料的硫酸镁稳定性损失，输入变量包括洛杉矶破碎值、吸水率和颗粒密度。这些参数是公认的骨料耐久性指标，在骨料表征中常用[27,28]。由于硫酸镁稳定性损失与骨料的内部结构、孔隙率和抗降解能力密切相关，因此使用基于Transformer的架构为建模这些变量之间的复杂关系提供了一个灵活而强大的框架。本研究的主要创新在于关注天然石灰石骨料样本，这些样本在决定混凝土质量中起着关键作用，并采用了基于Transformer的深度学习模型来根据标准实验室指标预测骨料耐久性。传统的实验室耐久性测试常面临实验变异性、测试时间长和手动测量误差等挑战。因此，本研究提出了一个预测建模框架，作为传统测试程序的有效和创新替代方案。开发的模型旨在减少潜在的实验不确定性，同时提供更快、更实用和更可靠的骨料耐久性估计。

2. 材料和方法
2.1. 材料
本研究是关于石灰石骨料耐久性持续研究计划的一部分，特别是考虑到使用基于人工智能的方法预测骨料耐久性特性的研究数量有限。石灰石骨料因其与粘结材料的良好附着力而在混凝土生产中得到广泛应用[29]。因此，本研究选择了来自伊斯坦布尔和土耳其不同地区的采石场的石灰石骨料作为研究对象。为了提高数据集的代表性和可追溯性，采样计划包括了伊斯坦布尔和其他主要石灰石生产地区的采石场。在伊斯坦布尔，样本来自?atalca–Muratbey、Silivri–Danamand?ra、?atalca–?hsaniye、?atalca–Ayd?nlar、Sultangazi–Cebeci、Sar?yer–Gümü?dere、?ekmek?y–?merli、?ekmek?y–Hüseyinli、?ile–üvezli、?ile–Ahmetli、?ile–Yaylal?和?ile–Tekek?y等地区的采石场。此外，还从K?rklareli–Kofcaz、K?rklareli–Vize、?zmit–Kirazp?nar、?zmit–Hereke、Sakarya–Ferizli、Bursa–Orhangazi、Bursa–Nilüfer和?zmir–Karaburun等地区的采石场获取了样本。由于某些地区有多个活跃的采石场，采样框架旨在捕捉建筑实践中使用的石灰石骨料来源的地理多样性。所有采样的材料均来自石灰石采石场。从矿物学角度来看，石灰石主要由碳酸钙（CaCO3）组成，主要以方解石的形式存在，尽管根据源岩的地质特征，成分可能会有一定变化。虽然所有样本属于同一主要岩石组，但局部地质环境的不同可能导致纹理、颗粒结构和矿物含量的变化，从而影响骨料的性能。因此，包括来自不同采石区的样本是为了反映石灰石骨料在一致岩石学框架内的自然变异。

采样标准旨在确保材料一致性和实验可靠性。因此，研究中仅包含了来自未风化或轻微风化的石灰石区域的代表性骨料样本，而严重风化、高度破碎、明显改变或受污染的材料被排除在外。野外采样在三年期间分不同时间进行，每个样本在实验室测试前都记录了其来源位置，以提高实验工作流程的可追溯性。在实验计划范围内，骨料样本接受了颗粒密度、吸水率、洛杉矶破碎值和硫酸镁稳定性测试。研究中共使用了108个石灰石骨料样本，每个样本都经过了这四种标准化实验室测试。因此，尽管总共获得了432个单独的测试结果，但这些测量值对应于108个完整的样本记录，而不是432个独立的骨料样本。所以，建模阶段使用的预测数据集包含108个观测值。采样程序、实验室测试方法和计算步骤均符合相关欧洲标准，包括EN 1367-2[10]、EN 1097-6[30]和EN 1097-2[31]。因此，确保了方法的一致性和符合国际认可的测试程序。实验研究的结果见表1。
表1. 骨料测试结果的统计摘要。

2.2. 方法
在本研究中，硫酸镁稳定性损失被作为目标变量，因为它是一个广泛认可的骨料耐久性的指标，反映了其对风化相关劣化的抵抗力。建模阶段使用的预测变量是洛杉矶破碎值、吸水率和颗粒密度。选择这些参数是因为它们是公认的骨料耐久性指标，并且在骨料表征中常用[27,28]。洛杉矶破碎值测试衡量了骨料对磨损和机械降解的抵抗力，这与它们的结构完整性密切相关。吸水率与骨料的孔隙率有关；一般来说，较高的吸水率表示更疏松的内部结构，可能会降低耐久性并增加对风化相关劣化的敏感性。颗粒密度反映了骨料材料的紧密度和内部结构，通常与其机械性能相关。由于硫酸镁稳定性损失受骨料的内部结构、孔隙率和抗降解能力的影响，这三个变量被认为可以为预测模型提供物理上具有意义且互补的信息。此外，这些参数是工程应用中常用的标准骨料属性，并且通过标准化的实验室测试程序可以获取所有样本的这些数据。因此，它们的使用使得建模过程建立在一致和完整的实验基础上。尽管其他物理、化学或岩石学参数也可能影响石灰石骨料的耐久性行为，但由于并非所有样本都具备这些参数，因此未将其纳入本研究。包含不完整或非标准化的变量可能会降低数据集的一致性并对预测结果的可比性和可靠性产生不利影响。因此，本研究采用的特征选择策略基于物理相关性、数据完整性和标准测试可用性的综合考虑。包含108个观测值的数据集在模型开发前被随机划分为训练集、验证集和测试集。具体来说，80%的数据用于训练，10%用于验证，剩余的10%用于测试。训练集用于模型拟合，验证集用于监控训练过程中的模型性能并评估收敛情况，测试集用于评估之前未见数据的最终性能。

除了单分割评估外，还进行了重复随机分割分析以评估比较模型的鲁棒性。为此，数据集被随机分成50份，分别为训练集、验证集和测试集，使用相同的80%/10%/10%配置，然后对FT-Transformer和线性回归模型在相同的分割上进行评估。通过配对统计分析比较了得到的测试指标。

2.2.1. FT-Transformer架构
在为结构化数据集开发的基于Transformer的深度学习模型中，FT-Transformer作为一种专为表格数据分析设计的突出架构而脱颖而出[26]。与最初为自然语言处理中的序列建模任务提出的原始Transformer模型不同，FT-Transformer旨在在统一框架内处理数值和分类的表格特征（图1）。在这种架构中，每个输入特征都被表示为一个令牌，然后通过堆叠的自注意力层进行处理，使模型能够学习特征级的表示，并更有效地捕捉变量之间的复杂依赖关系。方程（1）-（8）中给出的数学表达式代表了从Transformer和FT-Transformer框架中报告的特征嵌入、自注意力、多头 attention和编码器变换的标准公式，这里提出它们是为了描述所实现模型的理论基础。图1. 用于集料耐久性预测的FT-Transformer架构。与传统的全连接神经网络不同，FT-Transformer首先对数值特征进行分词，然后通过Transformer编码器层进行处理（图2），从而改善特征之间的表示学习。这种分词策略允许每个输入变量被视为一个单独的特征令牌，而自注意力机制以灵活的方式捕捉特征间的依赖关系。这种结构对于表格工程数据集特别有利，在这些数据集中，目标变量通常受多个相互作用的材料参数控制，而不是由孤立效应控制。图2. Transformer架构。在当前研究中，这一特性尤为重要，因为硫酸镁的稳定性损失受到集料特性的影响，如洛杉矶碎裂值、吸水率和颗粒密度，这些特性可能表现出耦合和非线性关系。通过注意力学习这些相互作用，FT-Transformer提供了比传统前馈架构更丰富的表达能力，用于建模与耐久性相关的集料行为。此外，先前的研究表明，FT-Transformer和基于Transformer的表格模型在结构化数据集上可以实现强大的预测性能和有竞争力的泛化能力[26]。在本研究中，使用包含108个石灰石集料样本的数据集对实现的FT-Transformer模型进行了测试。洛杉矶碎裂值、吸水率和颗粒密度被用作输入变量，而硫酸镁的稳定性损失被定义为目标输出。该模型在不同的训练集、验证集和测试集上进行了训练和评估，其预测性能与包括线性回归、多项式回归和支持向量回归在内的基准模型进行了比较。给定一个包含n个样本和d个特征的输入矩阵X（如方程（1）所定义）： ??=[??1,??2,…,????],????∈??? (1) 每个特征????被投影到一个高维嵌入空间中，如下所示： ????=?????????+????,????∈?????×1,????∈????? (2) 其中????是嵌入维度，???? ∈?????表示第i个特征的嵌入表示。然后将完整的嵌入序列表示为 ??=[??1,??2,…,????]∈???×???? (3) 这个嵌入表示通过多头自注意力机制进行处理，其中查询（Q）、键（K）和值（V）矩阵计算如下： ??=???????,??=???????,??=??????? (4) 其中????、????和????是可学习的投影矩阵。自注意力操作公式化为 Attention?(??,??,??)=softmax?(???????√????)??? (5) 其中????是键向量的维度。这种机制使模型能够为每个特征交互分配上下文依赖的重要性权重。在多头注意力中，该操作在多个子空间上并行执行： MultiHead?(??)=Concat?(??????????1,??????????2,…,???????????)????? (6) 其中每个注意力头定义为 ????????????=Attention?(????,????,????) (7) 且h表示头的数量。Transformer编码器的输出通过残差连接、层归一化和前馈层得到最终的潜在表示： ??′=LayerNorm?(??+MultiHead?(??)) (8) ??″=LayerNorm?(??′+FFN?(??′)) (9) 其中FFN?( ·)表示位置对应的前馈网络。最后，使用聚合表示来预测硫酸镁的稳定性损失作为目标输出： ???=?????(??) (10) 其中????表示由??参数化的FT-Transformer模型，???代表预测的稳定性损失值。2.2.2. 训练程序和优化FT-Transformer模型使用Adam优化器进行训练，学习率为10?3。训练过程中使用了均方差（MSE）损失函数。模型训练了100个周期，并在整个训练过程中监控验证集以跟踪收敛行为和泛化性能。批量大小设置为8。2.2.3. 基准模型和评估指标为了比较目的，还实现了线性回归、二阶和三阶多项式回归以及支持向量回归（SVR）模型。模型性能使用决定系数（??2）和均方差（MSE）进行评估。除了单一分割结果外，还通过基于重复测试指标的配对t检验和Wilcoxon符号秩检验对FT-Transformer和线性回归进行了重复随机分割比较。3. 结果本研究使用的数据集包含108个观察结果，描述了石灰石集料的定量物理和机械性能。硫酸镁的稳定性损失（%）被作为因变量，而三个自变量用于预测：洛杉矶碎裂系数（%）、吸水率（%）和颗粒密度（Mg/m3）。这些参数具有不同的数值范围；硫酸镁的值在0.8%到12.1%之间变化，而颗粒密度值位于相对狭窄的2.58–2.91 Mg/m3范围内。数据集中没有缺失值，允许在模型训练和评估过程中充分利用所有观察结果。FT-Transformer模型训练了100个周期，相应的训练和验证损失曲线在图3中展示。在初始周期观察到损失快速减少，随后逐渐稳定，表明模型有效地学会了数据集中的潜在关系。训练和验证损失趋势之间的密切一致性表明在整个优化过程中泛化性能稳定。这些曲线之间没有明显的发散表明模型在训练过程中保持了平衡的学习行为。在后期周期观察到的轻微波动在随机优化中是预期的，并不会改变整体收敛模式。图3. FT-Transformer模型的训练和验证损失曲线。图4显示了测试集的实际和预测的硫酸镁稳定性损失值之间的关系。大多数数据点集中在45°参考线附近，表明测量值和预测值之间有很高的吻合度。这种模式证实了FT-Transformer成功地捕捉了目标变量的主导趋势。尽管少数样本显示出较大的偏差，但总体分布表明模型对测试数据的实验结果提供了可靠的近似。图4. FT-模型的实际值与预测值。图5展示了实际值和预测值的逐个样本比较。预测值通常紧密跟随测量值，表明模型保留了测试样本的变化模式。同时，也可以观察到一些局部不匹配，模型要么低估了要么高估了目标响应。这些偏差可能与石灰石集料的固有异质性以及集料耐久性受多种相互作用物理特性影响的事实有关。图5. 实际值与预测值的逐个样本比较。使用线性回归、二阶和三阶多项式回归以及支持向量回归（SVR）进行了比较分析。表2总结了每个模型的训练和测试??2值以及均方差（MSE）指标。在采用的单分割设置下，线性回归的测试??2得分为0.6340，略低于FT-Transformer（0.6473）。FT-Transformer还显示出比线性回归更强的训练性能（??2 =0.7735 vs 0.6252）。二阶多项式回归在泛化方面改进有限，而三阶多项式回归则存在严重的过拟合，导致测试??2值为0.2382。SVR模型的泛化能力也较低，测试??2值为0.5368。表2. 每个模型的评估指标。为了检查观察到的模型性能是否依赖于特定的数据分割，进行了额外的重复随机分割分析。在这个过程中，数据集被随机分成50个训练集、验证集和测试集，FT-Transformer和线性回归模型在相同的分割上进行了评估。结果显示，FT-Transformer在重复分割中的平均表现优于线性回归。具体来说，FT-Transformer的平均测试??2值为0.4308 ± 0.4314，线性回归为0.3406 ± 0.4686，而平均测试MSE值分别为0.0262 ± 0.0116和0.0306 ± 0.0143。配对统计比较进一步证实了这些差异是显著的（配对t检验：?? =0.0103对于测试??2，?? =0.0070对于测试MSE；Wilcoxon符号秩检验：?? =0.0224对于测试??2，?? =0.0191对于测试MSE）。这些发现表明，FT-Transformer的更好预测性能不仅仅限于单一的训练-测试分割，并且在重复数据分割中得到了支持。本研究获得的比较性能也与之前关于建筑材料耐久性相关预测问题的研究结果一致。早期研究表明，机器学习方法可以成功建模混凝土相关应用中材料属性和耐久性指标之间的复杂关系[4,14,15]。对于混凝土的冻融抗性和寿命预测[16,17,18]以及再生集料混凝土的强度和混合设计[19,20,21]也报告了类似的结果。进一步的研究证实了数据驱动方法在材料表征和性能评估任务中的适用性[22,23,24]。特别是基于传统机器学习算法的研究表明，标准材料参数可以为耐久性估计提供有用的预测信息，尽管模型性能可能取决于数据集的复杂性和选定变量的性质。在这种背景下，本研究的结果表明，FT-Transformer在预测天然石灰石集料的硫酸镁稳定性损失方面提供了具有竞争力和稳健性的预测性能。这一发现与更广泛的文献一致，表明先进的学习基础模型在捕捉材料属性之间的非线性交互方面是有效的。同时，从线性回归、多项式回归和支持向量回归获得的基准结果也证实了选定的输入变量包含有意义的预测信息，尽管它们表示复杂关系的能力不如FT-Transformer。因此，当前结果不仅支持了关于数据驱动方法在耐久性预测中的有用性的先前发现，而且还扩展了文献，证明了基于Transformer的表格模型在天然集料耐久性评估中的应用性。图6比较了从实验数据和预测模型获得的累积值。在累积响应的低范围内，所有模型都相对紧密地跟随实际趋势，表明具有较低硫酸镁稳定性损失的样本的一般行为可以以可接受的准确性表示。在中等范围内，FT-Transformer和线性回归模型更接近实际累积曲线，而多项式模型开始显示出较大的偏差。在累积响应急剧增加的高范围内，实际值和模型预测之间的差异变得更加明显。这一区域特别重要，因为它对应于具有相对较高稳定性损失值的样本，从耐久性评估的角度来看更为关键。在评估的模型中，FT-Transformer在这一关键的高范围内更紧密地跟随实际累积趋势，而更高阶的多项式模型显示出最大的偏离。这些观察结果表明，FT-Transformer在更严重的耐久性损失范围内提供了更稳健的整体响应表示。图6. 实际值和模型预测的累积比较，低、中等和高响应范围分别用不同的颜色表示以便于解释。4. 讨论结果表明，FT-Transformer模型有效地捕捉了集料物理属性之间的关系，并提供了可靠的耐久性预测。尽管线性回归也取得了有竞争力的性能，但额外的重复随机分割分析显示，在采用的实验设置下，FT-Transformer获得了更好的平均测试性能。因此，当前的发现支持了FT-Transformer不仅提供了有竞争力的预测优势，而且在统计上也得到了支持的观点。在散点和逐个样本比较中观察到的一些预测偏差可能源于集料物理特性的固有异质性。矿物组成、微观结构、孔结构和局部风化条件的变化可能会引入额外的可变性，这些变化不能完全通过选定的输入参数来描述。即使样本属于同一主要岩石组，内部结构和材料完整性的局部差异也可能导致耐久性行为的变化，而这些变化很难仅通过有限数量的预测变量完全捕捉到。因此，引入额外的描述符，如岩相特征或孔隙结构信息，可能会进一步提高预测准确性。另一个需要考虑的问题是模型对极端值的表现。具有异常高或低硫酸镁损失率的样本可能更难以准确预测，因为这样的观测值在数据集中通常较少出现，并且可能反映更复杂的材料响应。在表格预测问题中，模型在数据分布更密集的区域通常表现更好，而在响应范围的上下边界附近，预测准确性可能会下降。因此，观察到的预测偏差部分可能与数据集中极端情况的代表性不足有关。

数据集的大小是解释结果时的另一个重要因素。虽然本研究中使用的数据集足以开发和比较所提出的模型，但更大且多样性更丰富的数据集可能会提高结果的稳健性和普适性。特别是，增加来自不同采石场的样本数量并包括更广泛的耐久性响应范围，可以帮助模型更有效地学习罕见模式并减少预测的不确定性。重复随机分割分析也为模型的比较行为提供了重要的视角。尽管在单次分割下观察到的数值差异有限，但重复评估表明，FT-Transformer在多次数据分割中的平均测试指标优于线性回归，且这些差异具有统计学意义。这一发现表明，FT-Transformer的预测优势不应被视为与特定分割相关的巧合，而应被认为是跨多次训练-验证-测试配置观察到的更稳健的模式。

比较评估还强调了使用高阶多项式模型时的过拟合风险。虽然模型复杂性提高时训练性能也会提高，但泛化能力会降低，这在三次多项式回归结果中得到了体现。相比之下，FT-Transformer在模型复杂性和预测稳定性之间保持了良好的平衡，能够在不过度拟合的情况下实现有效学习。尽管如此，仍应意识到过拟合的可能性，尤其是在将深度学习模型应用于中等规模的结构化数据集时。在本研究中，通过将FT-Transformer与基准机器学习模型进行比较、在单独的验证和测试数据上评估模型性能以及进行多次数据分割的重复随机分割分析，降低了这种风险。然而，尽管采取了这些预防措施，部分过拟合的可能性仍然不能完全排除，应在涉及更大数据集和外部验证场景的未来研究中予以考虑。

此外，视觉累积分析证实，与传统方法相比，FT-Transformer更好地逼近了耐久性值的整体分布。这一特性在工程应用中尤为重要，因为在这些应用中需要准确表示低风险和高风险集料的性能。总体而言，研究结果表明，基于变压器的深度学习方法在处理结构化表格数据的耐久性预测问题时具有令人期待的优势。特别是，重复随机分割统计分析显示，FT-Transformer的平均预测性能优于线性回归，并且这种优势在多次数据分割中具有统计学意义。同时，解释这些结果时还应考虑到材料的自然异质性、极端值的有限代表性、数据集的适中规模以及过拟合的潜在影响。预计，当应用于更大规模的数据集或纳入代表集料矿物学、孔隙结构或环境暴露条件的额外特征时，所提出的方法将表现出更强的性能。

结论

在本研究中，使用洛杉矶破碎值、吸水率和颗粒密度作为输入变量，通过FT-Transformer和基准回归模型预测了石灰岩集料的硫酸镁损失率。结果表明，FT-Transformer提供了有竞争力的预测结果，并与实验数据很好地吻合，证明了其在结构化表格数据集中模拟集料属性之间复杂关系的能力。除了单次分割评估外，还进行了重复随机分割统计分析，以检验比较模型的稳健性。结果显示，在50次重复的训练-验证-测试分割中，FT-Transformer的平均测试性能优于线性回归，具有更高的平均测试R2值和更低的平均测试MSE值。配对统计测试进一步确认了这些差异的显著性。这些发现表明，FT-Transformer的预测优势并非局限于某个特定的数据分割。

从工程角度来看，所提出的模型具有在传统硫酸镁损失率测试耗时、劳动密集或成本高昂的情况下支持快速且实用的耐久性评估的潜力。在这方面，该模型可以帮助工程师和材料从业人员进行初步集料评估、材料筛选以及混凝土生产和基础设施应用中的决策过程。然而，在解释结果时还应考虑石灰岩集料的自然异质性和可用数据集的局限性。未来的研究应侧重于扩展样本集，包括更多类型的集料和耐久性水平，并纳入岩相、化学和孔隙结构特征等额外变量。此外，应在不同的岩石类型和更广泛的环境条件下验证所提出的框架，以进一步评估其普适性和实际应用性。总体而言，本研究证明了FT-Transformer是一种有前景的数据驱动方法，可用于预测石灰岩集料的耐久性性能，基于变压器的表格学习在所采用的实验设置下可以为集料耐久性建模提供统计学上的优势支持。