用于钢和锌大气腐蚀建模的神经网络与极端梯度提升模型的集成与提升方法

《Algorithms》：Ensemble and Boosting of Neural Networks and Extreme Gradient Boosting Models for the Modelling of Atmospheric Corrosion of Steel and Zinc

　　

本文提出了几种集成与提升方法，用于组合神经网络和极端梯度提升（XGB）模型以模拟钢和锌的大气腐蚀。所研究的方法包括神经网络的bootstrap聚合（bootstrap aggregation）、XGB模型的bootstrap聚合、神经网络与XGB模型的bootstrap聚合，以及使用神经网络或XGB对最新模型进行进一步的模型提升。结果表明，对于钢腐蚀数据，XGB模型的bootstrap聚合在未见测试数据上的预测性能最佳；而对于锌腐蚀数据，带有神经网络误差校正的XGB模型bootstrap聚合取得了最佳的预测性能。对表现最优的模型进行了敏感性分析。敏感性分析结果表明，由于基于决策树的模型具有阶跃预测函数，XGB模型倾向于产生不光滑的敏感性函数。因此，在解释模型敏感性时需要谨慎，尤其是当数据集较小时。bootstrap聚合的神经网络在小型数据集上给出光滑的敏感性函数，并在未见数据上表现出优异的性能。

大气腐蚀是金属材料在湿度、污染物、温度变化和气溶胶等环境因素作用下发生的广泛而复杂的退化过程，常导致重大经济损失、结构失效和安全隐患。传统建模方法如经验剂量-响应函数和ISO 9223/9224标准，通常仅考虑润湿时间、二氧化硫和氯离子沉积等有限变量，在不同气候条件下可迁移性差，且难以完整反映污染物相互作用和微气候效应。近年来，机器学习方法被引入腐蚀预测，但许多研究受限于小数据集，存在过拟合、泛化能力不足等问题。为克服这些限制，研究人员在《Algorithms》期刊上发表论文，提出多种集成与提升策略，将神经网络和极端梯度提升（XGB）模型结合，用于钢和锌大气腐蚀建模，旨在提高预测精度和鲁棒性。

研究人员使用Cai等的研究数据，其中钢腐蚀数据包含406个样本，锌腐蚀数据包含315个样本，每个数据集包含六个变量：温度（°C）、润湿时间（TOW，%）、SO₂浓度（mg/m³）、氯离子浓度（μg/m²/day）、暴露时间（年）和腐蚀量（μm），前五个变量作为预测变量，腐蚀量作为响应变量。采用四分位距（IQR）方法筛选异常值，钢数据移除样本28，锌数据未移除异常值。数据按80%建模、20%测试随机划分，并重复10次以减少随机性影响。建模方法包括线性回归基线、XGB、神经网络、bootstrap聚合（10个神经网络、10个XGB、5个最优XGB与5个最优神经网络混合集成）以及进一步提升（用神经网络或XGB对初始模型残差建模）。超参数通过3折交叉验证网格搜索确定。

4.1 线性模型结果
线性回归模型在钢和锌数据上的建模集与测试集均表现出较高的MSE和较低的R²，例如钢数据测试集R²为0.5506±0.1028，锌数据测试集R²为0.5259±0.2288。这表明预测变量与腐蚀量之间存在强非线性关系，线性模型仅适合作为基线。

4.2 神经网络和XGB模型结果
单个XGB模型在钢数据上建模性能优异（R²=0.9209±0.0322），但测试性能明显下降（R²=0.6728±0.0713），提示存在过拟合。单个神经网络在钢数据上测试R²为0.6672±0.0953，仅略优于线性模型。在锌数据上，XGB和神经网络均大幅优于线性模型，XGB测试R²为0.7555±0.1360，神经网络为0.7553±0.0988，但神经网络对方差更敏感、鲁棒性不如XGB。

4.3 Bootstrap聚合模型结果
通过bootstrap重采样生成10个训练子集，分别训练10个神经网络或XGB模型并平均集成。结果显示，单个模型在建模数据和未见测试数据上的性能排序不一致，而聚合后模型在两类数据上的表现趋于一致。钢数据上，集成XGB模型获得最佳标准集成测试性能（MSE=2152.16±1104.85，R²=0.7195±0.0810），优于集成神经网络和混合集成。锌数据上，5个最优XGB与5个最优神经网络的混合集成取得最佳标准集成测试性能（MSE=20.75±20.66，R²=0.8127±0.0882），优于单独集成XGB或神经网络。

4.4 进一步提升模型结果
在残差学习框架中，先用主模型预测腐蚀量，再用第二个模型学习主模型残差。钢数据上，集成XGB加神经网络误差校正的建模性能最好（MSE=260.98±80.12，R²=0.9680±0.0114），但测试性能（R²=0.7003±0.0642）不如集成XGB本身，说明小数据集下误差校正可能过拟合。锌数据上，集成XGB加神经网络误差校正获得最佳测试性能（MSE=17.97±18.17，R²=0.8394±0.0710），优于所有其他方法，表明误差校正的有效性依赖于数据集特性。

敏感性分析
对表现最优的模型进行单因素敏感性分析，固定其他变量，在最小值和最大值之间取50个等间距点。结果显示，bootstrap聚合的神经网络模型产生光滑的敏感性函数，而涉及XGB的模型由于决策树产生阶跃预测函数，其敏感性函数不光滑。因此，解释这些模型的敏感性结果时应特别谨慎，尤其是在数据量较小时。

总体讨论表明，bootstrap聚合能够有效降低单模型方差、缓解过拟合，而误差校正提升可以在部分数据集上进一步提高性能，但小数据集下需谨慎使用。最终结论为：本文研究了钢和锌大气腐蚀的机器学习建模，考察了包括线性回归基线、神经网络、XGB、集成模型和提升模型在内的多种方法。结果表明，bootstrap聚合的XGB在钢腐蚀上表现最佳，而带有神经网络误差校正的集成XGB模型在锌腐蚀上表现最佳。最新建模方法如XGB可以通过bootstrap聚合和误差校正进一步提升。敏感性分析显示，bootstrap聚合的神经网络给出光滑敏感性函数，而涉及XGB的模型给出非光滑函数，解释时需小心。可用数据量是开发可靠数据驱动腐蚀预测模型的关键因素。