一种结合PCA和PSO的RVFLNs集成建模方法：在诺祥白酒产量预测中的应用

《PLOS One》：An RVFLNs ensemble modeling method integrating PCA and PSO: Application to yield prediction of Nongxiang Baijiu

　　摘要

为了研究白酒发酵物料（SDP-BFM）在蒸煮和蒸馏过程中的关键工艺参数与白酒产量之间的映射关系，并优化这些参数以提高生产效率，本文提出了一种集成主成分分析（PCA）和粒子群优化（PSO）的随机向量功能链接网络（RVFLNs）集成建模方法，用于预测农乡白酒的产量。首先，为了提高计算效率并避免多重共线性，在数据清洗和特征选择后，应用PCA来降低RVFLNs高维输出矩阵的维度。其次，引入PSO算法来优化子学习器中隐藏层节点的数量以及集成线性回归方法的权重组合策略，最终基于PSO-P-ERVFLNs算法建立了白酒产量预测模型。比较实验表明，PSO引入的优化策略可以提高RVFLNs算法的预测精度并减轻过拟合现象。此外，所提算法具有更好的计算效率和更高的估计精度，能够准确预测SDP-BFM过程中的白酒产量。

1. 引言

中国白酒作为世界七大蒸馏酒之一，是一种具有千年传承和独特发酵工艺的传统酒类。传统固态发酵白酒的生产过程包括三个关键阶段：制曲（包括材料研磨、砖压、窖池放置和定期翻动）、造酒（混合原料、蒸煮、摊铺、加入曲料、厌氧窖池发酵和蒸馏），随后进行长时间陈酿和专家调兑[1,2]。在白酒酿造过程中，白酒发酵物料（SDP-BFM）的蒸煮和蒸馏步骤是从发酵 grains 中提取风味化合物的关键步骤[3–5]。这一步骤在很大程度上决定了基酒的质量和最终的蒸馏产量。因此，开发一个数据驱动的模型来预测SDP-BFM过程中的白酒产量对于探索关键工艺参数与产量之间的关系以及优化这些参数具有重要意义。然而，大多数现有研究只关注了单个生产指标对白酒质量的影响[6–8]，而对全面分析影响SDP-BFM过程中白酒产量的所有关键因素的研究有限[9]。此外，SDP-BFM涉及复杂的机制，表现出强烈的非线性和变量耦合[10]。数据驱动的建模方法不需要预先了解这些内部复杂性，仅通过机器学习算法和工业数据处理就可以构建预测模型[11]，这使得这类方法成为工业过程建模领域的最新研究热点[12–14]。例如，参考文献[15]使用人工神经网络根据操作参数预测每日石油产量；参考文献[16]利用地质和工程参数开发了页岩气生产预测模型；参考文献[17]结合神经模糊推理与基因表达编程构建了电力消耗的混合预测模型，提高了收敛速度和鲁棒性，同时减少了计算时间和模型误差。鉴于这些数据驱动方法的有效性，建立白酒产量预测模型是实现白酒生产全自动化的关键步骤。近年来，随机向量功能链接网络（RVFLNs）由于其处理复杂非线性数据的能力、快速训练速度和强大的泛化性能，在工业预测中越来越受欢迎，有效解决了传统神经网络中存在的长时间训练、敏感的超参数调整和局部最小值等问题[18–20]。例如，参考文献[19]应用了具有固定隐藏节点的改进型RVFLNs来建模熔铁质量；参考文献[20]使用在一定范围内随机生成隐藏节点的RVFLNs集成模型。尽管这些方法在某种程度上提高了模型性能，但它们忽略了RVFLNs中隐藏节点数量的优化，未能控制模型复杂性，可能会降低预测精度和泛化能力。为了解决这些问题，本研究使用了来自酿酒厂自动化蒸馏系统的实时操作数据以及白酒产量，旨在解决两个关键问题：（1）通过特征选择方法提取与SDP-BFM相关的关键变量；（2）使用智能优化算法最优选择RVFLNs中隐藏节点的数量。首先，通过初步数据清洗和统计分析，比较不同特征选择方法的建模性能来确保模型性能并降低建模复杂性。然后，通过分析建模性能指标随节点数量的变化来确定集成模型子学习器的隐藏层节点数量。最后，采用智能优化算法来优化子学习器的隐藏层节点数量以及集成线性回归方法的权重组合策略，最终基于PSO-P-ERVFLNs算法建立了白酒产量预测模型。目的是通过探索SDP-BFM工艺参数与白酒产量之间的复杂映射关系，准确预测SDP-BFM过程中的白酒产量。

2. 研究方法

2.1 RVFLNs基础学习器

RVFLNs最初由Pao和Takefuji [21]提出，是一种新型的单隐藏层前馈神经网络架构。RVFLNs的定义特征在于其随机参数初始化：输入权重和隐藏层偏置在指定范围内随机分配，而输出权重则通过基于伪逆的最小二乘估计来解析确定。这种独特的设计赋予了RVFLNs多个显著优势，包括快速训练速度、出色的泛化能力和适用于鲁棒建模的应用。对于N个不同的任意样本集，单隐藏层前馈神经网络可以数学表达为：

2.2 基于PCA的RVFLNs隐藏层输出维度降低

在RVFLNs中，输入权重和隐藏层偏置的随机性导致隐藏层输出矩阵中出现多重共线性问题。这会导致大量冗余或贡献较低的神经元，不仅使网络结构复杂化，还降低了计算效率[22]。为了解决这个问题，文献[23]应用PCA技术对RVFLNs的隐藏层输出矩阵进行维度降低，取得了显著的结果。该P-RVFLNs算法的结构如图1所示。

2.3 粒子群优化（PSO）算法

粒子群优化（PSO）算法是一种启发式的全局优化技术。它通过模拟一群粒子在搜索空间中的运动来工作，每个粒子都有自己的速度和位置。通过结合个体经验和群体学习，粒子不断调整其运动方式，逐步收敛到最优解[24]。PSO算法的实现从初始化一群具有随机位置和速度的粒子开始。对于每个粒子，计算其当前位置的适应度值并用它来更新其个人最佳已知位置。随后，利用整个群体的最佳位置和个人最佳位置来更新每个粒子的速度和位置，引导它们朝向搜索空间的有利区域。PSO算法的速度更新方程和位置更新方程分别表示为：

2.4 算法结构和实现步骤

集成模型是一种机器学习方法，它结合了多个基础学习器的预测结果，显著提高了模型的性能、鲁棒性和泛化能力。与单一学习器模型相比，集成模型提供更高的预测精度和更强的泛化能力[26,27]。最常见的集成算法包括Bagging、Stacking和Boosting。Bagging的核心思想是从原始数据集中通过自助抽样生成多个训练子集，在每个子集上训练一个基础学习器，最后整合这些学习器的回归结果以获得最终预测。这种方法可以有效提高预测精度并防止过拟合。因此，为了确保SDP-BFM过程中白酒产量预测的可靠性和稳定性，提出了一种集成PCA和PSO的RVFLNs集成建模方法来预测白酒产量。整体结构如图2所示。

最后，基于PSO-P-ERVFLNs算法的实现步骤如下：

3. 实验结果与讨论

本研究收集了2024年11月和12月四川省泸州市某酿酒厂自动化酿造车间中的白酒生产过程参数数据。根据酿造技术和相关仪器的配置，确定了影响SDP-BFM过程中白酒产量的12个关键工艺变量。相应数据集的特征在表1中总结。

3.1 数据清洗

首先，根据白酒酿造过程将收集的数据按照不同的蒸馏批次进行分割，得到包含生产过程参数和对应白酒产量的483个数据集。随后，使用四分位数范围（IQR）方法检测异常值[28]，共识别出44个异常数据点，并通过直方图进行可视化。然后使用K-最近邻算法对缺失值进行插补。异常值检测和最小-最大值规范化后的统计分析结果如图3所示。

3.2 最优特征选择

特征变量的选择对于构建模型的预测性能至关重要[29]。在本研究中，首先进行皮尔逊相关性分析以评估特征的相关性。特征中与目标变量的相关性系数低于0.2的特征被剔除，以排除低相关性的变量；而相关性系数高于0.8的特征则被移除，以减少多重共线性。随后，通过网格搜索优化了一个随机森林回归模型来排序特征的重要性。最终选出的特征数量与经过皮尔逊筛选后保留的特征数量相同，作为最终的特征子集。从皮尔逊方法、随机森林算法以及未选特征集中获得的特征集分别被用作个体RVFLNs基础学习器的输入。每个基础学习器中隐藏层的权重和偏置在[-1, 1]区间内随机初始化，参考文献为[30]。隐藏节点的数量统一设置为20个，并采用Sigmoid函数作为激活函数。数据集被分为训练集和测试集，比例为8:2。特征优化过程的结果总结在表2中，使用随机森林进行特征优化后的数据集的统计概览见图4。下载：PNG（更大图像）TIFF（原始图像）表2. 特征优化结果。https://doi.org/10.1371/journal.pone.0348784.t002 下载：PNG（更大图像）TIFF（原始图像）图4. 随机森林算法进行特征选择后数据集的统计分析直方图。https://doi.org/10.1371/journal.pone.0348784.g004 如表2所示，随机森林算法选出的特征集表现出最佳性能，实现了最低的均方根误差（RMSE）和最高的决定系数（R2）。因此，这个特征集被选为后续建模的输入。与未选特征集相比，结果表明适当的变量选择和筛选对于构建准确可靠的预测模型至关重要。3.3. 酒精产量预测实验在SDP-BFM期间，在数据清洗和特征选择之后，基于自举抽样实施了提出的PSO-P-ERVFLNs算法进行样本扰动，并对基础学习器应用了额外的参数扰动。具体策略如下：（1）使用随机森林选出的特征集作为后续模型的输入，训练集和测试集的比例为8:2；（2）每个子模型隐藏层的权重和偏置在[-1, 1]范围内随机选择，遵循[30]中的方法；（3）本研究探讨了随着隐藏节点数量增加，RVFLNs和P-RVFLNs算法的训练集和测试集RMSE的变化，以检验算法处理过拟合的能力，见图5。下载：PNG（更大图像）TIFF（原始图像）图5. 隐藏层节点数量的敏感性分析。不同激活函数的RVFLNs和P-RVFLNs子学习器的RMSE与隐藏层节点数量的曲线。https://doi.org/10.1371/journal.pone.0348784.g005 如图5(A)所示，随着隐藏层节点数量的增加，RVFLNs算法出现过拟合：训练集的RMSE呈下降趋势，而测试集的RMSE呈上升趋势。相比之下，图5(B)表明，除了高斯激活函数外，P-RVFLNs算法的训练集和测试集的RMSE随着隐藏层节点数量的增加而减小并最终稳定。这种改进可以归因于P-RVFLNs中引入的PCA技术，它减少了高维隐藏层输出矩阵的维度。同时，为了避免激活函数选择对模型性能的影响，只保留了使用Sigmoid、ReLU和Hardlim激活函数的P-RVFLNs子学习器，每种类型各有五个子学习器，共生成15个RVFLNs子学习器。然后应用粒子群优化（PSO）算法来优化P-RVFLNs子学习器的隐藏层节点数量和集成线性回归方法的权重组合策略，最终实现了基于PSO-P-ERVFLNs算法的酒精产量预测建模。图6展示了PSO优化前后每个P-RVFLNs子模型和集成模型的预测性能。下载：PNG（更大图像）TIFF（原始图像）图6. 建模效果比较图。(A) 每个子模型的性能。(B) 集成模型的性能。(C) 模型误差曲线的比较分析。https://doi.org/10.1371/journal.pone.0348784.g006 图6(A)显示了使用粒子群优化算法优化后每个P-ERVFLNs子模型和集成模型的预测性能。图6(B)展示了基于PSO-P-ERVFLNs的集成模型的预测结果。图6(C)比较了优化前后预测误差的概率密度函数（PDF），以验证所提出的基于PSO的优化的有效性。从误差PDF可以看出，使用PSO算法优化的酒精产量预测模型具有更高的准确性。尽管PSO-P-ERVFLNs模型可以建立工艺参数和酒精产量之间的映射关系，但它缺乏可解释性。因此，应用了SHapley Additive explanation（SHAP）解释模型进行进一步分析，具体结果见图7。图7(A)展示了特征重要性条形图，表明了每个参数的影响程度，而图7(B)展示了SHAP散点图，说明了每个参数的影响范围和模式。如图7所示，在SDP-BFM过程中，变量V5对酒精产量的影响最大，其次是V10、V7、V9和V2。下载：PNG（更大图像）TIFF（原始图像）图7. SHapley Additive explanation（SHAP）模型分析的结果。(A)反映了每个参数对模型输出的总体影响强度；值越大，影响越大。(B)显示了每个参数的SHAP值分布，表明了每个参数对预测结果的影响方向和范围；大小反映了正面贡献的强度。https://doi.org/10.1371/journal.pone.0348784.g007 最后，为了进一步增强模型的鲁棒性和验证其泛化能力，进行了十折交叉验证来评估PSO-P-ERVFLNs模型的性能[31,32]，并通过向测试集中添加不同强度的高斯噪声进行了模型敏感性分析。十折交叉验证和敏感性分析的结果见表3。下载：PNG（更大图像）TIFF（原始图像）表3. 十折交叉验证和敏感性分析的结果。https://doi.org/10.1371/journal.pone.0348784.t003 如表3所示，应用十折交叉验证后，RMSE的平均值为1.2611，标准差为0.1526，表明各折叠之间的误差波动很小。MAPE为4.59%，标准差小于0.5%，表明模型的平均相对误差非常低，稳定性很高。平均决定系数约为0.83，标准差仅为0.0466，显示出模型良好的泛化一致性。此外，在不同水平的高斯噪声强度下，模型性能指标的变化很小，没有观察到显著的性能波动。这表明模型的预测结果稳定，不受输入扰动的影响。因此，PSO-P-ERVFLNs模型表现出很强的鲁棒性和抗噪声能力，适用于涉及某些测量误差的酒精产量预测任务。3.4. 对比实验为了进一步验证所提出算法在SDP-BFM期间预测酒精产量的有效性和优越性，将PSO-P-ERVFLNs算法与P-RVFLNs算法、P-ERVFLNs算法、GA-P-ERVFLNs算法、HO-P-ERVFLNs算法以及反向传播神经网络（BPNN）、LightGBM算法和CatBoost算法进行了比较，使用相同的数据集进行预测实验。采用均方根误差（RMSE）、平均绝对百分比误差（MAPE）和决定系数（R2）来评估不同算法构建的模型的预测性能。比较实验的结果报告为五次独立运行的平均值。算法的参数设置和评估结果总结在表4中。不同算法建模的酒精产量预测结果见图8。下载：PNG（更大图像）TIFF（原始图像）表4. 不同算法的酒精产量预测模型参数和性能评估结果。https://doi.org/10.1371/journal.pone.0348784.t004 下载：PNG（更大图像）TIFF（原始图像）图8. 不同算法的酒精产量预测结果。https://doi.org/10.1371/journal.pone.0348784.g008 P-ERVFLNs算法中的隐藏层节点数量在3.3节中确定，基于具有相同激活函数的RVFLNs和P-RVFLNs子学习器的RMSE变化曲线。具体来说，选择了P-RVFLNs子学习器中RMSE值最低的五个隐藏层节点设置。对于GA-P-ERVFLNs、HO-P-ERVFLNs和PSO-P-ERVFLNs算法，隐藏层节点的数量分别在[1, 200]范围内使用GA、HO和PSO算法进行优化。XGBoost、LightGBM和CatBoost的超参数通过网格搜索进行优化。如图4和图8所示，通过将PSO-P-ERVFLNs算法与BPNN、XGBoost、LightGBM和CatBoost进行比较，可以观察到PSO-P-ERVFLNs构建的模型具有更好的计算效率和更高的估计精度。此外，通过比较P-RVFLNs、P-ERVFLNs、GA-P-ERVFLNs、HO-P-ERVFLNs和PSO-P-ERVFLNs算法的RMSE性能指标，可以看出，结合PCA降低输出矩阵维度，并应用PSO算法优化P-RVFLNs子学习器的隐藏层节点数量和集成线性回归的权重组合策略，可以有效提高RVFLNs算法的预测精度并减轻过拟合问题。4. 结论本研究提出了一种结合PCA和PSO的RVFLNs集成建模方法，用于建立SDP-BFM期间的酒精产量预测模型。首先，分别使用皮尔逊相关系数和随机森林算法选择的特征变量以及未选择的特征变量作为RVFLNs子学习器的输入进行建模。通过比较模型的RMSE性能指标，发现随机森林选择的特征集取得了最佳结果。其次，通过对不同隐藏层节点数量的建模性能指标进行比较分析，确定集成模型的子学习器为P-RVFLNs。在此基础上，使用粒子群PSO算法优化子学习器的隐藏层节点数量和集成线性回归的权重组合策略，最终实现了基于PSO-P-ERVFLNs算法的酒精产量预测建模。最后，通过比较P-RVFLNs、P-ERVFLNs、GA-P-ERVFLNs、HO-P-ERVFLNs和PSO-P-ERVFLNs算法的RMSE性能指标，可以看出，结合PCA降低输出矩阵维度，并使用PSO优化P-RVFLNs子学习器的隐藏层节点数量和集成线性回归的权重组合策略，确实可以提高RVFLNs算法的预测精度并在一定程度上减轻过拟合问题。此外，由PSO-P-ERVFLNs算法构建的模型表现出更好的计算效率和更高的估计精度，能够在SDP-BFM期间准确预测酒精产量。然而，尽管所提出的PSO-P-ERVFLNs算法在实验数据集上表现良好，但由于当前酒精生产过程和数据收集技术的限制，它尚未在严重非线性数据上进行验证。因此，其处理高度动态或强非线性数据的能力可能有限。支持信息 参考文献