PLSaoNET:一种在PLS统计约束下用于工业传感的广义神经网络模型
《Engineering》:PLSaoNET: A Generalized ANN Model Under PLS Statistical Constraints for Industrial Sensing
【字体:
大
中
小
】
时间:2026年05月06日
来源:Engineering 11.6
编辑推荐:
兰向孙|童晨|于海斌|彭增|彭张|齐立峰|尹勇|郑黎明|周阳
中国科学院沈阳自动化研究所机器人与智能系统国家重点实验室,中国沈阳110016
**摘要**
近年来,将人工神经网络(ANN)模型应用于工业传感以实现更高精度已成为一个热门的研究课题。然而,神经网络模型纯
兰向孙|童晨|于海斌|彭增|彭张|齐立峰|尹勇|郑黎明|周阳
中国科学院沈阳自动化研究所机器人与智能系统国家重点实验室,中国沈阳110016
**摘要**
近年来,将人工神经网络(ANN)模型应用于工业传感以实现更高精度已成为一个热门的研究课题。然而,神经网络模型纯粹是数据驱动的多变量“黑箱”模型,从隐藏层提取的特征没有实际的物理意义,这使得基于ANN的传感模型性能不稳定,难以在实际的工业现场应用。为了解决这些挑战,本文提出了一种称为基于偏最小二乘(PLS)辅助优化网络(PLSaoNET)的通用ANN模型。PLSaoNET利用PLS模型来确定网络的初始化权重和隐藏层神经元的数量。随后的训练过程在PLS回归结果的指导下进行重新优化,使网络能够纳入统计约束,从而减少对数据的依赖。此外,为了解决工业现场样本标签分布不均的问题,本文设计了一种分层采样方法用于网络重新训练。通过两个工业传感应用验证了所提出方法的效率和优越性:一个基于激光诱导击穿光谱(LIBS)数据监测铁矿石精矿浆样本中铁含量的案例,以及一个基于近红外(NIR)光谱数据评估柴油燃料质量的案例。与PLS回归模型和基于Xavier初始化的反向传播神经网络(BPNN)模型相比,PLSaoNET表现出最佳的建模精度和泛化性能。本研究设计了一个完整的理论框架,指导超参数的确定,并规定了网络的解决方案路径,从而满足了工业过程中对精度、鲁棒性和易用性的三大要求。所提出的模型在提高工业传感的精度和可靠性方面具有巨大潜力。
**1. 引言**
过程工业是国家经济的基本部门,正面临向智能制造升级的挑战[1]。作为一种实时检测技术,工业传感可以快速准确地测量生产过程中的各种参数,为优化和调节生产过程提供大量实时信息[2]、[3]、[4]、[5]。因此,工业传感是工业向智能制造升级的关键技术,并引起了工业界和学术界的广泛关注[6]、[7]、[8]、[9]。工业传感方法大致可以分为两类:基于机制的方法和数据驱动的方法[10]、[11]、[12]。基于机制的方法依赖于精确的数学表示来描述系统的物理或化学行为[13]、[14]。相比之下,数据驱动的方法不需要深入理解潜在机制,能够模拟复杂的多变量非线性关系。由于这一优势,数据驱动的方法已成为复杂工业传感的主流方法[15]。
特别是,由于神经网络强大的学习能力和非线性建模能力,以及深度学习技术的不断发展,基于神经网络的工业传感方法受到了广泛研究[16]。这些研究主要集中在将成熟的网络技术(包括卷积神经网络(CNN)、长短期记忆网络(LSTM)和深度信念网络(DBN)应用于特定工业过程中的传感系统。目的是利用神经网络的强大数据分析能力自动捕捉工业数据中的复杂非线性关系,从而构建更高精度的模型[17]。例如,CNN在处理高维数据方面表现出显著的能力。Long等人[18]提出了一种使用CNN模型的传感框架,用于快速准确地识别混合塑料废物(MPWs),Guo等人[19]设计了一种用于轴承故障诊断和定位任务的多任务CNN模型。LSTM可以捕捉数据中的时间依赖性。例如,Soni等人[20]提出了一个用于系统故障预测的LSTM模型。DBN通过层次特征学习也被用来模拟复杂的传感器数据。Yuan等人[21]、[22]、[23]进行了一系列基于DBN的工业传感器建模研究。通过利用这些先进的网络,研究人员旨在减少对手动特征提取和领域专业知识的依赖,而是利用大量的工业数据在各种工艺条件下开发创新的传感解决方案。
然而,复杂工业环境中的工业传感面临许多挑战。首先,工业对实时传感的要求意味着传感器需要在生产现场进行在线原位测量,但未经处理的测量数据通常伴有严重的噪声干扰,导致数据质量较差[24]。其次,复杂过程的原始工业数据通常是高维的,并非所有特征都对传感任务有帮助。此外,建立特征选择的因果关系很困难[25],而且这些特征通常与监测目标具有弱的机制和复杂的非线性关系[26]。最后,工业现场的同时采样和检测劳动强度大,使得收集标记样本变得困难[27]。这些问题限制了基于机制的方法的精确度和数据驱动方法的可靠性,在工业传感中应用人工神经网络(ANN)时带来了一个关键挑战:即可解释性问题[28]。
近年来,许多研究专注于提高ANN的可解释性[29]。这些改进可以分为三类:
(1) 预建模可解释性。这里的目的是通过数据分析和预处理深刻理解数据集,以提取关键特征[30]。然而,由于工业过程的复杂性和神经网络的黑箱性质,预测网络对输入特征的敏感性是具有挑战性的。因此,独立于网络训练进行的特征工程结果可能不是最优的。
(2) 建模后的可解释性。在这种方法中,主要使用可视化[31]和特征相关性分析[32]等技术来解释训练好的模型。然而,工业应用对可靠性有严格的要求,理想情况下高性能模型应该是天生可解释的,而不仅仅是事后解释的结果。这就是为什么在线性方法(如偏最小二乘(PLS)仍在工业传感中被青睐的原因[33]。
(3) 可解释模型。一些模型旨在直接可解释,物理信息神经网络(PINN)就是一个典型的例子[34]。然而,PINN需要为不同的偏微分方程设置单独的约束,这导致其泛化能力不足。此外,PINN通过融合物理信息为目标函数增加约束,只能间接约束网络权重优化和隐藏层中的表示。因此,PINN并未完全解决隐藏层缺乏清晰物理意义的问题。
除了可解释性问题外,基于ANN的工业传感还面临优化复杂性问题。在工业应用中,数据的质量和数量通常有限;因此,很难依赖大数据来获得基于随机初始化的稳定模型性能,就像在图像和文本处理中常用的那样。因此,确保模型性能的同时保证ANN在实际工业过程中的可解释性、可靠性和易用性至关重要。尽管有许多工作集中在降低优化复杂性[35]、[36]和提高神经网络的可解释性上,但针对工业传感过程中遇到的独特挑战和基本要求的研究却相对较少。为了解决这些挑战,我们设计了一种从机制层面出发的通用ANN模型,称为PLS辅助优化网络(PLSaoNET)。PLSaoNET方法受到PLS算法的启发。作为统计学习方法,PLS具有明确的统计可解释性、易于模型训练以及处理高维小样本问题的良好能力。通过奇异值分解(SVD)解决协方差矩阵,逐渐提取出最能表示输入数据中信息的几个具有正交结构的潜变量,这些变量与输出的相关性最高。PLS模型具有明确的解决方案路径,不需要太多数据或计算资源,只需一个超参数——潜变量的数量[37]、[38]。
在提出的PLSaoNET模型中,PLS用于帮助确定网络的初始权重和隐藏层神经元的数量,从而将神经网络从纯粹的数据驱动多变量黑箱模型转变为在可解释性和可靠性方面与传统统计学习方法(即PLS)相当的模型。另一个限制基于ANN的模型在工业现场实际应用的关键因素是样本标签分布不均的问题。因此,我们还为网络重新训练过程设计了一种分层采样方法。
本文的主要贡献总结如下:首先,提出了一种用于工业传感技术的通用PLSaoNET方法。该网络受到PLS统计约束的约束,继承了PLS模型的优势,同时保持了神经网络的重学习和非线性建模能力。这样一来,模型的可解释性和可控性得到了增强,同时保持了高性能。其次,提出了一个完整的PLSaoNET建模理论框架,以指导神经元数量的确定,并阐明了确定权重参数的路径。第三,通过使用来自工业现场的样本进行的大量实验证明了所提出方法的准确性和鲁棒性。实验结果表明,所提出的方法保持了ANN模型的优秀拟合能力,同时更适合在线工业数据特征和应用要求。因此,该方法在复杂工业环境中的传感任务具有广泛的应用前景。
本文的其余部分组织如下:第2节简要介绍了PLS和反向传播神经网络(BPNN)方法的原理,概述了本文的动机,并提供了PLSaoNET模型的完整理论框架和有效解决方案步骤。第3节描述了本文中使用的验证数据研究领域:一个涉及基于激光诱导击穿光谱(LIBS)的铁矿石精矿浆品位监测技术及其数据采集过程的案例(案例1),以及一个涉及基于近红外(NIR)光谱的柴油燃料质量评估技术及其数据特征描述的案例(案例2)。第4节使用LIBS数据和NIR数据作为示例,全面测试了PLSaoNET方法的有效性。第5节提供了结论和未来研究展望。
**2. 理论与方法**
本节简要回顾了PLS方法和BPNN模型的原理,并介绍了PLSaoNET的推导过程。假设X = [x1, x2, …, xn, …, xN]T ∈ RN×D是具有N个样本和D维特征的回归模型的输入,其中xn表示第n个样本。Y = [y1, y2, …, yn, …, yN]T ∈ RN×1是回归模型的输出。
**2.1. 偏最小二乘**
由于其简单性、有效性和易于实现,PLS在工业传感的实际应用中仍然是一种受欢迎的方法。它基于输入和输出之间的线性关系:
(1) Y = XW + ε
其中W是将输入X映射到输出Y的权重矩阵,ε是误差。
PLS通过线性映射逐渐提取一组潜变量T = [t1, t2, …, th, …, tH]:T = XW(1),其中H是潜变量的数量,W(1)是将输入X映射到潜变量矩阵T的权重矩阵。T转换为输出Y的过程由Y = TW(2)给出,其中W(2)是将T映射到Y的权重矩阵。在转换过程中,T应尽可能多地携带关于X变化的信息;即,maxvar(T) = maxvar(XW(1))。同时,T应与输出Y保持最大相关性;即,maxρ(T, Y) = maxρ(XW(1), Y。因此,PLS算法的优化目标如下:
(2) maxvar(XW(1)) * maxρ(XW(1), Y = maxcov(XW(1), Y)
PLS作为回归工具的优势在于它能够将多变量回归问题分解为H个不相关的单变量回归分析。具体的计算过程如图1所示。在解决过程中,潜变量矩阵T和权重矩阵W(1)通过XTY矩阵的SVD计算得出,权重矩阵W(2)通过Y和T之间的普通最小二乘(OLS)拟合获得。T对X的表示是通过X = TPT得到的,其中P是从提取的潜在变量T重构X的权重矩阵。这个权重矩阵P是通过X和T之间的OLS拟合获得的。通过迭代回归之前单变量回归得到的X的表示的残差,并结合施密特正交性以确保新的潜在变量不与之前的潜在变量的信息重叠,从而提取出X中最有价值的信息,直到潜在变量的数量达到设定的值。下载:下载高分辨率图像(168KB)下载:下载全尺寸图像图1. PLS模型的示意图和解决过程。2.2. 反向传播神经网络BPNN是最基本的前馈神经网络。它的名字来源于其学习算法——误差反向传播算法[39]。BPNN由一个输入层、多个隐藏层和一个输出层组成。隐藏层负责执行特征提取和非线性变换,输出层输出预测结果。如果隐藏层的第h个神经元的输入X是d维的,其输出Oh可以通过方程(3)表示:(3)Oh = Fact∑d=1DXndWdh + bh,其中Xnd是第n个样本的d维特征,Wdh表示该神经元的d维输入的权重值,bh是偏置值。Fact表示激活函数。双曲正切(tanh)函数通常用于回归应用,在本文中也选择了它。权重和偏置值是随机初始化的。在训练过程中,输入数据X和相应的输出数据Y同时输入网络。然后,网络通过前向传播过程计算预测输出,并将其与实际输出Y进行比较。网络随后评估预测输出和实际输出之间的整体误差。对于回归问题,输出层总是使用线性激活函数。对于具有单个隐藏层的BPNN模型,神经网络的最优训练的损失函数如方程(4)所示。权重和偏置值根据损失函数L(w)使用迭代算法(如随机梯度下降(SGD)算法和Adam算法)进行更新。这个过程从输出层开始,然后通过网络层向后传播。(4)Lw = 1/2(Y - P) = 1/2(Y - FactXW(1) + b(1)W(2) + b(2))在进行多次迭代之后,直到L(w)小于预期值或达到最大迭代次数。这个过程产生一组最终的权重和偏置值,构成一个训练好的网络。2.3. 基于PLS的优化网络如图1所示,PLS模型可以被视为具有一个隐藏层的前馈BPNN网络,它与普通BPNN在以下三个方面有所不同。(1)BPNN模型的训练策略依赖于输出误差的反向传播,目标函数等同于最大化模型输出与参考标签之间的相关性;相比之下,PLS同时考虑了潜在变量对输入的表达能力和与输出的相关性。因此,在PLS中,目标函数是方差和相关性的乘积,也称为协方差。PLS的优化目标直接限制了隐藏层的权重解,而BPNN对隐藏层的限制是间接的,因此隐藏层没有实际的物理意义。(2)PLS直接使用XTY的SVD来获得模型权重和潜在变量(隐藏层变量),具有清晰的数学表示和优化路径的优势。缺点是每个潜在变量只是当前的最优值,缺乏重新优化过程。相比之下,BPNN基于小批量训练,并使用SGD等优化算法,允许同时调整隐藏层神经元。(3)PLS模型只能拟合线性关系,在应用于现代工业过程中的传感器建模时,在准确性方面存在限制,因为这些过程的特点是传感器输入和输出之间存在复杂的非线性关系。相比之下,BPNN可以通过激活函数引入非线性,并通过神经元的组合在拟合实际输入-输出关系时实现更高的准确性。因此,我们提出了PLSaoNET模型,该模型使用PLS来确定网络的初始权重和隐藏层神经元的数量。PLSaoNET模型的示意图如图2所示。下载:下载高分辨率图像(347KB)下载:下载全尺寸图像图2. PLSaoNET模型的示意图。2.3.1. 网络初始化对于PLSaoNET模型的初始化过程,我们首先建立最优的PLS模型。PLS模型的潜在变量数量H通过验证(或交叉验证)集进行优化,并在最优H下重建PLS模型。获得权重矩阵W(1),它表示从输入X到潜在变量T的转换。PLS模型确定的最佳潜在变量数量H直接对应于隐藏层中的神经元数量。对于隐藏层的参数初始化,直接使用W(1)作为初始权重,隐藏层偏置初始化为0。在输出层的参数初始化中,由于该网络增加了非线性变换,隐藏层变量与目标输出Y之间的关系不再是Y = TW(2)。为了解决这个问题,首先通过对T矩阵进行tanh变换来获得O矩阵。然后对Y和O进行OLS拟合,以获得权重W(20)和偏置b(2),分别用于输出层的权重初始化和偏置初始化。初始化后,可以通过反向传播算法重新训练权重和偏置参数。重新优化过程基于PLS结果,确保训练起点的有效性,同时确保可以获得比PLS更好的结果。2.3.2. 网络训练当工业传感技术应用于过程工业时,建模数据直接从工业现场获得。除了上述问题,如小样本量、高维度和可测量变量中的高噪声外,工业过程中的样本标签通常存在分布不均和缺乏梯度的问题。因此,网络可能无法准确提取统计规律性,容易过拟合,导致在新数据上的性能较差。此外,神经网络训练基于小批量梯度下降。在小批量训练过程中,样本标签的分布不均会导致损失函数的大波动,从而影响其收敛性。因此,我们还设计了一种基于分层采样和随机梯度下降(SSL-SGD)的网络训练方法。SSL-SGD方法的细节在算法1中描述。对于包含N个样本的训练集,我们首先按升序对样本标签进行排序。根据预设的分层数量M(本文中M = 5),我们需要计算M-1个分位数。这些分位数是通过选择排序后位于20%、40%、60%和80%位置的标签值来确定的。分位数将标签分为五个等宽的区间,每个区间对应一个层次。随后,根据标签值与分位数之间的大小关系将每个样本分配到相应的层次。对于每次迭代,如果Mbs是用于训练的小批量大小,则小批量训练过程将重复N/Mbs次。从每个层次分别取出Mbs/M个样本来组成当前的小批量进行SGD训练。算法1PLSaoNET。输入:训练数据集DT = {XT, YT}验证数据集DV = {XV, YV}参数:潜在变量数量H小批量大小Mbs学习率Lr迭代次数epoch = {1, 2, …, Epo}初始化:将XT和YT缩放到均值为零和方差为单位调用PLS算法,输入潜在变量数量H获得T、W(1)获得O = tanh(T)获得W(20)、b(2) = OLS(O, YT)将网络权重参数初始化为W(1)和W(20)将网络偏置参数初始化为0(1)和b(2)重新优化:SSL-SGD根据标签对训练数据进行分层:对YT进行排序计算分位数:yq1, yq2, …, yq(M-1)对于{xi, yi} in {XT, YT},如果yi ≤ yq1,则{xi, yi} ∈ DT1;否则如果yi > yq1且yi ≤ yq2,则{xi, yi} ∈ DT2;……如果yi > yq(M-1),则{xi, yi} ∈ DTM结束如果结束对于DT = {DT1, DT2, …, DTM}训练过程:对于epoch in {1, 2, …, Epo},随机打乱DT1, DT2, …, DTM中的数据对于m in M,从每个层次分别取出Mbs个样本来组成当前的小批量进行SGD训练。算法1PLSaoNET。输入:训练数据集DT = {XT, YT}验证数据集DV = {XV, YV}参数:潜在变量数量H小批量大小Mbs学习率Lr迭代次数epoch = {1, 2, …, Epo}初始化:将XT和YT缩放到均值为零和方差为单位调用PLS算法,输入潜在变量数量H获得T、W(1)获得O = tanh(T)获得W(20)、b(2) = OLS(O, YT)将网络权重参数初始化为W(1)和W(20)将网络偏置参数初始化为0(1)和b(2)重新优化:SSL-SGD根据标签对训练数据进行分层:对YT进行排序计算分位数:yq1, yq2, …, yq(M-1)对于{xi, yi} in {XT, YT},如果yi ≤ yq1,则{xi, yi} ∈ DT1;否则如果yi > yq1且yi ≤ yq2,则{xi, yi} ∈ DT2;……如果yi > yq(M-1),则{xi, yi} ∈ DTM结束如果结束对于DT = {DT1, DT2, …, DTM}训练过程:对于epoch in {1, 2, …, Epo},随机打乱DT1, DT2, …, DTM中的数据对于m in M,从每个层次分别取出Mbs个样本来组成当前的小批量进行SGD训练。算法1PLSaoNET。输入:训练数据集DT = {XT, YT}验证数据集DV = {XV, YV}参数:潜在变量数量H小批量大小Mbs学习率Lr迭代次数epoch = {1, 2, …, Epo}初始化:将XT和YT缩放到均值为零和方差为单位调用PLS算法,输入潜在变量数量H获得T、W(1)获得O = tanh(T)获得W(20)、b(2) = OLS(O, YT)将网络权重参数初始化为W(1)和W(20)将网络偏置参数初始化为0(1)和b(2)重新优化:SSL-SGD根据标签对训练数据进行分层:对YT进行排序计算分位数:yq1, yq2, …, yq(M-1)对于{xi, yi} in {XT, YT},如果yi ≤ yq1,则{xi, yi} ∈ DT1;否则如果yi > yq1且yi ≤ yq2,则{xi, yi} ∈ DT2;……如果yi > yq(M-1),则{xi, yi} ∈ DTM结束如果结束对于DT = {DT1, DT2, …, DTM}训练过程:对于epoch in {1, 2, …, Epo},随机打乱DT1, DT2, …, DTM中的数据对于m in M,从每个层次分别取出Mbs个样本来组成当前的小批量进行SGD训练。为了最小化过拟合的风险,本研究还采用了提前停止策略。迭代的最大次数设置为较大的值(本文中为500次),当训练损失和验证损失连续几次(本文中为5次)没有减少时,触发训练终止。在训练终止之前,将保存最优神经网络。2.3.3. PLSaoNET方法的程序PLSaoNET方法由算法1描述,其中潜在变量数量(H)、小批量大小(Mbs)和学习率(Lr)是需要通过验证集性能进一步优化的超参数。3. 研究领域和数据获取提出的方法的效率和优越性通过两个工业传感应用进行了评估:一种基于LIBS的铁矿石浆料品位监测技术和一种基于NIR光谱的柴油燃料质量检测技术。本节介绍了数据获取过程和数据特征化。3.1. 铁矿石浆料样本的LIBS光谱第一个案例是LIBS数据。LIBS是一种直接测量技术,依赖于物理过程和光谱分析[40]。它基于将高能脉冲激光辐射聚焦在样本表面以产生等离子体,然后分析等离子体的发射光谱来获取关于样本成分和含量的信息[41]。LIBS具有许多优点,如分析速度快、样本准备简单和现场操作性强,预计将用于过程工业现场的实时生产控制中的材料成分和产品质量检测。然而,LIBS分析的准确性一直是限制其广泛应用的主要因素。这主要是由于矩阵效应和自吸收效应[42]、[43]、[44]引起的非线性现象。目前对矩阵效应背后的机制理解有限,尽管对自吸收效应有更好的理解,但目前还没有可靠的方法来检测和控制这两种效应。因此,使用先进的数据驱动方法来补偿矩阵效应已成为一个热门研究课题[45]、[46]、[47]。在为LIBS数据分析开发的建模方法中,一个重要的类别是基于ANNs[48]、[49]、[50]、[51]。图3显示了铁矿石浮选过程的示意图(图3(a))、我们团队开发的LIBSlurry分析仪(图3(b))以及分析仪内的在线实验设置(图3(c))。该分析仪已安装在铁矿石浮选厂中超过两年,并已在文献中描述过[52]。如图3(b)所示,在铁矿石精矿浆料管道上安装了一个采样阀,将浆料引导到采样容器中。如图3(c)所示,在分析仪内部,激光束聚焦在这个容器中的浆料流表面,产生等离子体。随后,光谱仪获取等离子体的发射光谱。最后,使用预训练的定量分析模型将光谱特征转换为铁(Fe)品位,从而实现铁矿石精矿浆料品位的实时监测。下载:下载高分辨率图像(289KB)下载:下载全尺寸图像图3. 浮选过程中基于LIBS的铁品位检测。(a) 铁矿石浮选过程的示意图;(b) 安装在浮选现场的LIBSlurry分析仪示意图;(c) 分析仪内的光学装置示意图。3.1.1.样品准备
由于浮选是一个连续的生产过程,因此需要在较长的时间内使用足够数量的样本来对数据驱动模型进行性能验证。为了实现这一目标,数据收集工作从2022年6月持续进行了近两个月,共获得了380个标记样本。在在线测量过程中,分析仪持续运行,以每小时三次的频率进行基于LIBS的测量。每次测量大约需要2分钟,因为分析仪会对1000次激光脉冲进行平均处理,以提高信号稳定性和降低噪声。
与在线测量相比,离线采样和测定过程至少需要2小时的间隔时间。在采样过程中,从生产线上取150毫升的浆料样本,然后将其送往现场实验室。实验室使用三氯化钛还原重铬酸钾滴定法(GB/T 6730.65–2009)来提供铁品级的参考值(误差范围为0.5%)。
3.1.2. 数据预处理
图4中的黄色线条显示了浆料样本的典型LIBS光谱。该光谱覆盖了227–784纳米的波长范围,并包含总共6116个维度特征。根据美国国家标准与技术研究院(NIST)的数据库,主要的光谱特征是浆料样本中主要元素的发射线,包括铁(Fe)、硅(Si)、钙(Ca)、钠(Na)、氢(H)、氧(O)和氮(N)[53]。其中,与浆料样本中铁品级相关的关键元素是Fe、Si、Ca和Na。Fe是理论上对铁精矿浆品位最相关的分析元素,同时也是浆料样本中的基体元素。关于Si,铁矿石中相关的矿物主要是SiO2,其存在会影响浮选过程,从而影响铁精矿的品位。Ca和Na是浮选过程中使用的添加剂,与最终的铁品位有关;浆料中剩余的Ca和Na也会影响LIBS光谱。
下载:下载高分辨率图像(298KB)
下载:下载全尺寸图像
图4. LIBS光谱及选定特征的位置
由于LIBS光谱具有超过六千个维度,而标记数据集只有380个样本,这种高维数据会导致后续数据驱动模型的过拟合。因此,我们首先选择了285个维度特征光谱线作为后续建模的输入变量。选定的波长特征如图4所示,详细信息见表1。
表1. 选定特征的信息
由于LIBS光谱具有超过六千个维度,而标记数据集只有380个样本,过多的维度会导致后续数据驱动模型的过拟合。因此,我们首先选择了285个维度特征光谱线作为后续建模的输入变量。选定的波长特征如图4所示,详细信息见表1。
3.2. 柴油燃料样本的NIR光谱
第二个实验基于NIR光谱数据评估柴油燃料的质量。该数据集?来自美国陆军资助的西南研究所(SWRI)[54]、[55]的一个项目,包含395个柴油燃料样本,这些样本来源于同一个油田。每个样本的NIR光谱数据覆盖了900至1700纳米的波长范围,包含了401个波长特征。这些数据被用来预测柴油燃料的粘度(单位为厘斯卡(cSt)),这是监控柴油产品质量的关键参数。从过程角度来看,柴油粘度反映了柴油燃料中所有成分的综合影响,这意味着可能没有直接与粘度相关的特定光谱区域。从建模角度来看,这个数据集还面临样本量相对于光谱维度不足的问题,这可能导致过拟合或模型精度降低等挑战。
4. 结果与讨论
为了全面验证我们提出方法的有效性,我们使用同样的数据集构建了两个比较模型:一个PLS回归模型和一个随机初始化的BPNN模型。在本节的第一部分,我们以基于LIBS数据的铁矿浆料品位监测任务为例,展示了所提出的PLSaoNET模型的高准确性和可靠性。然后,在第二部分,我们通过使用NIR数据进行柴油燃料质量评估来进一步验证我们的工作。最后,我们展示了所提出方法如何通过基于特征相关性的后处理方法来提高模型性能。
作为评估指标,我们使用了均方根误差(RMSE)和决定系数(R2):
(5) RMSE = ∑(n=1/√N) (y?n - yn)^2
(6) R2 = 1 - ∑(n=1/√N) [(y?n - yn)^2 / (yˉ - yn)^2]
其中yn是第n个样本的参考值,y?n是第n个样本的预测值,yˉ是所有样本的平均参考值。在后续的模型性能评估中,我们主要检查四个具体指标:训练集的RMSE(RMSEC)、验证集的RMSE(RMSEV)、测试集的RMSE(RMSEP)和测试集的R2(R2P)。
4.1. 情况1:铁矿浆料品位监测
根据样本收集顺序,前300个铁精矿浆料样本被随机分为训练集、验证集和测试集,比例为3:1:1。因此,选择180个样本作为训练集来确定权重参数,60个样本作为验证集来优化超参数,另外60个样本用于评估模型的泛化能力。该建模和评估过程重复进行了100次,以全面调查不同模型的精确度和稳健性。此外,由于浮选是一个连续的生产过程,为了与实际生产情况相匹配,使用了最后80个样本来真实反映不同模型预测未来样本的能力。
4.1.1. PLS回归模型
以数据集的一个划分为例,观察不同模型的详细性能。对于PLS模型,只需要确定一个超参数——潜在变量的数量(H)。在这项工作中,H的值从1变化到20。训练集和验证集的RMSE分别如图5(a)所示。最优的H值是13,相应的最佳PLS模型性能如图5(b)所示。图5(b)中的两条黑色虚线用于比较预测值与参考值的偏差;可以看出PLS模型的预测值与参考值的偏差通常较大。验证集和测试集的最优RMSE分别为1.21%和1.03%。PLS模型难以满足过程控制的精度要求,因为预测误差需要小于1%。
4.1.2. 随机初始化的BPNN
本节概述了在相同数据集划分模式下,基于随机Xavier初始化的BPNN模型的性能。神经网络中有很多超参数,这些通常包括学习率、层数、每层的神经元数量、神经元的激活函数、迭代次数和小批量大小。为了全面验证所提出方法的性能,BPNN被设置为一个单隐藏层网络,隐藏层中的神经元数量与相应PLS模型中的潜在变量数量相同。由于这是一个回归问题,神经元使用tanh激活函数。最终,只需要确定两个参数:小批量大小(Mbs)和学习率(Lr)。
首先确定了Mbs的可选范围。考虑到样本大小以及神经网络通常将Mbs设置为2的幂次,我们选择了Mbs值为4、8、16、32、64和128。此外,为了确保训练效率和收敛性,我们确定了Lr的可选范围,即0.0001到0.0010,步长为0.0001。图6(a)和(b)分别显示了训练集和验证集的RMSE。最佳超参数组合是Mbs = 64和Lr = 0.0007;相应的最佳BPNN模型性能如图7所示。
4.1.3. PLSaoNET模型
本文提出了基于PLSaoNET模型。PLSaoNET模型利用PLS帮助完成初始化,为后续的迭代训练提供一个明确的起点。此外,还提出了一种基于分层采样的迭代训练优化方法来解决样本分布不均匀的问题。基于训练集和验证集的超参数优化过程如图8所示。最佳超参数组合是Mbs = 32和Lr = 0.0009;相应的模型结果显示为RMSEC = 0.33%,RMSEV = 0.82%,RMSEP = 0.91%,R2P = 0.70。这种方法在不同数据集上的综合精度明显优于其他两种模型。PLSaoNET模型的R2P提高到了0.70,表明模型拟合了更正确的回归关系。最重要的参数RMSEP降低到了0.91%,说明该方法的结果在实际应用中具有代表性。训练过程需要1.63秒达到收敛,预测测试数据的时间为0.0019秒。因此,基于模型的在线预测时间比光谱测量时间短得多。
4.1.4. 不同模型精度的比较
图10比较了不同模型在铁矿精矿品位预测任务中的工业传感器结果。通过观察和比较图10(a)和(c),可以发现PLSaoNET的趋势预测与PLS模型基本一致,但更为平滑,这与实际情况相符。这表明PLSaoNET在预测铁矿精矿品位方面具有很高的可靠性。通过观察和比较图10(b)和(c),可以发现BPNN的结果与参考值相比有更多的异常预测,表明BPNN模型的预测结果不确定性较大,这将严重影响后续生产过程的控制,可能不适合实际工业应用。图10(d)显示了不同模型下工业传感器结果的概率密度曲线。可以看出,基于PLSaoNET方法的概率密度曲线比其他方法的更细且高度更高,这表明PLSaoNET方法在预测铁矿精矿品位时具有更高的准确性和更小的误差范围。下载:下载高分辨率图像(478KB)下载:下载全尺寸图像图10. 不同模型下工业传感器预测铁矿精矿品位的结果比较。(a) PLS;(b) BPNN;(c) PLSaoNET;(d) 误差的概率密度曲线。4.1.5. 100次实验的精确度和鲁棒性比较为了全面比较这三种不同模型的性能,数据集随机划分过程重复进行了100次。按照上述过程构建了PLS、BPNN和PLSaoNET模型。不同模型的精确度和鲁棒性显示在图11中,详细信息见表2。在图11(a)–(d)中,分别提供了RMSEC、RMSEV、RMSEP和R2P的小提琴图。对于每个模型,中位数用白点表示,而水平的粗黑条表示四分位数范围(IQR)。细黑线表示非异常值范围,位于距离粗黑条1.5倍IQR以内。此外,线两侧的核密度图显示了数据的估计分布[56]。在图11(e)–(h)中,显示了所有划分模式下不同模型的排名,其中点表示平均值,黑线表示相应的标准差。下载:下载高分辨率图像(348KB)下载:下载全尺寸图像图11。(a–d) 100次实验下(a) RMSEC、(b) RMSEV、(c) RMSEP和(d) R2P性能的小提琴图。(e–h) 不同模型在不同评估指标下的相应平均值和标准差。表2. 100次实验下不同模型的评估指标详细信息。模型RMSEC (%)RMSEV (%)RMSEP (%)R2PPLS0.87?±?0.1331.07?±?0.1261.15?±?0.1400.59?±?0.093BPNN0.63?±?0.1401.03?±?0.1611.12?±?0.1480.61?±?0.105PLSaoNET0.45?±?0.1500.97?±?0.1211.06?±?0.1320.65?±?0.085在精确度方面,PLS模型的结果最差。因此,可以得出结论,线性PLS模型难以准确拟合LIBS光谱与铁矿浆品位预测任务中的铁品位之间的工业传感器模型。BPNN模型的精确度适中,但鲁棒性最差;如表2所示,其在RMSEV、RMSEP和R2P结果上的标准差值最大。为了反映变异性,表2中的结果以平均值±标准差的形式呈现,突出了BPNN模型预测的较大波动。正如之前讨论的结果,PLSaoNET在与其他两种模型相比取得了最佳的结果。如表2所示,所提出的PLSaoNET方法具有最佳的建模精度,平均RMSEC(mRMSEC)为0.45%,比PLS回归模型(0.87%)低48.3%,比基于Xavier初始化的BPNN(0.63%)低28.6%。它还表现出最佳的泛化性能,平均RMSEP(mRMSEP)为1.06%,比PLS(1.15%)低7.8%,比BPNN(1.12%)低5.4%。此外,它具有最佳的鲁棒性,RMSEP(sRMSEP)的标准差为0.132%,比PLS(0.140%)低5.7%,比BPNN(0.148%)低10.8%。这些优异结果的原因是PLSaoNET模型是在PLS模型的基础上进一步训练得到的;因此,PLSaoNET模型结合了PLS模型的可解释性和可控制性以及ANN模型的非线性,从而充分利用了数据。4.2. 案例2:柴油燃料质量评估同样,柴油燃料质量评估案例中的数据集被随机分为三组,比例为3:1:1。也就是说,选出了236个样本来构建模型,79个样本用于优化模型的超参数,剩余的79个样本作为独立的测试集来评估模型的泛化能力。由于数据集大小和特征维度与基于LIBS的铁矿浆品位监测任务相似,因此小批量大小(Mbs)的选择保持不变。学习率(Lr)的优化范围通过实验确定为0.00002到0.00020,以0.00002的步长递增。PLS、BPNN和PLSaoNET模型的最佳性能显示在图12中。下载:下载高分辨率图像(442KB)下载:下载全尺寸图像图12. (a) PLS模型、(b) BPNN模型和(c) PLSaoNET模型的最佳结果。图12中显示的结果比较表明,柴油燃料的NIR光谱与其粘度之间存在明显的非线性关系。因此,PLS预测结果出现偏差,导致三个模型中的准确度最低。BPNN模型能够拟合这种非线性关系,但可能会过拟合,导致某些异常预测点的出现。相比之下,可以看到PLSaoNET模型在其他两种模型中取得了最佳的最佳建模和测试结果。4.3. 模型可解释性在本节中,我们以铁矿浆品位监测任务为例,详细介绍了所提出的PLSaoNET如何在高可靠性的同时保持高性能,这与普通黑盒网络相比具有优势。首先,在4.1.1节中介绍了PLS模型的回归过程细节,包括提取的潜在变量LVj与285维输入X之间的关系,以及LVj与输出Y之间的关系(以j = 1, 3, 5, 7, 9, 11, 13为例)。对于PLS模型,LVj是潜在变量矩阵T的第j列。图13(a)显示了285维光谱特征的示意图。在图13(b)–(h)中,显示了将285维输入转换为相应潜在变量LVj的权重。图13(i)表示潜在变量LVj对输出Y的贡献,这是通过计算LVj与其对应权重与Y的乘积的绝对值得到的。这些贡献通过最大-最小标准化进行处理。潜在变量LVj与输出Y之间的皮尔逊相关系数r(LVj, Y)计算如下。下载:下载高分辨率图像(796KB)下载:下载全尺寸图像图13. PLS模型的回归过程细节。(a) 285维光谱特征的示意图;(b–h) 将285维输入转换为相应潜在变量LVj的权重,j = 1, 3, 5, 7, 9, 11, 13;(i) 潜在变量LVj对输出Y的贡献。首先可以看出,随着潜在变量数量的增加,噪声数据开始影响甚至主导特征提取过程。潜在变量LV1、LV3和LV5与Si、Mg、Al、Ca和Na等元素的特征线之间的相关性更为明显。所有这些都对Si(Si I 288.1 nm)给予了高度关注,这与实际生产情况相符,因为铁矿浮选过程是选择铁并去除硅的过程。由于样本铁品位分布为60%–68%,Fe特征线大多被饱和,回归模型主要由其他元素(如Si线)构建。然而,在LV7中对Si的关注较少,而对Fe原子线(Fe I 309.9 nm)的关注较多;同时,权重在非特征线的位置开始波动。在LV11之后,对有意义特征光谱线的关注很少,提取的大部分是背景和噪声。此外,LVj与Y之间的皮尔逊相关系数的最大绝对值为0.41(LV5),这意味着潜在变量与Y的相关性较低。建立PLS模型的规则涉及两个约束:与Y的最大线性相关性和最能代表X的信息。然而,前者约束(专注于最大化与Y的相关性)几乎失去了其意义。此外,可以观察到潜在变量LV11和LV13对输出的贡献最低,这显示了PLS模型作为具有显式解路径的线性模型的抗噪声能力。BPNN模型的回归过程细节也显示在图14中。对于BPNN模型,LVj是隐藏层输出矩阵O的第j列。图14(a)与图13(a)相同,图14(b)–(h)中垂直坐标的值范围与图13(b)–(h)相同。可以看出,第5个神经元对Si特征线给予了一些关注,第7个神经元对Ca特征线也给予了一些关注。然而,与PLS模型不同,BPNN模型中间层的特征提取过程难以区分背景噪声和发射光谱信号。这是一个纯粹的数据驱动的多变量黑盒模型过程,这与BPNN作为黑盒模型的本质一致。此外,中间层特征LVj与Y的皮尔逊相关系数分别为–0.56、–0.31、0.41、0.05、0.36、0.07和–0.68。最大绝对值为0.68(LV13),高于PLS模型,表明通过神经元的组合和非线性变换,神经网络提取了与输出相关性更高的特征,因此获得了比PLS更好的建模结果。然而,这种方法并没有在测试集上取得更好的性能。进一步观察图14(i)可以发现,与Y相关性较高的LV1和LV13对输出Y的贡献小于与Y相关性较低的LV2、LV9和LV11。这再次说明了神经网络模型的纯粹数据驱动拟合过程,导致了对噪声信息的错误关注,从而导致某些点的预测偏差大于PLS模型。下载:下载高分辨率图像(839KB)下载:下载全尺寸图像图14. BPNN模型的回归过程细节。同样,图15提供了PLSaoNET模型的回归过程细节。与BPNN模型一致,LVj是隐藏层输出矩阵O的第j列。可以看出,与图13相比,LV1发生了显著变化,增加了对Ca特征线(Ca II 396.8 nm)的关注。此外,LV3、LV5和LV9仍然对Si(Si I 288.1 nm)给予了很高的关注,而LV7对Fe(Fe I 309.9 nm)的关注仍然很高,并增加了对Al特征线(Al I 394.3 nm)的关注。输入和潜在变量之间的转换权重也开始在非信号位置波动,很明显,模型基于PLS学习了一种新的特征组合。中间层特征LVj与Y的皮尔逊相关系数分别为–0.19、–0.11、–0.42、0.17、0.29、–0.21和0.21。最大绝对值为0.42(LV5),高于PLS模型,但低于BPNN模型。然而,如图15(i)所示,LV5在从LVj到Y的转换过程中的主导作用得以保持,有效地优化了解决过程,提高了模型的可解释性,并降低了过拟合的风险;因此,PLSaoNET模型在其他两个模型中获得了最佳的训练、验证和测试性能。下载:下载高分辨率图像(844KB)下载:下载全尺寸图像图15. PLSaoNET模型的回归过程细节。5.结论
总结来说,本研究提出了一种新的基于PLS的优化网络模型,名为PLSaoNET。通过使用PLS来确定网络中隐藏层神经元的数量和初始化权重,该网络受到PLS统计约束的约束,从而将其从一个纯粹的数据驱动的多变量黑箱模型转变为一种具有与传统线性方法(如PLS)相当稳定性和可靠性的新方法。此外,这些发现增强了我们对工业传感器模型如何利用测量变量来获取关键性能指标(如材料成分、设备状态和产品质量)的理解,尤其是在复杂的工业过程中。为了解决样本分布不均的问题(这一问题严重影响了工业在线应用中的网络优化过程),本研究提出了使用分层抽样来优化训练过程,以减少不均匀性的影响。
PLSaoNET模型是一种通用的方法,有效降低了在工业在线传感器中应用人工神经网络(ANNs)的难度。该方法从神经网络的机制出发,为确定神经网络超参数和指定解决方案路径提供了一个全面的理论框架,同时满足了工业应用中的准确性、鲁棒性和易用性这三个要求。所提出方法的优越性在两个应用中得到了充分验证:一个是矿物浮选过程中铁矿石精矿浆的在线检测,另一个是基于近红外(NIR)数据的柴油燃料质量评估任务。与具有随机初始化的BPNN相比,所提出的模型实现了更高的准确率,并保持了更稳定的泛化性能。该模型已成功应用于一个矿物加工工业现场的LIBSlurry分析仪中。
值得注意的是,目前的工作仅实现了PLS辅助优化的概念,应用于最基本的神经网络(具有单个隐藏层的BPNN)。通过理论分析和实验验证,我们初步展示了所提出的PLSaoNET框架在输入维度高、标记样本有限以及测量条件恶劣的工业传感应用中的潜力。
所提出的PLSaoNET框架可以进一步开发,以实现更高的传感精度或适用于更多的工业传感场景。首先,神经网络的强大拟合能力主要取决于网络的深度和宽度(即层数和每层的神经元数量)。随着工业互联网和传感技术的不断发展,工业数据量呈指数级增长,数据质量也在不断提高。因此,需要开发更复杂的网络模型结构。未来,我们将探索堆叠多个PLS模型以增加网络深度的方法。其次,本文提出的PLSaoNET方法是一个全连接神经网络。在典型的工业传感应用中,基于视觉的产品分类缺陷检测需要处理图像输入,而剩余使用寿命(RUL)预测则需要处理时间序列输入。当前的全连接PLSaoNET模型在处理这些具有非结构化信息的工业传感应用时面临挑战,例如图像和时间序列数据中的空间和时间位置信息。然而,成熟的神经网络(如CNN和LSTM)已经开发出了空间或时间信息处理单元,包括卷积和门控机制。将这些处理单元整合到PLSaoNET模型中将是我们未来工作的另一个研究重点。
作者贡献声明
孙兰翔:撰写、审阅与编辑、方法论、概念化。
陈彤:方法论、撰写——初稿、调查。
于海斌:方法论、监督。
曾鹏:撰写、审阅与编辑、概念化。
张鹏:撰写、审阅与编辑、概念化。
齐立峰:数据整理。
辛勇:验证、调查。
郑黎明:验证、调查。
周阳:软件开发。