利用物理信息驱动的机器学习对不确定性条件下的批量结晶过程进行建模

《Industrial & Engineering Chemistry Research》:Modeling Batch Crystallization under Uncertainty Using Physics-Informed Machine Learning

【字体: 大 中 小 】 时间:2026年05月03日 来源:Industrial & Engineering Chemistry Research 3.9

编辑推荐:

  高分辨率图像 下载MS PowerPoint幻灯片 开发稳健可靠的结晶过程建模方法往往具有挑战性,因为真实数据中存在多种不确定性来源导致的非理想性。本研究探讨了在系统性和模型不确定性存在的情况下,结合了机理群体平衡模型和循环神经网络的物理信息循环神经网络(PIRNNs)

  高分辨率图像
下载MS PowerPoint幻灯片

开发稳健可靠的结晶过程建模方法往往具有挑战性,因为真实数据中存在多种不确定性来源导致的非理想性。本研究探讨了在系统性和模型不确定性存在的情况下,结合了机理群体平衡模型和循环神经网络的物理信息循环神经网络(PIRNNs)的有效性。这些不确定性通过使用包含受控噪声、溶解度变化和有限采样的合成数据来表示。研究表明,PIRNNs具有强大的泛化能力和物理一致性,能够保持稳定的学习行为,并且即使在训练数据中存在显著随机变化的情况下也能准确恢复动力学参数。在溶解度模型存在系统误差的情况下,加入物理正则化后,其测试性能比纯数据驱动模型提高了一个数量级以上;然而,过度强调物理因素会增加由于模型不匹配而产生的误差。结果还表明,即使在采样分辨率非常低的极限情况下,PIRNNs也能恢复模型参数并复制结晶动力学过程。这些发现验证了物理信息机器学习在处理数据不完美性和领域知识不完整时的鲁棒性,为结晶动力学的可靠和实用混合建模以及工业过程监控和控制提供了潜在途径。

1. 引言
结晶是制药、精细化工和食品加工等多个行业中分离、纯化和生产固体材料的基本过程。(1?3)特别是在制药行业中,超过80%的固体产品至少包含一个结晶步骤,而生产的活性药物成分中有90%以上是晶体。(4?7)结晶对产品特性(如纯度、粒径分布和多晶型)的重要性使得理解和精确控制这一过程对于一致生产符合质量规格的产品至关重要。(8)因此,大量研究致力于深入和定量地了解结晶过程动力学。(9?12)
近年来,过程分析技术(PAT)的进步通过实时监测这一动态系统,彻底改变了人们对结晶过程发展的理解。(13,14)PAT工具,如聚焦束反射测量(FBRM)、衰减全反射傅里叶变换红外(ATR-FTIR)光谱、拉曼光谱和原位成像,提供了关于结晶动力学(包括过饱和度和晶体尺寸分布CSD)的详细见解。(9,15?18)然而,从PAT收集的信息往往具有不确定性和不完整性,如果没有适当的工艺模型来解释和关联测量结果与系统状态,有效地利用这些数据进行过程控制仍然具有挑战性。(19?21)
基于物理的结晶建模传统上构成了结晶研究和开发的基础。基于群体平衡模型(PBM)并结合质量和能量平衡,基于物理的模型提供了关于成核、晶体生长、溶解、聚集和破碎现象的严格数学描述。(9,22?24)理论基础和外推能力赋予了基于物理的模型独特的优势。然而,由于方程的高度非线性结构以及需要大量实验数据,这些模型的参数估计可能具有挑战性。(25,26)尽管存在这些挑战,基于物理的模型对于工艺放大和设计以及获得结晶现象的基本机理理解仍然至关重要。
机器学习算法的快速发展以及大量实验数据的可用性也推动了纯数据驱动建模方法的出现。(10,27)人工神经网络(ANN)、支持向量机、随机森林和其他深度学习框架等技术已成功应用于捕捉结晶动力学与输入过程变量之间的“黑箱”经验关系。(6,28?37)最近的研究表明,循环神经网络和时间序列变换器在预测结晶动力学和实施基于神经网络的控制策略方面具有高效性。(6,38?42)与基于物理的模型相比,数据驱动模型可以在不需要显式机理知识的情况下处理大量数据。然而,当处理新系统或超出训练范围的运行条件时,它们通常面临物理可解释性差和外推能力不足的固有局限性。(43)
混合建模结合了基于物理的知识和数据驱动技术,成为一种有前景的框架,结合了两种范式的优势。(44,45)例如,基于物理信息的神经网络(PINNs)越来越多地应用于从反应动力学和流体动力学到过程控制的各种化学工程系统中。(46?60)这种“灰箱”方法保持了基于物理的模型的物理可解释性和外推能力,同时使用灵活的机器学习模型来处理大量数据以及简化模型与实际系统之间的差异,从而在非理想条件或数据稀疏的情况下实现更好的预测性能。(30,61?65)最近的结晶研究通过展示与纯数据驱动方法相比,混合建模在提高准确性和鲁棒性方面的潜力,验证了其优势。(10,65)
然而,在将这些混合建模方法应用于实际结晶过程时,仍然存在实际挑战。测量噪声、过程干扰和其他系统固有的变异性引入了两种基本类型的不确定性:随机不确定性和认知不确定性。随机不确定性源于成核事件的随机性、测量设备的限制和随机操作波动等来源的不可减少的变化。认知不确定性更为普遍,源于对系统和模型的了解不完整,例如简化模型假设、模型与数据之间的不一致性或实验数据覆盖范围有限。(66?71)先前的研究使用蒙特卡洛程序传播输入不确定性通过PBM,强调了不确定性对结晶建模的影响,显示出对预测CSD和过程结果的显著影响。(21)最近的工作还尝试通过贝叶斯方法量化这些不确定性,更多地关注在结晶过程建模时理解和考虑这些不确定性。(72)
本文旨在通过研究数据非理想性对结晶建模的影响来扩展这些努力,采用吴等人最近开发的基于物理信息的循环神经网络(PIRNNs)的混合方法。(65)我们专注于一个相对简单但具有代表性的案例研究——对乙酰氨基酚批次冷却结晶,其中先前的工作已经建立了一个物理PBM模型作为“真实值”(73),并探讨了合成“观测数据”中的随机不确定性和几种形式的认知不确定性如何影响结晶建模的性能和可靠性。通过系统地引入受控水平的测量噪声、模型差异和采样限制,我们提供了在数据不完美和领域知识不完整情况下所提出方法的鲁棒性和可靠性的见解。这项工作的结果表明,混合PIRNN模型在存在随机测量噪声和认知采样不确定性的情况下,为参数化PBM模型提供了一个稳健的选择。此外,我们发现,当适当优化时,这些混合模型能够灵活地考虑溶解度校准曲线和采样频率中的认知不确定性,其性能优于纯数据驱动和基于物理的模型。这些发现表明,PIRNN方法是一种有前景的策略,可以创建将实际PAT数据与已知的物理化学控制机制相结合的稳健结晶模型。

2. 方法论
2.1. 群体平衡模型与矩方法
在本研究中,我们关注种子批次冷却场景。遵循Ramkrishna提出的框架(74)并由Li等人参数化(73),我们使用一维PBM来描述系统。(75,76) 方程1中的PBM描述了晶体数密度n随时间t和特征晶体尺寸L的变化:
??????+????????=0
?n?t+G?n?L=0
(1)
其中G代表晶体生长率。矩方法(77,78)用于通过将其分解为一组常微分方程(ODEs)来解决这个偏微分方程,具体实现由Kim等人完成(9)。在矩方法中,第i个矩μi定义为:
μ??=∫∞0??????(??)d??,??=0,1,2,3,...
μi=∫0∞Lin(L)dL,?i=0,1,2,3,...
(2)
从第零个到第三个矩μ0、μ1、μ2、μ3分别与晶体的总数、长度、表面积和体积成正比。假设生长率G与尺寸无关(73,79),则可以根据方程1和2推导出每个矩的时间导数:
d????d??=?????????1,??=1,2,3,...
dμidt=iGμi?1,?i=1,2,3,...
(3)
对于第零个矩,它量化了晶体总数,其时间导数可以定义为成核率,如方程4所示:
d??0d??=??1+??2dμ0dt=B1+B2
(4)
其中B1和B2分别代表初级和次级成核率。初级成核是指直接从清澈溶液中形成晶体,而次级成核是指由现有晶体促进的新晶体形成。(76,80)如先前的工作所示,在种子批次结晶中,次级成核受到种子晶体的添加的促进,因此在这种情况下忽略初级成核。因此,第零个矩的变化率可以仅通过次级成核率的经验模型来计算(22),如方程5所示:
d??0d??=??2=??b2(???1)??????sdμ0dt=B2=kb2(S?1)αmsβ
(5)
其中kb2是次级成核率常数[(g晶体/千克溶剂)?β/(分钟·克溶剂)],ms是单位质量溶液中的晶体质量[g晶体/千克溶剂],α和β是模型指数参数,S是过饱和度。过饱和度S可以使用方程6和7从浓度C [克溶质/克溶剂]和温度依赖的饱和浓度CS [克溶质/克溶剂]计算得出:
??=??/??SS=C/CS
(6)
??S=?16.17+1.765×10?1???6.439×10?4??2+7.915×10?7??3
(7)
其中T是过程温度(开尔文),饱和浓度多项式参数取自Li等人的先前工作(81)。
由于第三个矩μ3对应于晶体的体积,因此可以从质量平衡计算出批次过程中的溶质浓度C,如方程8所示:
??(??)=??0?????????3(??)
C(t)=C0?kνρμ3(t)
(8)
其时间导数如方程9所示:
d??d??=???????d??3d??=?3??????????2dCdt=?3kνρdμ3dt=?3kνρGμ2
(9)
其中C0是初始浓度[克溶质/克溶剂],kν是晶体的体积形状因子,ρ是晶体的固体密度[克/立方厘米]。种子质量被有意设置得很小,因此可以从质量平衡中忽略。如上所述,在假设生长率与尺寸无关的情况下,G可以用Arrhenius型方程表示,其中绝对过饱和度驱动力C – CS使用方程10表示:
??=??gexp(???ag????)(?????S)??g
G=kgexp(?EagRT)(C?CS)γg
(10)
其中kg是晶体生长的预指数因子[(厘米/分钟)(克溶质/克溶剂)?γg],Eag是活化能[J/摩尔],γg是驱动力的指数参数,R是通用气体常数[J/(摩尔·K)]。

2.2. 数据生成与准备
使用第2.1节中描述的PBM和相关矩方程生成合成数据集。模拟设置旨在模拟动态温度曲线下的批次冷却结晶实验。遵循Li等人描述的种子批次阶段冷却曲线(73),每个实验包括三个阶段:初始等温平台期、线性冷却阶段和最终等温保持期。温度演变使用方程11中的函数构建:
??(??)=??plat,??plat+??(?????plat),??final,0≤??T(t)={Tplat,0≤t< />< />(11)
其中tplat是初始平台温度[°c],r是冷却率[°c/分钟],tplat是平台持续时间[分钟],tcool是冷却时间[分钟],tfinal是最终保持温度(0°c),tend是实验结束时间,这里设置为500分钟。参数tplat、r和tplat从预定义范围内的均匀分布中随机采样,以产生多样化的实验条件,tcool根据tfinal和tplat之间的差异计算得出。初始溶质浓度c0也从均匀分布中随机变化,以引入过饱和度动态的变异性。合成温度曲线以及tplat、r、tplat和c0的分布可以在支持信息中的图s1–s4中找到。
对于每个模拟实验,使用scipy中实现的lsoda方法(82)根据生成的温度曲线和li等人报告的参数值(73)解决第2.1节中的ode系统。前向解决方案中包括五个状态变量μ0到μ3和c,解决ode系统时指定了这些五个状态变量的初始条件。有意将μ0的初始值设置为最小值,以确保模拟系统的种子条件,并且该值至少比μ0的数值小3个数量级,使其在质量平衡中可以忽略不计。模拟详细信息可在支持信息中的s1.2节找到。每次模拟都会产生浓度以及从第零个到第三个矩的时间序列输出。 (11) 其中tplat是初始平台温度[°c],r是冷却率[°c 分钟],tplat是平台持续时间[分钟],tcool是冷却时间[分钟],tfinal是最终保持温度(0°c),tend是实验结束时间,这里设置为500分钟。参数tplat、r和tplat从预定义范围内的均匀分布中随机采样,以产生多样化的实验条件,tcool根据tfinal和tplat之间的差异计算得出。初始溶质浓度c0也从均匀分布中随机变化,以引入过饱和度动态的变异性。合成温度曲线以及tplat、r、tplat和c0的分布可以在支持信息中的图s1–s4中找到。>
(11)
其中tplat是初始平台温度[°c],r是冷却率[°c/分钟],tplat是平台持续时间[分钟],tcool是冷却时间[分钟],tfinal是最终保持温度(0°c),tend是实验结束时间,这里设置为500分钟。参数tplat、r和tplat从预定义范围内的均匀分布中随机采样,以产生多样化的实验条件,tcool根据tfinal和tplat之间的差异计算得出。初始溶质浓度c0也从均匀分布中随机变化,以引入过饱和度动态的变异性。合成温度曲线以及tplat、r、tplat和c0的分布可以在支持信息中的图s1–s4中找到。
对于每个模拟实验,使用scipy中实现的lsoda方法(82)根据生成的温度曲线和li等人报告的参数值(73)解决第2.1节中的ode系统。前向解决方案中包括五个状态变量μ0到μ3和c,解决ode系统时指定了这些五个状态变量的初始条件。有意将μ0的初始值设置为最小值,以确保模拟系统的种子条件,并且该值至少比μ0的数值小3个数量级,使其在质量平衡中可以忽略不计。模拟详细信息可在支持信息中的s1.2节找到。每次模拟都会产生浓度以及从第零个到第三个矩的时间序列输出。>需要注意的一点是,实验中通常无法直接测量“时刻”(moment)这一概念。先前的研究已经将FBRM信号与这些“时刻”相关联,Kim提出了一个浅层神经网络(shallow NN)框架,以准确地将FBRM测量结果转换为“时刻”数据(参考文献6,83,84)。或者,也可以使用原位相机来估计“时刻”。在这项研究中,我们假设了一个“完美的传感器”,在该传感器中,“时刻”和浓度都可以直接获取;在我们的基线情况下,我们还假设溶解度也经过了完美校准。尽管无噪声的模拟提供了一个理想的比较基准,但真实的实验数据包含测量噪声。为了以受控的方式复制这种非理想情况,在第3.1节中,我们在“时刻”和浓度轨迹中引入了高斯噪声。噪声幅度被设置为每个状态轨迹上所有值的标准差的10%、30%和100%(即从t = 0到t = 500分钟的所有浓度/“时刻”的标准差),以此来表示“低噪声”、“中噪声”和“高噪声”情况。生成的数据曲线图见支持信息中的图S6–S9。

除了引入受控水平的噪声以反映随机不确定性外,还在第3.2节中对PBM模拟中使用的溶解度表达式进行了调整,以复制与真实测量相关的非理想情况。由于材料纯度和分析方法的不同,溶解度值可能会有所不同。在结晶领域,预测溶解度与实际测量溶解度之间的差异通常会达到几个百分点,这取决于数据集的质量和所使用的拟合方法(参考文献9,79,85?87)。引入这种系统偏差反映了“真实”热力学溶解度与通常用于关联过程模拟和实验的工作相关性之间的不匹配。广义而言,这种系统模型不匹配代表了在实际结晶监测中遇到的更广泛的认识论不确定性,包括来自不完美浓度校准的偏差、从FBRM测量的CLD进行的经验CSD估计(参考文献15,81),以及从PAT信号进行“时刻”估计时的几何假设的复杂性。为了纳入这种模型不匹配,使用方程7计算出的饱和浓度CS在整个温度范围内被乘以一个常数因子10%进行偏移。这个百分比的偏移是基于Kim等人(参考文献9)报告的对乙酰氨基酚在乙醇中的研究结果选定的。为了评估模型不匹配程度的敏感性,我们还对不同的偏移量进行了额外的测试,结果保持了总体趋势。由于这些额外的计算没有集成在一起,因此只能进行定性解释,因此不会在本文中报告。这种偏差是由于对系统和模型的了解不完全而产生的认识论模型不确定性来源。

在第3.3节中,我们还将采样频率视为另一个不确定性来源。为了模拟实验限制,在这种情况下,训练集中只包含了10次运行,我们策略性地评估了每次运行使用2、3、5和9个点的案例,分别对应于总共20、30、50和90个训练点。我们遵循了一种非均匀且大致对数的采样方案。在2点情况下,只有状态变量的初始值和最终值是可用的;在3点情况下,在tplat之前添加了一个数据点,因为早期阶段的动态变化更快或梯度更陡;在5点情况下,在三个冷却阶段分别添加了三个额外的点(如方程11所示);在9点情况下,使用大致对数的间隔来创建更密集的早期采样和更稀疏的后期采样。详细的样本点可以在支持信息中的S4节找到。需要注意的是,尽管状态变量是从1分钟的分辨率大幅降采样的,但由于温度是这个结晶系统中的控制变量,因此假设完整的温度曲线是以分钟为分辨率的。将这些误差源整合到合成数据集中,从而增加了真实感,并允许在关键热力学知识不完全已知的情况下评估不同建模策略的鲁棒性。

为了提供无偏的模型评估,生成的数据被分为训练集、验证集和测试集,比例为6:2:2,总共生成了100次合成运行,分别对应60、20和20次训练、验证和测试运行。训练数据用于优化机器学习模型,包括网络权重、偏差、PBM参数和其他可学习参数。这里,验证数据不用于优化或调整模型配置的超参数(例如,网络宽度/深度、学习率等),而仅用于通过提前停止(early stopping)选择“表现最佳”的模型,这是一种提高模型在未见数据中泛化能力的正则化技术(参考文献88,89)。这个过程提供了一种相对公平的方式来选择单一的最佳模型以评估模型性能,并防止可能的对训练数据的过拟合。然后,使用测试数据来提供模型的最终无偏评估。在本文中,除非另有说明,否则验证和测试误差都是基于使用验证集通过提前停止选出的最佳模型得出的误差。在训练之前,所有状态变量都通过它们在整个训练集中的最大值进行了归一化,以确保数值稳定性并平衡每个变量对损失函数的贡献。

2.3. 物理信息驱动的循环神经网络(PIRNNs)

遵循Raissi等人(参考文献90)引入的物理信息驱动的神经网络(PINNs)的原则,并直接基于Wu等人(参考文献65)最近为结晶过程适应的PIRNNs架构,我们采用了一个混合框架,该框架结合了长短期记忆(LSTM)网络的序列建模能力和基于物理的约束来模拟结晶动力学(参考文献91),如图1所示。LSTM网络是一种专门的RNN类型,旨在通过使用门控策略来控制序列记忆中的信息保留、更新和遗忘(参考文献91)。PIRNN模型由一个LSTM编码器组成,该编码器处理连接的状态变量x(t),如方程12所示,以及控制输入T(t)??(??)=[??0,??1,??2,??3,??]Tx(t)=[μ0,μ1,μ2,μ3,C]T(参考文献12),随后是批量归一化和dropout层,以防止协变量偏移和过拟合并提高泛化能力,以及一个全连接线性解码器,在每个前向步骤输出预测的状态变量(参考文献92?95)。这里使用了两个LSTM层来保持架构的简洁性。对输出应用Softplus激活函数以确保预测值是非负的。详细设计和超参数(即节点/层数、dropout率等)可以在支持信息中的表S1中找到。在训练过程中,PIRNNs接受一个初始状态??0∈?5和温度控制序列??∈???×1T∈RN×1(N个时间戳),并为五个状态变量提供一个预测轨迹??? ∈???×5x^∈RN×5。

图1. PIRNN架构和损失项。

总训练损失?L是数据损失和物理损失项的加权和,使用方程13表示:
?=?data+???physics
L=Ldata+λLphysics
(13)
其中λ是一个权重超参数,用于控制数据拟合和物理匹配的相对重要性。数据损失?data包括三个主要部分:预测状态和观察到的训练状态之间的均方误差(MSE)、Huber损失和平滑度损失,这些损失分别由方程14–18定义:
?data=??MSE(????,??obs)+(1???)Huber
??(????,??obs)+?smooth
Ldata=ωMSE(x^,xobs)+(1?ω)Huber
δ(x^,xobs)+Lsmooth
(14)
??=??(???noise)
ω=σ(?ηnoise)
(15)
MSE(????,??obs)=1
N∑??=1??∥???????????,obs∥2
2
MSE(x^,xobs)=1
N∑k=1N∥x^k?xk,obs∥2
(16)
Huber
??(????,??obs)={0.5(???????obs)2,??(|???????obs|?0.5??)
if|???????obs|otherwise
Huber
δ(x^,xobs)={0.5(x^?xobs)2,if|x^?xobs|<δ
δ(|x^?xobs|?0.5δ)
otherwise
(17)
?smooth=1
n?2∑??=2???1∥??????+1?2??????+???????1∥2
lsmooth=1
n?2∑k=2n?1∥x^k+1?2x^k+x^k?1∥2
(18)
这里,ω是一个关于可学习噪声尺度参数ηnoise的sigmoid函数,允许mse和huber损失之间的自适应混合;δ是huber损失的过渡阈值。这种方法的灵感来自于异方差似然损失的思想,它允许模型对被认为噪声较大的数据点赋予较低的权重(参考文献96)。huber损失是一种鲁棒的回归损失,它结合了mse对小残差的敏感性和mae对大残差的鲁棒性。在huber损失中,如果误差小于阈值,则损失是二次的,这与mse相同,确保了平滑的梯度;另一方面,对于大误差,损失与残差成线性增长,类似于mae,有助于减少异常值和噪声峰值的影响,防止它们主导训练过程。这种组合还确保了在任何地方都存在平滑的梯度,而mae在残差为零时是不可微的,这使得huber损失成为基于梯度的优化的理想选择(参考文献97)。平滑度损失?smooth(在方程18中定义)也用于获得更平滑的时间行为,并进一步防止噪声过拟合。它使用二阶有限差分来惩罚预测状态的快速振荡,这一方法受到信号处理和最优控制理论中正则化技术的启发。这些损失项的相对权重被任意设置为相等。对于信号噪声案例,λ被设置为1;在其他案例研究中,λ在不同的值上进行了扫描。

遵循典型的pinn设计,物理损失?physicslphysics被包含在方程13中,以强制学习轨迹与潜在物理现象之间的一致性(参考文献90)。它惩罚基于预测状态的有限差分近似与时间导数之间的残差(方程19):
??˙fd(????)≈??????+1????????1
2δ??,??=2,...,???1
x˙fd(tk)≈x^k+1?x^k?1
2δt,?k=2,...,n?1
(19)
以及使用mse标准在pbm时刻常微分方程(odes)中定义的潜在变化率(方程20):
?physics=mse(??˙fd,pbm(????,????;??))
lphysics=mse(x˙fd,pbm(x^,tk;θ)
(20)
其中θ包含了pirnns的所有可学习参数,包括权重和偏差,以及pbm的动力学参数(参考文献98)。在本文中,所有进行的案例研究中,所有pbm参数都初始化为1,以避免我们的模型受到已知知识的偏见。然后可以将pirnns学到的pbm参数与表1中提供的参考值进行比较。

表1. 不同噪声水平下不同训练数据大小的pirnn估计的pbm参数
参数 参考值
kb 6.000 × 103 2.08
α 2.0 0.71 2.73
β 10? 4.13 0.72
kg 10? 1.24 5.45
eag 103 5.46 7.43
γ 10? 4.13 2.08
无噪声 5次运行 5.45 5.46
(43)× 103 2.04 0.72
(8) 1次运行 8.62 6.72
(70) 44)× 10? 3.79 2.05
(16) 10次运行 5.46 7.25
(40) 103 2.05 2.03
(26) 6次运行 4.06 6.26
(34) 10? 1.22 8.62
(1) 20次运行 5.40 2.05
(30) 103 2.05 2.07
(1) 26) 6次运行 4.08 2.21
(31) 10? 4.08 2.46
(30) 103 2.05 2.21
(31) 10? 4.08 2.46
(40) 103 2.05 2.21
(10) 103 2.05 2.46
(108) 10? 4.12 2.47
(12) 103 2.05 2.25
(16) 10次运行 5.37 2.88
(9) 103 2.05 2.88
(40) 103 2.05 2.27
(1) 40次运行 5.38 2.05
(10) 103 2.05 2.07
(1) 40次运行 5.38 2.46
(108) 10? 4.12 2.47
(12) 103 2.05 2.25
(16) 60次运行 5.37 2.98
(9) 103 2.05 2.08
(0) 0 0.73 2.56
(65) 10? 4.13 2.70
(7) 10? 1.22 2.56
(3) 10? 4.13 2.18
(4) 10? 4.12 2.08
(107) 103 2.87 1.87
(150) 10? 4.12 2.87
(27) 103 2.06 2.47
(20) 10? 4.12 2.06
(55) 103 2.06 2.18
(73) 10? 4.12 2.05
(17) 10? 4.12 2.05
(179) 10? 4.12 2.05
(31) 10? 4.12 2.05
(35) 10? 4.12 2.05
(113) 10? 4.12 2.05
(30) 10? 4.12 2.05
(113) 10? 4.12 2.05
(39) 10? 4.12 2.05
(40) 10? 4.12 2.05
(42) 10? 4.12 2.05
(78) 10? 4.12 2.05
(177) 10? 4.12 2.05
(179) 10? 4.12 2.05
(108) 10? 4.12 2.05
(12) 10? 4.12 2.05
(60) 10? 4.12 2.05
(9) 10? 4.12 2.05
(1) 10? 4.12 2.05
(28) 10? 4.12 2.05
(26) 10? 4. δ(|x^?xobs|?0.5δ) otherwise (17) ?smooth=1 n?2∑??=2???1∥??????+1?2??????+???????1∥2 lsmooth=1 n?2∑k=2N?1∥x^k+1?2x^k+x^k?1∥2 (18) 这里,ω是一个关于可学习噪声尺度参数ηnoise的sigmoid函数,允许mse和huber损失之间的自适应混合;δ是huber损失的过渡阈值。这种方法的灵感来自于异方差似然损失的思想,它允许模型对被认为噪声较大的数据点赋予较低的权重(参考文献96)。huber损失是一种鲁棒的回归损失,它结合了mse对小残差的敏感性和mae对大残差的鲁棒性。在huber损失中,如果误差小于阈值,则损失是二次的,这与mse相同,确保了平滑的梯度;另一方面,对于大误差,损失与残差成线性增长,类似于mae,有助于减少异常值和噪声峰值的影响,防止它们主导训练过程。这种组合还确保了在任何地方都存在平滑的梯度,而mae在残差为零时是不可微的,这使得huber损失成为基于梯度的优化的理想选择(参考文献97)。平滑度损失?smooth(在方程18中定义)也用于获得更平滑的时间行为,并进一步防止噪声过拟合。它使用二阶有限差分来惩罚预测状态的快速振荡,这一方法受到信号处理和最优控制理论中正则化技术的启发。这些损失项的相对权重被任意设置为相等。对于信号噪声案例,λ被设置为1;在其他案例研究中,λ在不同的值上进行了扫描。 遵循典型的pinn设计,物理损失?physicslphysics被包含在方程13中,以强制学习轨迹与潜在物理现象之间的一致性(参考文献90)。它惩罚基于预测状态的有限差分近似与时间导数之间的残差(方程19): ??˙fd(????)≈??????+1????????1 2δ??,??=2,...,???1 x˙fd(tk)≈x^k+1?x^k?1 2δt,?k=2,...,N?1 (19) 以及使用mse标准在pbm时刻常微分方程(odes)中定义的潜在变化率(方程20): ?physics=MSE(??˙FD,PBM(????,????;??)) lphysics=MSE(x˙FD,PBM(x^,Tk;θ) (20) 其中θ包含了pirnns的所有可学习参数,包括权重和偏差,以及pbm的动力学参数(参考文献98)。在本文中,所有进行的案例研究中,所有pbm参数都初始化为1,以避免我们的模型受到已知知识的偏见。然后可以将pirnns学到的pbm参数与表1中提供的参考值进行比较。 表1. 不同噪声水平下不同训练数据大小的pirnn估计的pbm参数 参数 参考值 kb 6.000 × 103 2.08 α 2.0 0.71 2.73 β 10? 4.13 0.72 kg 10? 1.24 5.45 eag 103 5.46 7.43 γ 10? 4.13 2.08 无噪声 5次运行 5.45 5.46 (43)× 103 2.04 0.72 (8) 1次运行 8.62 6.72 (70) 44)× 10? 3.79 2.05 (16) 10次运行 5.46 7.25 (40) 103 2.05 2.03 (26) 6次运行 4.06 6.26 (34) 10? 1.22 8.62 (1) 20次运行 5.40 2.05 (30) 103 2.05 2.07 (1) 26) 6次运行 4.08 2.21 (31) 10? 4.08 2.46 (30) 103 2.05 2.21 (31) 10? 4.08 2.46 (40) 103 2.05 2.21 (10) 103 2.05 2.46 (108) 10? 4.12 2.47 (12) 103 2.05 2.25 (16) 10次运行 5.37 2.88 (9) 103 2.05 2.88 (40) 103 2.05 2.27 (1) 40次运行 5.38 2.05 (10) 103 2.05 2.07 (1) 40次运行 5.38 2.46 (108) 10? 4.12 2.47 (12) 103 2.05 2.25 (16) 60次运行 5.37 2.98 (9) 103 2.05 2.08 (0) 0 0.73 2.56 (65) 10? 4.13 2.70 (7) 10? 1.22 2.56 (3) 10? 4.13 2.18 (4) 10? 4.12 2.08 (107) 103 2.87 1.87 (150) 10? 4.12 2.87 (27) 103 2.06 2.47 (20) 10? 4.12 2.06 (55) 103 2.06 2.18 (73) 10? 4.12 2.05 (17) 10? 4.12 2.05 (179) 10? 4.12 2.05 (31) 10? 4.12 2.05 (35) 10? 4.12 2.05 (113) 10? 4.12 2.05 (30) 10? 4.12 2.05 (113) 10? 4.12 2.05 (39) 10? 4.12 2.05 (40) 10? 4.12 2.05 (42) 10? 4.12 2.05 (78) 10? 4.12 2.05 (177) 10? 4.12 2.05 (179) 10? 4.12 2.05 (108) 10? 4.12 2.05 (12) 10? 4.12 2.05 (60) 10? 4.12 2.05 (9) 10? 4.12 2.05 (1) 10? 4.12 2.05 (28) 10? 4.12 2.05 (26) 10?>δ(|x^?xobs|?0.5δ)
otherwise
(17)
?smooth=1
n?2∑??=2???1∥??????+1?2??????+???????1∥2
lsmooth=1
n?2∑k=2n?1∥x^k+1?2x^k+x^k?1∥2
(18)
这里,ω是一个关于可学习噪声尺度参数ηnoise的sigmoid函数,允许mse和huber损失之间的自适应混合;δ是huber损失的过渡阈值。这种方法的灵感来自于异方差似然损失的思想,它允许模型对被认为噪声较大的数据点赋予较低的权重(参考文献96)。huber损失是一种鲁棒的回归损失,它结合了mse对小残差的敏感性和mae对大残差的鲁棒性。在huber损失中,如果误差小于阈值,则损失是二次的,这与mse相同,确保了平滑的梯度;另一方面,对于大误差,损失与残差成线性增长,类似于mae,有助于减少异常值和噪声峰值的影响,防止它们主导训练过程。这种组合还确保了在任何地方都存在平滑的梯度,而mae在残差为零时是不可微的,这使得huber损失成为基于梯度的优化的理想选择(参考文献97)。平滑度损失?smooth(在方程18中定义)也用于获得更平滑的时间行为,并进一步防止噪声过拟合。它使用二阶有限差分来惩罚预测状态的快速振荡,这一方法受到信号处理和最优控制理论中正则化技术的启发。这些损失项的相对权重被任意设置为相等。对于信号噪声案例,λ被设置为1;在其他案例研究中,λ在不同的值上进行了扫描。

遵循典型的pinn设计,物理损失?physicslphysics被包含在方程13中,以强制学习轨迹与潜在物理现象之间的一致性(参考文献90)。它惩罚基于预测状态的有限差分近似与时间导数之间的残差(方程19):
??˙fd(????)≈??????+1????????1
2δ??,??=2,...,???1
x˙fd(tk)≈x^k+1?x^k?1
2δt,?k=2,...,n?1
(19)
以及使用mse标准在pbm时刻常微分方程(odes)中定义的潜在变化率(方程20):
?physics=mse(??˙fd,pbm(????,????;??))
lphysics=mse(x˙fd,pbm(x^,tk;θ)
(20)
其中θ包含了pirnns的所有可学习参数,包括权重和偏差,以及pbm的动力学参数(参考文献98)。在本文中,所有进行的案例研究中,所有pbm参数都初始化为1,以避免我们的模型受到已知知识的偏见。然后可以将pirnns学到的pbm参数与表1中提供的参考值进行比较。

表1. 不同噪声水平下不同训练数据大小的pirnn估计的pbm参数
参数 参考值
kb 6.000 × 103 2.08
α 2.0 0.71 2.73
β 10? 4.13 0.72
kg 10? 1.24 5.45
eag 103 5.46 7.43
γ 10? 4.13 2.08
无噪声 5次运行 5.45 5.46
(43)× 103 2.04 0.72
(8) 1次运行 8.62 6.72
(70) 44)× 10? 3.79 2.05
(16) 10次运行 5.46 7.25
(40) 103 2.05 2.03
(26) 6次运行 4.06 6.26
(34) 10? 1.22 8.62
(1) 20次运行 5.40 2.05
(30) 103 2.05 2.07
(1) 26) 6次运行 4.08 2.21
(31) 10? 4.08 2.46
(30) 103 2.05 2.21
(31) 10? 4.08 2.46
(40) 103 2.05 2.21
(10) 103 2.05 2.46
(108) 10? 4.12 2.47
(12) 103 2.05 2.25
(16) 10次运行 5.37 2.88
(9) 103 2.05 2.88
(40) 103 2.05 2.27
(1) 40次运行 5.38 2.05
(10) 103 2.05 2.07
(1) 40次运行 5.38 2.46
(108) 10? 4.12 2.47
(12) 103 2.05 2.25
(16) 60次运行 5.37 2.98
(9) 103 2.05 2.08
(0) 0 0.73 2.56
(65) 10? 4.13 2.70
(7) 10? 1.22 2.56
(3) 10? 4.13 2.18
(4) 10? 4.12 2.08
(107) 103 2.87 1.87
(150) 10? 4.12 2.87
(27) 103 2.06 2.47
(20) 10? 4.12 2.06
(55) 103 2.06 2.18
(73) 10? 4.12 2.05
(17) 10? 4.12 2.05
(179) 10? 4.12 2.05
(31) 10? 4.12 2.05
(35) 10? 4.12 2.05
(113) 10? 4.12 2.05
(30) 10? 4.12 2.05
(113) 10? 4.12 2.05
(39) 10? 4.12 2.05
(40) 10? 4.12 2.05
(42) 10? 4.12 2.05
(78) 10? 4.12 2.05
(177) 10? 4.12 2.05
(179) 10? 4.12 2.05
(108) 10? 4.12 2.05
(12) 10? 4.12 2.05
(60) 10? 4.12 2.05
(9) 10? 4.12 2.05
(1) 10? 4.12 2.05
(28) 10? 4.12 2.05
(26) 10? 4.>这个结果表明PIRNN模型可能具有双重用途:它既可用于直接的状态预测,也可用于参数提取。图2展示了在不同噪声水平下,作为训练数据函数的测试数据预测均方误差(MSE),通过两种不同的指标进行评估:PIRNN的直接预测以及使用从PIRNN学到的动力学参数重新计算的常微分方程(ODE)。MSE分别针对无噪声、0.1标准差、0.3标准差和1.0标准差的噪声条件,在不断增加的训练次数下显示。水平虚线表示噪声数据与真实无噪声数据之间的参考误差。

当引入噪声时,PIRNN的预测和重新计算的ODE误差都达到了一个较高的水平,这个水平接近图2中显示的噪声数据与真实无噪声数据之间的参考误差。这些水平线周围的平台行为表明,误差的增加并不是由于模型本身的性能下降,而是因为添加噪声后数据中固有的不可减少的随机不确定性所致。在低噪声水平(0.1标准差)下,重新计算的ODE误差通常低于PIRNN的直接预测,这表明低水平的误差不会对提取的物理信息的质量产生显著影响。然而,在高噪声水平(1.0标准差)下,重新计算的ODE误差高于PIRNN的直接预测,这表明恢复的物理信息有所下降。值得注意的是,在高噪声水平(1.0标准差)下,PIRNN的预测误差低于参考水平,这可能表明模型对噪声数据有过拟合现象。这可以通过调整不同损失项的相对权重来解决,但为了进行对照比较,不同噪声水平案例研究中不同损失项的权重保持不变。总体而言,与理想情况下重新计算的ODE保持稳定不同,这里的误差明显随着输入噪声和训练数据量的增加而增加,表明恢复的物理信息的准确性最终受到观测数据质量的限制。

图3显示了基于无噪声数据而非噪声数据计算的测试误差。使用无噪声数据计算的测试误差降低到大约10^-3,并且在不同的噪声水平下表现出相似的行为。这进一步证实了图2中的误差增加是由于添加噪声导致的内在信息丢失,而不是模型性能的下降,而且噪声的存在对模型的泛化和预测能力影响很小。即使在较大的训练规模(60次运行)下,高噪声情况下的重新计算的ODE误差仍然比低噪声情况下的误差高一个数量级。这表明,尽管物理约束有助于减少过拟合,但高幅度的随机不确定性仍然不可避免地在参数估计中引入了残余偏差,从而阻止物理状态收敛到真实参考状态。这两种评估指标还显示出随着噪声水平增加而变化的行为:在低噪声情况下,重新计算的ODE误差低于PIRNN的预测;在中等噪声情况下,两种指标的误差趋于一致;在高噪声情况下,PIRNN的预测明显优于重新计算的ODE。这种行为表明,PIRNN的使用方式——无论是作为直接的未来状态估计器还是作为动力学参数学习工具——应根据数据质量来决定。当数据干净时,恢复的动力学参数可以用于机制解释、过程设计或放大应用;当数据质量较低时,尽管可能无法识别出一组唯一的动力学参数,该框架仍然可以作为可靠的未来状态估计器。PIRNN架构的这种双重用途特性使其区别于传统的单输出模型。

图4展示了一个随机选择的测试浓度轨迹示例,以及在不同噪声水平下使用不同训练次数训练的模型预测的结果。在所有情况下,PIRNN的预测和重新计算的ODE曲线都遵循真实参考值。对于无噪声到中等噪声情况(无噪声、0.1标准差和0.3标准差噪声),预测的浓度曲线与参考值完全重叠,表明对结晶动态的精确和准确的重建。随着噪声水平从0.3标准差增加到1.0标准差,PIRNN的预测开始出现轻微的噪声过拟合,但整体上仍然平滑,波动很小,显示出PIRNN结构的高噪声容忍度。同时,在1.0标准差的噪声下,重新计算的ODE曲线与其他所有情况一致,表明即使在大量噪声存在的情况下,PIRNN的鲁棒性和物理一致性仍然存在。根据这些结果,PIRNN架构有效地限制了模型遵循物理上合理的轨迹。即使在高度随机不确定性的情况下,模型也能捕捉到重要动态特征(如过饱和度衰减和最终稳态)的幅度和时间。通过积分学到的动力学参数得到的重新计算的ODE曲线进一步证实了学习到的动力学与支配的PBM之间的一致性。

另一种评估PIRNN性能的方法是分析物理模型的参数值。表1将PIRNN估计的动力学参数与Li等人(73)之前报告的参考值进行了比较,这些参考值用于生成合成数据。在无噪声情况下,学到的参数在单个NVIDIA V100 16GB GPU上大约20分钟内收敛到文献参考值,10次或更多次运行后的偏差均低于10%。鉴于V100现在被认为是高性能计算的较低级别的旧款GPU,使用更现代的硬件(如NVIDIA A100或H100)以及通过多个GPU的并行化,训练时间可以大幅减少。标准差通常较小,并且随着训练次数的增加而减小。例外的是kb2和β,因为这些参数高度相关,出现在模型的同一项中。如2.1节所述,PBM参数并非完全独立,特别是当可用数据量有限时。因此,kb2的减少被β的增加所补偿,因为可用数据量不足以解卷积这两个参数的效应。

随着随机不确定性水平的增加,估计的PBM参数的精度自然会下降,这反映在标准差的增加和与参考值的偏差上。然而,将这些参数差异与图4中的重新计算的ODE曲线进行比较后可以清楚地看到,这种参数精度的下降并不会导致动态预测的实质性或比例上的失败。这种解耦表明,在高随机不确定性的存在下,逆问题实际上变得无法唯一确定解。在这种情况下,优化景观变得平坦,允许高度相关的参数相互补偿。因此,PIRNN开始提取一组动力学上等效的参数集,从而再现相似的状态轨迹。这种行为进一步表明了PIRNN双重用途的鲁棒性。尽管高测量噪声限制了内在动力学参数的唯一性,该框架仍然能够有效地作为可靠的状态估计器,准确重建过程动态。

在实际结晶数据中,一个常见的情况是溶解度模型的校准存在不确定性,这可能在不同的运行之间发生变化。在这里,如2.2节所述,我们引入了10%的溶解度关系偏移,并评估了PIRNN直接从测量数据中学习这种偏差的能力。为了简化分析,我们省略了信号噪声。为了处理这种模型校准错误,PIRNN使用物理正则化权重λ作为可调参数,控制经验灵活性和机制理解之间的竞争。在λ较低时,模型的行为类似于纯RNN,优先最小化数据残差。尽管它允许网络在溶解度偏移的情况下仍然遵循观察到的动态,但它牺牲了PBM中其他物理定律提供的有用信息,例如成核和生长速率。相比之下,较高的λ使得PBM方程几乎成为硬约束,它强制预测遵循有偏的溶解度曲线,忽略了实验测量中存在的纠正信息。因此,确定一个合理的正则化范围变得重要,在这个范围内,物理可以指导优化朝向物理上合理的解决方案,同时不忽略观察到的数据。

图5说明了在这种模型不匹配条件下,改变物理权重系数对测试MSE的影响。可以看出,包含基于物理的正则化显著提高了模型的泛化能力,与纯数据驱动的基线或弱正则化(λ = 10^-2)的比较情况相比。当物理权重相对于数据损失较低时,训练主要由数据主导,损失曲线与纯数据驱动的基线紧密对齐。对于小型数据集(≤10次运行),所有模型显示出相似的误差水平,表明可用数据的数量是主要限制。随着训练规模的增加,适度的物理权重(λ = 1 × 10^[0,1])使得收敛更快,并且测试性能提高了几个数量级,即使在60次运行后,测试MSE也降低到了10^-4以下,尽管嵌入的物理并不完全与训练数据匹配。在这里,将物理作为软约束纳入可以缩小假设空间,使其近似遵循“真实”物理模型。尽管数据和模型之间存在不匹配,但模型的结构提供了关于量的平滑性和相关性的有用信息。如果不匹配是适度的,包含物理正则化仍然可以减少模型方差。同时,因为物理定律作为软约束被纳入,网络保持了足够的灵活性来补偿溶解度误差,而不会过度拟合观察到的动态趋势。这种平衡遵循了机器学习领域广泛使用的经典偏差-方差权衡,即引入的物理偏差小于它所消除的方差。

3.2 溶解度偏移
在实际结晶数据中,一个常见的情况是溶解度模型的校准存在不确定性,这可能在不同的运行之间发生变化。在这里,如2.2节所述,我们引入了10%的溶解度关系偏移,并评估了PIRNN直接从测量数据中学习这种偏差的能力。为了简化分析,我们省略了信号噪声。

为了处理这种模型校准错误,PIRNN使用物理正则化权重λ作为可调参数,控制经验灵活性和机制理解之间的竞争。在λ较低时,模型的行为类似于纯RNN,优先最小化数据残差。尽管它允许网络在溶解度偏移的情况下仍然遵循观察到的动态,但它牺牲了PBM中其他物理定律提供的有用信息,例如成核和生长速率。相比之下,较高的λ使得PBM方程几乎成为硬约束。它强制预测遵循有偏的溶解度曲线,忽略了实验测量中存在的纠正信息。因此,确定一个合理的正则化范围变得重要,在这个范围内,物理可以指导优化朝向物理上合理的解决方案,同时不忽略观察到的数据。

图5展示了在这种模型不匹配条件下,改变物理权重系数对测试MSE的影响。可以观察到,包含基于物理的正则化显著提高了模型的泛化能力,与纯数据驱动的基线或弱正则化(λ = 10^-2)的比较情况相比。当物理权重相对于数据损失较低时,训练主要由数据主导,损失曲线与纯数据驱动的基线紧密对齐。对于小型数据集(≤10次运行),所有模型显示出相似的误差水平,表明可用数据的数量是主要限制。随着训练规模的增加,适度的物理权重(λ = 1 × 10^[0,1])使得收敛更快,并且测试性能提高了几个数量级,即使在60次运行后,测试MSE也降低到了10^-4以下,尽管嵌入的物理并不完全与训练数据匹配。在这里,将物理作为软约束纳入将假设空间缩小到大致遵循“真实”物理模型的函数。尽管数据和模型之间存在不匹配,但模型的结构提供了关于量的平滑性和相关性的有用信息。如果不匹配是适度的,包含物理正则化仍然可以减少模型方差。同时,因为物理定律作为软约束被纳入,网络保持了足够的灵活性来补偿溶解度误差,而不会过度拟合观察到的动态趋势。这种平衡遵循了机器学习领域广泛使用的经典偏差-方差权衡,即引入的物理偏差小于它所消除的方差。

有趣的是,过度的物理加权会降低模型性能,这表现在当训练次数超过40次或正则化强度超过10^1时,可见的误差增加。这是因为网络变得偏向于基于错误溶解度模型的物理模型,限制了其适应经验数据空间的能力。这可以在图6中看到,当λ = 1 × 10^3时,PIRNN的预测和重新计算的ODE开始偏离测试数据,尽管它们的表现仍然优于使用参考参数值的直接ODE积分。这表明对可能错误指定的约束过于严格。在这里,与中等物理权重情况相比,物理约束作为一种归纳偏见,应该与数据保真度进行最佳平衡,数据和模型损失开始相互竞争,导致模型性能的预期下降。因此,在认知不确定性的存在下,直接PIRNN预测明显优于使用参考参数值的ODE积分,而经过物理正则化的重新评估ODE也更接近测试数据,尽管由于模型不匹配而无法达到完美。图6展示了在不同λ值下,使用5、10、20、40和60次训练运行,对一组测试数据进行标准化C预测的情况,其中应用了10%的恒定溶解度偏移。由于在没有物理损失的情况下不包含PBM参数,因此没有显示重新评估的ODE曲线。ODE曲线是使用两组不同的参数进行评估的:参考值(绿色)和PIRNN学习到的值(红色)。其他状态变量的预测可以在支持信息中的图S14–S17中找到。高分辨率图像下载MS PowerPoint幻灯片。

总体而言,适当加权的物理学的包含提高了模型的鲁棒性,使PIRNN能够在保持低泛化误差的同时补偿认知不确定性。重要的是,这些结果突显了混合架构的一个明显优势,即直接PIRNN的前向预测比使用参考参数或学习到的参数的ODE评估具有更好的准确性,如图6所示。因为底层物理学包含结构溶解度偏差,任何严格的控制方程积分都会将这种误差传播到状态轨迹中。相比之下,PIRNN作为灵活的校正器,在学习与经验观察相匹配的轨迹时使用物理学进行正则化。这一结果表明,混合模型是弥合不完美领域知识与现实世界观察之间的差距的有希望的候选者。

3.3. 采样频率限制
在实际结晶场景中,另一个常见挑战是采样频率的限制。为了评估PIRNN在采样不确定性下的鲁棒性,即在高稀疏测量条件下的表现,我们首先考虑了一个极端情况:在训练过程中仅使用了每个状态变量的初始(t = 0分钟)和最终(t = 500分钟)时间点。这种设置模拟了在大部分批次期间无法进行PAT测量,只有在运行结束时才能获得筛选后的晶体质量的情况。图7显示了在不同物理强度下μ0、μ1、μ2和C的标准化预测轨迹。在没有物理约束(λ = 0)的情况下,纯数据驱动的模型无法捕捉到瞬态动态,基本上只是在起点和终点之间产生了一个任意的平滑插值,这错误地表示了冷却诱导的成核和生长事件。相反,在另一个极端情况下,即过度物理正则化(λ ≥ 10^10),模型几乎完全由“物理驱动”,但它对物理参数没有准确的先验知识(即,它满足微分方程,但微分方程的参数与数据不一致)。由于所有PBM参数都被初始化为1,这与参考值相差甚远,优化器可以通过选择使PBM计算出的导数几乎为零的物理参数来收敛到一个平凡解。同时,由于数据损失的相对权重与物理相比可以忽略不计,优化器可以选择偏离已知边界点以减少有限差分导数,从而将物理损失项最小化到约0。在中间范围内,可以看出随着λ从1增加到10^2再到10^4,逐步引入物理约束提高了模型恢复未观察动态的能力。在表现最佳的点(λ = 10^4)时,物理和数据损失项可以达到平衡,这使得边界点的信息能够影响学习到的PBM参数,从而得到物理上有意义的轨迹。需要注意的是,尽管状态测量仅包括边界值,但由于实验中的温度是受控变量,模型可以访问完整的温度轨迹。这也允许PIRNN捕捉到与温度变化强烈耦合的动态,即使状态测量不是完全可获得的。

为了确定一个能够平衡数据保真度和物理一致性的最佳物理强度,我们分析了在不同λ值下数据损失和加权物理损失(???physics)(λLphysics)之间的权衡。如图8所示,在低权重范围内(λ ≤ 10^2),加权物理损失保持较小,表明物理约束对优化景观的影响最小,缺乏物理正则化导致图7中观察到的物理不一致的插值。随着λ增加到最佳性能值(约10^4),加权物理损失开始上升并与数据损失相交。这表明物理约束变得活跃并开始塑造潜在轨迹。在这个范围内,数据损失保持稳定和平坦,意味着模型成功地满足了控制PBM,而没有违反边界数据点。因此,在这种情况下,λ约为10^4时的表现最佳,两个损失项在10^4时达到平衡。超过这个临界阈值(λ > 10^6)后,数据损失迅速增加,因为优化被物理项所主导,牺牲了拟合观察到的边界。随后当λ > 10^10时加权物理损失的下降表明,网络倾向于选择一个平凡解,通过非物理地将导数推至零来满足ODE。

尽管PIRNN仅使用边界点就成功重建了未观察到的状态轨迹,但底层动力学参数的准确性揭示了这种极端降采样的局限性,这在表2中进一步量化。表2展示了PIRNN在不同采样密度下估计的PBM参数,范围从仅使用边界点的情况到每次运行9个点的稀疏网格。在2点情况下,尽管图7中显示的预测轨迹是准确的,但估计的参数与参考值有显著偏差。这种偏差表明,虽然物理约束将解决方案空间缩小到物理上可行的路径,但问题在参数可识别性方面仍然条件不良,允许网络找到满足边界状态和预测轨迹的替代参数组合。然而,引入一个中间数据点显著改善了参数的恢复,将所有参数(除了kg)恢复到正确的数量级。随着采样密度增加到每次运行9个点,估计的参数在对数尺度上与参考值紧密收敛,平均平方误差约为3.6%。这一发现对于实际场景很有希望,因为在这些场景中,测量不到10个中间点比高分辨率采样更为实用。

尽管PIRNN仅使用边界点就成功重建了未观察到的状态轨迹,但底层动力学参数的准确性揭示了这种极端降采样的局限性,这在表2中进一步量化。表2展示了PIRNN在不同采样密度下估计的PBM参数,范围从仅使用边界点的情况到每次运行9个点的稀疏网格。在2点情况下,尽管图7中显示的预测轨迹是准确的,但估计的参数与参考值有显著偏差。这种偏差表明,虽然物理约束将解决方案空间缩小到物理上可行的路径,但问题在参数可识别性方面仍然条件不良,允许网络找到满足边界状态和预测轨迹的替代参数组合。然而,引入一个中间数据点显著改善了参数的恢复,将所有参数(除了kg)恢复到正确的数量级。随着采样密度增加到每次运行9个点,估计的参数在对数尺度上与参考值紧密收敛,平均平方误差约为3.6%。这一发现对于实际场景很有希望,因为在这些场景中,测量不到10个中间点比高分辨率采样更为实用。

这项对采样不确定性的研究展示了PIRNN框架作为动态插值器和参数估计器的双重效用。PIRNN可以弥合稀疏测量之间的未观察到的差距,即使在测量有限的情况下也能实现物理上一致的状态重建。同时,尽管可以使用起始和结束点正确恢复状态趋势,但无法准确检索动力学参数,至少需要一个额外的中间观测来解决逆问题中固有的非唯一性。这些结果表明,尽管PIRNN框架在采样不确定性存在的情况下显示出高度的鲁棒性和有效性,但时间分辨率对于可靠的参数估计仍然至关重要。

本文系统地评估了PIRNN在数据非理想性影响下建模批量结晶的鲁棒性和有效性,包括随机性和认知不确定性。使用具有受控测量噪声水平、模型不匹配和数据稀疏性的合成数据集,我们评估了PIRNN架构的泛化能力、物理一致性和参数可解释性。结果表明,PIRNN提供了一种在非理想条件下对结晶动态进行建模的鲁棒且可靠的方法。包含基于物理的约束在减轻随机不确定性效应方面是有效的。尽管增加数据噪声水平建立了不可减少的误差下限,但模型对无噪声动态的预测准确性仍然很高且一致。此外,该框架在噪声条件下始终能够恢复与参考值密切匹配的物理上有意义的参数,突显了其尽管训练数据存在随机变化,仍能学习到潜在物理定律的能力。然而,必须注意的是,测量数据的质量对于学习准确的动力学至关重要。在高噪声环境中,PIRNN更像是一个鲁棒的状态估计器,通过找到满足动态约束的动力学等效解,即使唯一一组内在参数的识别受到数据质量的限制。在由溶解度模型不匹配引入的认知不确定性存在的情况下,结合一个不完美的物理模型作为软约束揭示了一个明显的偏差-方差权衡。适当加权的物理约束在不忽略纠正结构模型错误所需的观察证据的情况下规范了模型训练。在这种条件下,直接的前向PIRNN预测提供了比严格积分控制方程更好的预测准确性,突显了混合方法在弥合不完美领域知识与实验观察之间的差距的能力。

对采样不确定性的分析展示了该框架使用有限信息重建复杂不可观察瞬态动态的能力。尽管仅使用边界点不足以提取可靠的物理信息,但包含少量中间数据点可以显著提高学习到的动力学的准确性。这项研究验证了物理信息机器学习的有效性,作为从不完美数据中开发稳健预测模型的强大工具。PIRNN框架处理随机和系统不确定性的能力为更可靠的过程监控、优化和控制提供了潜在途径。未来的工作将把这个框架扩展到直接将传感器模型集成到PIRNN架构中,使得可以在FBRM测量的CLD等PAT信号上进行训练,而不是使用矩数据,并探索自适应加权方案来动态平衡数据和物理保真度。这种集成可以通过端到端统一的学习框架进一步弥合到实际部署的差距。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号