《Reaction Chemistry and Engineering》:MR-PINN: multiresolution training for physics-informed neural networks with solution-guided upscaling in distributed parameter reactor systemsOpen Access
编辑推荐:
针对分布参数反应器系统,介绍了一种面向物理信息神经网络(physics-informed neural networks, PINNs)的以解为导向的多分辨率训练策略。所提出的多分辨率物理信息神经网络(multiresolution physics-infor
针对分布参数反应器系统,介绍了一种面向物理信息神经网络(physics-informed neural networks, PINNs)的以解为导向的多分辨率训练策略。所提出的多分辨率物理信息神经网络(multiresolution physics-informed neural network, MR-PINN)框架通过扩展空间分布输出表示,构建具有逐步细化空间分辨率的PINN模型层级。每个更高分辨率模型均通过先前学习解的以解为导向升尺度(solution-guided upscaling)进行初始化。与基于参数的网络扩展方法不同,该策略在不同分辨率间传递已学习解结构,保留平滑性和守恒行为等具有物理意义的特征。相对于传统固定分辨率PINN训练,以解为导向的多分辨率延续改善了收敛性和预测精度。在两个流动反应器案例研究上的验证表明,训练效率和预测性能均获得一致改善,表明该方法对所研究的分布参数反应器系统具有实际潜力。
研究背景方面,机器学习(machine learning, ML)已成为建模科学与工程中复杂非线性系统的重要工具,物理引导学习方法因可将控制方程形式的先验物理知识纳入学习过程而受到关注。物理信息神经网络(physics-informed neural networks, PINNs)通过将物理规律直接嵌入神经网络训练,用于求解由偏微分方程(partial differential equations, PDEs)支配的正问题和反问题,并已在包括分布参数反应器中的输运与反应过程等化工系统得到广泛展示。然而,标准PINN训练常存在收敛慢、谱偏差(spectral bias)、优化刚性(optimization stiffness)以及对空间分辨率敏感等问题,尤其在多尺度输运问题中更为突出;将PINN高效扩展到高分辨率反应器模型仍受优化景观复杂度增加的限制。已有加速策略中,基于残差的自适应细化(residual-based adaptive refinement, RAR)主要迭代丰富PDE残差较大的配点,域分解方法如扩展物理信息神经网络(extended physics-informed neural networks, XPINNs)和有限基物理信息神经网络(finite-basis PINNs, FBPINNs)通过多个子域或局部模型降低单个优化问题复杂度,傅里叶神经算子(Fourier neural operators, FNOs)提供函数空间间的离散无关映射但通常在仿真数据上离线训练;Net2Net、网络形态变换(network morphism)和渐进增长等网络扩展策略主要保持神经网络输入—输出映射或增加模型容量。这些方法分别主要在采样空间、域空间、算子空间或参数/架构空间作用,未完成跨空间离散层级的解空间延续。因此,该研究提出多分辨率物理信息神经网络(multiresolution physics-informed neural network, MR-PINN),构建逐步细化空间分辨率的PINN模型层级,并通过先前学习解的解引导升尺度初始化更高分辨率模型,以传递已学习解结构并改善收敛与预测精度。研究结论表明,MR-PINN相对传统固定分辨率PINN训练改善了收敛速度和预测精度,在两个流动反应器案例中表现出一致的训练效率与预测性能提升;其意义在于为所研究的分布参数反应器系统提供一种高效的多分辨率训练与解引导升尺度工作流,并与作用于其他空间的方法形成互补。
关键技术方法方面,研究人员构建空间采样点集层级??
(1)至??
(Nr),由粗到细分阶段训练PINN;每阶段以数据项、PDE残差项、边界条件和物理参数约束构成的复合损失优化网络参数及物理参数。阶段完成后,将已学习输出层权重与偏置按解引导插值升尺度到新空间点,已有空间点输出保持不变,新点由相邻输出插值初始化,再在细化网格继续训练;隐藏层骨干在当前基准中保持固定。方法采用有限差分离散时空导数,训练数据为数值求解器按目标空间分辨率生成的出口浓度时间序列,并在单物种与三物种流动反应器案例中比较固定分辨率PINN与MR-PINN,采用n=30次独立运行。上述方法部分不超过250字。
研究结果中,3.1 Multiresolution physics-informed neural network (MR-PINN):通过构建输出神经元对应离散空间网格的PINN表示、先在粗网格训练至停止准则、再以解引导插值升尺度初始化细网格并逐级重复至目标分辨率,得出MR-PINN可系统细化空间离散并传递已学习离散解表示;该升尺度不追求保持精确神经网络映射,而保留已有空间位置的学习解并初始化新增空间自由度,输出层权重与偏置是主要升尺度对象,隐藏层参数可继承、置零或随机初始化。3.2 Application of MR-PINN to a flow reactor:通过将MR-PINN用于由耦合PDE描述流动反应器输运与反应,网络输入当前及历史入口浓度、输出当前时刻空间节点浓度,并以PDE残差和出口边界/数据项训练,得出该框架可在不同阶段采用不同空间步长Δz
(i)并在训练中学习反应参数;由于轴向扩散模型为对流—扩散—反应系统且解在空间上通常平滑,线性插值可为新增空间点提供合理初始化。3.2.1 Single-species benchmark: PINN vs. MR-PINN:通过单物种一级衰减流动反应器案例(L=5 m,q=1 m s
?1,20 min,Δt=0.2 s,目标N
z=100,历史步数N
b=30,四阶段N
z(1)=4、N
z(2)=20、N
z(3)=70、N
z(4)=100,总epoch预算2200,n=30)比较标准PINN、线性插值MR-PINN、最近邻插值MR-PINN及随机重初始化对照,得出线性插值MR-PINN训练时间降低约29.3%、出口均方误差(mean squared error, MSE)降低约76.5%、空间MSE降低约74.5%、反应速率绝对误差降低约91.8%、最佳损失降低约90.2%;最近邻插值亦改善但线性插值收敛更快;随机重初始化对照表现较差,说明收益来自解一致传递而非仅多阶段计划。3.2.2 Three-species benchmark: PINN vs. MR-PINN:通过三物种不可逆双分子反应C
1+C
2→C
3、1 h数据、固定2250 epochs、同样四阶段线性插值、n=30的基准,并计算平滑因子(smoothness factor, Λ)和全局质量平衡均方根误差(global mass-balance RMSE, ρ),得出MR-PINN训练时间降低约21.5%、出口MSE降低约24.6%、空间MSE降低约45.2%、速率绝对误差降低约31.6%、最佳损失降低约52.9%;Λ由20.16±3.41降至0.129±0.027,ρ由0.2053±0.0054降至0.1293±0.0031,表明预测浓度场更平滑且总体质量平衡更好。
讨论部分总结认为,MR-PINN通过插值粗尺度解为新引入空间点构建有信息初始化,扩展了经典分辨率延续策略,既传递已学习解结构又在细化网格上提供有意义初始猜测;该方法结合了多重网格方法利用层级离散加速收敛的思想与解传递技术提高训练效率的思想。方法定位上,MR-PINN面向跨离散层级的解空间延续,补充主要作用于其他空间的方法族,包括RAR、XPINN/FBPINN、FNOs以及Net2Net和network morphism等参数空间网络扩展方法。结果支持MR-PINN在所研究反应器基准中作为具有解引导升尺度的有效多分辨率PINN训练工作流;其底层方法虽广泛适用于PDE约束学习问题,但其他应用领域性能仍需独立评估,潜在方法学扩展包括替代插值策略,例如对网络内部或隐藏层表示进行插值。研究结论译文如下:在本工作中,研究人员提出了一种应用于分布参数反应器系统的PINNs解引导多分辨率训练策略。该方法称为MR-PINN,通过扩展空间分布输出表示,构建具有逐步细化空间分辨率的PINN模型层级。每一个更高分辨率模型均通过先前学习解的解引导升尺度进行初始化,从而降低细尺度上的优化负担,并更快达到更高的预测精度。通过插值粗尺度解为新引入空间点构建有信息的初始化,MR-PINN扩展了经典的分辨率延续策略:它不仅传递已学习解结构,而且在细化网格上提供有意义的初始猜测。在此意义上,该方法结合了多重网格方法(利用层级离散加速收敛)与解传递技术(提高训练效率)的思想。研究人员在单物种和三物种流动反应器基准系统上证明了MR-PINN的有效性,与固定目标分辨率下的标准PINN训练相比,显示出训练时间降低和精度改善。在方法定位上,MR-PINN面向跨离散层级的解空间延续,补充主要作用于其他空间的方法族,包括自适应配点细化(RAR)、域分解(XPINN/FBPINN)、算子学习方法(FNOs)以及参数空间网络扩展方法(如Net2Net和network morphism)。在所研究的反应器基准内,这些结果支持将MR-PINN作为具有解引导升尺度的有效多分辨率PINN训练工作流。本工作给出的结果证明了所提出框架在两个流动反应器案例研究中的有效性。尽管底层方法广泛适用于PDE约束学习问题,其在其他应用领域的性能仍需独立评估。潜在的方法学扩展包括替代插值策略,例如对网络内部或隐藏层表示进行插值。