熔体粘度神经网络回归的不确定性评估与校准

《Journal of Non-Crystalline Solids》：Uncertainty evaluation and calibration of neural network regression for melt viscosity

　　

安荣子|杉原彻|上江洲健太|板野圭太

摘要

熔体粘度是玻璃生产中控制热量与质量传递的关键物理性质。尽管基于神经网络的模型已展现出较高的预测精度，但对其预测不确定性的系统评估与校准仍较为有限。对于那些实验数据较少的组分，可靠的不确定性估算对于预测其粘度至关重要。在本研究中，我们利用蒙特卡洛dropout方法，通过对网络进行多次带有随机变化的预测，来研究用于

玻璃体系（N = 4368）的神经网络回归模型的预测不确定性。虽然蒙特卡洛dropout能够捕捉到认知不确定性中的组分趋势，但估算出的不确定性数值对dropout率极为敏感。通常使用的dropout设置（10%–20%）往往会导致预测不确定性被高估，相比残差分散和实验测量误差而言。为提高可靠性，我们采用了基于残差的线性事后校准方法，将预测不确定性与实证误差相匹配。经过校准的置信区间在统计一致性方面有所提升，预测不确定性的数值也更为合理。我们的研究表明，基于残差的校准为诊断蒙特卡洛dropout不确定性的过高或过低问题提供了实用方法，同时也有助于提升用于玻璃科学领域的神经网络粘度模型的可靠性。

引言

粘度作为衡量材料抵抗剪切变形能力的指标，是玻璃熔体的基本属性，对玻璃的形成能力、加工稳定性以及结晶动力学起着核心作用[1]、[2]、[3]。与温度相关的粘度影响着退火点、应变点、气泡生长以及结晶过程，进而决定最佳的加工条件。虽然熔体粘度主要受化学成分控制，但其对温度的反应十分复杂且高度非线性，并且在不同玻璃体系中的表现差异显著。因此，对于玻璃科学与工程而言，能够在较宽的成分范围内可靠预测熔体粘度至关重要[4]。

为描述熔体粘度的温度依赖性，人们基于构型熵理论[5]、[6]发展出了热力学方法。然而，尽管这类方法在热力学层面具有可解释性，但确定模型参数往往需要依赖实验上无法获取的量或复杂的数值计算过程，尤其是对于多组分玻璃体系，这就限制了其实际应用价值。作为替代方案，人们建立了诸如Vogel–Fulcher–Tammann（VFT）方程之类的经验模型，这些模型被广泛用于粘度数据的实际拟合与插值[7]、[8]、[9]。Mauro–Yue–Ellison–Gupta–Allan（MYEGA）模型则将Adam–Gibbs理论发展为半经验函数形式，从而提升了高温外推时的稳定性[10]。尽管VFT和MYEGA模型能够有效描述那些特征明确的玻璃体系的粘度-温度关系，但由于其预测方程中存在固有的成分特定参数，这些模型在应用于尚未研究或成分复杂的玻璃体系时仍存在局限。

正是传统方法的这些固有局限性，推动了人们开发出能够描述更多种类玻璃体系的更通用预测框架。近年来，数据驱动方法，尤其是机器学习模型，已成为捕捉玻璃科学中复杂非线性关系的强大工具[11]。例如，神经网络回归作为一种灵活的数据驱动方法，已被应用于粘度预测领域[12]、[13]、[14]、[15]、[16]。神经网络由相互连接的层组成，能够迭代处理输入变量，从而使模型能够捕捉到非线性行为以及玻璃组分之间的复杂相互作用。为了提升模型在现有实验数据之外的外推稳定性，Tandia等人[12]以及Cassar[13]采用了灰箱方法，即利用神经网络来预测MYEGA粘度模型的参数，而非直接预测粘度值。尽管这些研究显著提升了预测精度和物理一致性，但它们主要关注的是点预测性能以及模型的泛化能力。

最近，Le Losq和Baldoni[15]将蒙特卡洛dropout技术引入到多任务模型中，用于预测粘度及其他性质。他们还进一步评估了预测置信区间的可靠性，并采用了符合性预测方法来调整标准的95%预测区间宽度，以获得更好的覆盖范围。这些进展代表了朝着具备不确定性意识的玻璃性质预测方向迈出的重要一步。不过，目前尚未全面研究超参数选择对预测不确定性的影响，因此有必要对预测不确定性进行系统评估，尤其是要分析其与残差（即预测值与实验观测值之间的差异）以及实验测量不确定性之间的关系。

在本研究中，我们旨在通过系统量化预测不确定性，来提升基于神经网络的粘度预测的实际可靠性。我们以

玻璃体系为研究对象，使用实验测得的粘度数据。为避免模型过于复杂，我们采用了相对简单的神经网络架构，并借助蒙特卡洛dropout方法来估算预测不确定性。我们还研究了预测不确定性对超参数选择的敏感性，以此评估模型配置不确定性大小的影响。通过分析预测不确定性与残值之间的关系，我们对模型进行了不确定性校准。最后，我们评估了预测置信区间，判断它们是否能够准确反映预测误差以及实验测量带来的变异。我们的研究结果表明，对于基于神经网络的粘度预测而言，进行恰当的不确定性校准是十分必要的。通过这样的校准，一个简单的黑箱粘度模型便能成为实用的预测工具，而且我们所提出的方法还为玻璃材料信息学领域中具备不确定性意识的建模工作提供了通用框架。

章节节选

数据集

本研究所使用的粘度数据集包含针对

玻璃体系通过实验测得的数据。这些实验粘度数据共有n = 4368条，来源于74项先前发表的研究，数据来源的完整列表见补充信息中的表S1。这些熔体成分属于以SiO₂为基础的硅酸盐体系，其中还含有不同浓度的其他组分，有些样品中还含有大量CaO和Al₂O₃作为主要成分

预测性能与估算的不确定性

首先，我们展示了采用20%的dropout率所得到的结果，这一比例在实践中通常被视为典型值[36]，并且进行了100次dropout重复预测。在该参数设置下，该模型在训练集和测试集上的决定系数均达到了$R^2=0.98$，显示出在如此简单的超参数配置下依然具备很高的预测精度（见表1）。预测值以及对应的预测不确定性范围与实验观测值非常吻合（见图3a）。

结论

在本研究中，我们利用蒙特卡洛dropout方法，系统评估了用于

玻璃体系熔体粘度预测的神经网络回归模型的预测不确定性。该模型展现出了极高的预测精度（$R^2=0.98$），而且蒙特卡洛dropout还成功捕捉到了认知不确定性中的组分趋势，对采样较少的区域赋予了更高的不确定性值。不过，估算出的不确定性数值对dropout率极为敏感，常用的dropout设置（比如20%）

CRediT作者贡献说明

安荣子：撰写——初稿撰写、可视化、软件应用、实验研究、正式分析。杉原彻：撰写——审阅与编辑、数据整理。上江洲健太：撰写——审阅与编辑、监督指导。板野圭太：撰写——审阅与编辑、初稿撰写、验证分析、方法设计、概念构思。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

致谢

我们衷心感谢Le Losq博士以及那位匿名审稿人提出的细致评价与富有洞察力的意见。同时，我们也感谢Smedskjaer教授对我们手稿的处理工作。本研究得到了东京大学地震研究所ERI JURP 2024-B-01项目的支持。