基于不确定性量化的机器学习预测核废料玻璃中霞石（Nepheline）形成

《International Journal of Applied Glass Science》：Predicting Nepheline Formation in Nuclear Waste Glasses Using Machine Learning With Uncertainty Quantification

　　

摘要专业翻译 将高放废液（HLW）玻璃化为硼硅酸盐玻璃是核废料管理的关键环节，然而，在高铝废液物流的玻璃配方设计中，一个关键挑战是霞石（Nepheline）在罐体冷却阶段析出。过量霞石形成会损害玻璃耐久性，威胁玻璃固化体的长期稳定性。因此，能够根据玻璃组成准确预测霞石形成的预测模型对于废料玻璃配方设计以及优化稳定性和耐久性至关重要。目前已开发出判别器（Discriminators）和子混合模型（Sub-mixture Models）等多种方法来确定霞石析出；然而，这些方法往往过于保守，不必要地限制了可实现的玻璃组成范围。在前期工作基础上，研究人员探索了多种经典机器学习模型——高斯过程（Gaussian Processes）、梯度提升（Gradient Boosting）和随机森林（Random Forest）——以及贝叶斯方法（包括全贝叶斯高斯过程和部分贝叶斯神经网络（Partially Bayesian Neural Networks, PBNNs））的应用，以应对该问题固有的数据集有限和预测不确定性的挑战。此外，研究人员引入了一种具有缩放回归损失（Scaled Regression Loss）的双头部分贝叶斯神经网络（Dual-head PBNN），并通过消融研究（Ablation）验证，用于直接预测霞石析出。值得注意的是，这种基于回归的策略能够利用实用的霞石容差阈值，与现有无法区分痕量霞石形成和显著霞石形成的二元霞石判别器方法相比，大幅减少了假阳性——从而扩展了废料玻璃设计中新颖组成区域的探索空间。通过平衡可解释性、不确定性量化和准确性，研究结果为高放废液玻璃化工艺的更高效优化奠定了基础，并为改善核废料管理策略的更广泛目标做出了贡献。

论文解读文章

一、研究背景与问题

美国汉福德场址（Hanford site）位于华盛顿州，其地下储罐中存有超过210,000 m3的混合危险废物，这些废物是1944年至1989年间核燃料后处理产生的副产品。在钚和铀的提取过程中，早期后处理阶段使用硝酸溶解铝包壳后以氢氧化钠中和，向废物流中引入了大量的铝和钠。这些元素的高浓度在玻璃化过程中构成了持续挑战，增加了冷却过程中硼硅酸盐玻璃基体中霞石（NaAlSiO?）析出的可能性。一旦霞石形成，铝和硅将从玻璃网络中被移除，从而降低化学耐久性，威胁玻璃固化体的长期性能和环境保护目标。

当使用硼硅酸盐玻璃固化危险废物（尤其是高放废液HLW）时，如果玻璃设计不当，霞石可能在罐体冷却阶段析出。罐中心线冷却（CCC）温度历史是模拟冷却过程中沿罐中心线经历的热分布，其特点是冷却速率缓慢（通常低于1°C/min），常用于实验室规模测试以模拟有利于结晶（包括霞石形成）的动力学条件。废料组成中高水平的Al?O?和Na?O成分固有地促进霞石形成，这在汉福德储罐中的大多数污泥中具有典型性。不同组分对霞石形成的影响已被研究但较为复杂；例如，硼的添加通过两种机制减少霞石析出：增加网络形成体浓度以提高熔体稳定性，以及结合钠以电荷补偿[BO?]?结构，防止其用于霞石形成。然而，硼的抑制作用效果在很大程度上取决于其替代位置：替代Al?O?比替代SiO?有效得多，因为它促进抑制晶体成核的硼硅酸盐环结构的形成。尽管对这些机制有所认识，但由于多种因素在不同核废料组成范围内的复杂相互作用，预测霞石的形成仍然具有挑战性。

历史上，用于预测核废料玻璃中霞石结晶可能性的模型依赖于所谓的霞石判别器（ND），该判别器基于Na?O–Al?O?–SiO?三元体系。虽然在某些情况下有效，但这些模型往往过于保守，未能考虑B?O?等其他玻璃组分的影响。在实践中，这些模型可能错误地限制废物装载量或错误预测结晶趋势，因为它们未考虑其他改变熔体结构和动力学的组分的影响。此外，该领域还面临数据集规模有限且高度不平衡的挑战——数据集中76%的玻璃不形成霞石，这进一步增加了预测难度。

二、研究内容与意义

针对上述问题，研究人员开发了一系列基于回归的机器学习模型，能够将霞石析出程度作为连续变量进行预测，而非仅依赖二元分类。研究探索了多种经典机器学习模型（高斯过程回归GPR、梯度提升回归GBR、随机森林回归RFR）和贝叶斯方法（全贝叶斯高斯过程BGP、部分贝叶斯神经网络PBNN），并引入了一种新颖的双头部分贝叶斯神经网络（Dual-head PBNN）配合缩放回归损失，以应对数据零膨胀（Zero-inflation）带来的挑战。该研究还评估了光学碱度（OB）作为输入特征的效果，并验证了双头回归模型在贝叶斯优化（BO）中的应用，旨在实现高放废液玻璃化工艺的更高效优化，支持提高HLW废物装载量同时确保玻璃固化体的化学耐久性。

三、关键技术方法

研究人员使用了来自太平洋西北国家实验室（PNNL）、萨凡纳河国家实验室、美国天主教大学、华盛顿州立大学和罗格斯大学等机构此前研究中的895种独特玻璃组成数据集，涵盖49种不同氧化物组分。其中684种玻璃未形成霞石，211种形成霞石。另外引入81种此前未见过的玻璃用于贝叶斯优化验证。主要技术方法包括：一是高斯过程回归（GPR），采用常数核乘以径向基函数（RBF）长度尺度加白噪声核项，以处理小数据集并提供不确定性量化；二是梯度提升回归（GBR），使用300个估计器、学习率0.05、每棵树限制5个特征；三是随机森林回归（RFR），配置1000个估计器和最大深度12；四是部分贝叶斯神经网络（PBNN），仅将部分隐藏层和输出层作为概率分布处理，使用neurobayes Python包训练，最终架构为三个64单元隐藏层加单个概率隐藏层；五是双头PBNN，共享隐藏层馈入两个独立输出头——一个用于回归，一个用于共享隐藏表示的隐式正则化，回归损失采用均方误差（MSE）并按因子缩放；六是贝叶斯优化（BO），采用两阶段方法——探索阶段通过不确定性引导采样降低模型不确定性，利用阶段通过多目标采集函数同时最大化Na?O+Al?O?含量并最小化预测霞石形成。

四、研究结果

4.1 模型结果

数据集中霞石形成的合并标准差（Pooled Standard Deviation）计算为8.9 wt%，为ML模型评估建立了实验变异性基线。经典回归模型（GPR、GBR、RFR）在测试集上表现出一致趋势：当真实霞石含量为零时，模型持续过度预测；当实测霞石含量较高时，所有模型倾向于欠预测。这些一致偏差凸显了将常规回归模型应用于零膨胀分布数据的基本挑战。PBNN模型虽然表现出类似的总体趋势，但在目标空间上通常表现出更高的整体准确性和更低的预测偏差。光学碱度（OB）作为输入特征的加入在所有PBNN模型以及GBR和BGP模型中产生了适度但一致的性能改进。双头PBNN在测试集上实现了R2为0.831、RMSE为6.731 wt%，优于所有其他评估模型。在分类性能方面，ML模型在所有指标上均优于子混合模型；ND模型虽然召回率较高，但其低精确度表明该模型产生假阳性的频率远高于其他任何模型，这与其过于保守的理解一致。不确定性分析显示，两种PBNN模型的不确定性在大部分目标空间上较小且相对均匀；覆盖率（Coverage）分别为0.72和0.77，负对数预测密度（NLPD）分别为8.84和9.01。相关性分析揭示了与零膨胀一致的不对称校准模式：模型对过度预测表现出过度自信，而对欠预测的校准较好。

4.2 贝叶斯优化

贝叶斯优化循环运行了40次迭代，其中探索阶段10次、利用阶段30次。探索阶段在几次迭代内将RMSE从初始约10 wt%高效降至约6 wt%。与随机采样基线（3个种子平均）相比，BO策略显著优于无信息采集，所有BO配置在第8次迭代时达到随机基线最终RMSE（6.28±2.43 wt%），并在40次迭代中的39次优于随机采样。最终迭代时，BO模型实现的RMSE比随机基线平均值低44%（3.51对6.28 wt%）。在Na?O–Al?O?组成空间中，利用阶段的选点优先针对更高Na?O+Al?O?含量的组成，与随机采样相比具有统计学显著差异（p<0.001），同时霞石形成没有统计学显著增加（p>0.36）。对不确定性系数的消融研究表明，组成选择质量对该超参数的选择具有鲁棒性。

五、讨论总结与结论

讨论部分指出，数据集的高度不平衡和有限规模使机器学习预测准确性降低，而贝叶斯模型（如PBNN和BGP）有助于克服数据集限制。双头PBNN的性能改进归因于损失缩放（改善确定性预训练收敛）和双头架构（提供共享隐藏层的隐式正则化），消融研究证实分类组件未对预测性能做出贡献。在5 wt%的实际容差阈值下，双头PBNN将假阳性预测从17个（测试集的9.5%）降至7个（3.9%），证明了该架构在区分可忽略与显著霞石形成玻璃方面的改进。光学碱度的适度改进可能源于其由组成信息推导而来，与现有特征存在冗余。不确定性校准的不对称性直接反映了零膨胀数据建模的挑战，需要专门的不确定性校准技术。贝叶斯优化工作流证明，即使不确定性校准不完美，不确定性引导的探索仍能为高效数据采集提供有意义的信号，确认了预测不确定性的相对排序而非绝对校准足以指导信息丰富的样本选择。

研究结论：研究人员开发了一套回归机器学习模型套件，用于预测CCC条件下核废料玻璃中的霞石形成。双头PBNN在独立测试集上实现了R2为0.83、RMSE为6.72，优于所有评估的常规模型（GBR、GPR、RFR、标准PBNN和BGP）。不确定性分析揭示了不对称校准模式，表明零膨胀数据集需要专门的不确定性校准技术。两阶段贝叶斯优化工作流证明，即使不确定性校准不完美，不确定性引导的探索也能高效建立预测准确性，利用阶段识别出Na?O+Al?O?含量显著更高且霞石形成无统计学显著增加的组成。这些结果验证了将部分贝叶斯神经网络与多目标贝叶斯优化相结合以应对玻璃组成设计中复杂权衡的有效性。未来工作应关注捕获热历史、加工条件和结构参数的额外特征，以及扩展数据集多样性以涵盖高Al?O?和Na?O含量同时保持低霞石形成的边界组成。该研究提出的方法论框架——特别是双头回归方法及其与贝叶斯优化的集成——可推广至玻璃科学及其他领域中的其他零膨胀材料性能预测挑战，支持在确保长期耐久性的同时提高废物装载量的更广泛目标。