材料发现中主动学习的不确定性估计与校准方法对分布外泛化的影响评估

《npj Computational Materials》：When active learning fails, uncalibrated out of distribution uncertainty quantification might be the problem

　　

摘要

在材料发现领域的主动学习实验中，高效且有意义地估计预测不确定性至关重要，因为高不确定性样本被认为包含模型所缺失的信息。本工作评估了在使用ALIGNN、eXtreme Gradient Boost、随机森林和神经网络模型架构的集成模型时，不同不确定性估计和校准方法对主动学习的效果。我们比较了ALIGNN深度集成模型的不确定性估计与在溶解度、带隙和形成能预测任务中获得的损失景观不确定性估计。随后，我们评估了不确定性估计质量对旨在使模型泛化到分布外数据的主动学习实验的影响。研究发现，不确定性校准方法从域内数据到域外数据的泛化能力存在差异。此外，与随机采样和未校准的不确定性相比，校准后的不确定性总体上未能减少主动学习实验中模型在分布外数据上改进所需的数据量。对于在相同数据、相同任务上训练的随机森林和eXtreme Gradient Boosting模型，低质量不确定性的影响依然存在，表明这至少部分是由数据本身固有的，而非仅由模型容量引起。对目标变量、域内不确定性、域外不确定性和训练残差分布的分析表明，未来的工作应聚焦于理解特征输入空间中的经验不确定性，特别是在集成预测方差无法准确捕捉模型泛化所需的缺失信息的情况下。