基于变分贝叶斯的持续测试时适应不确定性量化方法

《IEEE Transactions on Artificial Intelligence》：Variational Continual Test-Time Adaptation

　　

影响陈述：

部署在真实环境中的AI系统越来越多地在部署后面临持续分布偏移，同时标记数据不可用。在这些条件...显示更多

摘要：

持续测试时适应（CTTA）任务研究在测试时面临持续域偏移场景下的有效域适应问题。由于仅使用未标记样本，模型更新中存在显著的不确定性，导致CTTA面临严重的误差累积问题。在本文中，我们引入了VCoTTA，一种变分贝叶斯方法用于衡量CTTA中的不确定性。在源阶段，我们通过变分预热策略将预训练的确定性模型转换为贝叶斯神经网络（BNN），将不确定性注入模型中。在测试期间，我们采用基于变分推断的均值教师更新策略，对学生模型使用变分推断，对教师模型使用指数移动平均。我们提出的新方法通过结合源模型和教师模型的先验来更新学生模型。由此产生的可解代理目标将师生交叉熵与由自适应混合先验引起的Kullback-Leibler（KL）正则化的上界近似相结合。在三个数据集上的实验结果表明，该方法在缓解CTTA框架中的误差累积方面是有效的。