基于不确定性感知的分布外检测原型优化

《Neurocomputing》：Uncertainty-aware prototype refinement for out-of-distribution detection

　　

Tuanjie Wei|Mengchi Liu

中国广州510631，华南师范大学计算机科学学院

摘要

由于神经网络可能会对异常输入赋予过高的置信度，尤其是在分布内特征无法有效区分时，因此分布外检测仍然是一个挑战。对于那些依赖样本与原型之间可靠对齐的基于原型的方法来说，这个问题尤为突出。为了解决这一限制，我们提出了一种结合相似性加权能量评分与不确定性感知原型优化的分布外检测框架。具体而言，我们通过基于动量的更新来稳定类别原型，利用以原型为导向的约束来规范特征空间，并在训练过程中使用联合不确定性量化方法来降低模糊或噪声样本的权重。在CIFAR和ImageNet基准测试上的实验表明，该方法相比最接近的基于原型的基线方法具有持续的改进效果，同时在与其他代表性的分布外检测方法相比也保持了出色的性能。进一步的分析显示，该方法的原型对齐效果更好，原型间的差距更大，且分布内样本与分布外样本之间的相似性分布重叠更少。

引言

深度神经网络在众多应用领域取得了显著成就，但当它们被应用于开放世界环境时，其可靠性可能会大幅下降。在实际应用中，由于语义新颖性、领域偏移、数据损坏或获取不匹配等原因，测试输入可能会偏离训练数据分布。当标准分类器处理这类分布外样本时，仍可能给出过度自信的预测结果，这在医疗诊断和自主系统等高风险场景中可能是不可取甚至危险的[1]、[2]。因此，可靠的分布外检测已成为可信赖机器学习系统的重要组成部分。

现有的分布外检测方法可以根据用于评分的信息来源进行大致分类。早期的方法直接从分类器输出中估计置信度，例如通过最大softmax概率或其校准变体[3]、[4]、[5]。后续研究引入了基于能量的评分方式，以更好地描述预测响应[6]、[7]。另一类方法则对分布内特征的概率分布进行建模，将低密度样本视为分布外样本[8]、[9]、[10]，而基于距离的方法则衡量测试样本与特征空间中类别中心或邻域的距离[11]、[12]。尽管这些方法都取得了不错的性能，但没有一种信息来源能在各种分布外场景下始终可靠。

因此，最近的一些方法试图结合不同表示空间中的互补线索。例如，ViM[13]通过为未知类别构建虚拟logit，将特征残差与logit信息相结合；而HIMPLoS[14]则利用从特征空间中得到的基于原型的相似性权重来调整logit值。这些方法的优势在于它们同时利用了语义结构和分类器响应。然而，它们的有效性仍然取决于特征空间对齐的可靠性。当不同的分布内类别之间无法有效区分时，处于类别边界附近的样本与原型的相似性可能会不稳定。在这种情况下，用于调节预测分数的相似性权重就可能变得不可靠，分布内样本与分布外样本之间的分数区分度也可能下降。

这些观察结果表明，基于原型的评分方法的瓶颈可能不仅在于评分形式本身，还在于这种评分所依赖的原型几何结构的可靠性。当原型不稳定或类别表示不够清晰时，即使推理规则设计得很好，基于相似性的调节作用也可能无法提供足够的信息。基于这一思路，我们没有进一步优化推理侧的加权规则，而是专注于改进训练时的特征几何结构，以支持基于相似性的评分。我们的出发点是一个简单的直觉：要想让基于原型的分布外评分可靠，分布内样本应与其所在类别的原型保持良好对齐，且与无关原型有足够的区分度，同时噪声较大或含义模糊的训练样本不应主导原型估计。基于这一直觉，我们开发了一种结合相似性加权能量评分与不确定性感知原型优化的分布外检测框架。

所提出的框架包含三个紧密关联的组成部分。首先，我们采用基于相似性加权的能量评分，通过样本与其对应类别原型之间的余弦相似度来调节能量响应。这样，原型的可靠性就会直接影响到最终的分布外评分：如果原型几何结构不稳定，相似性权重可能会以不可靠的方式放大或抑制能量响应。其次，我们使用基于动量的更新规则来优化类别原型，从而使评分函数使用的原型对批量波动和临时特征噪声的敏感度降低。第三，我们通过基于原型的目标函数来规范特征空间，从而加强样本与对应类别原型的对齐，同时抑制与其他竞争类别原型的过度相似性。这种规范化并非作为一种通用的度量学习增强手段，而是直接针对基于相似性的分布外评分所依赖的特征-原型对齐关系。为了进一步减少模糊样本对原型估计和基于原型的规范化的影响，我们在训练过程中采用了联合不确定性量化方法作为重新加权信号。这样一来，该方法就能更加重视可靠的训练样本，进而提升支撑最终分布外评分的原型结构的稳定性（见图1）。

本研究的主要贡献如下：

• •
  我们提出了一种结合相似性加权能量评分与以原型为导向的特征表示优化的分布外检测框架，旨在解决在特征几何结构不明确时基于原型的评分可靠性较低的问题。
• •
  我们引入了基于动量的原型更新策略以及不确定性感知的样本重新加权方法，提升了训练过程中原型估计的稳定性。
• •
  我们设计了一种基于原型的规范化目标函数，该函数能够促进样本与其对应原型之间的更强对齐，同时避免与其它类别原型产生过度相似性，从而为分布外检测提供更具区分度的特征表示。
• •
  我们在CIFAR和ImageNet基准测试上进行了大量实验，同时通过重复运行评估和原型几何结构分析，证明了该方法相比最接近的基于原型的基线方法具有持续的优势，且在其他代表性基线方法中也表现优异。

章节节选

相关工作

分布外检测方法可以根据用于区分分布内样本和分布外样本的信息来源进行大致分类。基于输出的方法直接从分类器响应中获取置信度分数，例如最大softmax概率及其校准变体[3]、[4]、[5]。而基于能量的方法则通过对logit值进行变换，得到更能反映分布偏移情况下预测响应的分数[6]、[16]、[17]、[18]。还有另一类方法是对分布内特征

方法

图2展示了所提出的框架。我们的目标是提高在原型几何结构不明确或特征空间中类别表示无法有效区分时，基于相似性加权的分布外评分的可靠性。由于最终评分会将能量响应与特征-原型相似性项相乘，因此原型估计的错误或特征原型对齐的不确定性都可能直接影响分布外判断的结果。相应地，所提出的方法围绕三个方面展开设计

实验设置

数据集：我们在CIFAR和ImageNet的标准基准数据集上对所提出的方法进行了全面评估。在CIFAR基准测试中[41]，使用了CIFAR-10和CIFAR-100作为分布内数据集，每个数据集包含50,000张训练图像和10,000张测试图像。共有七个分布外数据集用于评估：Tiny-ImageNet[42]、MNIST[43]、SVHN[44]、LSUN[45]、iSUN[46]、Textures[47]以及Places365[48]。在ImageNet测试中，ImageNet-1K[42]被用作分布内数据集

结论

本文提出了一种结合相似性加权能量评分与不确定性感知原型优化的图像分类分布外检测框架。该方法的提出是鉴于基于原型的评分方法存在的一个关键缺陷，即在特征几何结构不明确的情况下，特征-原型对齐的可靠性不足，会导致分布内样本与分布外样本之间的评分区分度下降。

为了提高基于相似性调节的可靠性，我们采用了不确定性感知机制来优化类别原型

CRediT作者贡献声明

Tuanjie Wei：撰写——审稿与编辑，撰写——初稿，验证，方法论，研究分析，数据整理，概念构思。Mengchi Liu：撰写——审稿与编辑，资源协调，项目管理，方法论，资金申请，概念构思。

资金支持

本研究部分得到了广州市大数据与智能教育重点实验室[资助编号201905010009，Mengchi Liu]以及中国国家自然科学基金[资助编号61672389，Mengchi Liu]的支持。

利益冲突声明

作者声明，他们不存在任何可能影响本文所述工作的已知财务利益或个人关系。

Tuanjie Wei目前在中国广州的华南师范大学计算机科学学院攻读博士学位。他的研究兴趣包括计算机视觉和机器学习领域。