基于局部图像集的分布外检测增强

《Neural Networks》：Enhancing Out-of-distribution Detection via Local-Image Set

　　

•识别了OOD检测中一个常见但被忽视的失效场景：小前景物体搭配大背景会导致高假阳性率。•分析其根本原因：空间偏差、尺度敏感性以及现有视觉模型全局特征表示的局限性。•提出了一种模型无关、免训练的自适应裁剪策略，通过在推理时强调显著前景区域来改进OOD检测。•采用基于熵的视角选择机制，隐式聚焦于最自信的局部视角，从而减少无关背景上下文的影响。•在多种架构上一致性地证明了性能提升，展示了所提方法的通用性和即插即用的特性。引言在现实应用中，深度学习模型通常是在从固定分布中采样的数据上进行训练的，该分布通常称为分布内（ID）。然而，在部署过程中，这些模型不可避免地会遇到与训练分布存在显著偏差的输入。此类输入被称为分布外（OOD）样本。当分类模型对这些不熟悉的样本做出高置信度但错误的预测时，其后果可能十分严重，尤其是在自动驾驶（Lu等，2025b）或医学诊断（Ge等，2025）等高风险领域。随着深度神经网络越来越多地被部署在开放世界中，增强其识别和应对分布偏移的能力已成为确保安全和鲁棒性的关键。OOD检测已成为机器学习领域的一项关键研究方向，在构建可信赖的AI系统中起着基础性作用。它旨在在推理时识别这些异常输入，使系统能够拒绝预测或触发回退机制。理想的OOD检测器应维持对分布内空间$Y_{ID}$中样本的高分类准确率，同时可靠地拒斥其语义超出$Y_{ID}$支撑范围的样本。早期的OOD检测方法主要依赖于卷积神经网络（CNN）（He、Zhang、Ren、Sun，2016；Huang、Liu、Van Der Maaten、Weinberger，2017），或者通过分析模型输出或中间特征来检测OOD样本（无需修改原始模型），或者在训练过程中引入专门的损失函数、辅助目标或额外数据来正则化模型。近年来，随着视觉语言模型（VLMs）日益流行，如CLIP（Radford等，2021）（对比语言-图像预训练），OOD检测已扩展到多模态领域。在这些模型中，预测是通过测量图像嵌入与类别标签文本描述之间的余弦相似度来实现的。尽管OOD检测的近期进展带来了令人鼓舞的结果，但我们观察到了现有方法中存在一个普遍问题。为了更好地理解模型为何会错误分类某些样本，我们分析了这些错误分类的ID案例并观察到了一种一致的模式。如图1所示，该图展示了ImageNet数据集中的代表性样本，其中上排和下排来自同一类别（例如，第一列对应类别"tench"）；上排样本展现出高度显著的前景特征，而下排样本则呈现出被遮挡或不明显的前景信息。我们的统计分析表明，第二行所示类型的样本是导致OOD检测中高假阳性率（FPR）的关键因素之一，其中ID样本被错误分类为OOD。这些样本始终表现出一种共同的视觉模式：相对较小的前景物体被嵌入在不成比例地大或视觉复杂多样的背景中。基于上述观察，我们进一步在图2中提供了视觉直觉来说明前景-背景不平衡如何影响模型预测。当前景物体较小或被复杂背景视觉压制时，全局表示往往会聚合前景和背景信息，这可能稀释判别性线索并导致不确定预测。相比之下，聚焦于强调前景物体的局部区域可以更好地捕获类别相关的视觉证据，从而得出更自信且集中的预测。这一观察表明，利用局部视角并识别前景主导区域可以有效减轻背景干扰的不利影响。为解决这一问题，我们提出了一种新颖的"先选择后计算"策略，以减少推理阶段背景信息的干扰，从而降低假阳性率并提升现有方法的OOD检测性能。我们方法的总体框架如图3所示。我们的方法涉及从单张输入图像中生成多个随机裁剪，形成一个我们称为局部图像集的局部视角集合。对于每个生成的裁剪视角，我们使用模型的主干网络提取特征，然后将特征传入分类头以获得对应于预定义类别标签的logits。在CLIP等VLMs中，这对应于计算图像-文本相似度分数；而在基于CNN的分类器中，logits直接来自最终的完全连接层。随后利用这些logits计算每个视角的预测分布熵。选取熵最小的视角用于计算最终的OOD检测分数。该方法论的核心直觉在于：通过生成足够数量的局部视角，模型可以有效地关注图像的不同子区域，从而增加至少在一个视角中捕获前景物体最显著和最具代表性的视觉线索的可能性。然后我们选取相对于已知ID类别标签置信度最高（即熵最低）的裁剪视角，作为计算最终OOD分数的主要输入。这种基于熵引导的选择机制通过优先选择ID前景物体表示最清晰的视角，减轻了广泛或令人困惑的背景区域的不利影响。本文的主要贡献总结如下：1.我们识别了OOD检测中一个常见的失效场景，即小前景物体嵌入在大或复杂背景中会导致表示失配和性能退化。2.该问题不限于任何特定架构；当特征提取偏向主导背景区域而非显著前景内容时，它在不同类型的模型中都会出现。3.为解决该问题，我们提出了一种"先选择后计算"策略，该策略生成输入图像的多个裁剪局部视角，并选取信息量最大的一个进行OOD评分。该方法提升了对有意义区域的关注并减轻了无关上下文的影响。4.我们的方法模型无关、免训练且即插即用。它在一系列视觉语言和纯视觉基线方法上一致性地提升了OOD检测性能，展现了强大的有效性和广泛的适用性。章节摘要：基于单模态视觉模型的OOD检测传统单模态视觉模型的OOD检测旨在识别来自与训练数据不同分布的测试样本。这些方法通常可分为两类：事后方法（无需额外训练）和基于训练的方法（涉及针对OOD检测优化模型参数）。事后方法是指在不修改或重新训练原始模型的情况下检测OOD样本的方法。问题定义通常，分布内（ID）样本来自与模型训练集相同的数据分布，而分布外（OOD）样本来自训练期间未见过的不同分布。OOD检测旨在识别给定输入样本是来自与训练数据相同的分布（ID），还是来自另一种未知的分布（OOD）。形式化地，设$\mathcal{D}_{intrain}=\{(\mathbf{x}_i, \mathbf{y}_i)\}_{i=1}^n$表示标注训练数据集，其中$\mathbf{x}_i \in \mathcal{X}$，$\mathbf{y}_i \in \mathcal{Y}_{in}=\{1,\cdots,C\}$。样本……方法部分在本节中，我们介绍了所提出的局部图像集，这是一种简单而有效的免训练策略，用于增强OOD检测性能。其核心思想是识别与给定输入分类置信度最高的局部图像，然后利用该最相关的局部图像进行后续的OOD分数计算。实验设置数据集：我们未在评估中包含如CIFAR-10/100（Krizhevsky等，2009）等低分辨率数据集，因为它们较少出现我们方法专门针对的小前景物体。本工作中，我们旨在实际设置下执行OOD检测。遵循先前研究中的常见做法（Huang、Li，2021；Ming、Cai、Gu、Sun、Li、Li，2022），我们在ImageNet-1K数据集（Deng等，2009）上作为分布内（ID）进行评估。讨论与局限性我们的方法的一个显著优势在于其通用性：它可以即插即用地应用于预训练模型，并保持与标准评估流程的兼容性。性能提升在具有挑战性视觉组成的样本上尤为突出，例如杂乱背景或小型物体，传统全局表示在这些情况下往往失效。然而，由于需要评估多个视角，该方法会引入额外的推理时间成本。结论与未来工作本文研究了OOD检测中的一个关键挑战：当ID图像中包含被大面积背景区域包围的小前景物体时，模型往往表现出较高的假阳性率。这一失效模式主要源于空间偏差和全局特征表示的局限性，导致模型依赖无关上下文线索而非判别性前景信息，最终导致ID样本被错误分类为OOD。为弥补这一问题，我们提出了……CRediT作者贡献声明：Qichao Chen：撰写——审阅与编辑，撰写——原稿撰写，可视化，验证，方法论，调查研究，数据管理，概念构思。Yanqi Wu：撰写——审阅与编辑，撰写——原稿撰写，可视化，验证，方法论，调查研究，形式化分析。Kuan Li：撰写——审阅与编辑，验证，监督指导，项目管理，形式化分析，概念构思。Zhiyuan Chen：撰写——审阅与编辑，验证，监督指导，概念构思。利益冲突声明：作者声明不存在任何已知的财务利益或个人关系可能影响本文所报告的工作。致谢：本研究部分得到中国国家重点研发计划（资助号2022YFF0606303）、国家自然科学基金（资助号62206054）以及广东省重点建设学科研究能力提升项目（资助号2022ZDJS028）的支持。Qichao Chen | Yanqi Wu | Kuan Li | Zhiyuan Chen | Tomas Maul | Jianping Yin