用于开放集识别的元开放集过滤

《Journal of Visual Communication and Image Representation》:Meta open set filtering for open set recognition

【字体: 大 中 小 】 时间:2026年10月24日 来源:Journal of Visual Communication and Image Representation 2.8

编辑推荐:

   ## 摘要 开放集识别(OSR)要求模型在分类已知类别的同时,还能识别出训练过程中未曾遇到的未知样本。现有的生成式OSR方法通过合成伪开放集样本来帮助建立决策边界;然而,这些生成样本的质量往往参差不齐,容易引入身份歧义,从而导致分类器的预测偏差和误差累积。为克服这一挑战,我

  

## 摘要

开放集识别(OSR)要求模型在分类已知类别的同时,还能识别出训练过程中未曾遇到的未知样本。现有的生成式OSR方法通过合成伪开放集样本来帮助建立决策边界;然而,这些生成样本的质量往往参差不齐,容易引入身份歧义,从而导致分类器的预测偏差和误差累积。为克服这一挑战,我们将元学习引入OSR,将动态样本选择过程建模为一个自适应的元学习过程,从而有效阻断误差累积。具体而言,我们提出了一种元开放集过滤(Meta Open Set Filtering, MOF)框架,该框架利用一个元网络,整合初始、当前和历史预测趋势,动态筛选出高质量的伪开放集候选样本。通过在小规模真实开放集样本元数据集指导下的双层优化策略,MOF能够自主校准伪标签,并将封闭集分类器扩展为可直接输出开放集概率的模型。在多个基准数据集上的大量实验表明,MOF在未知类别检测方面取得了优越性能,同时在已知类别上保持了高精度。代码已发布于 https://github.com/wangsfan/MOF。

## 1. 引言

在图像分类领域,传统的封闭集分类器通常基于训练集和测试集共享同一标签空间的假设进行设计。然而,在自动驾驶和医疗诊断等实际应用中,模型在部署时不可避免地会遇到未见过的类别。传统的封闭集模型往往将这些未知样本错误地归类到已知类别中,并表现出过度自信。为解决这一问题,开放集识别(Open Set Recognition, OSR,[1]、[2]、[3])应运而生。其核心目标是突破封闭世界假设,使模型仅利用已知类别的训练数据,在分类已知样本的同时能够识别并拒绝未知样本。

在现有研究中,基于生成模型的OSR方法[4]、[5]、[6]、[7]是一种主流途径。这些方法通过合成伪开放集数据来模拟未知类别的分布,从而引导模型学习开放集决策边界。然而,由于生成过程中的随机性或结构性破坏,伪样本的质量往往不一致,频繁导致严重的身份歧义问题。直接在此类低质量样本上进行训练会诱发分类器的预测偏差,进而造成误差累积。因此,动态准确地筛选高质量合成样本以提升OSR性能,仍是提高OSR性能的关键挑战。

为解决上述问题,我们提出了一种基于元学习的OSR样本过滤方法。我们将生成样本的过滤和处理过程建模为一个元学习过程。具体而言,我们引入一个元网络(Meta Net),该网络整合初始、当前和历史预测趋势,动态筛选候选样本。此外,我们采用双层优化策略[8],利用小规模真实开放集样本元数据集来引导元网络的参数更新。通过这种方式,元网络能够通过学习到的自动标签校正来有效筛选高置信度的开放集样本,从而阻断误差累积。需要注意的是,我们所使用的元数据量较小,无法直接用于训练。此外,与传统的异常暴露方法不同——后者直接将辅助异常样本标记为未知类别并纳入分类器训练,MOF仅将其作为小规模元数据集来引导伪未知样本的动态过滤和软标签校正。因此,该设置与异常暴露方法相关,但仍属于开放集识别的范畴。本文的主要贡献有三点。

**一种面向OSR的元学习样本过滤框架:** 针对生成式OSR[7]中伪样本质量不一致的问题,我们将样本过滤建模为一个自适应元过程。这实现了对合成样本的动态自动化质量控制,克服了传统方法对辅助数据质量的依赖。

**一种融合双层优化与元学习的统一OSR模型:** 我们设计了一个元网络,该网络整合初始、当前和历史预测趋势。该模型将封闭集分类器扩展为能够直接输出开放集概率的架构。通过结合样本过滤机制和双层优化,模型缓解了由分类器偏差引起的误差累积,显著提升了复杂、歧义样本的识别可靠性。

**大量的OSR实验验证:** 在包括SVHN、CIFAR-10、CIFAR+10、CIFAR+50和ImageNet-tiny在内的基准数据集上进行了大量实验,结果表明MOF在保持已知类别高准确率的同时,在未知类别检测方面取得了优越的性能。

## 2. 相关工作

### 2.1 开放集识别(OSR)

近年来,许多方法被提出以应对OSR问题。主流的OSR方法可以分为三类:基于距离的方法、基于重建的方法和基于样本增强的方法(见表1)。

**基于距离的方法**围绕这样一个核心理念展开:在特征空间中为每个已知类别学习一个紧凑的原型或区域。在测试时,计算样本特征与已知类别原型之间的距离或相似度,以判断该样本是否属于已知类别。例如,ProtoGCD [9]将类内数据拟合到超球面上的特定区域,并根据置信度和熵来区分开放集样本。ARPL [10]通过为每个类别创建一种新颖的"互反点"概念来约束封闭空间和开放空间的大小,从而将封闭集样本与开放集样本分离。RWOSR [11]在放大已知类别间差异的同时减小类内方差,建立类原型以区分已知和未知类别。CIDER [12]在超球面空间中联合优化分散度和紧凑度损失,以扩大不同类原型之间的角度距离,同时将样本拉向各自的原型,从而实现更好的特征分离。PALM [13]使用多个原型的混合模型来表示每个已知类别,以捕获真实数据的内在多样性,学习更具区分力的样本嵌入用于基于距离的检测。NCI [14]利用神经坍塌现象,通过衡量特征与类权重向量的接近度以及评估特征范数来识别分布外样本。DeepIncrement [15]将OSR与深度类增量学习相结合,精炼已学习的特征以更好地适应基于距离的新样本识别。RS-SSL [16]通过构建额外的原型来建模分布外数据,将开放集半监督学习转化为封闭集原型分类问题。EE-OpenSSL [17]提出了一种基于原型的聚类算法与重要性采样相结合的方法,以探索特征相似性并利用分布内和分布外的未标注样本。TANE [18]通过基于已知类别关联的任务自适应生成伪负原型来解决小样本OSR问题,以学习针对未知样本的动态拒绝边界。除了图像级分类之外,OSR中这种基于原型的距离度量方法对于目标检测任务也至关重要。例如,CCKM [19]引入了一种双原型球体距离度量方法,以在自适应开放集目标检测场景中标准化基本物体类别和新物体类别的特征边界。

**基于重建的方法**专注于利用已知类别数据训练一个生成模型,使其只能准确重建已知类别。由于未知数据不符合已知数据的分布模式,通常会得到较高的重建误差。GDFR [2]对原始和重建的已知类别数据进行变换,并学习预测所应用的变换以捕获用于识别未知样本的结构信息。CGDL [3]对已知数据进行编码并将不同类别建模为不同的高斯分布,通过重建测试输入并判断其是否属于已知高斯分布来识别未知样本。CA-VAE [20]提取已知类别的类激活图(CAM)并重建关键图像区域,以学习更具区分力的表示。CROSR [1]采用深层层次重建网络进行联合分类和重建,学习保留关键信息的瓶颈潜在表示,以在不损害已知类别准确率的前提下分离未知类别。

**基于样本增强的方法**旨在训练阶段主动引入"模拟的未知数据",以训练模型区分已知和未知输入。OpenGAN [7]利用GAN生成伪未知图像特征,与判别器进行对抗训练。DIAS [4]专注于生成三种不同难度的伪未知样本,以增强模型识别未知样本的能力。OpenMix [5]在不同层次上混合未知和已知数据,并根据融合程度应用相应的损失函数,使模型能够更好地区分不同程度的不确定性。OE [21]通过在训练期间引入辅助异常数据集来提升对未见异常的泛化能力。ODIN [22]通过分解置信度评分和优化数据预处理,在无需未知数据的情况下实现OSR。最后,CROFT [6]通过能量分布重塑损失和 worst-case 协变量偏移特征生成,在未知类别泛化和开放集检测之间建立了协同优化链路。CPN [23]提出了一种卷积原型网络框架,融合了判别模型和生成模型的优势,以确保封闭集准确率和开放集鲁棒性。PFS [24]利用神经坍塌并引入辅助数据集在训练期间执行正交惩罚,强制未知特征从已知空间中分离。

除主流范式外,一些近期工作从不同视角应对OSR问题。例如,FSOR-Glocal [25]通过引入一种能量混合模型来解决小样本OSR问题,该模型结合全局类级和局部像素级特征来估计开放集概率。TTR [26]通过采用EM算法进行最大似然估计并结合测试时的分布外参考来估计和校正开放集标签偏移,以适应目标域。MTS [27]提出了一个从互相到分离的框架,用于开放集域自适应,以隔离未知类别分布同时对齐共享知识。Ji等人[28]采用子域对齐策略用于开放集域自适应。OpenSlot [29]开创了混合开放集识别的研究,通过以物体为中心的学习来解缠多物体场景中的鲁棒特征。MOEO [30]优化了最大开放集熵模型,并提出最大开放集熵优化来拒绝未知样本(见表1)。

**表1. OSR方法分类。** GCD = 广义类别发现,RWOSR = 真实世界开放集识别,OOD = 分布外,SSL = 半监督学习,FSOR = 小样本开放集识别,CIL = 类增量学习,OpenSSL = 开放半监督学习,OSLS = 开放集标签偏移,OSDA = 开放集域自适应,MOSR = 混合开放集识别,OVOD = 开放词汇目标检测,AOOD = 自适应开放集目标检测。

| 参考文献 | 年份 | 模型 | 任务 |
|---|---|---|---|
| CROSR [1] | CVPR19 | CNN | OSR |
| GDFR [2] | CVPR20 | CNN | OSR |
| CGDL [3] | CVPR20 | CNN | OSR |
| ARPL [10] | TPAMI22 | CNN | OSR |
| DIAS [4] | ECCV22 | CNN | OSR |
| CPN [23] | TPAMI22 | CNN | OSR |
| CA-VAE [20] | ICME23 | CNN | OSR |
| OpenMix+[5] | TCSVT23 | CNN | OSR |
| OpenGAN [7] | TPAMI25 | CNN | OSR |
| DeepIncrement [15] | ICCVW23 | CNN | CIL&OSR |
| OE [21] | ICLR19 | CNN | OOD |
| ODIN [22] | CVPR20 | CNN | OOD |
| CIDER [12] | ICLR23 | CNN | OOD |
| PALM [13] | ICLR24 | CNN | OOD |
| NCI [14] | CVPR25 | CNN/ViT | OOD |
| PFS [24] | ICLR25 | CNN/ViT | OOD |
| RWOSR [11] | IJCV24 | CNN | RWOSR |
| CRoFT [6] | ICML24 | Transformer | RWOSR |
| GEL [25] | CVPR23 | CNN | FSOR |
| TANE [18] | CVPR22 | CNN | FSOR |
| RS-SSL [16] | ICCV23 | CNN | SSL |
| EE-OpenSSL [17] | IJCV24 | CNN | OpenSSL |
| TTR [26] | CVPR25 | CNN | OSLS |
| MTS [27] | TCSVT24 | CNN | OSDA |
| SA-OSDA [28] | JVCIR24 | CNN | OSDA |
| MOEO [30] | JVCIR24 | CNN | OSDA |
| OpenSlot [29] | TMM25 | Transformer | MOSR |
| CCKM [19] | TIP26 | Transformer | AOOD |
| ProtoGCD [9] | TPAMI25 | Transformer | GCD |

### 2.2 元学习

在传统OSR中,基于元学习的方法主要集中在小样本场景。其核心思想是利用情景训练提取可泛化的先验知识,使模型仅需极少标注样本即可快速适应已知类别并有效拒绝未知类别。例如,PEELER方法首次将原型网络与元学习相结合,利用高熵后验分布来识别未知类别的样本。MET [31]在元学习范式下引入了证据开放集损失,在训练时将相似的已知类别视为"竞争类别",并结合交叉注意力机制来隔离难以区分的未知样本。

然而,尽管元学习在小样本场景中的优势已得到证明,其在标准数据丰富OSR任务中的潜力仍有待深入探索。特别是在基于生成的OSR方法中,合成的候选未知样本经常出现身份歧义或结构性破坏。因此,如何动态准确地筛选这些样本构成了一个紧迫的挑战。为弥补这一差距,迫切需要一个自适应框架,能够独立评估和控制样本质量,而不依赖于样本生成方法本身。这促使我们探索一种新范式——从静态伪样本生成转向可学习的质量控制,将生成样本的动态筛选视为一个自适应元过程以防止误差累积。

### 2.3 基于Transformer的视觉表示学习

虽然卷积神经网络在视觉识别中仍然被广泛使用,但基于Vision Transformer的架构也越来越普遍,因为它们能够建模长距离依赖关系和全局上下文关系。近期视觉识别的进展还探索了注意力机制、Transformer架构和自适应特征学习,以在挑战性条件下增强区分性表示。

FocusReID [32] 提出了一种注意力引导的多特征融合架构用于行人重识别,其中层次化特征逐步细化以增强对遮挡、低分辨率和背景杂乱的鲁棒性。为捕捉长程依赖关系和全局上下文信息,SwinReID [33] 开发了一个基于Swin Transformer的行人重识别框架,并配备了轻量级通道注意力模块。此外,VarReID [34] 研究了面向低分辨率行人重识别的自适应跨分辨率识别,旨在缩小不同分辨率输入之间的表示差距。这些研究反映了注意力引导的特征融合、基于Transformer的全局建模以及分辨率自适应的表示学习在现代视觉识别中日益增长的重要性。

下载:下载高分辨率图片(654KB)下载:下载全尺寸图片

**图1.** MOF的框架,由三个模块组成:开放集生成(OSG)从闭集样本中生成伪开放集候选;分类器网络更新(CNU)利用过滤后的样本训练特征提取器和双分类器;元网络更新(MNU)通过双层优化优化元网络,以动态校准伪标签并选择高质量样本。在每个训练轮次中,元网络首先为每个训练批次生成自适应的伪标签融合权重。这些伪标签用于构建分类损失并更新分类器。更新后的分类器随后在元批次上进行评估以计算元损失,从而更新元网络。最后,利用更新后的元网络重新校准伪标签,并使用重新校准的伪标签更新分类网络。在此过程中,CNU模块作为任务学习者学习决策边界,而MNU模块作为元监督者从元数据中学习自适应的伪标签融合权重。

### 3. 方法

#### 3.1 预备知识

##### 3.1.1 符号说明

在大多数情况下,我们用非粗体字母表示标量,粗体小写字母表示向量,粗体大写字母表示矩阵,花体字母表示集合。1

我们记 $[\cdot;\cdot]$ 为沿行维度的拼接操作符。我们记 $\odot$ 为逐元素乘法操作符。对于向量 $\mathbf{x}$,我们记 $[\mathbf{x}]_i$ 为其第 $i$ 个元素。对于集合 $\mathcal{S}$,我们记 $\mathbb{E}_{\mathbf{x}\in\mathcal{S}}f(\mathbf{x}) \triangleq \frac{1}{|\mathcal{S}|}\sum_{\mathbf{x}\in\mathcal{S}}f(\mathbf{x})$ 为 $f(\mathbf{x})$ 上的期望操作符。我们记 $\mathbb{1}(\cdot)$ 为指示函数。

##### 3.1.2 开放集识别问题设定

在OSR中,我们给定一个闭集训练数据集 $\mathcal{D}_{\text{train}} = \{(\mathbf{x}, y_{\text{gt}})\}$,包含 $K$ 个已知类别,其中 $\mathbf{x} \in \mathbb{R}^{H \times W \times 3}$ 为输入图像,$y \in \mathcal{Y}_{\text{train}} = \{1, 2, \ldots, K\}$ 为对应的真实类别标签。同时,测试数据集 $\mathcal{D}_{\text{test}}$ 的标签空间包含已知和未知类别,记为 $\mathcal{Y}_{\text{test}} = \mathcal{Y}_{\text{train}} \cup \{K+1\}$,其中 $K+1$ 代表所有未知的开放类别。OSR的目标是在 $\mathcal{D}_{\text{train}}$ 上训练一个模型 $\Theta$,使得在测试阶段,$\Theta$ 不仅能准确分类已知类别,还能识别未知类别。遵循文献[7],我们引入少量开放集样本来构建元数据集 $\mathcal{X}_{\text{meta}}$。这旨在通过元学习范式引导模型训练,从而进一步增强模型感知和检测未知数据的能力。

##### 3.1.3 模型概述

如图1所示,MOF由三个模块组成。对于每个闭集样本 $\mathbf{x} \in \mathcal{D}_{\text{train}}$,我们将其输入开放集生成(OSG)模块,利用多种变换并通过元网络 $(\Psi_1, \Psi_2)$ 进行置信度评估,生成开放集候选集 $\widehat{\mathcal{D}}_{\text{train}}$。然后,我们将生成的数据分为不可信的闭集 $\mathcal{X}_{\text{close}}$ 和可信的开放集 $\mathcal{X}_{\text{open}}$。在分类器网络更新(CNU)模块中,我们将 $\mathcal{X}_{\text{close}}, \mathcal{X}_{\text{open}}$ 通过特征提取器 $\Phi: \mathbb{R}^{H \times W \times 3} \to \mathbb{R}^d$,然后分别通过闭集分类器 $\Phi_{\text{cls1}}: \mathbb{R}^d \to \mathbb{R}^K$ 和开放集分类器 $\Phi_{\text{cls2}}: \mathbb{R}^d \to \mathbb{R}$,其中 $(H, W, 3)$ 表示输入图像尺寸,$d$ 表示特征维度。在元网络更新(MNU)模块中,我们将每个元数据样本 $\mathbf{x}' \in \mathcal{X}_{\text{meta}}$ 输入更新后的提取器 $\Phi$ 和两个分类器 $\Phi_{\text{cls1}}, \Phi_{\text{cls2}}$,获得其伪标签(记为 $y_{\text{meta}}$),以此监督元网络 $(\Psi_1, \Psi_2)$ 进行更新。总体而言,MOF通过渐进式流水线解决开放集识别问题。OSG首先通过构建多样化的伪开放集候选来扩展训练分布。由于此类生成的样本不可避免地具有不同的质量,且可能保留已知类别语义,元网络利用元监督自适应地评估其可靠性并动态纠正其伪标签。最后,双分类器架构将已知类别判别与未知类别估计分离,使分类器能够利用过滤后的伪开放集样本而不干扰闭集分类。因此,OSG提供候选多样性,元网络提供可靠性控制,双分类器设计提供解耦的预测机制。以下详述三个模块。

下载:下载高分辨率图片(1MB)下载:下载全尺寸图片

**图2.** 开放集生成(OSG)模块从闭集训练数据生成的伪开放集候选的定性示例。从上到下,五种策略分别为随机噪声、强烈变换、双样本混合、前景裁剪和背景混合。对于每种策略,展示了源闭集数据及其生成的伪开放集候选以供比较。

#### 3.2 开放集生成(OSG)模块

在OSR训练中,理想的开放集样本应维持与闭集样本的分布差异,同时保留语义信息。如图2所示,为了生成更丰富的伪开放集样本并增强模型对未知样本的检测能力,我们在开放集生成(OSG)模块中引入了五种多样化的数据变换策略。该模块以闭集训练数据为输入,通过不同程度地扰动和破坏原始图像的像素、几何结构和语义目标,生成高度多样化的开放集候选样本。具体而言,我们采用以下五种开放集生成策略。

**随机噪声:** 为模拟现实场景中可能出现的信号衰减和噪声,我们对输入样本施加高强度高斯噪声。对于给定的闭集样本 $\mathbf{x}$,生成的噪声样本定义为:$\mathbf{x}_{\text{noise}} = \mathbf{x} + \epsilon$,其中 $\epsilon \sim \mathcal{N}(0, \sigma^2)$,标准差 $\sigma$ 为服从均匀分布的随机变量。

**强烈变换:** 传统的数据增强旨在保持闭集样本的语义一致性;然而,为了生成开放集样本,我们对原始图像施加强烈的几何和像素级变换。具体而言,每种强烈变换将选自 $\{45°, 90°, 180°\}$ 的大角度随机旋转与两个从裁剪、颜色变换、高斯模糊和灰度转换中随机选择的额外操作相结合。通过破坏已知类别固有的结构和语义信息,强烈变换策略生成偏离特征空间中闭集分布的样本(记为 $\mathbf{x}_{\text{trans}}$)。

**双样本混合:** 给定原始样本 $\mathbf{x}_1$ 和 $\mathbf{x}_2$,我们首先对它们施加 $0°$ 到 $360°$ 之间的随机旋转让各自产生自干扰图像 $\mathbf{x}_{1\text{rot}}$ 和 $\mathbf{x}_{2\text{rot}}$,然后进行像素级线性插值混合:

$$\mathbf{x}_{\text{mix}} = \lambda \mathbf{x}_{1\text{rot}} + (1-\lambda)\mathbf{x}_{2\text{rot}}. \tag{1}$$

**前景裁剪:** 为在语义层面破坏已知样本,我们使用简单的图像分割算法GrabCut [35]。首先,我们提取每个样本 $\mathbf{x}$ 的前景和背景区域掩码,然后移除前景区域。该策略剥离了图像的核心语义特征,将生成的样本转化为仅包含背景信息的开放集图像(记为 $\mathbf{x}_{\text{crop}}$)。

**背景混合:** 基于前景裁剪,我们首先对原始图像进行水平翻转、垂直翻转、象限分割交换以及随机旋转,生成结构无序的填充图像 $\mathbf{x}_{\text{fill}}$。随后,我们将原始图像 $\mathbf{x}$ 的背景与该无序图像的前景区域进行融合重组:

$$\mathbf{x}_{\text{backmix}} = \lambda(\mathbf{x} \odot (1-M)) + (1-\lambda)(\mathbf{x}_{\text{fill}} \odot M) \tag{2}$$

其中 $M \in \{0,1\}^{H \times W}$ 为由分割算法提取的前景二值掩码。背景重组策略不仅消除了原始样本的判别性语义,还注入了伪结构噪声,从而生成更真实且具有挑战性的开放集样本。

五种策略产生的生成开放集为:

$$\widehat{\mathcal{D}}_{\text{train}} \triangleq \{\mathbf{x}_{\text{noise}}, \mathbf{x}_{\text{trans}}, \mathbf{x}_{\text{mix}}, \mathbf{x}_{\text{crop}}, \mathbf{x}_{\text{backmix}} | \mathbf{x} \in \mathcal{D}_{\text{train}}\}. \tag{3}$$

然而,$\widehat{\mathcal{D}}_{\text{train}}$ 的置信度较低。为筛选出高质量的伪开放集样本,我们将生成的样本输入元网络模块进行筛选,使模型能够自主学习将生成的样本分类为不可信的闭集 $\mathcal{X}_{\text{close}}$ 和可信的开放集 $\mathcal{X}_{\text{open}}$(见第3.3节)。

#### 3.3 元网络更新模块

在生成式OSR的背景下,在训练阶段引入模拟的未知数据可以辅助模型区分闭集与开放集之间的边界。然而,从闭集样本生成的开放集样本不可避免地包含一些仍然保留与已知类别语义相关性的样本。将所有此类候选分配固定的未知标签会引入错误的监督并使分类器产生偏差。这种偏差可能成为自我强化的:当前有偏的预测随后被纳入下一轮的伪标签融合中,增加了进一步错误伪标签分配的风险。为克服这一问题,我们引入可学习的元网络进行动态样本选择和标签纠正。其核心动机是将样本筛选方法从静态方法转变为自适应元过程,从而辅助分类器的训练。

在本模块中,我们详述元网络如何通过生成软伪标签来过滤可信的开放集样本,以及元网络自身的更新过程。我们将生成样本的筛选过程视为一个元过程,利用元网络自动执行标签纠正。对于OSG模块生成的候选开放集样本,由于它们初始的真实身份模糊且包含结构干扰,元网络需要整合动态的历史预测信息为其分配可靠的伪标签。

##### 3.3.1 软伪标签生成

对于 $\mathbf{x} \in \widehat{\mathcal{D}}_{\text{train}}$,元网络 $(\Psi_1, \Psi_2)$ 接收三种类型的数据作为输入:$\mathbf{x}$ 的初始one-hot标签 $y_{\text{init}} \in \{0,1\}^{K+1}$(设定 $[y_{\text{init}}]_{K+1} = 1$),分类网络 $\Phi, \Phi_{\text{cls1}}, \Phi_{\text{cls2}}$ 在当前训练轮次给出的预测标签 $\hat{y}$,以及元网络在前一训练轮次给出的伪标签 $\tilde{y}_{\text{old}}$。具体而言,元网络是一个两层多层感知器(MLP),用于提供融合权重[8]。对于每个 $\mathbf{x} \in \widehat{\mathcal{D}}_{\text{train}}$,元网络通过结合上述三种输入与融合权重生成软伪标签 $\tilde{y} \in \mathbb{R}^{K+1}$,即:

$$\tilde{y} = \Psi_1(\ell_{\text{CE}}(\hat{y}, y_{\text{init}})) \cdot y_{\text{init}} + (1-\Psi_1(\ell_{\text{CE}}(\hat{y}, y_{\text{init}}))) \cdot [\Psi_2(\ell_{\text{CE}}(\hat{y}, \tilde{y}_{\text{old}})) \cdot \tilde{y}_{\text{old}} + (1-\Psi_2(\ell_{\text{CE}}(\hat{y}, \tilde{y}_{\text{old}}))) \cdot \hat{y}], \tag{4}$$

其中:

$$\hat{y} = [\Phi_{\text{cls1}}(\Phi(\mathbf{x})); \Phi_{\text{cls2}}(\Phi(\mathbf{x}))] \in \mathbb{R}^{K+1}, \quad \forall \mathbf{x} \in \widehat{\mathcal{D}}_{\text{train}} \tag{5}$$

是分类网络给出的 $\mathbf{x}$ 的预测标签,$\ell_{\text{CE}}(y_1, y_2) = -y_2^{\top} \log(\text{Softmax}(y_1))$ 表示两个向量 $y_1, y_2$ 之间的交叉熵。

**注记1** 软伪标签(5)中权重设置的原因:$\hat{y}$ 的权重包含三项:$y_{\text{init}}$ 对应的 $\Psi_1(\cdot)$,$\tilde{y}_{\text{old}}$ 对应的 $\Psi_2(\cdot)$,以及 $\hat{y}$ 对应的 $1-\Psi_2(\cdot)$(见[8])。$\Psi_1$ 以当前预测与初始标签之间的损失作为输入,用于评估初始标签的可靠性并动态控制原始状态与模型演化预测之间的权重;$\Psi_2$ 以当前预测与历史预测之间的损失作为输入,用于捕捉相邻训练轮次之间的训练稳定性和预测一致性,从而使模型能够在当前预测和过去预测之间取得平衡。通过这种动态筛选过程,元网络 $(\Psi_1, \Psi_2)$ 有效地缓解了由分类网络偏差导致的误差累积问题。基于分配给每个样本 $\mathbf{x}$ 的软伪标签 $\tilde{y}$,我们可以从 $\widehat{\mathcal{D}}_{\text{train}}$ 中动态筛选出开放集样本。

##### 3.3.2 动态开放集样本筛选

通常,我们通过以下方式为每个 $\mathbf{x} \in \widehat{\mathcal{D}}_{\text{train}}$ 分配一个one-hot伪标签:

$$\hat{y}' = \text{OneHot}(\tilde{y}) \in \mathbb{R}^{K+1}, \tag{6}$$

其中 $\text{OneHot}$ 表示one-hot标签生成器。然后,我们将候选样本分为可信的开放集样本集 $\mathcal{X}_{\text{open}}$ 和不可信的闭集样本集 $\mathcal{X}_{\text{close}}$。即:

$$\forall \mathbf{x} \in \widehat{\mathcal{D}}_{\text{train}}: \begin{cases} \mathcal{X}_{\text{open}} \leftarrow \mathcal{X}_{\text{open}} \cup \{\mathbf{x}\} & \text{如果 } [\tilde{y}]_{K+1} > \max_{k=1\ldots K} [\tilde{y}]_k \\ \mathcal{X}_{\text{close}} \leftarrow \mathcal{X}_{\text{close}} \cup \{\mathbf{x}\} & \text{否则} \end{cases} \tag{7}$$

##### 3.3.3 元网络优化策略

为更新元网络 $(\Psi_1, \Psi_2)$ 的参数,我们采用双层互相促进的优化过程,利用少量真实的开放集样本作为元数据集 $\mathcal{X}_{\text{meta}}$ 来引导模型更新。首先,在分类器网络更新步骤中,分类网络 $\{\Phi, \Phi_{\text{cls1}}, \Phi_{\text{cls2}}\}$ 首先基于 $\mathcal{X}_{\text{close}} \cup \mathcal{X}_{\text{open}}$ 上的分类损失进行初始更新,即:

$$\min_{\Phi, \Phi_{\text{cls1}}, \Phi_{\text{cls2}}} \mathcal{L}_{\text{classify1}} = -\mathbb{E}_{\mathbf{x} \in \mathcal{X}_{\text{close}} \cup \mathcal{X}_{\text{open}}} (\hat{y}' \cdot \log(\text{Softmax}(y'))), \tag{8}$$

$$\text{其中 } y' = [\Phi_{\text{cls1}}(\Phi(\mathbf{x})); \Phi_{\text{cls2}}(\Phi(\mathbf{x}))] \in \mathbb{R}^{K+1}, \quad \forall \mathbf{x} \in \mathcal{X}_{\text{close}} \cup \mathcal{X}_{\text{open}},$$

其中 $\hat{y}' \in \mathbb{R}^{K+1}$ 表示 $\mathbf{x} \in \mathcal{X}_{\text{close}} \cup \mathcal{X}_{\text{open}}$ 的one-hot伪标签(6)。随后,在元网络更新步骤中,我们将元数据 $\mathbf{x} \in \mathcal{X}_{\text{meta}}$ 输入更新后的分类网络 $\{\Phi, \Phi_{\text{cls1}}, \Phi_{\text{cls2}}\}$ 以获取其预测标签 $y$:

$$y = [\Phi_{\text{cls1}}(\Phi(\mathbf{x})); \Phi_{\text{cls2}}(\Phi(\mathbf{x}))] \in \mathbb{R}^{K+1}, \quad \forall \mathbf{x} \in \mathcal{X}_{\text{meta}}, \tag{9}$$

并通过其真实one-hot标签 $y_{\text{gt}}$ 利用交叉熵损失更新元网络:

$$\min_{\Psi_1, \Psi_2} \mathcal{L}_{\text{meta}} = -\mathbb{E}_{\mathbf{x} \in \mathcal{X}_{\text{meta}}} (y_{\text{gt}} \cdot \log(\text{Softmax}(y))). \tag{10}$$

#### 3.4 分类器网络更新模块

我们将分类模型的训练分为两个阶段:预训练阶段和正式训练阶段。

前者用于学习闭集分类器Φcls1,而后者用于学习开集分类器Φcls2(见表2)。通常,在预训练阶段,我们基于闭集数据Dtrain更新特征提取器Φ和闭集分类器Φcls1,即:

(11) minΦ,Φcls1 Lpre = ?Ex∈Dtrain (?? log(Softmax(Φcls1(Φ(x))))),

其中?∈RK表示x∈Dtrain的真实one-hot标签。通过这种方式,公式(11)确保模型对K个已知类别具有鲁棒的分类能力。

在正式训练阶段,具体而言在"实际分类网络更新"步骤中,我们基于所有数据Dtrain∪D?train更新分类网络(Φ, Φcls1, Φcls2),其中监督标签可以是真实标签ygt或伪标签?′(公式6)。即:

(12) minΦ,Φcls1,Φcls2 Lclassify = Lclassify1 + Lclassify2,

其中 Lclassify2 = ?Ex∈Dtrain (ygt ? log(Softmax(y′))),y′ = [Φcls1(Φ(x)); Φcls2(Φ(x))] ∈ RK+1,?x∈Dtrain。

这里Lclassify1是在生成的数据D?train上定义的交叉熵损失(见公式8),Lclassify2是在原始闭集Dtrain上定义的交叉熵损失。完整的双层优化和动态过滤流程正式描述于算法1中。

**注2:通过双层优化实现的梯度传播路径。** 设ΘΦ、ΘΦcls1和ΘΦcls2分别表示特征提取器、闭集分类器和开集分类器的参数。在每次迭代中,我们首先基于Ψ1和Ψ2产生的伪标签融合权重,在当前训练批次上计算Lclassify并执行可微更新:

(13) [ΘΦ, ΘΦcls1, ΘΦcls2] ← [ΘΦ, ΘΦcls1, ΘΦcls2] ? η1 ?ΘΦ,ΘΦcls1,ΘΦcls2 Lclassify。

然后在元批次Bmeta?Xmeta上评估分类器网络以计算Lmeta,并通过以下公式更新元网络:

(14) ΘΨk ← ΘΨk ? η2 ?ΘΨk Lmeta,k=1,2。

分类器更新保留了完整的计算图。因此,Lmeta的梯度通过以下路径传播:

(15) ΘΨk → Lclassify → [ΘΦ, ΘΦcls1, ΘΦcls2] → Lmeta。

该梯度包含了由分类器更新引起的混合二阶导数。因此,MOF采用了完整的二阶双层元优化。在实现中,分类器通过启用高阶梯度跟踪的可微优化器进行更新。逐样本损失仅作为Ψ1和Ψ2的输入特征,而由元网络Ψ1、Ψ2产生的权重参与Lclassify的计算,并通过上述双层梯度路径进行优化。在更新Ψ1和Ψ2之后,实际分类网络使用重新计算的Lclassify并以学习率η1进行更新。

**表2:超参数的解释和取值。**

| 模块 | 解释 | 符号 | 取值或结构 |
|------|------|------|------------|
| OSG | 闭集 | Dtrain | – |
| | 测试集 | Dtest | – |
| | 闭集标签 | Ytrain | {1,2,…,K} |
| | 测试集标签 | Ytest | Ytrain∪{K+1} |
| | 生成的开集候选 | D?train | – |
| | 候选的初始one-hot标签 | yinit | [0,…,0,1]?∈{0,1}K+1 |
| | 前景二值掩码 | M | {0,1}H×W |
| | 噪声标准差 | σ | U(0,0.5) |
| | 混合权重 | λ | 0.5 |
| 元网络 | 元集 | Xmeta | \|Xmeta\|=1000 |
| | 元网络 | Ψ1,Ψ2 | MLP(隐藏层宽度10,层数2)|
| | 当前轮次预测标签 | ? | RK+1 [公式(5)] |
| | 软伪标签 | ? | RK+1 [公式(4)] |
| | One-hot伪标签 | ?′ | RK+1 [公式(6)] |
| | 不确定闭集 | Xclose | – |
| | 确定开集 | Xopen | – |
| 分类网络 | 真实标签 | ygt | RK+1 |
| | Φ,Φcls1,Φcls2 | | |
| | 输入图像 | x | RH×W×3 |
| | 特征提取器 | Φ | RH×W×3→Rd |
| | 闭集分类器 | Φcls1 | Rd→RK |
| | 开集分类器 | Φcls2 | Rd→R |
| | 特征维度 | d | 512 |
| 优化 | 闭集预训练轮数 | Epre | 60 |
| | MOF轮数 | EMOF | 20 |
| | 分类器学习率 | η1 | 0.001 |
| | 元网络学习率 | η2 | 0.001 |
| | 训练批次、元批次 | Btrain, Bmeta | \|Btrain\|=\|Bmeta\|=128 |

## 4. 实验

### 4.1. 实验设置

#### 4.1.1. 数据集

为了全面评估所提出方法在OSR任务中的有效性和鲁棒性,我们在五个广泛使用的参考图像数据集上进行了实验:SVHN、CIFAR-10、CIFAR+10、CIFAR+50和ImageNet-tiny。在标准OSR设置下,我们将每个数据集划分为已知(闭集)类别和未知(开集)类别。模型在已知类别的训练集上进行训练,而在测试阶段,需要处理来自已知和未知类别的测试样本。各数据集的开集划分策略如下:

- **SVHN(街景门牌号)**:该数据集包含真实世界门牌号的彩色图像,分辨率为32×32像素,包含10个类别(数字0–9)。在我们的实验中,随机选择6个类别作为训练阶段的已知类别,而其余4个类别在测试阶段被视为未知(开集)类别。

- **CIFAR-10**:该数据集由10个常见物体类别的彩色图像组成,分辨率为32×32像素。总共包含60,000张图像,包括50,000张训练图像(每类5000张)和10,000张测试图像(每类1000张)。与SVHN类似,我们随机选择6个类别作为已知类别,并将其余4个类别作为未知类别。

- **CIFAR+10、CIFAR+50**:这两个数据集是基于CIFAR-10和CIFAR-100构建的跨数据集,图像分辨率均为32×32像素。在CIFAR+10中,我们从CIFAR-10数据集中随机选择4个类别作为训练阶段的已知类别。在测试阶段,我们引入从CIFAR-100数据集中随机选择的10个类别作为开集未知类别。在CIFAR+50中,我们从CIFAR-10中随机选择4个类别作为已知类别。从CIFAR-100引入的开集未知类别数量增加到50个,旨在验证模型在面对更大规模未知干扰时的识别能力。

- **ImageNet-tiny**:作为ImageNet的子集,该数据集包含更复杂、更高分辨率的图像,常用于评估细粒度和大规模图像的OSR性能。它由200个类别组成,每个类别包含500张训练图像和50张测试图像。图像分辨率为64×64像素。在我们的实验设置中,随机选择20个类别作为已知类别,其余180个类别全部作为开集未知类别进行测试。

#### 4.1.2. 评估基线

为了评估所提出的元学习分类器(MOF)框架的性能,我们将其与一系列最先进的基线方法进行比较。这些方法可分为以下几类:

**基础基线**:类似于[10],我们采用标准Softmax模型作为最基本的基线,该模型代表使用交叉熵损失训练的传统闭集分类器,不使用任何开集检测方法。

**基于生成和重建的方法**:该类别包括通过建模类别分布或利用重建误差来识别未知样本的方法。示例包括类别条件自编码器(C2AE [36])、条件高斯分布学习(CGDL [3])和基于反事实图像的开放集识别(OSRCI [37])。这些方法通常依赖于未知样本无法被完美重建或不符合已知类别所学习的高斯分布这一假设。

**基于原型和表示学习的方法**:这些方法的目标是学习已知类别的判别性特征表示或原型。我们与基于原型学习的生成分类器(GCPL [38])、SLCPL [39]和MGPL [40]进行了比较。这些方法在特征空间中创建清晰的决策边界,通过约束已知类别的特征来为模型处理未知输入做准备。

**高级方法**:我们还与几种最近的高竞争性方法进行了基准比较。这包括通过主动混合已知数据和模拟的未知数据来增强不确定性建模的OpenMix+ [5]。此外,我们还包括OVRN-CD [41]、Hybrid [42]、GCM-CF [43]、OPG [44]、PROSER [45]、OpenMax [46]、G-OpenMax [47]和CONOSR [48],这些方法在我们的对比评估中表现出较高的闭集准确率(ACC)和开集AUROC。

#### 4.1.3. 实现细节

为了确保公平评估,我们的实验设置遵循标准OSR协议。我们采用未训练的ResNet18架构作为所有分类任务的骨干网络。在60个轮次的闭集预训练之后,进行20个轮次的元网络更新。在训练过程中,分类模型使用随机梯度下降(SGD)算法进行优化,动量为0.9,权重衰减为5×10??,初始学习率为0.001。训练数据流的批大小设置为128。训练数据的变换包括添加4像素填充并随机裁剪回原始大小、随机水平翻转、张量转换以及均值和标准差归一化。在评估阶段,仅应用张量转换和相同的归一化。元数据集包含1000个数据:500个真实开集数据从Random_300K数据集中无放回随机采样,500个闭集数据从已知类别的训练数据中无放回采样。在元优化之前,元数据被转换为张量并使用与主训练数据相同的均值和标准差进行归一化。所有模型均使用PyTorch实现。模型参数使用PyTorch默认的Kaiming均匀初始化进行初始化,并在NVIDIA GeForce RTX 4090 GPU上进行训练,随机种子已固定以确保类别划分和训练动态的可重复性。实验使用5个不同的随机种子,并报告平均结果。

#### 4.1.4. 元网络实现细节

MOF在元网络中采用两个子网络,它们具有相同的架构但独立的参数。每个元网络以交叉熵损失作为输入。隐藏层使用ReLU激活函数,而输出层使用Sigmoid函数将输出约束在[0,1]范围内。输出用作不同伪标签来源的自适应融合权重,而非直接预测类别标签。

元网络未施加额外的手动初始化。两个全连接层的权重使用Kaiming均匀初始化,其偏置从由输入维度确定的均匀分布中初始化。

与主网络不同,由于元网络规模较小,其中仅有从损失到权重的映射,且接收到的元监督信号的规模较小并在训练期间动态变化。Adam会为每个参数自适应地调整步长,通常在这种小网络中更有可能快速收敛。元网络使用Adam进行优化,学习率为0.001,权重衰减为5×10??。除了权重衰减之外,元网络中未使用Dropout、Batch Normalization或其他显式正则化技术。

#### 4.1.5. OSG实现细节

OSG生成10,000个伪开集候选样本。五种策略以等比例采样,即每种策略占生成候选的20%。OSG数据加载器使用64的批大小。

- **随机噪声**:向每张输入图像添加零均值高斯噪声U(0,0.5)。

- **强变换**:首先对每个样本施加从{45°, 90°, 180°}中随机选择的大角度旋转。然后,从随机缩放裁剪、颜色抖动、高斯模糊和灰度转换中无放回随机采样两个附加扰动,并依次应用于旋转后的图像。随机缩放裁剪首先从输入图像中采样一个区域,然后将裁剪区域缩放回输入图像的原始空间分辨率。裁剪比例从(0.70, 0.90)中采样,长宽比范围设置为(0.75, 1.33)。对于颜色抖动,亮度、对比度和饱和度因子设为0.2,色调因子设为0.1。高斯模糊使用大小为3的内核,标准差从(0.1, 1.5)中采样。以0.3的概率应用随机灰度转换。该设计产生结构性扰动的样本,同时避免同时应用所有变换所导致的过度语义破坏。

- **双样本混合和背景混合**:混合系数固定为λ=0.5。

- **前景裁剪和背景混合**:首先使用GrabCut获得二值前景掩码。给定大小为H×W的输入图像,初始化矩形设置为(1,1,W?2,H?2)。图像边界初始化为确定背景,其余像素初始化为可能前景。随后,使用初始化的前景-背景掩码进行一次GrabCut迭代以细化二值前景掩码。为去除无效分割结果,仅保留前景面积比在(0.05, 0.95)范围内的样本。在背景混合中,变换后的填充图像通过随机水平翻转、随机垂直翻转、象限分割与交换以及随机旋转生成。最终合成遵循公式(2)。

#### 4.1.6. 评估指标

我们采用两个评估指标:已知类别的分类准确率和未知类别的检测能力。

**闭集准确率(ACC)**:闭集准确率用于评估模型在已知类别(闭集)测试样本上的多分类性能。它表示在所有真实已知类别样本中,被正确预测到其特定类别的样本比例。在计算过程中,不考虑任何未知类别(开集)样本。ACC的计算公式为:

(16) ACC = Ex∈Dtest ∧ ygt∈Ytrain [1(ypre = ygt)]

其中ypre和ygt分别代表闭集样本x的预测标签和真实标签。

**ROC曲线下面积(AUROC)**:AUROC是开放集检测中最常用的评估指标,衡量模型区分已知类别(闭集)样本和未知类别(开集)样本的能力。它是一个阈值无关的综合指标。

在开放集检测中,已知类别样本通常被视为正实例,而未知类别样本被视为负实例。模型根据计算出的分数对所有样本进行排序。

AUROC 值的范围从 0.5 到 1.0,其中越接近 1.0 的值表示区分已知类和未知类的能力越强;0.5 的值表示模型已退化为随机猜测。AUROC 代表 ROC 曲线下的积分面积,该曲线以假正率 (FPR) 为横坐标,真正率 (TPR) 为纵坐标绘制:
(17) AUROC = ∫?1 TPR(FPR)d(FPR)
其中 TPR = TP / (TP + FN) 表示真正率,代表所有已知类样本中被正确判定为已知的比例;FPR = FP / (FP + TN) 表示假正率,代表所有未知类样本中被错误判定为已知的比例。此处 TP、FP、TN、FN 分别表示真阳性、假阳性、真阴性、假阴性,我们将已知类视为正类,未知类视为负类。

4.2. 结果与分析
为了全面评估 MOF 在 OSR(开放集识别)中的表现,我们在几个基准数据集上进行了实验,包括 SVHN、CIFAR-10、CIFAR+10、CIFAR+50 和 ImageNet-tiny。实验从两个维度将 MOF 与现有主流方法进行比较:未知类检测能力 (AUROC) 和已知类分类准确率 (ACC)。

4.2.1. 未知类检测能力
AUROC 指标用于衡量模型区分已知类样本和未知类样本的能力。根据表 3 的上部子表,MOF 在大多数基准测试中展现了出色的开放集检测性能。在 SVHN、CIFAR-10 和 CIFAR+50 数据集上,MOF 分别取得了 96.3%、91.7% 和 90.8% 的 AUROC 分数,在所有比较方法中排名第一。在 ImageNet-tiny 上,MOF 取得了 73.1% 的 AUROC,在所有比较方法中排名第二,仅次于取得 74.9% 的 SLCPL。这表明无论是在简单数据集上,还是在更高分辨率和更复杂类别的场景中,该方法都能对未知样本保持较高的识别率。此外,在涉及大规模未知类干扰的 CIFAR+50 测试设置下,传统方法通常会出现显著的性能波动,而 MOF 仍然取得了最佳性能 90.8%。另外,在 CIFAR+10 中,MOF 取得了 91.2% 的分数,仅次于 SLCPL [39]。这种出色的检测能力归功于我们设计的 Meta Net 和双层优化策略。当面临通过随机噪声和前景裁剪等方法生成的具有身份歧义的伪开放集样本时,Meta Net 可以整合动态历史预测信息为它们分配可靠的伪标签,并自主选择高置信度的开放集样本进行训练。这种方法阻断了由分类器预测偏差引起的错误累积,从而在特征空间中构建了开放集与闭集之间更清晰的决策边界。

表 3. OSR 的 AUROC 和 ACC 定量结果 (单位:% )。粗体、下划线分别表示最佳和次佳结果。? 表示我们自行实现的结果。
表 4. MOF 在 CIFAR-10 上针对 AUROC 和 ACC 的消融研究 (单位:% )。

4.2.2. 已知类分类准确率
在 OSR 任务中,模型不仅要检测未知类,还必须确保已知类样本的准确分类。根据表 3 的下部子表,MOF 在保持闭集准确率方面表现出色。MOF 在 CIFAR-10、CIFAR+10、CIFAR+50 和 ImageNet-tiny 上的闭集分类准确率分别为 96.6%、97.1%、97.1% 和 66.5%。在基于 CIFAR 的设置上,它优于 OPG [44]、CONOSR [48] 和 OpenMix+ [5];在 ImageNet-tiny 上,它仅低于 OPG [44]。在 SVHN 上,MOF 取得了 96.6% 的准确率,几乎与表现最好的 MGPL [40] 方法持平。这表明 MOF 在不同的数据分布下具有高度的稳定性。传统方法在引入伪开放集样本后容易受到噪声干扰,而 MOF 将分类网络分解为特征提取器 Φ、闭集分类器 Φcls1 和开放集分类器 Φcls2。这种框架使闭集分类器能够专注于学习已知类别间的高判别性特征,而无需牺牲其原有的分类能力来适应生成的伪开放集样本。因此,它在增强识别未知类能力的同时,没有降低已知类的分类准确率。

4.3. 消融研究
4.3.1. MOF 主要模块的消融
为了验证 MOF 模型的有效性,我们在 CIFAR-10 上进行了消融研究。表 4a 比较了完整的 MOF 模型与基础基线模型及缺少某些模块的变体。
• ① Softmax:基线模型 ① 采用与 MOF 相同的训练策略,仅使用标准的闭集分类损失进行训练,未引入任何伪开放集样本生成或元标签校准方法。
• ② w/o MNU:该变体 ② 保留了 OSG 模块和双分类器架构,但移除了 Meta Net Update 模块。因此,生成的伪开放集候选样本在用于更新分类网络时,没有进行元监督动态伪标签校准和过滤。
• ③ w/o real meta data:变体 ③ 保留了完整的 MOF 框架,但将 500 个从 Random300K 中随机采样的真实开放集元数据替换为 500 个由 OSG 生成的伪开放集数据。该设置评估了在没有真实外部未知样本的情况下,MOF 是否仍能运行。

根据表 4a,每个组件都对开放集识别性能有贡献。与 Softmax 基线 ① 相比,w/o MNU ② 将 AUROC 从 88.6% 提升至 90.2%,提高了 1.6 个百分点。这一结果表明,OSG 生成的候选样本有助于分类器建立已知数据和未知数据之间更有效的决策边界。当真实开放集元样本被 OSG 生成的元样本替换时,w/o real meta data 变体 ③ 取得了 91.1% 的 AUROC。这一结果比 w/o MNU ② 高 0.9 个百分点,比 Softmax ① 高 2.5 个百分点,表明所提出的框架即使没有真实外部未知样本,也能从元监督过滤中受益。然而,其性能仍比 MOF 低 0.6 个百分点,这表明真实的开放集元数据为学习伪标签校准策略提供了更可靠的元监督。

MOF 取得了最佳的 91.7% AUROC,分别比 Softmax ①、w/o MNU ② 和 w/o real meta data ③ 提高了 3.1、1.5 和 0.6 个百分点。这些结果表明,性能增益并非仅归因于 OSG。相反,OSG 候选生成、元监督伪标签校准以及少量真实开放集元数据集的使用共同促成了最终性能。

4.3.2. 开放集生成策略的消融
为了评估 OSG 模块中五种开放集样本生成策略的贡献,我们在 CIFAR-10 上进行了消融研究。如表 4b 所示,MOF 取得了最高的 91.7% AUROC。丢弃背景混合策略 (w/o xbackmix) 导致 AUROC 下降最显著,降至 90.9%,证明了其在生成逼真且具有挑战性的未知样本中的关键作用。同样,移除双样本混合 (w/o xmix) 或前景裁剪 (w/o xcrop) 将使 AUROC 降至 91.2%。移除随机噪声 (w/o xnoise) 或强烈变换 (w/o xtrans) 也会导致明显的性能下降(分别为 91.5% 和 91.4%)。在闭集分类方面,移除双样本混合 (w/o xmix) 或随机噪声 (w/o xnoise) 策略会导致最明显的 ACC 下降(分别降至 95.3% 和 95.5%)。这表明这些策略不仅合成了开放集候选样本,还起到了隐式数据增强和正则化的作用,从而增强了闭集分类器的泛化能力。当移除破坏性语义变换如前景裁剪 (w/o xcrop)、强烈变换 (w/o xtrans) 或背景混合 (w/o xbackmix) 时,ACC 仍保持较高水平(分别为 95.9%、95.8% 和 95.8%)。这是因为缺少这些策略减少了困难、歧义样本的出现,缓解了闭集分类器的学习压力。总体而言,这些下降证实了每种生成策略都有助于建立已知类和未知类之间稳健的决策边界,它们的组合为开放集检测提供了最全面的特征空间覆盖。

4.3.3. 元网络的消融
元网络 MLP 结构的选择。元网络的输入是从三个输入源计算出的损失,其输出是一个 0 到 1 之间的权重。因此,它们的目的是学习低维非线性重加权关系,而不是提取高维视觉表示。我们测试了隐藏宽度为 10、50 和 100 的配置,以及线性层深度为 1、2 和 3 的配置;其中宽度为 10 且深度为 2 的配置对应于原始结构。如表 4c 所示,所有配置的 AUROC 都在 91.2%–91.7% 的范围内,表明 MOF 对元网络的大小不敏感。增加宽度或深度并未带来一致的性能提升。例如,当宽度为 100 时,深度从 2 增加到 3,AUROC 略微从 91.7% 降至 91.4%。因此,我们采用两层 MLP 作为默认元网络:该结构足以建模从损失到权重的非线性映射,同时避免了使用更深网络所带来的额外参数、优化复杂度以及在小型元数据上潜在过拟合风险。

元网络不同输入的选择。我们进一步评估了伪标签融合中使用的三种信息源的贡献,即初始标签、当前预测和历史预测。对于每个输入源消融,对应的源被从伪标签融合中移除,同时保持所有其余训练设置不变。如表 4d 所示,完整的 MOF 取得了最佳的 91.7% AUROC。移除初始标签源会使 AUROC 降至 91.4%,而移除当前预测源或历史预测源会进一步使 AUROC 降至 91.2%。这些结果表明三个源提供了互补的信息:初始标签保留了原始先验,当前预测反映了不断演变的分类器状态,历史预测防止了单个 epoch 中的波动。

4.3.4. 元数据大小 |Xmeta| 的影响
我们进一步研究了 MOF 对元数据大小的敏感性。在 CIFAR-10 中,我们固定其他超参数,只改变元数据的数量。元数据中使用的闭集数据数量与开放集数据数量相同。例如,当大小为 50 时,表示同时使用 50 个开放集数据和 50 个闭集数据。每个配置独立运行五次,表 4e 中报告了平均 AUROC。

如表 4e 所示,当使用 500 个元样本时,MOF 取得了最佳平均 AUROC。50、500 和 5000 元数据之间的性能差异不超过 0.6 个百分点,证明所提出的方法通常对元数据大小具有鲁棒性。较小的元数据可能无法充分覆盖不同的样本状态,而将大小增加到 500 以上并不会产生一致的增益,反而引入了额外的优化成本。因此,我们在实验中使用 500 个元数据作为性能与效率之间的平衡。

4.3.5. 双分类器的消融
如表 4a ④所示,我们还评估了双分类器设计,用单个共享的 (K+1) 类分类器替换原来的已知类分类器和未知类分类器。AUROC 从 91.7% 降至 90.8%。这一结果表明,将已知类判别与未知类估计分离有助于减少它们的相互干扰,并提高开放集识别性能。

表 5. 在 CIFAR-10 上使用 ResNet-18 的训练时间。所有方法使用批量大小 128,训练 20 个 epoch。
方法 时间/Epoch (s) 吞吐量 (img/s) 峰值内存 (GB)
Softmax 19.48 1540.9 0.72
w/o MNU 43.33 692.4 1.11
MOF 126.42 237.3 2.62

表 6. 在 CIFAR-10 上使用 ResNet-18 的部署时效率。指标包括参数量、乘累加操作 (MACs)、GFLOPs、每个 batch 的平均延迟和每个 batch 的平均吞吐量。所有方法使用测试批量大小 256。
方法 参数量 (M) 大小 (MB) MACs (G) GFLOPs 延迟 (ms) 吞吐量 (img/s)
Softmax 11.19 48 42.74 150.55 54 11095.50 30 361.5
w/o MNU 11.19 53 42.74 351.11 092.22 1711.46 15 255.9
MOF 11.19 53 42.74 351.11 092.22 1712.97 15 258.1

下载:下载高分辨率图片 (753KB) 下载:下载全尺寸图片
图 3. MOF 在 CIFAR-10 上使用 ResNet-18 的基于 CAM 的定性可视化。左边三组显示已知样本,右边三组显示未知样本。红色表示对目标输出有相对较高正贡献的区域,而蓝色表示贡献较低的区域。

4.3.6. 计算效率
我们评估了 Softmax、w/o MNU 和 MOF 在 CIFAR-10 上使用 ResNet-18 的训练时间和部署时效率。

所有方法均在同一块 NVIDIA RTX 4090 GPU 上训练 20 个周期,训练批次大小为 128,测试批次大小为 256。表 5 展示了训练时间开销。Softmax 每个周期需要 19.48 秒,峰值 GPU 内存为 0.72 GB。引入无 MNU 的开放集双分类器训练后,时间增加至每个周期 43.33 秒,峰值内存为 1.11 GB。MOF 每个周期需要 126.42 秒,峰值内存为 2.62 GB。与无 MNU 相比,MOF 的额外训练成本主要源于双层元优化:分类器更新图被保留,元损失通过该更新反向传播以计算 Meta Net 的二阶元梯度。训练过程还包括 Meta Net 的前向/反向计算以及伪标签的预测与更新。

表 6 报告了部署时的复杂度。在 MNU 中,Meta Net、元优化和伪标签更新仅在训练阶段使用。测试时仅保留主分类器。因此,MOF 与无 MNU 相比未引入额外的部署开销。MOF 与无 MNU 具有相同的部署复杂度,参数量为 11.1953 M,模型大小为 42.7435 MB,1.1109 G MACs,2.2217 GFLOPs。它们的推理延迟(12.97 ms 和 11.46 ms)和吞吐量(15258.1 和 15255.9 图像/秒)也几乎相同。

与 Softmax 相比,开放集模型因增加未知的类输出而增加少量参数,从 11.1948 M 增至 11.1953 M。然而,它们的推理 MACs 从 0.5554 G 增加至 1.1109 G,批次为 256 的吞吐量从 30361.5 降至 15257 图像/秒。这额外的推理计算归因于双分类器的开放集预测。总体而言,在训练过程中,MOF 为获取 Meta Net 的更新和优化伪标签引入了额外成本,但与无 MNU 相比未引入额外的部署开销。

4.3.7. 与元数据辅助基线的公平对比

为检验 MOF 的性能提升是否仅由额外元数据的访问所导致,我们构建了一个元数据辅助的 Softmax 基线。该基线使用与 MOF 相同的 500 条开放元数据,直接在有监督的已知数据和未知元数据上进行训练。它不使用 OSG 和 MNU。

如表 4a ⑤ 所示,在相同的数据划分、骨干网络、训练周期数和元数据规模下,通过元数据集直接监督训练的基线在训练结束时实现了 93.0% 的闭合集准确率和 86.2% 的 AUROC。即使使用 softmax 和相同的训练策略,仅通过闭合集样本训练也可达到 88.6% 的 AUROC。这表明,加入少量元开放集数据进行训练实际上可能对模型训练产生不利影响。相比之下,MOF 实现了 91.7% 的平均 AUROC。这些结果表明,MOF 的改进并不完全归因于额外的元数据。更重要的是,MOF 通过双层优化和迭代伪标签更新,有效地将元监督信号转移到 OSG 生成的伪开放集样本上。

4.3.8. 定性注意力可视化

为定性考察 MOF 用于已知类识别和未知类拒绝的视觉证据,我们在图 3 中提供了基于 CAM 的可视化结果。我们使用最终的 ResNet-18 MOF 模型,从 CIFAR-10 测试集中随机选择三个被正确分类的已知样本和三个被正确拒绝的未知样本。对于已知样本,CAM 通过其预测已知类的 logit 计算。对于未知样本,CAM 通过开放集分类器产生的未知类 logit 计算。

如图 3 所示,已知样本的响应主要集中在判别性的前景区域,如局部物体结构、轮廓以及与该类别相关的纹理,而非均匀分布于图像中。对于未知样本,未知类头对与已学习已知类模式不一致的局部外观和前景产生响应。这些可视化结果表明,模型的未知类判别不仅仅依赖于全局上下文,而是利用局部视觉线索进行开放集拒绝。

5. 结论

本文提出了元开放集过滤(MOF),一种用于开放集识别的元学习框架。MOF 首先通过开放集生成模块产生多样的伪开放集候选样本。随后,它采用两个 Meta Net 自适应地融合每个候选的初始标签、当前预测和历史预测,从而校准伪标签。Meta Net 通过由小型元数据集指导的可微二阶双层优化进行优化,而主分类器则通过双分类器架构联合训练以分类已知类和识别未知类。大量实验表明,MOF 在维持强大的闭合集分类性能的同时,提升了未知类检测能力。

尽管具有这些优势,MOF 仍存在若干局限性。首先,该框架需要包含外部未知样本的小型元数据集;尽管所需数量有限,但在实际的开放世界场景中,此类数据并不总是可获得。其次,为进行二阶元优化而保留可微分类器更新会增加训练时间和 GPU 内存消耗,尽管这些额外组件在部署时不会保留,但该成本在更大规模的数据集、更大模型、更高分辨率输入或更大批次大小的情况下可能变得更加显著。第三,当前的 OSG 模块基于预定义的图像变换,可能无法完全覆盖专业领域(如医学影像、遥感或视频数据)中遇到的多样且复杂的未知分布。

在后续工作中,我们将研究如何在不依赖真实外部未知样本的情况下构建有效的元监督信号,例如通过自监督学习或高质量合成异常样本。我们还将探索可学习的生成策略,以产生更接近开放集决策边界的更具挑战性的样本。此外,开发更具计算效率的元优化策略是将 MOF 扩展至大规模数据集和资源受限应用的重要方向。

作者贡献声明

郭鹏力:撰写——初稿,方法论。王少凡:撰写——审阅与编辑,监督。王静怡:调查,数据整理。孙艳锋:经费获取,概念化。

郭鹏力 | 王少凡 | 王静怡 | 孙艳锋
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号