用于开放集识别的特定类别原型网络

《Neurocomputing》：Class-specific prototype networks for open-set recognition

　　李玉林|李金江|胡丽英|徐坤鹏|陈丽菲
福建师范大学计算机与网络安全学院，福州，363000，中国

**摘要**
开放集识别（OSR）旨在解决正确识别训练期间未观察到的未知类别样本的挑战。尽管现有的基于原型的OSR方法在某种程度上提高了模型的鲁棒性，但依赖于所有类别共享的原型编码器通常会限制捕捉类别特定语义特征的能力。为了克服这一限制，我们提出了一个类别特定原型编码器（CSPE）框架，在该框架中，每个类别在主干网络末端都分配了一个独立的轻量级编码器来学习代表性原型。每个编码器仅专注于将其目标类别的样本映射到其对应的原型附近，同时将非目标样本推开，而不考虑其他类别原型的相对位置。这种设计使得学习到的原型更加紧凑和具有区分能力。此外，我们提出了一种原型约束机制，将每个类别原型限制在嵌入特征空间的边界上，从而降低未知样本入侵的风险。实验结果表明，所提出的方法在多个基准数据集上优于现有的基于原型的方法。代码可在以下链接公开获取：https://github.com/LYLCML/CSPN

**引言**
近年来，深度学习在包括自然语言处理[1]、[2]、计算机视觉[3]、[4]和生物信息学[5]、[6]在内的多个领域的分类任务中表现出色。然而，大多数主流深度学习模型都是在封闭集假设下运行的，该假设认为所有测试类别在训练期间都被观察到。虽然这种假设通过将决策限制在已知类别上来简化了模型设计，但它忽略了未知类别干扰的挑战——这是现实世界应用中的一个关键限制，因为在测试数据中可能包含训练期间未见过的新型类别[7]。在这种开放环境中，传统模型经常将未知类别样本错误地分类为已知类别，从而影响了它们的鲁棒性和安全性。
为了解决这一差距，研究人员引入了开放集识别（OSR），这是一种更具挑战性的范式，要求模型不仅能够准确分类已知类别，还能够有效拒绝未知类别[8]。正式地，OSR可以表述为一个扩展的类别分类问题，其中表示训练期间观察到的已知类别，而额外的类别代表所有潜在的未知类别。OSR中的一个核心挑战在于提前收集和注释未知类别数据的固有难度，因为这些样本在定义上是在训练期间未被观察到的。这一限制在关键的现实世界场景中尤为明显。例如，生物医学信号分析可能会遇到罕见疾病模式[9]，工业检测系统必须识别以前未见过的缺陷类型[10]。同样，在目标识别任务中，模型也需要处理训练阶段未出现的新目标类别[11]、[12]。因此，在开放世界环境中提高模型的泛化和鲁棒性已成为一个重要的研究前沿。

卷积神经网络（CNN）使用SoftMax层输出类别概率，预测结果由概率最高的类别决定。尽管可以对这些概率进行简单的阈值处理以适应OSR，但图1(a)揭示了一个根本缺陷：SoftMax的强归一化效应迫使未知样本被分配到某个已知类别中，通常具有不合理的高的置信度。为此，Bendale等人提出了OpenMax[13]，利用极值理论（EVT）[14]对类别激活向量进行统计建模并重新校准概率分布。后续的工作[15]、[16]对OpenMax进行了改进，但仍然依赖于平均激活值来估计潜在空间分布，未能捕捉复杂的真实数据特征，从而限制了未知类别检测的准确性。
OSR的另一个主要研究方向是学习更具区分性和紧凑性的类别表示。当同一类别的样本在特征空间中形成紧密的簇且类别间距离足够大时，模型不仅在已知类别上实现了更好的分类性能，还为潜在的新类别保留了足够的空间。因此，原型学习已成为一种关键方法。实际上，基于原型的建模在各种识别任务中展示了强大的表示能力，包括零样本学习[17]、语义分割[18]和视觉识别[19]，进一步突显了其通用性。在OSR的背景下，孙等人提出了CGDL[20]，它使用条件变分自编码器（CVAE）在潜在空间中为每个类别学习条件高斯分布，以区分已知和未知类别。同样，杨等人的CPN[21]结合了判别性和生成性损失来共同优化类别原型。陈等人进一步提出了RPL[22]，通过构建互惠点来增强对未知类别的敏感性。最近，江等人提出了USPS[23]，它基于支持和多样性构建了一个未知支持原型集，从而提供了对潜在未知类别更有效的表示。董等人进一步引入了一个原型引导框架[24]，该框架为已知类别学习紧凑的特征表示，同时指导未知样本的聚类，从而在单一框架内统一了OSR和新类别发现。如图1(b)所示，这些方法将不同类别的样本围绕其对应的原型在共享的嵌入空间中聚类，同时在潜在空间中留下更多区域用于检测未知样本。这些研究表明，一个设计良好的原型学习机制可以显著提高模型对未知类别的鲁棒性。
然而，这些方法依赖于一个共享的编码器，这意味着每个类别原型必须在考虑所有其他类别原型的位置的情况下进行优化。这种耦合限制了每个原型独立捕捉类别特定语义特征的能力，因此可能阻碍了最佳原型表示的学习。相比之下，如图1(c)所示，我们的方法为每个类别分配了一个独立的原型编码器，从而将原始嵌入空间分解为多个类别特定的子空间。在每个子空间内，每个类别只需关注自己的原型，而不需要考虑其他类别原型的位置，从而有助于学习更具区分性的原型表示。此外，从学习的角度来看，对于任何目标类别，非目标已知类别可以被视为伪未知类别。我们的方法将它们的样本尽可能地推开，而不将它们映射到各自的原型上，从而提高了模型识别未知类别的能力。
为此，我们提出了一个类别特定原型网络（CSPN）来有效解决OSR问题。与依赖于所有类别共享原型编码器的传统方法不同，CSPN为每个类别分配了一个独立的轻量级编码器来学习其自己的原型表示。在训练过程中，每个编码器仅维护其对应类别的原型，并在基于距离的判别性损失的指导下，将目标类别样本映射到其原型附近，同时将非目标样本推开。此外，我们引入了一种原型约束机制，将类别原型限制在嵌入空间的边界上，防止它们向原点坍缩，从而降低未知样本入侵的风险。在推理过程中，通过测量其与所有类别原型的距离来确定未见实例的类别。如果实例远离所有原型，则将其分类为未知。实验结果验证了所提出方法在多个开放集识别任务中的有效性和鲁棒性。本文的主要贡献总结如下：
• 提出了一种新的OSR框架，其中每个类别都配备了一个独立的轻量级编码器来学习其原型表示，减少了来自其他类别的干扰，获得了更具代表性的原型表示。
• 提出了一种原型管理正则化项，将类别原型限制在嵌入空间的边界上，降低了未知类别入侵的风险。
• 所提出的方法在多个公共数据集上的性能优于现有方法，证实了其在OSR中的有效性。

**本文的其余部分组织如下。**第2节简要描述了现有的相关工作。第3节介绍了OSR的初步知识。第4节详细描述了所提出的算法。第5节展示了实验结果和分析。最后，第6节给出了本文的结论。

**相关工作**
本文的重点是解决OSR问题，这是一个与分布外检测密切相关但又有所不同的挑战性任务。以下小节系统地回顾了这两个研究领域的相关文献。

**初步知识**
在本节中，我们正式定义了OSR问题，并简要介绍了其关键组成部分。

**提出的方法**
在本节中，我们详细介绍了所提出算法的模型，解释了如何构建评分函数，并给出了算法1的伪代码。

**实验**
在本节中，通过系统实验验证了所提出的OSR方法的有效性。首先，我们详细描述了实验设置，包括采用的开放数据集基准、评估指标和关键实现细节。随后，通过与其他最先进方法的比较实验和可视化分析验证了所提出方法的优越性。最后，分析了该方法各组成部分的贡献。

**结论**
本文提出了一种基于CSPN的解决方案来解决OSR问题。所提出的方法专门设计用于准确识别训练阶段未看到的未知类别。与之前在所有类别中共享单个原型编码器的基于原型的方法不同，CSPN引入了多个原型编码器，每个编码器专门用于学习特定类别的原型。这种设计实现了更细粒度和类别感知的特征表示。

**作者贡献声明**
李玉林：撰写——审阅与编辑、撰写——原始草稿、可视化、方法论。
李金江：撰写——原始草稿、形式分析、数据整理。
胡丽英：方法论、形式分析、数据整理。
徐坤鹏：形式分析、数据整理。
陈丽菲：资源、方法论、概念化。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
李玉林于2024年获得闽南师范大学计算机技术硕士学位。他目前正在福建师范大学计算机与网络安全学院攻读博士学位。他的研究兴趣包括开放集识别、深度学习和机器学习。