不依赖于具体数字的解耦类发现方法，适用于开放世界半监督学习

《Engineering Applications of Artificial Intelligence》：Number-agnostic decoupled class discovery for open-world semi-supervised learning

开放世界半监督学习通过结合少量标注数据和大量未标注数据提升模型性能，但传统方法存在预设类别数限制和已知类别知识干扰未标注数据的问题。本文提出NADCD方法，采用动态信息传播聚类算法自适应估计类别数量并生成类原型，同时引入辅助偏置解耦分类器分离监督与无监督目标，有效缓解模型对已知类别的过度依赖。实验表明该方法在三个基准数据集上显著优于现有方法，解决了开放世界场景中类别发现和判别性表示学习的关键挑战。

　　

张冠家|邢伟伟|郭晓宇|程月|魏翔|赵正阳

北京交通大学软件工程学院，中国北京市海淀区上苑村3号，邮编100044

摘要

开放世界半监督学习旨在半监督学习范式下区分已知类别和未知类别的数据。除了少数方法外，许多基于聚类的开放世界半监督学习方法依赖于预先定义的类别数量来识别新类别，这限制了模型发现新类别的能力并降低了泛化性能。此外，监督学习和无监督学习在共享分类器上的联合训练加快了已知类别的学习速度，不可避免地更快地满足了监督目标，从而导致预测偏差。为了解决开放世界环境中的这些挑战，我们提出了一种称为NADCD的数量不可知解耦类别发现方法。在NADCD中，我们提出了一种半监督信息传播聚类算法，用于自适应估计类别数量并动态生成类别原型。这些原型随后被用来促进不同样本之间的判别性表示学习。此外，NADCD通过在表示编码器上引入辅助的偏差解耦分类器来解耦监督学习和无监督学习目标，从而减轻新类别学习表示中的偏差。在三个基准数据集上的广泛实验结果表明了NADCD的有效性。我们将在以下链接发布代码：https://github.com/srxhlife/NADCD。

引言

随着深度学习在模式识别和图像分类等视觉任务中的广泛应用（He等人，2016年；Xu等人，2025年；Goodfellow等人，2020年），模型性能高度依赖于大规模标记数据集。然而，获取足够的标记数据通常成本高昂且耗时。半监督学习（SSL）（Sajjadi等人，2016年；Miyato等人，2018年；Berthelot等人，2019b年；Sohn等人，2020年）通过结合少量标记数据和大量未标记数据，在有限的注释条件下实现了高效学习。传统的半监督学习假设标记数据和无标记数据来自同一组类别（Berthelot等人，2019a年；Fini等人，2023年；Ma等人，2023年）。然而，在开放世界场景中，这一假设并不成立，因为未标记数据中经常存在新类别（He等人，2022年；Wang等人，2023年）。

开放世界半监督学习（OWSSL）（Cao等人，2022年）打破了传统SSL的类别分布假设，有效解决了现实环境中未标记数据中新样本频繁出现的问题。与传统SSL不同，OWSSL假设标记数据仅包含已知类别，而未标记数据包括已知类别和新类别的样本。OWSSL的目标是开发出既能识别已知类别又能自动发现和聚类类别的模型。传统的OWSSL方法（Guo等人，2022年；Rizve等人，2022b年；Ye等人，2023年；Rizve等人，2022a年；Niu等人，2024年；Zhang等人，2025年）通过在标记数据上进行监督学习，在未标记数据上进行无监督伪标签学习来学习已知类别和新类别的判别性表示。然而，这些方法仅在标签层面隐式捕获新类别的信息，无法完全理解类别层面的语义概念（Xi等人，2023年）。为了明确学习新类别的知识，一些OWSSL研究（Sun等人，2024年；Sun和Li，2023年；Liu等人，2023年；An等人，2023年；Heidari等人，2024年）专注于通过基于聚类的方法进行类别发现。如图1所示，标记数据和未标记数据的所有样本表示都被聚类以自动发现新类别。

尽管上述方法在类别发现方面表现出显著的优势，但它们仍然存在以下两个限制。首先，除了OpenNCD（Liu等人，2023年）和SORL（Sun等人，2024年）之外，许多现有的基于聚类的OWSSL方法（Sun和Li，2023年；Liu等人，2023年；An等人，2023年；Heidari等人，2024年）需要预先定义的固定数量的新类别来指导聚类过程。然而，在现实的开放世界场景中，新类别的数量是未知的。基于预先定义的类别数量进行聚类会削弱模型发现新类别的能力，并在实际应用中降低泛化性能。其次，当前的OWSSL框架（Cao等人，2022年；Guo等人，2022年；Rizve等人，2022b年）通常使用共享分类器来共同优化标记数据上的监督目标和无标记数据上的无监督目标。这使得模型能够更快地获取已知类别的知识（Ye等人，2023年；An等人，2023年）。然而，这种联合训练范式使模型容易受到已知类别知识的主导。结果，模型存在偏差，倾向于对这些已知类别进行预测。

为了解决上述两个挑战，我们提出了一种称为NADCD的数量不可知解耦类别发现方法。NADCD不需要真实的类别数量，可以明确理解类别层面的语义概念。

为了解决第一个挑战，我们实现了一种动态估计类别数量的聚类策略。我们将这个问题定义为数量不可知聚类，即事先不知道真实的类别数量。在这方面，我们观察到基于图的信息传播聚类理论（Zhu和Ghahramani，2002年；Rosvall和Bergstrom，2008年）能够利用局部结构相似性来适应性地聚类数据。然而，将这些方法应用于开放世界场景具有挑战性，因为它们对噪声敏感且未能充分利用监督标签。因此，我们在NADCD中提出了一种半监督信息传播聚类算法来自适应估计类别数量。更具体地说，我们用一个与实际类别数量无关的原型数量初始化算法，并根据样本之间的表示相似性构建信息图。随后，我们通过对编码长度进行最小化来执行社区检测。标记节点的监督信息被传播以帮助在未标记节点中发现新类别。此外，我们设计了一个自适应阈值来过滤掉噪声节点，同时根据估计的类别数量动态生成类别原型。最后，我们探索原型和样本之间的对比关系，以确保模型学习到完全具有判别性的表示。

为了解决第二个挑战，我们的目标是解耦模型对标记数据和未标记数据的学习过程，从而减少已知类别和新类别之间的知识差距。受到Lee等人（2021年）和Chen等人（2022年）的启发，我们在模型的表示编码器上设计了一个辅助的偏差解耦分类器来解耦监督和学习目标。模型的原始分类器现在作为骨干投影器，对嵌入进行维度投影以促进类别估计，从而训练无监督学习目标。相比之下，偏差解耦分类器专门预测标记数据的类别以训练监督学习目标。由于已知类别的压倒性知识，新类别的学习表示被防止偏向已知类别。

总结来说，本文的主要贡献如下：

• •
  我们提出了一种半监督信息传播聚类算法，用于在开放世界场景中自适应估计类别数量并动态生成类别原型。
• •
  我们设计了一个附加在表示编码器上的辅助偏差解耦分类器，以解耦监督和学习目标，从而减少模型学习的新类别表示中的偏差。
• •
  在三个基准数据集上的广泛实验结果表明，我们提出的方法在解耦类别发现和判别性表示学习方面是有效的。

部分内容

新类别发现

新类别发现（NCD）是一项致力于在开放世界场景中发现新类别的任务，近年来受到了研究人员的广泛关注（Hsu等人，2018年；Hsu等人，2019年；Han等人，2019年；Han等人，2020年；Zhong等人，2021a年；Zhong等人，2021b年；Fini等人，2021年；Li等人，2023年；Liu等人，2024年）。在NCD问题设置中，标记数据集和未标记数据集的类别分布是不相交的。标记数据的类别被视为已知类别，

数量不可知解耦类别发现方法

NADCD的总体框架如图2所示。我们提出了一种半监督信息传播聚类算法，用于自适应估计类别数量并动态生成类别原型。然后，使用生成的原型来指导模型学习不同样本的判别性表示。在表示编码器上引入了一个辅助的偏差解耦分类器，以减轻新类别表示中的偏差

实验

在本节中，我们在基准数据集上设计了广泛的实验来评估所提出的NADCD的性能。我们首先描述了实验设置，并展示了与最先进方法的比较结果。然后，我们进行了更详细的实验，进一步证明了NADCD在发现解耦类别和开放世界场景中学习判别性表示方面的有效性。

结论

在本文中，我们提出了一种数量不可知解耦类别发现方法，以解决开放世界半监督学习任务中的两个关键挑战，即新类别的未知数量和偏差表示。大多数先前的工作都忽略了这些挑战。我们首先设计了一种半监督信息传播聚类算法，用于自适应估计类别数量并动态生成类别原型。随后，我们探讨了对比关系

CRediT作者贡献声明

张冠家：写作 – 审稿与编辑，撰写原始草案，可视化，软件，方法论，调查，概念化。邢伟伟：写作 – 审稿与编辑，验证，软件，方法论，调查，数据管理，概念化。郭晓宇：写作 – 审稿与编辑，软件，方法论，概念化。程月：写作 – 审稿与编辑，验证，方法论。魏翔：写作 – 审稿与编辑，可视化，验证，方法论。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本工作部分得到了北京自然科学基金的支持，资助编号为L231005。