OpenDAR：面向长尾开放世界半监督学习的分布感知重新加权

《Neural Networks》：OpenDAR: Distribution-aware reweighting for long-tailed open-world semi-supervised learning

　　

摘要：开放世界半监督学习（OWSSL）旨在区分已知类和新颖类。然而，现实世界数据通常呈现长尾分布，这导致模型对 abundant 头类样本产生显著预测偏差。现有研究通常孤立地处理 OWSSL 和长尾识别问题，未考虑两者耦合带来的复杂效应。当数据分布的不平衡与新颖类的不确定性交织在一起时，缺乏对整体类分布的协同建模会导致两个关键挑战：表征坍塌和置信偏差。为解决这些关键局限，本文提出了一种面向长尾开放世界场景的开放世界分布感知重加权方法，名为 OpenDAR，该方法通过类分布感知重加权机制协同优化表征学习和伪标签细化。在 OpenDAR 中，我们提出了一种分布感知重加权表征学习方法，该方法采用专注于尾类和新颖类的重加权因子来指导重加权对比学习，从而抑制表征坍塌。此外，我们设计了一种去偏伪标签细化方法，根据类分布重新平衡伪标签，并通过长尾补偿阈值策略选择高质量伪标签，有效缓解置信偏差。在一系列基准数据集上的实验表明，OpenDAR 在各种开放世界长尾设置中始终优于最先进的方法。

引言：半监督学习（SSL）是一种利用有限标签样本和大量无标签数据的有效范式，已在各种视觉任务中取得显著成功（Lee, et al., 2013, Sohn, Berthelot, Carlini, Zhang, Zhang, Raffel, Cubuk, Kurakin, Li, 2020, Wang, He, Gong, Ren, Sun, Huang, Yin, 2025）。然而，传统 SSL 依赖于闭世界假设，即假设所有无标签数据属于已知类。开放世界半监督学习（OWSSL）打破了这一假设，要求模型既能分类已知类又能发现新颖类（Cao, Brbic, Leskovec, 2022, Guo, Zhang, Wu, Shao, Li, 2022）。同时，长尾数据分布是一种普遍现象，少数头类由大量样本主导，而大多数尾类样本极少（Bai, Li, Kong, Yang, Yin, 2025, Dong, Zhou, Yan, Zuo, 2022, Du, Wang, Song, Huang, 2024, Shi, Wei, Zhou, Shao, Han, Li, 2024, Zhang, Yang, Liu, Shang, Li, Shi, Wang, Ma, Han, Cheung, et al., 2024, Zhang, Li, Yan, He, Sun, 2021）。这种不平衡分布导致模型过拟合到头类，导致尾类识别性能较差。当长尾分布与开放世界特性叠加时，模型面临的挑战进一步加剧。如图 1 所示，我们研究的长尾 OWSSL 的目标是区分呈现长尾分布的已知类和新颖类样本，并为每个样本分配特定类别。

已有大量研究分别关注 OWSSL 和长尾识别领域。大多数当前 OWSSL 方法基于样本特征的相似性发现新颖类（Cao, Brbic, Leskovec, 2022, Guo, Zhang, Wu, Shao, Li, 2022, Rizve, Kardan, Khan, Shahbaz Khan, Shah, 2022a, Zhou, Duan, Li, Yao, 2025），在此基础上应用伪标签技术（Niu, Lin, Huang, Wang, 2024, Rizve, Kardan, Shah, 2022b, Zhao, Lin, Wu, Du, 2024）或类原型（An, Tian, Zheng, Ding, Wang, Chen, 2023, Liu, Wang, Zhang, Fan, Yang, & Shao, Sun, Li, 2023）为无标签样本分配类标签。然而，这些方法专注于区分已知类和新颖类，并假设每类数据遵循均匀分布，导致长尾场景下大量尾类样本被误分类。传统长尾识别方法（Gao, Zhao, Li, Guo, 2023, Jin, Li, Lu, Cheung, Wang, 2023, Menon, Jayasumana, Rawat, Jain, Veit, Kumar, 2021, Smirnov, Melnikov, Oleinik, Ivanova, Kalinovskiy, Luckyanets, 2018）通过重采样或重加权策略调整不同类样本对模型学习的贡献。尽管长尾识别方法可以缓解尾类的预测偏差，但它们遵循闭世界假设，在开放世界场景遇到新颖类时模型性能显著下降。因此，也有一些工作致力于将长尾识别与 OWSSL 结合（Bai, Liu, Wang, Chen, Mu, Li, Zhou, Feng, Wu, Hu, 2023, Jung, Wang, 2025），试图在统一框架内同时解决新颖类发现和长尾分布问题。

尽管上述方法在一定程度上提高了识别性能，但在长尾开放世界场景下，数据分布的不平衡与新颖类的不确定性交织在一起，给表征学习和伪标签预测带来了重大挑战：（1）表征坍塌。在特征空间中，来自头类的已知类由于样本数量和标签完整性的双重优势而占主导地位。这导致尾类特征（尤其是来自尾类的新颖类）被压缩到一个狭窄的低维流形中，导致尾区域表征结构的坍塌。尽管现有方法通过引入重采样（Cui, Jia, Lin, Song, Belongie, 2019, Shi, Wei, Xiang, Li, 2023）或重加权（Aimar, Jonnarth, Felsberg, Kuhlmann, 2023, Wang, Han, Wei, Zhang, Wang, 2021）等策略缓解了头类的主导效应，但由于未能共同考虑尾类和新颖类的分布特性，模型学习尾区域表征的能力仍然有限。（2）置信偏差。模型对头类预测伪标签表现出显著膨胀的置信度，但对尾类（尤其是来自尾类的新颖类）置信度较低，导致决策不确定性。错误的伪标签在训练迭代过程中持续误导模型，进而加剧了对头类的置信偏差。尽管现有工作（Rizve, Kardan, Shah, 2022b, Zhou, Cui, Wei, Chen, 2020）已采用类平衡策略或一致性正则化技术来细化伪标签，但由于缺乏对类分布差异与伪标签之间关系的显式建模，仍难以改善伪标签。

为了有效解决长尾开放世界场景中的这些关键挑战，与孤立处理单一特定问题的现有方法不同，我们将数据分布的不平衡和新颖类的不确定性纳入统一框架进行协同建模。而不是简单堆叠长尾学习和 OWSSL 技术，我们提出了一种开放世界分布感知重加权方法，名为 OpenDAR，该方法感知类分布以设计专注于尾类和新颖类的重加权因子，从而实现重加权表征学习和去偏伪标签细化，以抑制表征坍塌和缓解置信偏差。

首先，针对表征坍塌挑战，先前的研究（Peng, Pian, Sun, Li, 2023, Zhao, Zhang, Hu, Feng, Liu, 2023）已确认重加权可以通过调整权重增强模型对尾类特征的关注。因此，我们在 OpenDAR 中提出了一种分布感知重加权表征学习方法，该方法通过专注于尾类和新颖类的重加权因子指导重加权对比学习，以提高特征判别力。该方法利用类原型估计类分布并衡量已知类和新颖类之间的知识差距。在此基础上，计算重加权因子以推导区分已知类和新颖类的重加权阈值。然后对不同类的样本实施差异化的重加权对比学习策略。

为了解决置信偏差挑战，我们在 OpenDAR 中提出了一种去偏伪标签细化方法，以纠正预测偏差并提高模型对尾类和新颖类的关注。该方法根据估计的类分布调整预测 logits 以重新平衡伪标签。当基于 Sinkhorn-Knopp (SK) 算法（Cuturi, 2013）迭代预测软伪标签时，引入标签数据的监督信息以迫使已知类的伪标签与真实标签对齐。对于预测的伪标签，我们利用重加权因子设计长尾补偿阈值策略，为不同类设置自适应阈值以选择高质量伪标签，从而优化伪标签细化过程。

本文的主要贡献总结如下：
•我们提出了一种分布感知重加权表征学习方法。通过引入专注于尾类和新颖类的重加权因子，该方法指导重加权对比学习，显著增强了特征判别力。
•我们提出了一种去偏伪标签细化方法来解决置信偏差问题，该方法基于类分布重新平衡伪标签，并纳入长尾补偿阈值以选择高质量伪标签。
•广泛的实验评估证明了所提出的 OpenDAR 在三个长尾基准和各种长尾开放世界设置中的有效性。

章节片段
开放集识别
开放集识别（OSR）的核心目标是解决模型在测试阶段遇到未见新颖类样本时的识别问题（Scheirer et al., 2012）。与传统闭集识别不同，传统闭集识别假设训练集和测试集的类空间相同，OSR 要求模型不仅能分类已知类，还能检测并拒绝新颖类。OSR 在许多现实世界应用中取得了显著进展（Deng, Kamel,

提出的方法：OpenDAR
图 2 展示了 OpenDAR 框架的总体概述。所有样本的特征由特征提取器 fθ 编码，每个类原型基于模型参数初始化。通过测量样本特征与类原型之间的距离来估计类分布 π^c 以及已知类和新颖类之间的知识差距 G。基于 π^c 和 G，计算专注于尾类和新颖类的重加权因子 wcrw。重加权对比

实验
为了全面评估 OpenDAR 的有效性，本节在多个长尾基准数据集上进行了广泛实验。首先，我们详细说明实验设置并报告 OpenDAR 与最先进方法的对比结果。随后，进行了一系列综合实验以进一步证明 OpenDAR 在各种长尾开放世界设置中的优越性能。

结论
在本文中，我们提出了一种面向长尾开放世界场景的开放世界分布感知重加权方法，名为 OpenDAR。与之前的方法不同，我们将数据分布的不平衡和新颖类的不确定性纳入统一框架进行协同建模。OpenDAR 通过类分布感知重加权机制协同优化表征学习和伪标签细化，从而有效抑制

CRediT 作者贡献声明
Guanjia Zhang：写作 – 审查与编辑，写作 – 原创草稿，软件，方法论，概念化。Weiwei Xing：写作 – 审查与编辑，验证，软件，方法论，数据整理，概念化。Fusong Sang：写作 – 审查与编辑，方法论，形式分析。Xiang Wei：写作 – 审查与编辑，验证，方法论。

竞争利益声明
作者声明他们没有已知的竞争经济利益或个人关系，这些可能已经影响本文中报告的工作。

致谢
这项工作部分得到了北京自然科学基金（Grant No. L231005）的支持。

Guanjia Zhang|Weiwei Xing|Fusong Sang|Xiang Wei