CSW-AL：一种用于不平衡多领域主动学习的类别缩放权重方案

《Neural Networks》：CSW-AL: A Category-Scaling Weight Schema for Imbalanced Multi-Domain Active Learning

　　抽象类不平衡问题是机器学习领域长期存在的瓶颈，它会导致模型偏向多数类，从而降低对稀有事件的处理性能。主动学习通过将标注工作集中在代表性不足的样本上，能够在一定程度上缓解这一问题。然而，在多域学习环境中，由于域内不平衡以及不同域之间的差异，这个问题变得更加突出，给模型训练带来了更大挑战。目前的多域主动学习方法往往忽视了这两种不平衡现象之间的相互作用，从而导致有偏的样本选择策略，以及较差的跨域泛化能力。为了解决这一问题，我们提出了一种全新的框架，该框架包含动态类别缩放权重机制，能够分层处理样本层面和域层面的不平衡问题。这一机制能够评估各类别的相对难度，从而指导更有效的样本选取，同时通过自适应整合表现良好的域，逐步构建出更为理想的“理想域”。这一理想表示进一步支持了极小极大优化过程，使得标注资源的分配既公平又合理。在多种标准数据集上的广泛测试表明，我们的方法在处理多域间复杂的不平衡场景时，始终优于现有的主流方法。

引言
在许多实际应用中，数据往往以多样化且大规模的形式存在，涉及多个不同的领域或模态，这些领域或模态在数据分布特征和质量上往往存在显著差异（Peng等人，2019；Xu等人，2022；Yu等人，2022；Zhou等人，2025）。监督学习系统的成功在很大程度上取决于是否拥有大量、标注准确的样本；然而，获取这类标注往往成本高昂且耗时较长（Lee等人，2021；Li等人，2024；Wei等人，2021）。主动学习提供了一种降低标注工作量的方法，它通过选择性识别那些被认为最具价值的样本——通常是那些模型不确定性较高的样本——从而在有限的标注预算下实现更高的学习效率（Jin等人，2022；Khaleel等人，2023；Settles，2009）。传统的主动学习方法大多基于这样一个假设：即在单个领域内，数据是独立同分布的（Ash等人，2019；Fu等人，2021b；Roth和Small，2006；Shannon，1948）。然而，随着异构数据集的日益普及，人们开始研究多域主动学习，因为在多个相关但不同的数据域之间，需要明智地分配标注资源（Gai等人，2025；Guo等人，2023；Yang等人，2022）。

在多域主动学习中，一个重要的挑战就是类别不平衡问题，这一问题存在于两个层面（He和Garcia，2009）。首先，域内不平衡指的是在某个特定领域的数据分布中，某些类别占据主导地位。其次，域间不平衡则是由于不同领域之间的数据量、类别构成以及标注分配不均所导致的。例如，在涵盖不同生态区域的野生动物图像分类任务中，物种出现频率的自然差异就会导致特定领域的类别失衡现象（Chen和Lu，2023）。这种双重不平衡状况带来了一个关键难题：是应该注重整体性能指标，还是要在所有类别和领域中保持公平的表征与准确率（Li等人，2023）。如果不加区分地追求全局目标，往往会引入系统性偏差，使性能偏向于多数类和数据丰富的领域，进而削弱模型的稳健性（Werner等人，2024）。

现有的多域主动学习方法难以有效解决这种双重不平衡问题（Ma等人，2023；Shen等人，2025；Zeng等人，2025）。它们的缺陷包括：第一，直接应用单一领域的选择性采样方法，如基于不确定性的采样，而没有明确考虑不同领域之间类别分布的差异（He等人，2022）；第二，缺乏模拟和防止类别级资源匮乏的机制，从而导致预算分配不合理，少数类识别效果不佳（Hao等人，2024）。此外，一些依赖于领域相似性度量或极小极大公式 的预算分配方法，往往忽视了原有的域内不平衡因素。因此，这些方法可能会过度偏向数据丰富的领域，进而加剧领域偏差，进一步扭曲性能（Berriel等人，2019）。这样一来，属于代表性不足的类别的宝贵样本就会被忽略（He、Dai、He、Tang，2023；He、Liu、He、Tang，2022；Li等人，2012）。

尽管近期的主动学习方法在单一领域或平衡条件下取得了不错的成果，但在实际的多领域场景中，面对严重的类别不平衡问题时，其性能往往会下降。这一限制源于两个相互关联的挑战。首先，域内类别不平衡会导致主动学习策略过度关注那些不确定或难以处理的样本，而这些样本往往集中在少数类或模糊类别中。这种行为可能会放大采样偏差，扰乱优化过程。其次，域间不平衡进一步增加了样本选择的复杂性，因为不同领域往往具有截然不同的数据分布和标注难度。现有的多域主动学习方法主要在领域层面进行预算分配，却很少考虑每个领域内部的类别级别不平衡问题。更重要的是，伪标签技术和主动学习在迭代训练过程中会引入相反的偏差：主动学习倾向于过度采样困难样本，而伪标签技术则更青睐简单且置信度高的样本。这种不对称的结合往往会导致不同类别之间的梯度更新失衡，使得优势类别在优化过程中占据主导地位，而弱势类别则得不到充分学习。正是基于这些观察，我们着手开发一种统一的框架，该框架能够同时模拟领域级别和类别级别的不平衡问题，并在主动选择和伪标签训练过程中对不同类别的学习动态进行有效调控。

要有效解决多域主动学习中的类别不平衡问题，就需要采取一种综合策略，利用具备类别意识的自适应机制，同时优化领域内的样本选择以及跨领域的标注预算分配（Chen等人，2024；Hao等人，2024）。为此，我们提出了一种新型的、具备类别不平衡感知能力的多域主动学习框架，该框架包含动态类别缩放权重机制、理想域构建以及极小极大优化算法。动态类别缩放权重机制能够评估各类别的学习进展及其相对重要性，从而指导协调一致的样本采集工作。我们的预算分配器则与不断演化的“理想源领域”展开极小极大博弈，通过整合表现良好的领域，自适应地构建出这一理想领域，以此实现最佳的跨域泛化效果。通过减少所选样本与理想领域之间的分布差异，该分配器能够确保标注资源得到均衡且稳定的分配。这种对类别和领域因素的综合考虑，使得模型在标注资源有限的情况下仍能保持较强的学习能力。图1展示了该框架的示意图。

•我们提出了一种用于不平衡视觉识别任务的新型多域主动学习框架，该框架将主动学习与伪标签技术整合为一个统一的迭代优化过程。
•我们引入了动态类别缩放权重机制，该机制通过捕捉类别内的稳定性以及类别间的混淆程度，能够明确模拟不同类别的学习状态，从而实现在类别不平衡情况下对样本重要性的自适应重新加权。
•我们设计了一种具备类别意识的全主动采样策略，该策略能够根据类别级别的学习反馈动态调整查询概率，从而在保持整体领域多样性的同时，更好地探索少数类样本。
•我们与一些相近的方法进行了全面的理论对比，并在多种不平衡场景下开展了大量实验。实验结果表明，所提出的CSW-AL方法在宏观F1分数、少数类召回率以及各领域性能方面均表现出显著优势，其效果明显优于现有的主流方法。

本文的其余结构如下：第2节回顾相关研究工作；第3节详细介绍所提出的方法；第4节展示大量的实验结果及分析；最后，第5节对全文进行总结，并提出未来的研究方向。

多域主动学习
主动学习旨在通过选择性查询最具信息量的样本来进行标注，从而降低标注成本。传统的主动学习方法通常采用基于不确定性的度量指标，如熵值（Shannon，1948）、贝叶斯方法（Ash等人，2019；Gal和Ghahramani，2016），基于边际值的策略（Ducoffe和Precioso，2018；Roth和Small，2006），以及旨在最大化样本多样性的技术（Gissin和Shalev-Shwartz，2019；Sener和Savarese，2018）。近期的研究则进一步……

初步概念
首先，我们对核心概念和符号进行正式定义。假设有N个未标记的源领域，它们的特征分布分别用{Oi}i=1N表示，其中每个Oi都是针对输入数据x的特征空间定义的。一个共享的特征编码器E可以将样本x映射到其潜在表示z=E(x)。学习过程在全局标注预算M的限制下进行R轮迭代。在每一轮r∈{1,?,R}中，算法遵循以下步骤：首先，基于……

实验研究
在本节中，我们介绍了评估过程中所使用的数据集、基准方法以及实现细节。之后，我们将自己的方法与当前最先进的多域主动学习方法进行比较，随后还会进行消融实验和参数分析。

结论
本文提出了一种具备类别不平衡感知能力的多域主动学习框架，该框架能够同时解决域内类别差异和域间分布偏移的问题。为了解决样本选择有偏以及预算分配效率低的问题，我们引入了一种动态调整类别和领域层面学习强度的类别缩放权重机制。该机制通过优先选择来自少数类的有用样本来优化样本选择过程，同时引导跨领域的预算分配……

CRediT作者贡献说明
李延超：写作——审稿与编辑，写作——初稿，验证，监督，软件，资源，项目管理，方法论，研究，资金获取，形式分析。李冠晓：写作——初稿，验证，方法论，研究，形式分析，数据整理，概念设计。王小丽：写作——审稿与编辑，监督，方法论，研究，形式分析。罗 Duo：写作——审稿与编辑，验证，监督……

利益冲突声明
作者声明他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本文得到了国家自然科学基金（62302233）的支持。此外，该研究还得到了中国博士后科学基金（2021M691655）以及西藏智能国家重点实验室（2025-ZJ-J08）的资助。

李延超|李冠晓|王小丽|罗 Duo|高光伟|林家文