基于不确定性引导的开集无源无监督领域适应方法，实现目标类别的私有化分割

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Uncertainty-guided Open-Set Source-Free Unsupervised Domain Adaptation with Target-private Class Segregation

　　摘要
标准无监督领域适应（UDA）旨在将知识从标记的源域转移到未标记的目标域，这需要同时访问源数据和目标数据。此外，UDA方法通常假设源域和目标域具有相同的标签空间。然而，在现实世界场景中，这两个假设很难满足。本文考虑了更具挑战性的无源开放集领域适应（SF-OSDA）设置，在这种设置中，这两个假设都不成立。我们提出了一种新的SF-OSDA方法，该方法通过将目标私有类别的样本分割成多个未知类别来利用它们的粒度。从基于初始聚类的伪标签初始化开始，我们的方法通过使用基于不确定性的样本选择模块来细化伪标签，逐步改进目标私有样本的分离。此外，我们提出了一种新的对比损失函数NL-InfoNCELoss，该函数将负学习集成到自监督对比学习中，增强了模型对噪声伪标签的鲁棒性。在基准数据集上的广泛实验表明，我们提出的方法优于竞争方法，建立了新的最佳性能。值得注意的是，额外的分析表明，我们的方法能够学习新类别的潜在语义，为进行新类别发现提供了可能性。

1 引言
当训练数据和测试数据具有相似的分布时，深度学习方法在视觉任务中表现出色。然而，在存在领域偏移的情况下，学习方法难以泛化（Qui?onero-Candela等人，2008年；Gretton等人，2009年），即数据来自不同的分布，例如不同的照明条件、成像模式或风格。为此，领域适应（DA）利用在源域上学到的知识来帮助在不同但相关的目标域中进行学习。由于数据收集和注释的成本很高，限制了用于监督适应的大量目标数据的可用性，DA侧重于利用无监督的目标数据进行跨领域知识转移。特别是，无监督领域适应（UDA）旨在将标记的源域上学到的知识转移到未标记的目标域，而无需任何目标标签（Bousmalis等人，2017年；Ganin等人，2016年；Hoffman等人，2018年；Tzeng等人，2017年；Mancini等人，2021年；Li等人，2018年；Zhou等人，2023年）。

大多数UDA技术通常依赖于对数据的两个强假设。一方面，它们在适应过程中需要同时访问源数据和目标数据，这阻碍了在数据隐私或传输带宽成为关键问题的应用中的部署。为了克服这一假设，最近的研究集中在无源领域适应（SF-DA）设置上（Litrico等人，2023年；Sun等人，2020年；Wang等人，2021年；Liang等人，2020年；Yang等人，2021年），在适应阶段不再可以访问源数据，只有未标记的目标数据可用。另一方面，大多数UDA算法假设一个封闭集设置，即两个域具有相同的类别空间。尽管适应了新域，但转移的源模型无法对新类别/未见类别进行预测。这严重限制了它们在现实世界场景中的适用性（Saito等人，2018年；Busto & Gall，2017年），其中目标域可能包含源数据中不存在的未知类别。为了克服这一第二个假设，开放集领域适应（OSDA）（Bucci等人，2020年；Jang等人，2022年；Liu等人，2019年；Saito等人，2018年；Busto & Gall，2017年）旨在使适应模型能够将目标域中的新类别样本识别为未知。在这种情况下，目标数据集包含源域中已经看到的类别（共享类别），以及源域中不存在的新类别（私有类别）。在Liu等人（2019年）和Saito等人（2018年）的工作中，作者使用对抗学习来对齐源域和共享相同类别的目标域部分，排除了目标私有类别，导致决策边界较差。为了避免这个问题，Jang等人（2022年）在对抗学习中包含了目标私有类别，以对齐源域和共享类别，同时将私有样本分离到未知类别中。然而，所有这些先前的工作都不是无源的，它们同时从源数据和目标数据中学习。

无源开放集领域适应（SF-OSDA）解决了这两个挑战，假设在目标域中存在私有类别的情况下，适应过程无法访问源数据。尽管这种联合设置尚未得到充分探索，但一些最近的方法（Liang等人，2020年；Shiqi等人，2022年；Jahan & Savakis，2023年）已经被提出。然而，这些方法将目标私有类别的样本视为异常值，并将它们聚类到一个“未知”类别中。我们假设将语义不同的目标私有样本聚集到一个类别中会导致特征空间的退化。此外，为了分离未知类别的样本，以前的方法依赖于基于适应模型输出的统计分离标准，这通常导致所谓的负迁移，这是众所周知的确认偏见的后果（Arazo等人，2019年）。这意味着模型在适应过程中依赖于其噪声输出，增加了对错误预测的信心。实际上，模型倾向于过度拟合自身的噪声。

在这项工作中，我们提出了一种新的无源开放集领域适应方法，该方法利用目标私有类别的粒度，将它们的样本分割成多个簇，从而比以前的工作实现了更有效的适应。作为一个副产品，这种策略还允许发现新类别的潜在语义。作为Litrico等人（2023年）的扩展，我们的方法为所有目标样本生成伪标签，并使用邻居样本的共识逐步细化它们。然而，与Litrico等人（2023年）不同，初始伪标签的分配（也包括目标私有类别）是通过聚类源模型跨越的特征空间获得的，而不是直接使用其预测。获得的部分簇中心与从分类器权重计算出的源模型原型相匹配。未匹配的中心被视为目标私有类别的新原型，并用于初始化对应于未知类别的分类器权重列。与现有技术不同，这种策略不需要任何分离标准来区分共享类别和未知类别的样本，从而限制了确认偏见的负面影响。

在适应过程中生成的伪标签不可避免地受到所谓的偏移噪声（Morerio等人，2020年）的影响，即由领域偏移引起的噪声，在目标中存在新类别的情况下进一步加剧。此外，基于初始聚类的分配也可能引入一些噪声，可能导致将整个共享类别分类为未知或反之亦然。为了减轻这种噪声的影响，我们执行基于不确定性的样本选择，以丢弃具有不可靠（可能噪声）伪标签的样本。为此，我们提出了一种新的不确定性估计解决方案，该解决方案扩展了Litrico等人（2023年）中使用的解决方案，该解决方案并未针对这种情况设计。通过分析邻居样本预测的共识以及样本与类别原型的相对距离来测量伪标签的不确定性。这种新引入的策略在样本接近一个原型时分配较低的不确定性值，而在远离其他原型时则具有较高的不确定性，因此它们的伪标签被认为是不可靠的。

为了获得一个规范的特征空间，其中邻居样本在语义上相似，我们利用自监督对比学习框架和负对排除策略。与Litrico等人（2023年）不同，我们引入了NL-InfoNCELoss，这是一种新的对比损失，它将负学习的原则集成到标准对比损失中（Chen等人，2022年）。通过将负学习的众所周知的好处（Kim等人，2021年；Ahmed等人，2022年）赋予标准损失，这种公式增强了对比框架对不可避免影响伪标签的噪声的鲁棒性。

广泛的实验证明了我们的方法在SF-OSDA这一具有挑战性的设置中的有效性，在三个主要基准数据集上获得了有竞争力的结果。具体来说，我们的方法在Office31（Saenko等人，2010年）和Office-Home（Venkateswara等人，2017年）上的性能与最新的基线相当，并在大型数据集VisDA-C上建立了新的最佳性能。消融研究显示了新组件在处理目标域中存在新类别引入的问题方面的有效性。值得注意的是，额外的分析表明，我们的模型能够对目标私有类别的样本进行分类，这意味着模型在没有为此任务进行显式优化的情况下学习了新类别的潜在语义。

总之，这项工作的主要贡献是：
我们通过利用不确定性引导的伪标记来解决无源开放集UDA问题。作为一个副产品，我们明确学习了目标私有类别的潜在语义，揭示了进行新类别发现的可能性。我们引入了NL-InfoNCELoss，这是一种新的对比损失，它将负学习范式集成到自监督对比学习中，以规范特征空间，同时提高了对伪标签噪声的鲁棒性。我们通过广泛的实验评估了所提出的方法，证明了其在两个主要基准数据集上优于现有方法。本文的其余部分组织如下：第2节介绍和讨论了与开放集领域适应、伪标记和从噪声标签中学习相关的相关文献。第3节正式化了无源开放集UDA设置并介绍了所提出的方法。第4节展示了实验和额外分析，以评估我们的方法。第6节以总结和主要发现讨论结束。

2 相关工作
开放集和无源UDA。在许多现实世界场景中，源域和目标域共享相同标签空间的假设可能不成立，目标域可能包含源域中不存在的类别。在文献中，这些类别被称为目标私有（或简称为私有）或未知。开放集领域适应旨在将知识从源域转移到包含私有类别的目标域。最近的工作主要集中在分离目标域中的已知和未知样本（Bucci等人，2020年；Jang等人，2022年；Liu等人，2019年；Saito等人，2018年）或对齐已知分布（Liu等人，2019年；Wang等人，2021年）。不同地，Kundu等人（2022年）提出使用基于中级特征的词原型，这些原型对负迁移更具有鲁棒性，以执行辅助的原型空间对齐。UADAL（Jang等人，2022年）提出利用源域、共享域和目标域的未知类别之间的三重对抗学习来分离未知类别。然而，所有这些方法都假设在适应过程中有源数据的可用性，即它们不是无源的。

最近，Yang等人（2022年）、Nath Kundu等人（2020年）和Kundu等人（2020年）提出了开放集领域适应的无源策略。然而，这些方法依赖于在源域上进行的特殊预训练策略，这些策略假设在预训练期间已经意识到了目标域中存在未知类别。例如，OneRing Yang等人（2022年）在源数据上预训练了一个分类器，并添加了一个额外的类别，以使模型在适应过程中能够更好地分离目标私有样本。在Nath Kundu等人（2020年）的研究中，作者利用了一种加权方案和特征拼接来避免负面迁移，但他们在源域上进行预训练时生成了未知类别的额外训练样本，从而有助于分离目标域中的私有类别。相比之下，我们的方法对源域的训练没有做出任何特殊假设，提供了一种更通用的方法来应对这一具有挑战性的问题，扩大了其应用范围。在最近的文献中，使用特殊训练策略也被认为是一个弱点。例如，SHOT（Liang等人，2020年）和AaD（Shiqi等人，2022年）使用基于预测熵的分离标准来区分共享类别和未知类别。相反，USD（Jahan & Savakis，2023年）提出基于Jenson-Shannon散度来分离私有样本。然而，由于这些分离标准是基于模型输出计算的，它们容易受到确认偏误的影响。不同之处在于，我们没有使用任何明确的分离标准，而是依赖于基于聚类的策略来最初将样本分配到类别中，无论是共享类别还是未知类别。假设这些分配的标签是噪声的，我们通过伪标记和自我监督策略来细化分配。最近，GLC（Qu等人，2023年）引入了一种全局自适应的一对所有聚类方法，用于最初为目标中的已知类别和未知类别分配伪标签。为了提高鲁棒性，一个局部k-NN细化步骤在邻居之间平滑分配，减少了噪声并提高了分离效果。另一方面，LEAD（Qu等人，2024年）使用正交特征分解来构建已知和未知空间。为了识别目标私有样本，它基于这些构建空间中的距离计算实例级别的决策边界。

自我监督学习和伪标记。自我监督方法在学习视觉数据的可转移表示方面取得了成功（Caron等人，2018年；Chen等人，2020a，b；Chen & He，2021年；Gidaris等人，2018年；Grill等人，2020年；He等人，2020年；Larsson等人，2017年；Noroozi & Favaro，2016年）。具体来说，Chen等人（2020a）、Chen和He（2021年）、Grill等人（2020年）使用基于对比的任务来增强深度模型的泛化能力。此外，几种最近的自我监督方法已被用于UDA（Saito等人，2020a，b）和SF-UDA（Sun等人，2020年；Wang等人，2022年；Chen等人，2022年；Maracani等人，2024年）设置中。另一方面，伪标记是一种简单但有效的技术，用于半监督学习（Lee，2013年；Sohn等人，2020年）和自我监督学习（Caron等人，2018年），以及领域适应（Liang等人，2020年，2021年；Wang等人，2022年；Chen等人，2022年）。它包括使用模型预测的标签作为自我监督。Fix-Match（Sohn等人，2020年）和On-target（Wang等人，2022年）在训练期间直接使用伪标签，而不进行任何细化。在本文中，我们执行细化步骤以逐步提高生成的伪标签的质量。

噪声标签。噪声训练集通常会导致模型训练效果不佳。在Zhang等人（2021年）的研究中，作者表明深度神经网络可以很容易地过拟合整个数据集，即使标签的损坏比例很高，从而导致在测试数据上的泛化能力差。为了解决这个问题，提出了不同的方法，这些方法关注于噪声鲁棒损失（Wang等人，2019年；Ghosh等人，2017年；Ma等人，2020年；Kim等人，2019年）、估计噪声转换矩阵（Goldberger & Ben-Reuven，2017年）、根据样本的可靠性重新加权损失（Liu & Tao，2016年；Jiang等人，2018年；Lee等人，2018年），以及从噪声样本中选择干净数据（Wei等人，2020年；Li等人，2020年）。在Wei等人（2020年）和Li等人（2020年）的研究中，作者提出了基于损失的样本选择策略，但他们需要多个深度神经网络来使选择更加鲁棒，从而增加了方法的计算成本。此外，样本选择是基于损失的，而损失是用未经细化的噪声标签计算的。这意味着标签中的噪声量不会减少，选择将受到噪声的严重影响。相反，我们提出了一种基于伪标签的不确定性（可靠性）的样本选择策略，这种不确定性是在使用邻居共识进行细化后估计的，不需要使用多个深度网络。与Litrico等人（2023年）使用目标样本的重新加权策略不同，我们执行了硬样本选择来考虑未知类别产生的增加的噪声量。最后，NEL（Ahmed等人，2022年）结合了负学习损失和基于集成的伪标签细化框架。负学习（Kim等人，2019年）是指一种间接学习方法，它使用互补标签来对抗噪声。虽然我们也使用负学习损失，但我们不需要网络的集成来进行细化，从而降低了计算成本。此外，我们还利用负学习的范式提出了一种新的对比损失，使其对噪声具有更强的鲁棒性。

总结。本文扩展了我们之前的工作（Litrico等人，2023年），该工作提出了一种在封闭集场景下进行无源域适应的方法。与（Litrico等人，2023年）不同，这里我们关注开放集设置，其中目标域包含源域中不存在的新类别。与Litrico等人（2023年）一样，我们使用在适应过程中逐步细化的生成伪标签来训练目标模型。然而，最初的伪标签分配是通过在目标特征空间上进行聚类获得的，而不是直接利用源模型。此外，我们提出了一种新的不确定性度量，用于限制目标域中未知类别的存在对伪标签中额外噪声的影响。在Litrico等人（2023年）中，我们根据伪标签的不确定性重新加权了它们在损失中的贡献。在这里，我们引入了一种与Litrico等人（2023年）提出的不确定性度量相结合的度量，用于选择（而不是重新加权）具有可靠伪标签的样本，从而提高了对共享类别和私有类别中噪声的鲁棒性。最后，我们提出了一种新的对比损失，它在Litrico等人（2023年）的对比框架中结合了负学习的原理，进一步提高了模型对噪声的鲁棒性。

3 提出的方法
图1 提出的适应方法概述。(a) 根据从预训练的源模型中提取的特征对目标样本进行聚类，以提供初始的伪标签分配。接下来，聚类允许识别类别中心（彩色形状），这些中心与共享类别的最相似原型进行匹配。这些原型被作为分类器权重矩阵W的列（蓝色簇）。由于目标域的类别数量多于源域，一些簇被排除在这种匹配之外，这些簇将被视为目标私有类别（黄色簇）。(b) 在伪标签细化之后，使用两种方法估计其不确定性。邻居共识：通过分析邻居对细化伪标签的共识来确定不确定性。类别分离：根据与两个最接近的类别原型的距离来估计模型不确定性。一种新的对比损失（NL-InfoNCELoss）在特征空间中聚集同类别样本，同时对噪声伪标签具有鲁棒性。

本节介绍了我们在SF-OSDA分类任务中的方法，如图1所示。与其他方法（Yang等人，2022年；Nath Kundu等人，2020年；Kundu等人，2020年）不同，我们的模型首先在源域上进行训练，而不使用任何特殊训练策略。然后，在适应过程开始时，预训练的源模型提取每个未标记目标样本的特征。基于聚类的策略在目标特征上大致检测私有类别的样本，并为目标样本提供初始的伪标签分配（第3.2节）。由于源域和目标域之间的域偏移以及未知类别样本的存在，这种初始分配是不可靠的。因此，我们通过细化和选择可靠的样本进行训练来减轻伪标签中噪声的影响。一方面，第3.3节中的最近邻居投票方案根据多数规则逐步细化伪标签。另一方面，在第3.4节中，我们选择不确定性低的可靠伪标签，然后在适应过程中使用这些标签。第3.6节中提出的对比方案强化了伪标签细化过程的潜在假设：同一类别的样本在目标特征空间中应该接近。在第3.5节中，我们利用伪标签通过负学习分类损失来使模型适应目标域。在第3.7节中，我们提供了总体训练目标，逐步细化噪声伪标签并分离目标私有样本，同时将预训练模型与目标域对齐。

问题表述。设\(\mathcal {D}_s\)为标记的源数据集，包括对\(\{x_s, y_s\}\)，其中\(x_s \in \mathcal {X}_s\)和\(y_s \in \mathcal {Y}_s\)分别是图像和真实标签。由于无源约束，在适应过程中无法获得源数据\(\mathcal {D}_s\)。同样，设\(\mathcal {D}_t\)为仅包含图像\(\{x_t\}\)的目标数据，其中\(x_t \in \mathcal {X}_t\)。开放集场景假设\(\mathcal {Y}_s \subset \mathcal {Y}_t\)，其中\(C_S:= \mathcal {Y}_s \cap \mathcal {Y}_t\)和\(C_P:= \mathcal {Y}_t \setminus \mathcal {Y}_s\)分别是共享类别和私有类别的集合。目标类别集C由\(C=C_S \cup C_P\)给出。

源模型\(g_s (\cdot ) = h_s(\varphi _s(\cdot ))\)由特征提取器\(\varphi _s: \mathcal {X} \rightarrow \mathbb {R}^D\)和分类器\(h_s: \mathbb {R}^D \rightarrow \mathbb {R}^{|C_S|}\)组成，其中D是特征空间的大小。不失一般性，我们假设分类器的权重由矩阵\(W \in \mathbb {R}^{D\times |C_S|}\)表示。我们将权重矩阵W的每一列i称为一个共享类别原型。

3.1 利用目标私有类别的粒度
开放集无源域适应采用两步方法。在第一阶段，模型在大型标记的源数据上进行训练。在没有进一步访问源样本的情况下，第二阶段将源模型适应到未标记的目标域。在源数据集的（预）训练期间，分类器\(h_s\)被训练以适应\(C_S\)中的类别，即共享类别。目标域不仅包含\(C_S\)中的类别，还包括一组私有类别\(C_P\)。

以前的工作通常训练模型将目标私有类别的样本分离到一个“未知”类别中，这更类似于异常值检测。虽然共享类别的样本根据它们的语义进行分离，但这种策略迫使模型将目标私有类别的样本聚合到一个类别中，而不考虑它们的语义。我们的假设是，这会影响学习到的特征空间，导致几何结构不佳，其中可能具有非常不同语义的样本被分组在一起。此外，这种策略阻碍了发现新类别潜在语义的可能性。为了解决这个问题，我们设计模型来利用目标私有类别的粒度，将它们的样本分离成多个未知类别。这种选择的好处是学习到一个特征空间，在该空间中，私有类别的样本根据它们的语义进行聚合，如第4.2节所讨论的。因此，在适应过程之前，我们构建了一个新的分类器\(h_t\)，其权重矩阵由两部分组成，即\(W_T = [W_S|W_P]\)。权重集\(W_S\)是通过使用\(h_s\)的预训练权重初始化的，而\(W_P\)则是用均匀分布的样本随机初始化的。这意味着我们通过添加与目标域中合理数量的私有类（\(|\widehat{C}_P|\)相匹配的列来增强预训练的分类器。请注意，\(|\widehat{C}_P|\)是任意选择的，因为目标私有类的实际数量是未知的。在第4.2节中，我们分析了不同\(|\widehat{C}_P|\)值下的性能。使用扩展后的分类器\(h_t\)，我们使用模型\(h_t(\varphi _s(\cdot ))\)对目标数据集\(\mathcal {X}_t\)进行初始伪标签预测（图2(a)）。3.2 基于聚类的目标模型初始化图2扩展后的源模型\(h_t\)错误地将私有类的样本分类为属于共享类的样本。尽管如此，共享类和私有类的样本都表现出较低的类内变异性。基于这一观察，我们对特征空间进行聚类，以便在目标域上进行初始伪标签分配。该图显示了使用聚类方法对目标私有样本的初始识别。在(a)和(b)中，彩色样本属于目标私有类，而灰色样本属于共享类。样本的颜色代表预测的类别。为了便于可视化，所有被预测为目标私有类的样本都用蓝色表示。\(\bullet \)符号代表正确的预测，而\(\times \)代表错误的预测。虽然源模型无法正确分配目标私有样本，但聚类利用了特征空间中的结构来聚合私有样本，并提供了良好的伪标签初始化。实际上，在聚类之后，更多的目标私有样本被正确地分类为蓝色。尽管如此，伪标签仍然包含噪声，这种噪声在训练过程中会逐渐减少。由于预训练模型从未见过任何私有类\(C_P\)，并且分类器\(h_t\)的扩展部分是随机初始化的，因此大多数私有类的样本将被预测为共享类。这将产生一定数量的错误伪标签，如图2(a)所示。为了解决这个问题，我们提出了一种基于聚类的解决方案来发现私有类\(C_P\)的合适原型，从而以更方便的方式初始化\(W_P\)。这种策略利用了目标样本（无论是共享类还是私有类）的特征具有较低类内变异性的观察结果（参见图2(a)）。因此，标准的无监督聚类算法可以在一定程度上将共享类和私有类目标样本分组，为模型提供改进的初始伪标签。与其他方法（Jang等人，2022年；Liu等人，2019年；Shiqi等人，2022年）不同，这种策略避免依赖于难以区分样本属于共享类还是目标私有类的分离标准。然而，使用无监督聚类算法的一个主要缺点是类别不对齐，因为聚类与模型类别之间没有对应关系，需要找到将聚类ID映射到类别ID的正确排列。脚注1为了缓解这个问题，我们利用预训练的源模型\(g_s\)将共享类\(C_S\)与聚类算法获得的聚类子集对齐。剩余未匹配的聚类被视为未知类别，它们的质心被用作\(W_P\)初始化的新原型，如图2所示。更正式地说，我们使用预训练的源特征提取器\(\varphi _s\)从目标样本\(z_t = \varphi _s(x_t),\;\forall x_t \in \mathcal {X}_t\)中提取特征。此时，我们对所有提取的特征\(z_t\)进行无监督聚类，以获得K个质心\(c_k = \frac{1}{|\mathcal {S}_k|} \sum _{a \in \mathcal {S}_k} z_t^a\)，其中\(k \in \{1,2,\ldots ,K\}\)，\(K=|C_S|+|\widehat{C}_P|\)，\(\mathcal {S}_k\)是分配给第k个聚类的目标样本集。请注意，虽然\(|\widehat{C}_S|\)是已知的，但\(|\widehat{C}_P|\\)是任意选择的，因为在开放集设置下目标私有类的实际数量是不可知的。在第4.2节中，我们分析了不同\(|\widehat{C}_P|\\)值（即不同的K值）下的性能。为了解决类别不对齐的问题，我们通过计算共享类原型\(W_S[i]\)与聚类质心\(c_k\)之间的余弦相似度，将共享类与获得的聚类子集对齐，并将\(W_S\)中的每一列与相似度最高的质心匹配。这种策略通过确定一个排列来重新排序质心\(c_k\)，使其与共享类原型匹配，从而解决了类别不对齐的问题。最后，未被分配给任何共享类原型的质心将被视为目标私有类的发现原型，并用于填充\(W_P\)的列（此时聚类的顺序无关紧要）。然后使用精炼后的模型\(W_T = [W_S|W_P]\)来生成初始伪标签分配，具体细节将在下一节中介绍。3.3 基于邻居共识的伪标签细化与Litrico等人（2023年）和Chen等人（2022年）类似，伪标签的细化是通过聚合最近邻居样本的知识来完成的。其基本思想是相似的样本很可能属于同一类别。因此，我们假设从语义相似的样本中提取的特征在特征空间中彼此接近，并通过对比学习损失进一步强化这一假设，如第3.6节所述。更正式地，给定一个目标样本\(x_t\)和一个从分布\(\mathcal {T}_{wa}\)中抽取的随机弱增强\(t_{wa}\)，我们从增强后的图像中得到一个特征向量\(z_t = \varphi _t(t_{wa}(x_t))\)，用于在目标特征空间中搜索\(x_t\)的邻居（Litrico等人，2023年）。通过软投票（Mitchell & Schaefer，2001年）聚合邻居的预测来细化\(x_t\)的伪标签，如下所示：$$\begin{aligned} \bar{p}_t^{(c)} = \frac{1}{|\mathcal {I}|}\sum _{i \in \mathcal {I}} p'^{(c)}_i, \end{aligned}$$ （1）其中\(\mathcal {I}\)是选定邻居的索引集，\(p'\)是softmax输出，上标c表示类别索引。为了获得一个细化的伪标签，我们找到方程（1）中概率最大的类别c，即\(\bar{y}_t = \mathop {\mathrm {arg\,max}}\limits _c \; \bar{p}_t^{(c)}。\)细化的伪标签被分配给样本\(x_t\)并用作自我监督信号（见第3.7节）。这个细化过程依赖于一个长度为\(M<|\mathcal {X}_t|\)的银行\(\mathcal {B}\)，其中存储了特征和softmax预测的对\(\{z'_j, p_j'\}_{j=1}^M\)。然后通过计算共享类原型\(W_S[i]\)与聚类质心\(c_k\)之间的余弦相似度来选择样本\(x_t\)的邻居，并将\(W_S\)中的每一列与相似度最高的质心匹配。这种策略通过确定一个排列来解决类别不对齐问题，该排列根据它们与共享类原型的匹配情况重新排序质心\(c_k\)。最后，未被分配给任何共享类原型的质心将被视为目标私有类的发现原型，并用于填充\(W_P\)的列（此时聚类的顺序无关紧要）。然后使用精炼后的模型\(W_T = [W_S|W_P]\)来生成初始伪标签分配，具体细节在下一节中介绍。3.3 基于邻居共识的伪标签细化与Litrico等人（2023年）和Chen等人（2022年）类似，伪标签的细化是通过聚合最近邻居样本的知识来完成的。其基本思想是相似的样本很可能属于同一类别。因此，我们假设从语义相似的样本中提取的特征在特征空间中彼此接近，并通过对比学习损失进一步强化这一假设，如第3.6节所述。更正式地，给定一个目标样本\(x_t\)和一个从分布\(\mathcal {T}_{wa}\)中抽取的随机弱增强\(t_{wa}\)，我们从增强后的图像中得到一个特征向量\(z_t = \varphi _t(t_{wa}(x_t))\)，用于在目标特征空间中搜索\(x_t\)的邻居（Litrico等人，2023年）。通过软投票（Mitchell & Schaefer，2001年）聚合邻居的预测来细化\(x_t\)的伪标签，如下所示：$$\begin{aligned} \bar{p}_t^{(c)} = \frac{1}{|\mathcal {I}|}\sum _{i \in \mathcal {I}} p'^{(c)}_i, \end{aligned}$$ （1）其中\(\mathcal {I}\)是选定邻居的索引集，\(p'\)是softmax输出，上标c表示类别索引。为了获得一个细化的伪标签，我们找到方程（1）中概率最大的类别c，即\(\bar{y}_t = \mathop {\mathrm {arg\,max}}\limits _c \; \bar{p}_t^{(c)}。\)细化的伪标签被分配给样本\(x_t\)并用作自我监督信号（见第3.7节）。这个细化过程依赖于一个长度为\(M<|\mathcal {X}_t|\)的银行\(\mathcal {B}\)，其中存储了特征和softmax预测的对\(\{z'_j, p_j'\}_{j=1}^M\)。然后通过计算银行中存储的特征之间的余弦距离来选择样本\(x_t\)的邻居。选择距离最小的\(|\mathcal {I}|\)个样本作为邻居。根据（He等人，2020年；Litrico等人，2023年），我们使用一个缓慢变化的动量模型\(g'_t (\cdot ):= \text {EMA}[h_t(\varphi _t(\cdot ))]\)来更新特征\(z'\)和预测\(p'\)，以在适应过程中保持银行中存储的信息稳定。由M个随机选择的样本组成的银行减少了寻找邻居所需的成对比较次数。如上所述，伪标签的细化是通过平均存储在\(\mathcal {B}\)中的邻居概率来完成的。为了生成反映第3.2节中获得的簇的初始伪标签，我们需要相应地初始化银行。然而，我们在第3.2节中使用的聚类策略为所有样本\(x_t\)生成了类别分配而不是概率。为了克服这个问题，在聚类初始化之后，我们将每个目标样本与一个与其到质心\(c_k\)的相似度成比例的概率向量关联起来。给定目标特征\(z_t\)和质心\(c_k\)，我们确定概率向量\(p'\)作为\(z_t\)与\(c_k\)中每个质心之间的类别相似度。具体来说，对于每个目标样本，我们按以下方式获得概率向量\(p'\)来初始化银行：$$\begin{aligned} p' = 1 - \frac{CosDist(z_t, c_k)}{\underset{j \in \{1,...,|\hat{C}_P|\}}{\max } CosDist(z_t, c_k^j)} \end{aligned}$$ （2）其中\(CosDist(z_t, c_k) = 1 - \frac{z_t \cdot c_k}{||z_t||\;||c_k||}\)是余弦距离，i是类别索引。最后，为了获得概率\(p''\)，将向量\(p'\)提供给softmax函数\(\sigma \)并设置一个温度参数\(\tau _2\)，\(p'' = \sigma (p' / \tau _2)\)。因此，对于所有样本\(x_t\)，类别c的概率值将与特征\(z_t = \varphi _t(x_t)\)与质心\(c_k\)之间的相似度成正比。此外，概率最高的类别将正是第3.2节中的聚类策略分配给样本的类别。3.4 开放集场景中的伪标签不确定性精炼后的伪标签\(\bar{y}_t\)被用作目标数据分类损失的自我监督信号，如第3.7节所述。然而，这样的伪标签并不完美，特别是在迭代细化过程的开始阶段，因此仍然包含噪声。因此，在分类损失中使用所有这些伪标签会干扰适应过程，因为模型将用错误的信息进行训练。为了减轻这个问题，我们进行样本选择，以选择只有低不确定性的样本：这些样本通过基于它们的伪标签的不确定性的伯努利抽样随机选择，具体细节在后续段落中说明。通过邻居共识估计不确定性。这种第一种不确定性估计方法来自我们之前的工作（Litrico等人，2023年）。它通过测量邻居预测之间的共识来估计伪标签的不确定性。这种策略基于这样的假设：如果邻居对预测的类别达成一致，则派生的伪标签应该被认为是可靠的（低不确定性）。否则，如果网络对邻居样本预测不同的类别，则获得的伪标签应该被认为是不可靠的（高不确定性）。为此，我们计算\(\bar{p}_t\)的熵\(\mathcal {H}\)（方程（1）作为伪标签不确定性的估计器，注意到在低不确定性情况下\(\mathcal {H}\)会产生低值，在其他情况下会产生高值。我们定义不确定性系数\(u^{nc}_t\)如下：$$\begin{aligned} u^{nc}_t = \frac{\mathcal {H}(\bar{p}_t)}{\log _2 \, |C|}. \end{aligned}$$ （3）虽然不确定性系数\(u^{nc}_t\)在封闭集场景中减少了噪声伪标签的影响（Litrico等人，2023年），但我们注意到它在开放集场景中可能无法模拟不确定性。实际上，在初始聚类分配过程中，由目标私有样本组成的簇可能会被错误地分配给任何共享类。这主要是因为模型在源上的预训练期间没有优化以区分共享类和目标私有类，这意味着共享类和目标私有类在特征空间中可能非常接近。在这种情况下，所有簇的样本将共享相同的错误伪标签，使得不确定性估计不成功。通过类分离估计不确定性。为了解决这个问题，我们提出了一种新的策略来估计伪标签的不确定性，该策略适用于开放集场景，通过分析样本与类别原型的距离来估计不确定性，如图3所示。这种新策略与邻居共识结合使用。我们基于这样的假设：当两个类别在特征空间中接近时，样本与两个类别原型的距离将相似。相反，当这些类别明显分离时，样本将接近一个原型而远离另一个原型。根据这一假设，我们分别考虑高不确定性和低不确定性的情况。在目标私有样本的簇与共享类非常接近可以互换的情况下，样本与两个类别原型的距离将相似，从而导致高不确定性。更正式地，对于目标样本\(x_t\)，我们从\(\bar{p}_t\)中选择两个类别的索引\(\{i,j\}\)，这些索引对应的伪标签最有可能是样本的伪标签。然后我们计算目标样本\(z_t = \varphi _t(x_t)\)的特征与原型W[i]和W[j]之间的余弦距离。最后，我们得到不确定性值\(u^{cs}_t\)如下：$$\begin{aligned} u^{cs}_t = \frac{CosDist(z_t, W[i])}{CosDist(z_t, W[i]) + CosDist(z_t, W[j])} \end{aligned}$$ （4）图3通过类分离估计伪标签的不确定性。通过计算样本与两个最近类别原型之间的距离来估计伪标签的不确定性。如果样本在特征空间中与两个类别的距离相似，则其伪标签的不确定性很高。相反，如果一个样本接近某个类别而远离另一个类别，那么它的伪标签的不确定性就较低，我们将其视为可靠的。为了提高模型对共享类别和目标私有类别样本的噪声伪标签的鲁棒性，我们结合了这两种不确定性估计策略来选择不确定性最低的样本用于分类损失中，具体细节见第3.7节。具体来说，我们计算目标样本具有正确伪标签的概率 \(w^{nc}_t\) 和 \(w^{cs}_t\)，分别对应于 \(u^{nc}_t\) 和 \(u^{cs}_t\)：$$\begin{aligned} w^{nc}_t= & \mathcal {F}(u^{nc}_t) \end{aligned}$$ $$\begin{aligned} w^{cs}_t= & \mathcal {F}(u^{cs}_t) \end{aligned}$$ 其中 \(\mathcal {F}\) 是一个单调递减的函数，用于给不确定性较低的样本分配较高的概率，反之亦然。在第4.2节中，我们分析了 \(\mathcal {F}\) 的两种选择。我们通过伯努利采样（Bernoulli Sampling）选择不确定性较低的样本，其概率分别为 \(w^{nc}_t\) 和 \(w^{cs}_t\)，然后将它们结合起来：$$\begin{aligned} M_i = \operatorname {B}(w^{nc}_t) \oplus \operatorname {B}(w^{cs}_t) \end{aligned}$$ 其中 \(\operatorname {B}(p) \in \left\{ 0,1\right\}\) 是成功概率为 \(0\le p\le 1\) 的伯努利采样，\(\oplus \) 是一个逻辑运算符。在第4.2节中，我们比较了运算符 \(\oplus \) 的两种选择。最后，我们定义 \(\mathcal {U}=\{x_t^i \in \mathcal {X}_t| M_i = 1\}\) 为基于不确定性的选定目标样本集。这组样本将在下一节的分类损失适应过程中使用。3.5 使用精炼伪标签的适应通过聚合邻居知识获得的精炼伪标签来计算目标数据上的分类损失，以使模型适应新领域。我们使用从弱增强图像 \(t_\text {wa}(x_t)\) 获得的精炼伪标签 \(\bar{y}_t\) 作为强增强版本 \(t_\text {sa}(x_t)\) 的自我监督。伪标签的精炼是一个迭代过程，在训练过程中通过多个步骤逐步提高伪标签的准确性。与我们的先前工作（Litrico等人，2023年）一样，除了提出的样本选择和排除策略外，为了减轻噪声伪标签的影响，我们使用负学习损失（Kim等人，2019年，2021年）作为分类损失。与Kim等人（2019年）不同，他们同时或交替使用负学习损失和正损失，而在这里我们在整个训练过程中不使用正损失。所使用的分类损失如下：$$\begin{aligned} L_t^{cls} = - \; \mathbb {E}_{x_t \in \mathcal {U}} \Bigr [ \sum _{c=1}^C \tilde{y}^c \, log \, (1-p_\text {sa}^c) \Bigr ], \end{aligned}$$ 其中 \(\tilde{y}^c\) 是从标签集合中随机选择的补充标签 \(\tilde{y} \in \{1,\ldots ,C\} \, \backslash \, \{\bar{y}_t\}\)，且没有经过精炼，\(p_\text {sa} = \sigma (h_t(\varphi _t(t_\text {sa}(x_t))))\) 是强增强图像 \(t_\text {sa}(x_t)\) 的概率输出，\(\mathcal {U}\) 是不确定性较低的样本集，具体细节见第3.4节。随机选择补充标签 \(\tilde{y}\) 与负学习框架（Kim等人，2019年）是一致的。图4 如果仅比较最新的预测（绿色框），一些目标图像可能会被错误地视为负对。然而，由于 \(x_t^i\) 和 \(x_t^j\) 在过去的T个时期（即 \(\{e-T,...,e-1 \}\)）中至少共享过相同的伪标签，我们将它们从负对列表中排除。图来自Litrico等人（2023年），经作者许可复制。全尺寸图像3.6 开放集场景的对比损失如第3.3节所述，通过邻居样本进行伪标签精炼的过程假设从同一类别样本提取的特征在特征空间中比来自其他类别的样本更接近。我们在自监督对比学习中促进这一假设。我们在MoCo（He等人，2020年）的基础上，聚合同一图像的不同增强方式的特征以及来自不同样本的表示（负对）。具体来说，对于每个样本 \(x_t\)，我们生成两个强增强样本 \(t_{sa}(x_t)\) 和 \(t'_{sa}(x_t)\)，其中 \(t_{sa}, t'_{sa} \in \mathcal {T}_\text {sa}\) 是从强增强空间 \(\mathcal {T}_{sa}\) 中随机抽取的两个变换。为了在特征空间中构建对比对，特征提取器将增强样本嵌入为查询 \(q = \varphi _t(t_{sa}(x_t))\) 和键 \(k = \varphi _t(t'_{sa}(x_t))\)。虽然我们将与同一样本 \(x_t\) 相关的表示 q 和 k 作为正对，但我们通过维护一个队列 \(Q_e\) 来构建负对，该队列存储键特征 \(\{ k^{(i)}\}_{i=1}^N\)，具体细节如下。MoCo（He等人，2020年）使用对 (q, k) 作为正对，所有对 \(\{(q,k^{(i)}) \}_{i=1}^N\) 作为负对，通过最小化和最大化它们的余弦距离来区分正对和负对。由于特征在 \(Q_e\) 中独立于类别存储，即使是属于同一类别的样本的特征也会被分开，这与我们希望在特征空间中更好地聚合同一类别样本的目标相矛盾。在Chen等人（2022年）的研究中，作者提出了一种从对比损失中排除某些负对的策略。对于每对负对，他们只比较两个样本的伪标签。如果它们共享相同的伪标签，则排除该负对；否则，将该对包含在负对列表中。然而，Chen等人（2022年）的排除策略没有考虑到在适应过程中不可避免地影响伪标签的噪声。实际上，这种噪声仍可能导致错误的负对，即被分类不同但具有相同真实标签的对。这会导致标准对比框架的不稳定性，严重影响学习到的特征空间。因此，我们遵循Litrico等人（2023年）中的时间排除策略，利用过去的预测来识别并排除由同一类别样本组成的对，即使这些样本的伪标签有噪声。这种排除策略基于这样的直觉：与其只看当前的伪标签，不如查看其过去的历史，这样有更高的概率观察到正确的标签：历史可能会揭示正确的标签，从而改进排除过程。为此，我们通过存储每个样本的精炼伪标签 \(\{\bar{y}^{(j)}\}_{j=1}^\tau \)（即过去 \(\tau \) 个时期的标签），即 \(\{e-\tau ,\ldots ,e-1\}\)，来构建一个时间队列 \(Q_e\)，并从可用负对集合中过滤掉所有在过去 \(\tau \) 个时期至少共享过相同伪标签的对，如图4所示。尽管这个过程可能会过滤掉很多真正的负例，但它确保大多数假负例被排除。NL-InfoNCELoss。伪标签的精炼是一个迭代过程，这意味着伪标签中仍然存在一定量的噪声。此外，在开放集设置中存在难以正确识别的目标私有类别，这增加了与封闭集情况相比的噪声。受Kim等人（2019年）的启发，并且与我们的先前工作（Litrico等人，2023年）不同，我们提出了一种新的对比损失，称为NL-InfoNCELoss，它在标准InfoNCELoss中加入了负学习的原则。尽管第3.4节和第3.6节提出的策略旨在减少这种噪声的影响，但我们认为使用负学习范式对于对比损失来说是有益的，可以减少假负样本的影响。因此，所提出的NL-InfoNCELoss的公式如下：$$\begin{aligned} L_{\text {NL-InfoNCE}} = - \, log \left( 1 - \, \frac{exp(q \cdot {k}_{-} / \tau )}{\sum _{j\in \mathcal {N}_q} exp(q \cdot k_j / \tau )} \right) , \end{aligned}$$ $$ \mathcal {N}_q = \{ j | \bar{y}_j^{(i)} \ne \bar{y}^{(i)} , \;\forall j \in \{1,\ldots ,N\}, \forall i\in \{1,\ldots ,\tau \} \}, $$其中 \({k}_{-}\) 是从负样本集合中随机选择的一个负样本，\(\mathcal {N}_q\) 是在过去的 \(\tau \) 个时期从未与查询样本共享相同伪标签的样本的索引集。通过优化所提出的NL-InfoNCELoss，模型被训练来增加查询样本与随机选择的负样本之间的特征距离，而不是与所有负样本之间的距离，如标准InfoNCELoss中那样。尽管这种公式减弱了对比损失的分离效果，但它减少了负对中噪声伪标签的影响。在第4.2节中，我们分析了所提出的损失与标准InfoNCELoss的贡献。3.7 整体框架除了前面章节中详细介绍的分类和对比损失之外，我们还遵循标准的最先进协议（Litrico等人，2023年），添加了以下正则化项以防止后验崩溃：$$\begin{aligned} L_t^{div}= & \mathbb {E}_{x_t \in \mathcal {X}_t} \Bigr [ \sum _{c=1}^C \bar{p}_q^c \, log \, \bar{p}_q^c \Bigl ], \\ \bar{p}_q= & \mathbb {E}_{x_t \in \mathcal {X}_t} \left[ \sigma \left( h_t\left( \varphi _t\left( t_{sa}\left( x_t\right) \right) \right) \right) \right] . \end{aligned}$$当使用噪声标签进行训练时，模型可能会学习到一个退化的潜在表示，导致预测所有样本属于同一个类别，特别是如果噪声非常偏向于某个类别。通过鼓励模型预测的多样性，这个术语可以减轻这种现象的发生。用于使模型适应目标数据的整体目标函数如下：$$\begin{aligned} L_t = \gamma _1 L_t^{cls} + \gamma _2 L_t^{\text {NL-InfoNCE}} + \gamma _3 L_t^{div}, \end{aligned}$$ 其中 \(\gamma _1=\gamma _2=\gamma _3=1\) 是未调整的超参数。4 实验和结果数据集。我们在以下开放集无源域适应设置的基准数据集上评估了我们的方法：Office31（Saenko等人，2010年）、Office-Home（Venkateswara等人，2017年）和VisDA-C（Peng等人，2017年）。– Office31包含三个领域：Amazon（A）、Dslr（D）和Webcam（W），共有31个类别，其中前10个类别是共享的，后11个是私有的。其余10个类别在此设置中不使用。– Office-Home包含来自四个特定领域的65个标记图像类别：Art（Ar）、Clipart（Cl）、Product（Pr）和Real World（Rw）。按字母顺序排列的前25个类别是共享类别，其余40个类别是私有的。– VisDA-C是一个大规模数据集，包含来自两个不同领域的图像：合成（S）和真实（R）。它包含12个类别，总共有280,000张图像，其中前6个类别是共享类别，其余6个类别是私有的。评估指标。遵循（Li等人，2023年；Bucci等人，2020年；Liu等人，2019年），我们使用三个评估指标来比较性能，包括已知类别的平均类别准确率 \(\text {OS}^{*}\)、未知类别UNK的准确率，以及 \(\text {HOS} = 2 \, \frac{\text {OS}^{*} \times \text {UKN}}{\text {OS}^{*} + \text {UNK}}\)，这是OS\(^{*}\)和UNK之间的调和平均值。HOS是最新开放集域适应文献中的核心指标，因为它需要在共享类别和私有类别准确率之间取得良好的平衡。实现细节。我们使用标准的分类架构，包括一个特征提取器后接一个分类器。为了与竞争方法公平比较，我们在实验中使用了ResNet-50（He等人，2016年）作为骨干网络。表1 Office-Home上的HOS得分（%）。所有方法都使用ResNet-50作为骨干网络。所提出的方法平均（Avg.）实现了最高的准确率，优于多个UDA方法。下划线的结果是标准UDA方法中最好的，而加粗的结果是最佳的SF-UDA方法。全尺寸表格表2 Office31和VisDA-C上的HOS得分（%）。所有方法都使用ResNet-50作为骨干网络。所提出的方法平均（Avg.）比之前的SF-UDA最佳方法高出2.1%，同时与UDA基线方法具有竞争力。下划线的结果是UDA方法中最好的，而加粗的是最佳的SF-UDA方法。全尺寸表格对于源训练，我们使用Pytorch模型动物园中可用的ImageNet-1K（Deng等人，2009年）预训练的权重来初始化ResNet骨干网络。我们仅使用标准的交叉熵损失来训练源模型。对于适应阶段，目标模型使用源模型的参数进行初始化。对于开放集实验，在适应之前，我们将分类器大小增加到 \(2 \cdot |C_S|\) 以考虑未知类别。初始聚类是使用Scikit-learn（Pedregosa等人，2011年）的K-means算法进行的。如需更多详细信息，代码将在论文被接受后提供。

4.1 结果
本节展示了我们的方法在Office-Home、Office31和VisDA-C数据集上，在SF-OSDA框架下获得的结果。我们之前会议论文中关于封闭集设置的结果报告在附录（第7.1节）中。

Office-Home。表1显示了我们的方法与最先进的UDA和SF-UDA方法在Office-Home数据集上的开放集设置下的性能。尽管我们的方法在适应过程中不使用源数据，但我们仍然优于几种UDA方法，如STA（Liu等人，2019年）、OSBP（Saito等人，2018年）、DAOD（Fang等人，2021年）和DANCE（Saito等人，2020b年）。虽然GLC（Qu等人，2023年）取得了最佳的平均性能，但我们的方法在HOS和UNK分数上超过了某些最近的无源方法，如AaD（Shiqi等人，2022年）和USD（Jahan & Savakis，2023年）。此外，我们在多个设置中取得了最佳的UNK性能，显示出在可能包含一些共享样本的情况下识别私有样本的能力。这也显示了我们方法在小规模数据集上的局限性。

Office31。表2将我们的方法与最先进的UDA和SFDA方法在Office31数据集上的开放集设置进行了比较。对于UDA设置，尽管我们的方法在适应过程中完全不使用源数据，但其性能与其他方法相当。值得注意的是，在UDA设置中，源数据的可用性是一个显著的优势，因为它们可以用于对齐域。对于更具挑战性的SF-UDA设置，我们取得了有竞争力的HOS分数，比最近的基线方法（如USD（Jahan & Savakis，2023年）和AaD（Shiqi等人，2022年）高出\(+2.1\%\)、\(+5.0\%\)。尽管LEAD（Qu等人，2024年）取得了平均最佳结果，但我们的方法与GLC（Qu等人，2023年）和LEAD（Qu等人，2024年）一样，在两种源-目标配置中都取得了最高的\(\text {HOS}\)分数，证明了在\(\text {OS}*\)和\(\text {UNK}\)之间取得了更好的平衡。相反，以前的方法在一个设置上表现良好，但在另一个设置上表现较差。例如，SHOT通常在\(\text {OS}*\)上取得最佳结果，但在\(\text {UNK}\)上表现不佳，导致\(\text {HOS}\)分数较低。同样，AaD（Shiqi等人，2022年）在\(\text {UNK}\)上获得了较高的结果，但在\(\text {OS}*\)上较低。

VisDA-C。表2将我们的方法与最先进的UDA和SFDA方法在VisDA-C数据集上的开放集设置进行了比较。我们的方法一致性地优于几种最近的UDA方法，如STA（Liu等人，2019年）、OSBP（Saito等人，2018年）和DANCE（Saito等人，2020b年）。更重要的是，在无源设置中，我们的方法取得了最佳的HOS分数，分别以\(+0.9\%\)、\(+2.6\%\)和\(+5.7\%\)的显著优势超过了表现最好的基线方法LEAD（Qu等人，2024年）、GLC（Qu等人，2023年）和USD（Jahan & Savakis，2023年）。这些结果证明了我们的方法在大型数据集上的有效性，非常适合实际应用。

表3 对所提出方法各组件的消融研究，通过HOS分数（%）在Office31和VisDA-C上进行测量。第一行排除了所有组件。第二行包括第3.2节中的聚类初始化。第三行和第四行分别包括第3.4节中用于估计伪标签不确定性的两种策略。最后一行介绍了第3.6节中提出的NL-InfoNCELoss。

4.2 分析
消融研究。我们的方法包含几个组件，以有效地适应无源适应环境下的目标域。表3显示了这些组件的好处：聚类初始化（参见第3.2节）、邻居共识和类别分离不确定性估计（参见第3.4节），以及提出的NL-InfoNCELoss（参见第3.6节）。在Office31数据集中，聚类初始化对训练性能有显著提升，平均准确率翻了一番。估计不确定性的好处大约为\(+2\%\)。当同时包括NL-InfoNCELoss时，性能提升约为\(+3\%\)。在大型VisDA-C数据集中也观察到了类似的趋势，所有引入的组件都有助于提高方法性能。

目标私有类的基数。如第3.2节所述，在适应过程中目标私有类的数量\(|C_P|\)是未知的。我们任意设置了预期的目标私有类数量\(|\widehat{C}_P|\)，并使用这个值来扩展分类器输出的大小并进行初始聚类。在这里，我们研究了不同\(|\widehat{C}_P|\)值下我们方法的性能。实验结果如图5所示。特别是，当目标私有类的数量等于源类的基数，即\(|C_P| = |C_S|\)时，获得了最佳性能。尽管如此，使用更高的\(|C_P|\)值，我们的方法也取得了良好的性能，获得的\(\text {HOS}\)分数接近于使用最优\(C_P\)值时的分数。相反，使用\(C_P=1\)时性能最差。这加强了我们的假设，即将所有目标私有类预测为一个独特的未知类是次优的，因为它需要将语义不同的样本聚集在一起。基于此，我们设计了我们的方法将这些样本划分为多个未知类。在附录（第7.2节）中，我们研究了相反的情况，即\(|\widehat{C}_P|\)固定而\(|C_P|\)变化。

图5 显示了在Office31的三个子任务上，随着估计的目标类数量\(|C_P|\)的变化，HOS分数（%）的变化。最佳性能是在\(|C_P| = |C_S|\)目标类时获得的。

从不确定性到选择概率。在方程（5）和（6）中，不确定性系数\(w^{nc}_t\)和\(w^{cs}_t\)是使用单调递减函数\(\mathcal {F}\)估计的。我们为这个函数选择了两种方式：（i）线性函数\(\mathcal {F}_{\operatorname {lin}}(x) = 1 - x\)；以及（ii）指数函数\(\mathcal {F}_{\operatorname {exp}}(x) = e^{-x}\)。

表4 显示了使用其中一个或两个函数来计算不确定性系数的效果。我们的模型使用这些函数的所有组合都取得了可比的性能。正如Litrico等人（2023年）所报告的，指数函数对于方程（5）来说效果更好，因为它避免了惩罚接近边界的样本。对于方程（6），选择\(\mathcal {F}\)的效果是边际的，性能下降分别约为\(0.1\%\)和\(0.5\%\)。这种行为的动机是系数\(u^{cs}_t\)的最小值为0.5，这避免了使用\(\mathcal {F}_{\operatorname {lin}}\)时对样本的过度惩罚。

结合不确定性估计策略。在第3.4节中，我们估计了不确定性系数\(w^{nc}_t\)和\(w^{cs}_t\)，这些系数用作从伯努利分布中抽取样本的成功概率。抽取的值通过逻辑运算符\(\oplus \)（方程（7）组合在一起。我们为\(\oplus \)运算符选择了两种方式：和或运算符。我们在表5中比较了这些运算符的好处。尽管任一运算符都超过了最先进的方法，但我们的模型通过结合不确定性概率和使用和运算符获得了最佳性能。和运算符要求样本在两个度量上的不确定性都较低，从而实现了比或运算符更细粒度的样本选择。

正面与负面分类损失。表6显示了使用仅标准正面损失（第一行）、正面和负面损失的线性组合（第二行）以及仅负面学习损失作为分类损失时获得的结果。尽管正面分类损失更容易受到域偏移和私有样本存在引入的伪标签噪声的影响，但我们的方法即使使用正面损失也超过了多个基线。这突显了我们的不确定性估计策略在处理这两种噪声方面的有效性。虽然使用正面和负面损失的组合可以改善性能，但使用仅负面损失时获得了最佳性能，因为它对引入的噪声具有更好的鲁棒性。

表4 在Office31和VisDA-C的三个子任务上，使用方程（5）和（6）中不同的函数\(\mathcal {F}\)选择得到的HOS分数（%）。

表5 在Office31的三个子任务上，比较了使用不同的逻辑运算符\(\oplus \)（方程（7）选择得到的HOS分数（%）。

表6 在Office31和VisDA-C上，使用正面与负面分类损失得到的HOS分数（%）。

表7 在Office31和VisDA-C上，使用InfoNCELoss与NL-InfoNCELoss得到的HOS分数（%）。

表7 显示了在SF-OSDA中使用提出的NL-InfoNCELoss与标准InfoNCELoss相比的有效性。虽然使用标准InfoNCELoss时我们的方法仍然取得了良好的性能，但引入提出的NL-InfoNCELoss后，我们在Office31和VisDA-C上分别获得了\(+2.5\%\)和\(+1.1\%\)的提升。我们推测这是由于对负面学习引入的噪声具有鲁棒性。

图6 目标私有类的特征空间可视化。样本的颜色代表预测的类别。\(\bullet \)符号代表正确预测，而\(\times \)代表错误预测。我们的模型为目标私有类生成了一个结构良好的特征空间，其中属于同一新类别的样本被聚集在一起。这为进行新类别发现提供了可能性。

发现新类别的潜在语义。我们在这里进行了额外的实验，以评估我们的模型是否能够作为副产品，根据语义将目标私有类的样本聚类到不同的簇中。为了实现这一目标，模型必须学习目标私有类的语义，即使由于目标域中缺乏标签，它不能直接为此目的进行优化。我们遵循了最先进的新类别发现工作（Yang等人，2023年；Fini等人，2021年）中的相同协议。我们通过设置\(|C_P|\)为实际的目标私有类数量来训练模型：这是评估这些实验结果所必需的。由于在适应过程中我们不使用目标私有类的标签，因此预测的目标私有类和真实目标私有类之间存在类别不对齐。为了解决这个问题，在推理时，我们将预测的目标私有类与真实类别进行匹配。具体来说，我们通过平均属于每个类别的样本的特征来计算目标私有类原型。然后使用匈牙利算法来执行真实类别和估计原型之间的匹配，并相应地调整预测标签。一旦预测和真实的目标私有类对齐，我们就定量和定性地评估我们的模型正确分类目标私有类样本的能力。如之前的工作（Yang等人，2023年；Fini等人，2021年）所示，我们通过计算聚类准确性来定量评估我们的方法对目标私有类样本进行聚类的能力：$$\begin{aligned} \operatorname {ClusterAcc} = \max _{t\in \mathcal {P}(C^P)} \frac{1}{|C^P|} \sum _{j=1}^{|C^P|} \mathbbm {1}(y_j = t(\hat{y}_j)) \end{aligned}$$ （11）其中\(y_j\)和\(\hat{y}_j\)分别是真实标签和预测。对于每个目标私有样本，\(\mathcal {P}(C^P)\)是\(C^P\)类的所有可能排列的集合，t是一个排列。

表8 在Office31的三个子任务上，评估我们的模型进行新类别发现能力的聚类准确性（%）。请注意，准确性仅针对属于目标私有类的样本计算。

表9 在VisDA-C合成数据集\(\rightarrow \)真实数据集上，封闭集分类准确性（%）。所有方法都使用ResNet-101作为主干网络。提出的方法平均比UDA最先进方法高出2.8%（平均），比之前的SF-UDA最先进方法高出1.8%（平均）。

表10 在DomainNet-126的7个域偏移上，所有方法都使用ResNet-50作为主干网络。提出的方法在6个域偏移上取得了最高的准确性，并且平均准确性最高（平均）。

表8和图6表明，即使我们的模型没有为此任务进行优化，也没有使用这些类的标签进行训练，它仍然能够在目标私有样本的分类中取得令人满意的结果。这意味着模型已经学习了新类别的潜在语义，从而有可能进行新类别的发现。请注意，以前的方法会将所有私有样本分类到一个未知类别中，这是不可能的。最后，图6展示了我们模型生成结构良好特征空间的能力：属于同一目标私有类的样本在特征空间中彼此靠近，从而可以将其聚类到同一个新类别中。

5. 局限性
尽管我们的方法在SF-OSDA（Source-Free Open-Set Domain Adaptation）场景中取得了显著进展，但仍有一些方面有待未来进一步探索。例如，基于聚类的初始化方法在我们的实验中虽然有效，但可以进一步优化，以确保在极端领域变化或数据集严重不平衡的情况下仍能保持稳健的性能。此外，虽然我们的不确定性引导样本选择有效减轻了噪声的影响，但未来的工作可以扩展这些策略，以提高在目标私有类数量众多的场景中的可扩展性和效率。

6. 结论
在本文中，我们提出了一种新颖的方法来解决无源开放集域适应（SF-OSDA）中的图像分类挑战。与现有方法将未知类别的样本归为单一的“未知”类别不同，我们的方法利用目标私有类的粒度将它们的样本分割到多个簇中，从而实现了更有效的适应，使得能够学习新类别的潜在语义。为此，我们引入了一种新颖的不确定性估计技术来处理适应过程中产生的噪声伪标签。我们还提出了一种新的NL-InfoNCELoss损失函数，该函数将负学习融入到自监督对比学习中，进一步增强了对比框架对伪标签中噪声的鲁棒性。我们的方法在Office31和Office-Home等小规模数据集上取得了有竞争力的性能，并且在大型基准数据集VisDA-C上超越了最新的基线方法，证明了其在实际应用中的有效性。进一步分析表明，由于模型已经学习了新类别的潜在语义，它可以在适应过程中将目标私有类的样本聚类到不同的簇中。这种行为也为新类别的发现提供了可能性。