用于黑盒无监督领域适应的增量伪标记方法

《Journal of Visual Communication and Image Representation》：Incremental pseudo-labeling for black-box unsupervised domain adaptation

黑盒无监督域适应（BBUDA）通过仅利用源模型对目标数据的预测实现跨域知识迁移，但源模型生成的伪标签因领域差异存在大量错误，导致目标模型性能下降。本文提出增量式伪标签选择方法，通过阈值筛选软最大概率、原型标签（最近邻质心）和类内相似性，分阶段迭代训练目标网络：首先用 vanilla BBUDA 生成初步伪标签，随后逐步筛选高置信度样本并训练增强型目标网络修正低置信度标签。实验表明该方法在 Office、Office-Home 和 VisDA-C 上显著优于现有 BBUDA 模型。

　　在当今人工智能技术迅猛发展的背景下，深度学习模型已经广泛应用于图像识别、自然语言处理等多个领域。然而，随着模型复杂性的增加，数据标注的需求也随之上升，这不仅耗费大量人力物力，还可能引发数据隐私和安全方面的担忧。为了解决这一问题，研究者们提出了多种无监督域适应（Unsupervised Domain Adaptation, UDA）方法，旨在将源域中已有的知识迁移到目标域，从而减少对目标域数据标注的依赖。UDA的基本思想是利用源域中的有标签数据训练模型，然后将其应用到目标域的无标签数据上，实现模型在目标域上的良好泛化能力。

然而，传统的UDA方法通常需要访问源域的数据和模型结构，这在某些情况下可能会带来隐私和安全风险。例如，在商业环境中，源模型可能通过云API服务提供预测结果，而不会泄露其内部结构或训练数据。这种情况下，模型的训练过程被限制为仅能使用源模型对目标数据的预测输出，即所谓的黑盒无监督域适应（Black-Box Unsupervised Domain Adaptation, BBUDA）。BBUDA的挑战在于，由于缺乏源域的直接访问，模型无法利用源域的数据或模型参数进行优化，这使得其在性能上面临更大的困难。

尽管BBUDA在理论上具有较高的安全性和隐私保护能力，但在实际应用中，源模型生成的伪标签（pseudo-labels）往往存在较高的错误率。这种错误率主要来源于源域与目标域之间的域差异（domain discrepancy），即源模型在目标域上的预测能力可能受到域间分布差异的影响。错误的伪标签不仅会影响目标模型的训练效果，还可能导致模型在目标域上的泛化能力下降。因此，如何有效提升伪标签的质量，成为BBUDA研究中的一个关键问题。

针对上述问题，本文提出了一种新的方法，通过逐步筛选高质量的伪标签来提高目标模型的泛化能力。该方法的核心思想是，在每次优化迭代中，通过设置不同的阈值，逐步增加高置信度的伪标签数量，从而逐步训练出一个更强的目标网络，以纠正低置信度的伪标签。具体来说，该方法包括以下几个关键步骤：首先，利用源模型生成初始伪标签，并训练一个粗糙的目标模型；其次，通过设定阈值，从低置信度数据集中筛选出高置信度的样本，利用这些样本进一步训练目标模型；最后，通过不断迭代，逐步提高伪标签的准确率，从而实现目标模型的持续优化。

在筛选高置信度伪标签的过程中，本文采用了三种不同的策略：基于softmax概率的阈值筛选、基于原型标签的筛选以及基于类内相似性的筛选。其中，softmax概率被广泛用于分类任务中衡量模型对样本分类的置信度。通常，正确分类的样本具有更高的softmax概率，因此通过设定一个较高的阈值，可以保留那些具有较高置信度的样本，从而减少错误伪标签的影响。原型标签的筛选则借鉴了已有研究中的方法，即通过计算目标样本与源模型中各类中心的距离，选择距离最近的中心作为该样本的伪标签。这种方法能够有效捕捉类别的分布特性，提高伪标签的准确性。类内相似性则用于衡量样本在语义层面的一致性，那些具有高相似性得分的样本更可能属于同一类别，因此可以被优先保留。

为了进一步提升伪标签的质量，本文还引入了教师-学生知识蒸馏（teacher-student knowledge distillation）机制。该机制允许目标模型在训练过程中从源模型的预测中学习，而不直接访问源模型的内部结构或参数。通过这种方式，目标模型能够在不泄露源模型信息的前提下，逐步提升其对目标域数据的表征能力，从而生成更准确的伪标签。

此外，本文提出的方法还包括一个预热阶段（warm-up phase），即在训练初期，使用较高的阈值来筛选高置信度的伪标签，以确保初始阶段的训练质量。随着训练的进行，阈值逐渐降低，从而允许更多的样本被纳入训练过程，进一步提升模型的性能。这种方法能够有效应对初始阶段伪标签稀缺的问题，同时确保模型在训练过程中逐步优化。

实验部分显示，本文提出的方法在多个基准数据集上取得了优异的性能。具体来说，该方法在Office、Office-Home和VisDA-C三个数据集上进行了测试，结果表明其在分类准确率方面优于现有的BBUDA方法。这不仅验证了该方法的有效性，也表明其在实际应用中的潜力。此外，本文还进行了大量的消融实验，以评估各个筛选策略对模型性能的具体贡献。实验结果进一步表明，结合softmax概率、原型标签和类内相似性的筛选方法能够显著提升伪标签的质量，从而改善目标模型的性能。

在方法的实现过程中，本文特别关注了如何在不访问源模型和源数据的前提下，充分利用源模型的预测信息。通过引入知识蒸馏机制，目标模型能够在不直接使用源模型参数的情况下，学习其表征能力。这种机制不仅有助于提高目标模型的泛化能力，还能够在一定程度上缓解源模型与目标模型之间的分布差异问题。

本文的研究具有重要的现实意义。首先，它提供了一种在隐私和安全受限环境下进行无监督域适应的新思路，适用于那些无法直接访问源模型和源数据的场景。其次，该方法能够有效提升伪标签的质量，从而减少错误伪标签对目标模型训练的负面影响。最后，通过逐步筛选和训练，该方法能够在不依赖大量高质量标注数据的情况下，实现目标模型的持续优化，这对于资源有限或数据标注困难的场景具有重要意义。

在实际应用中，BBUDA方法可能面临诸多挑战。例如，源模型的预测可能存在噪声，导致伪标签的不准确；此外，目标域的数据分布可能与源域存在较大差异，使得模型难以准确捕捉目标域的特征。为了应对这些问题，本文的方法通过多维度的筛选策略，结合知识蒸馏机制，逐步提升伪标签的可靠性。这种逐步优化的策略不仅能够有效减少错误伪标签的积累，还能够在训练过程中保持模型的稳定性。

本文还探讨了BBUDA方法与其他域适应方法的区别。与传统的UDA方法相比，BBUDA不依赖于源域的数据，而是完全基于源模型的预测结果。这使得BBUDA在隐私保护方面具有显著优势，但同时也增加了训练的难度。相比之下，WBUDA方法虽然能够直接访问源模型和源数据，但可能面临更高的安全风险。因此，BBUDA方法在实际应用中具有更高的安全性和隐私保护能力，但在性能上需要进一步优化。

通过本文提出的方法，研究者们能够在不访问源模型和源数据的情况下，有效提升目标模型的性能。这不仅为BBUDA研究提供了新的思路，也为实际应用中的隐私和安全问题提供了解决方案。此外，该方法的可扩展性也值得关注。由于其基于伪标签筛选和知识蒸馏的机制，本文的方法可以被灵活地集成到现有的BBUDA框架中，从而进一步提升模型的泛化能力和适应性。

总的来说，本文提出的方法在BBUDA领域具有重要的创新价值。通过逐步筛选高质量的伪标签，结合知识蒸馏机制，该方法能够在不访问源数据和源模型的前提下，显著提升目标模型的性能。实验结果表明，该方法在多个基准数据集上取得了优异的性能，验证了其在实际应用中的有效性。未来的研究可以进一步探索该方法在不同应用场景中的适应性，以及如何在更复杂的域间差异情况下提升其性能。同时，还可以考虑引入更多的筛选策略，以进一步提高伪标签的质量，从而实现更高效的无监督域适应。