通过标签适配实现的自训练跨域图像分类模型

《Neurocomputing》：Self-training cross-domain image classification model via label adaptation

　　摘要：无监督领域自适应（UDA）旨在将来自有标签源领域的知识迁移至完全无标签的目标领域，从而提升目标领域的分类性能。近年来，教师-学生自训练框架这一流行的半监督学习范式——其中学生模型通过教师模型提供的伪标签进行监督——在UDA任务中展现了显著效果。然而，传统方法通常假设在跨领域场景中源领域标签仍然可靠。实际上，由于领域差异，源领域标签往往在目标特征空间中表现为“隐性噪声”，从而导致监督信号与目标分布之间存在不一致。为解决这一问题，本文提出了一种标签适配机制，该机制利用目标领域的结构信息来重构源领域标签。通过将静态离散标签转换为融合目标分布信息的软标签，该方法有效降低了源领域带来的偏差。此外，在伪标签学习过程中，传统的教师-学生框架依赖于单向知识蒸馏，这容易使早期伪标签噪声不断积累。为此，我们构建了一种双模型协同学习机制，让学生模型为教师模型提供伪标签。结合双向指数移动平均法以实现稳定交互，已吸收目标信息的 student模型能够反向提升教师的判别能力，进而提高伪标签质量与训练稳定性。最后，还引入了一种基于聚类的紧凑特征学习策略，以增强目标领域特征的区分度。这些模块在训练过程中形成相互促进的闭环优化机制，逐步缩小领域差距并提升分类性能。实验结果表明，我们的方法在多种基准测试场景下均取得了优异性能。

引言：深度学习将传统的图像处理方法转变为端到端的学习方式，能够同时学习特征与预测模型。它在图像分类、物体检测和语义分割等视觉任务中发展迅速，并展现出卓越的性能。尽管深度学习已成为广泛应用于各种任务的高效方法，但其成功依赖于一个假设，即模型在训练和测试时都处于相同的分布状态。然而，在实际应用中，源领域（训练数据）与目标领域（测试数据）之间的数据分布往往存在显著差异，即领域偏移。这种差异会导致模型在目标领域的性能大幅下降。针对特定应用场景，如遥感图像处理，人们也提出了多种解决方案。例如，在遥感基础模型方面，SpectralX[65]提出了一种参数效率高的领域泛化方法，用于应对光谱数据的多样性问题。在高光谱图像分类领域，基于双向领域自适应的方法[64]被证明更能有效对齐跨领域特征。同时，为进一步建模复杂的领域间关系，一些研究开始探索更强大的生成式架构。例如，统一的时空生成模型[66]被用于捕捉遥感数据中的复杂演化规律，为领域迁移提供更丰富的上下文信息。一种有效的解决方案是在目标领域对数据添加标签，并在该领域构建新的数据集来训练网络。但由于目标领域通常规模较大，获取标签往往成本高昂且耗时较长。因此，无监督领域自适应（UDA）作为一种主流方法被提出，用于解决领域偏移和标签稀缺问题。在实现领域自适应的各种技术中，最典型的方法主要是基于对抗学习与领域差异度量。除此之外，研究人员还采用了教师-学生自训练方法，将其从半监督学习扩展到领域自适应领域[43]。与简单的对抗学习相比，这种方法的优势在于不需要目标领域的标注，从而能够学习更多内在特征。通常会使用教师模型生成伪标签来更新学生模型。一种广泛使用的框架是均值教师模型（MT）[43]。该方法利用从目标样本生成的伪标签来指导模型在目标领域的学习。这些方法在领域自适应场景下显著提升了准确率。例如，结合对象关系的均值教师模型（MTOR）[2]以MT作为核心框架，通过区域级、图间及图内一致性来识别对象关系。无偏均值教师模型（UMT）[13]则通过引入CycleGAN[71]来改进教师-学生框架，进一步提升了性能。尽管目前基于教师-学生自训练框架的UDA任务已取得进展，但在实际应用中仍存在两个关键挑战：伪标签噪声问题以及源领域监督与目标领域结构之间的不一致性。具体而言，由于源领域与目标领域之间存在显著的分布差异，学生在训练初期主要依赖源领域的监督信号。这导致学习到的特征偏向于源领域分布，从而使伪标签往往包含大量错误且预测置信度较低。当这些不可靠的伪标签被用来训练教师模型时，错误会进一步累积，导致模型逐渐偏离目标分布，如图1左侧面板所示。因此，现有方法中直接依赖硬伪标签的自训练策略往往无法实现最佳的适配性能。为解决这些问题，以往的研究试图通过引入对抗学习来促进特征对齐。例如，[26]在学生模型中整合了领域分类器，以学习与领域无关的表示形式。然而，这类方法主要关注全局分布的对齐，而忽略了类别级的结构信息，这可能导致类间混淆，限制模型在目标领域的判别能力。为克服这些局限性，本文从标签层面提出了一种基于标签适配的自训练框架，旨在降低伪标签噪声，并使源领域监督与目标领域结构相一致。具体而言，我们将源领域样本视为目标分布的含噪观测值，通过构建融合目标领域结构信息的软标签来适应性调整源领域标签。该机制提供了更可靠的监督信号，避免了直接依赖硬伪标签，有效降低了含噪标签的负面影响。此外，我们还通过在教师模型中引入基于费希尔准则的聚类机制，结合特征层面的紧凑性学习，提升类内紧凑性并扩大类间间隔，从而增强特征的区分度。最终，标签层面适配与特征层面约束的结合形成了统一的跨领域学习框架，实现了稳定且逐步的领域对齐过程，如图1右侧面板所示。本文的主要贡献如下：•为解决现有自训练UDA方法中存在的伪标签噪声问题以及源领域监督与目标领域结构不一致的问题，我们从标签层面提出了一种标签适配机制，实现跨领域信息融合。•我们设计了一种软标签构建策略，将源领域标签与目标领域结构信息相结合，为模型提供更可靠的监督信号，有效降低错误伪标签的负面影响。•我们提出了一种统一框架，将标签层面适配与特征层面紧凑性学习相结合。通过引入基于费希尔准则的聚类机制，该框架提升了特征的区分度，促进了稳定的跨领域对齐。•在多个UDA基准数据集上进行的广泛实验表明，我们的方法取得了优异的性能，优于大多数现有先进方法。本文的其余部分结构如下：第2节回顾了无监督领域自适应、自训练方法以及含噪标签学习的相关研究；第3节介绍了所提出的方法，详细阐述了标签适配模块与聚类学习策略；第4节展示了实验结果与分析；最后，第5节对全文进行总结。

相关片段：无监督领域自适应作为迁移学习的一个子领域，无监督领域自适应（UDA）旨在解决存在分布差异的领域间的知识迁移问题，其目标是把从有标签源领域学到的知识适配到异构的无标签目标领域。在UDA研究中，基于领域差异的度量学习与对抗学习受到了较多关注，并取得了显著成果。

基于领域差异的任务设置：假设我们有从源领域分布中采样的 个有标签源领域样本，以及从目标领域分布中采样的 个无标签目标领域样本。我们用 表示分类任务中的 个类别标签集合，其中 ，且在训练期间无法获取 。我们会在特征空间中将特征生成器复制为两个结构相同的特征生成器 和 ，分别用于源领域和目标领域的训练。

实验：在本节中，我们选用Office-31 [39]、Image-CLEF [30]、Office-Home [44]和VisDA-2017[37]作为基准数据集，在标准数据设置下评估我们的方法。首先，我们会详细介绍数据集与实验设置；其次，展示我们方法的实验结果，并与其他方法进行比较；最后，从多个角度对模型及其实验结果进行详细分析。

结论：在本文中，我们提出了一种基于标签适配的无监督领域自适应自训练框架。与传统直接依赖硬伪标签的自训练方法不同，我们的方法通过构建合成的软标签，将目标领域的结构信息融入源领域监督中，从而减轻含噪伪标签的负面影响，减少源领域监督与目标领域分布之间的不一致性。此外，我们还……

CRediT作者贡献声明：魏星：写作——审稿与编辑、资源准备、资金获取；潘泽林：写作——初稿撰写、验证、方法设计、研究实施；徐俊龙：写作——审稿与编辑、可视化、方法设计、研究实施；赵冲：监督、资金获取、形式分析、概念构思；彭建生：验证、监督、项目管理；毕翔：可视化、验证、研究实施。

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢：本研究部分得到了中国中央高校基本科研业务费（项目编号PA2025GDSK0036）、广西壮族自治区教育厅人工智能与信息处理重点实验室（河池学院）（2024GXZDSY007）以及省级科技创新攻关计划项目（202423k09020003）的支持。魏星出生于1980年，2009年获得中国科学技术大学博士学位，现为合肥工业大学人工智能创新学院副教授。他的研究兴趣包括深度学习、物联网工程、无人驾驶技术等。

魏星|潘泽林|徐俊龙|赵冲|彭建生|毕翔
合肥工业大学人工智能创新学院，中国合肥