GECL：面向无监督域适应的细粒度颗粒包络对比学习

《Neural Networks》：GECL: Fine-grained Granular Envelope Contrastive Learning for Unsupervised Domain Adaptation

　　

摘要
无监督域适应（UDA）旨在在分布偏移的情况下，将知识从标记源数据转移到无标记目标域。现有的类感知 UDA 方法通过利用标签信息来缓解负迁移。然而，它们往往忽视了类内多样性和概念偏移，限制了其捕捉细粒度语义结构的能力。在这项工作中，我们提出了一种新颖的粒度包络对比学习（GECL）方法，该方法通过为每个类别生成多个粒度包络来显式建模类内变化。首先，引入了一种粒度包络生成机制，该机制基于局部纯度准则递归划分特征空间。这些包络充当精细的类原型，能够更准确地表征类分布。其次，设计了一个样本到包络的对比学习目标，以增强判别性特征表示。第三，采用了一种包络引导的一致性正则化策略，以增强模型预测与包络结构之间的语义一致性。通过将这两个组件纳入包络感知优化框架中，该方法联合减少了域差异并增强了特征判别力。在多个基准上的广泛实验表明，我们的方法在不同域偏移场景下均取得了最先进的性能，特别是在大规模或高分歧设置下。

引言
近年来，机器学习在深度学习的推动下取得了显著进步。然而，大多数方法依赖于训练和测试数据独立同分布（i.i.d.）的假设（Li, Zhu, Du, 2024b, Zhang, Gao, 2024, Zhao, Yue, Zhang, Li, Zhao, Wu, Krishna, Gonzalez, Sangiovanni-Vincentelli, Seshia, Keutzer, 2022）。在现实场景中，由于环境、光照和姿态等获取条件的变化，这一假设很少成立，导致源域和目标域之间存在分布间隙。因此，在源域上训练的模型在直接应用于目标域时往往泛化能力较差，导致测试准确率大幅下降（Zhang, Kang, Lü, 2024, Zhou, Ye, Li, Zhu, Liu, Li, 2024）。

为了解决分布间隙，提出了无监督域适应（UDA）方法，旨在最小化域间分歧，同时促进从标记源数据到无标记目标数据的判别性知识转移。以前的工作大致可分为两类：基于指标的方法和基于对抗的方法。基于指标的方法使用不同的指标显式地对齐源域和目标域的统计特性，例如 MMD（Long, Cao, Wang, Jordan, 2015, Long, Zhu, Wang, Jordan, 2016, Tzeng, Hoffman, Zhang, Saenko, & Darrell）、CORAL（Sun and Saenko, 2016）、Wasserstein 距离（Courty, Flamary, Tuia, Rakotomamonjy, 2017, Liu, Zhou, Sun, 2023）和 KL 散度（Pan et al., 2019），以减少域间分歧。基于对抗的方法（Ganin, Lempitsky, 2015, Long, Cao, Wang, Jordan, 2018, Saito, Watanabe, Ushiku, Harada, 2018, Tzeng, Hoffman, Saenko, Darrell, 2017）通常设计一个域判别器来区分源样本和目标样本，而特征提取器则混淆源域和目标域样本。通过这种极大极小博弈，域间分布偏移被隐式减少，从而产生域不变特征表示。

尽管以前的方法取得了显著进步，但它们通常忽略类别语义信息。最近的研究表明，类别语义信息对域适应是有益的（Liang, Hu, Feng, 2021, Long, Zhu, Wang, Jordan, 2017, Tang, Chen, Jia, 2020, Tanwisuth, Fan, Zheng, Zhang, Zhang, Chen, Zhou, 2021）。这些方法通过联合优化边际和条件分布来实现域对齐。通过显式建模特定类别特征表示与其对应标签之间的相关性，该框架有效地减少了跨域差异。这种联合分布对齐策略确保了跨域的连贯知识转移。

域适应和泛化的最新进展也已扩展到遥感和高光谱场景（Zhang, Li, Jia, Zhang, Tao, Liang, 2025b, Zhang, Li, Sun, Tao, Du, 2023, Zhang, Li, Zhang, Han, Tao, & Liang, Zhang, Liang, Li, Ma, Xu, Ma, Xie, Li, Zhang, Tao, & Xia），例如 SpectralX（Zhang et al., 2025c）和 UniTS（Zhang et al., 2026）。这些方法通过利用光谱表示或域扩展策略来改进跨域迁移能力。

然而，这些方法仍有一些局限性。首先，现有方法通常使用单个类中心来表示整个类，忽略了样本的类内多样性。当同类样本之间存在概念偏移时，单个类中心可能无法有效捕捉该类的特征分布，导致次优的特征表示。如图 1 所示，电风扇类别可以进一步划分为塔扇、落地扇和台式扇等子类别。其次，这些方法受限于假设单态类分布的目标指导。这种不切实际的假设可能迫使模型向错误的目标优化，导致在具有多样类分布的真实数据上性能次优。

此外，现有的类感知 UDA 方法往往难以应对特征判别力有限的问题（Wang, Zhuo, Zhang, Wang, Fang, 2023, Wu, Zhang, Zhou, Yang, Zhao, Latecki, 2023）。为了解决这个问题，几项研究引入了对比学习，通过构建正负样本对来增强类级特征表示（Du, Luo, Yang, Jiang, Wang, 2022, Huang, Guan, Xiao, Lu, Shao, 2022, Kang, Jiang, Yang, Hauptmann, 2019, Li, Zhang, Wang, Hou, Tu, Zhang, 2024a, Li, Lu, Sun, Gao, Yan, Hu, Huang, 2025, Wang, Wu, Weng, Chen, Qi, Jiang, 2022, Wei, Wen, Yang, Liu, Zhao, Hu, Luo, 2023）。例如，实例到实例的对比学习方法（Huang, Guan, Xiao, Lu, Shao, 2022, Li, Zhang, Wang, Hou, Tu, Zhang, 2024a, Li, Lu, Sun, Gao, Yan, Hu, Huang, 2025, Wang, Wu, Weng, Chen, Qi, Jiang, 2022）通常将同类样本视为正对，不同类样本视为负对，从而优化语义感知特征表示。与这些实例到实例的方法不同，其他方法采用实例到类中心的策略（Du, Luo, Yang, Jiang, Wang, 2022, Kang, Jiang, Yang, Hauptmann, 2019），将对应的类中心视为正对，其他类的中心视为负对，以进一步细化类级特征判别。然而，实例到实例的对比方法由于其依赖于细粒度的成对比较，对噪声样本非常敏感，导致特征表示不稳定。另一方面，实例到类中心的对比方法存在粗粒度对齐问题，无法捕捉类内多样性，导致判别力次优。

为了解决上述挑战，我们提出了一种基于粒度包络对比学习（GECL）的新型域适应方法。首先，我们设计了一种粒度包络生成机制，该机制基于标签纯度准则递归划分目标特征空间，产生多个同质子区域。该机制有效地捕捉了类内多样性，提供了比每个类别依赖单个类中心更细粒度的表示。其次，我们利用这些细粒度的粒度包络表示来构建语义感知对比学习目标，鼓励每个目标实例与其语义最相似的包络对齐，同时与不相似的包络区分。这一过程促进了兼具判别性和域不变性的特征表示学习。第三，为了进一步促进预测一致性，我们提出了一种包络引导的自监督正则化策略，将模型预测与包络引导的伪标签对齐。这种对齐强制特征空间与标签空间之间的语义一致性。最后，这些组件与分类和对抗损失共同优化，形成了一个全面的框架，通过捕捉潜在类别结构并减轻目标域中的概念偏移，显著提高了适应性能。

本文的主要贡献总结如下：
• 提出了一种新颖的粒度包络生成机制，其中目标特征空间基于标签纯度进行递归划分。因此，每个类别由多个粒度包络表示，有效地捕捉了类内多样性，解决了传统单中心表示的局限性。
• 制定了一个语义感知对比学习目标，以增强特征判别力和对齐性。鼓励每个目标实例与其最相关的包络对齐，同时与其他包络进行对比，实现对局部结构的细粒度建模，提高所学特征的鲁棒性。
• 开发了一种新颖的一致性正则化策略，由源于包络结构的伪标签引导。这种正则化强制模型预测与包络诱导的监督之间的语义一致，提高跨域泛化能力和稳定性。
• 在多个基准上的广泛评估验证了所提出的方法 consistently 取得了优于领先方法的结果，在表现出大量类内变异性的场景中具有明显优势。

本文其余部分组织如下。第 2 节回顾了我们方法的相关工作。在第 3 节中，详细描述了所提出的方法。第 4 节展示了在基准数据集上进行的全面评估和经验分析。最后，第 5 节总结论文并讨论未来研究的潜在方向。

章节片段

相关工作
在本节中，我们回顾了与我们工作相关的两种主要方法：类无关和类感知的无监督域适应方法。

方法论
在本节中，我们首先介绍问题设置和方法概述。然后，我们详细介绍粒度包络生成、基于粒度包络的对比学习以及粒度包络引导的一致性正则化。最后，我们提出了总体损失函数。

数据集与实现细节
Office31（Saenko et al., 2010）是一个标准的域适应基准，包含来自三个域（Amazon (A), Webcam (W), and DSLR (D)）的 31 个类别的 4,652 张图像。通过将两个域视为源，剩余的作为一个目标，创建了六个迁移任务（例如，"A → W"，"A → D"等）。

OfficeHome（Venkateswara et al., 2017）是一个更具挑战性的域适应基准，包含来自四个域（Art (Ar), Clipart (Cl), Product...）的 65 个类别的 15,500 张图像。

结论
现有的 UDA 方法主要关注跨域全局或类级分布的对齐。然而，它们仍受限于两个关键问题：（1）细粒度的类内多样性常被忽视，导致同一类别内语义变化的表示不足；（2）大多数方法假设单态类分布，导致优化目标过于简化，无法捕捉现实类别的多峰特征。

ToCRediT 作者贡献声明
李浦飞：写作 – 审阅与编辑，写作 – 初稿，可视化，软件，方法论，调查。王品：写作 – 审阅与编辑，监督，方法论，构思。李永明：写作 – 审阅与编辑，监督，方法论，资金获取。沈英华：写作 – 审阅与编辑，可视化，方法论。Witold Pedrycz：写作 – 审阅与编辑，监督，构思。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些可能被认为影响了本论文中报告的工作。

致谢
我们感谢国家自然科学基金 NSFC [编号 U21A20448 和 72001032] 的支持；中央高校基本科研业务费专项资金 [2023CDJYGRH-ZD03]；重庆市中医药创新团队建设计划 [2023110002]；重庆市科技计划项目 [CSTB2021TIAD-KPX0069, CSTB2023TIAD-ZXX0049, cstc2020jscx-gksbx0009, and cstc2021jcyj-msxmX0501]；重庆市科学技术联合医学研究项目。

李浦飞 | 王品 | 李永明 | 沈英华 | Witold Pedrycz