基于稀疏对齐的动态双对比约束用于多源多目标领域自适应

《Neurocomputing》：Sparse Alignment-Guided Dynamic Dual Contrastive Constraints for Multi-Source and Multi-Target Domain Adaptation

　　摘要多源多目标领域自适应（MMDA）利用多个源领域的带标签数据以及多个目标领域的无标签数据，以提高跨领域迁移能力。现有方法往往只强调某一方面——要么是类别级语义对齐，要么是领域级分布对齐——而忽视两者之间的相互作用，这使得难以同时实现跨领域的语义一致性和分布一致性。为解决这一问题，我们提出了动态双对比约束（DDCC）。该方法通过最小化跨领域的类内差异和伪类内差异，同时最大化跨领域的类间差异和伪类间差异。通过赋予动态权重（DW），模型能够动态加强当前阶段至关重要的差异项所施加的约束，同时相应减弱非关键项的影响，从而实现跨领域语义与分布的协同对齐。为提升伪标签的可靠性，我们提出了一种基于集成平均的多阶段过滤机制，从多个维度逐步剔除低质量的伪标签。此外，我们还提出了一种稀疏对齐（SA）策略，通过随机稀疏化跨领域对齐路径，从而避免过度依赖特定路径，并显著降低训练过程中的计算开销。理论分析表明，动态类别级对比约束（D-CCC）和动态领域级对比约束（D-DCC）可协同作用，有效降低目标领域风险的上限。在多个基准数据集上的实验结果表明，DDCC的性能显著优于现有的最先进方法，证明了该方法的有效性与优越性。代码地址为https://github.com/xswang999/DDCC。

引言近年来，深度神经网络在自然语言处理[1]和计算机视觉[2]领域取得了显著进展。然而，它们对大规模带标签数据集的依赖以及对分布偏移的敏感性，极大地限制了其在现实场景中的应用。领域自适应（DA）[3][4]作为迁移学习的核心子领域，旨在在存在分布偏移的情况下，将带标签的源领域中的监督信息转移到无标签的目标领域，其核心目标是学习与领域无关的特征表示。目前的研究主要集中于典型任务场景，包括单源单目标领域自适应（SSDA）[5]、多源领域自适应（MSDA）[6]以及多源多目标领域自适应（MMDA）[7]。在传统的SSDA中，研究人员通常采用基于度量的分布对齐[8][9]或对抗训练[10][11]来缩小源领域与目标领域表示之间的差异。然而，单源单目标场景受到信息多样性和结构多样性有限的双重限制，使得在复杂场景下实现稳健的迁移变得困难。为解决这一问题，MSDA利用多个带标签的源领域来提供更丰富的可迁移特征，已成为近期研究的重点。早期的MSDA方法大多沿袭SSDA的思路，通过统计度量或对抗式领域判别器来实现全局的领域级特征对齐，这在一定程度上缓解了宏观层面的领域偏移。不过，这些方法并未明确建模类别条件结构；当跨领域分布差异较大时，它们可能会将本应保持区分的类别合并，或使本应对齐的类别分开，从而导致负面迁移[12]。近期的研究越来越重视类别级语义对齐[13]，这种策略通过伪标签促进跨领域同类别样本的细粒度聚合[14]。尽管这一策略比领域级对齐更接近任务目标，且能缓解类别级不匹配问题，但纯粹的类别级语义对齐仍难以可靠地实现跨领域类内样本的聚合，也无法有效分离类间样本，从而导致决策边界模糊，类别可分性提升有限。与SSDA和MSDA相比，MMDA的相关研究相对较少；它的目标是实现多个带标签的源领域与多个无标签目标领域之间的高效知识迁移。然而，这种场景引入了更为复杂的跨领域异质性：不仅源领域与目标领域之间存在分布差异，源领域之间以及目标领域之间也存在差异。大多数现有的MMDA方法[15][16]基本上都是SSDA或MSDA的直接扩展，仅关注类别级语义对齐或领域级分布对齐中的一个方面，而忽视了两者之间的协同作用，如图1(a)所示。因此，目前仍缺乏能够共同约束跨领域语义与……的系统性约束。为解决上述问题，我们提出在表示空间中分别在类别层面和领域层面施加对比约束，从而实现基于类别条件（局部）和领域层面（全局）结构的协同对齐。类别级对比约束有助于实现跨领域的类内紧凑性以及类间可分性，而领域级对比约束则有助于实现每个伪领域内的紧凑性以及伪领域间的分离。然而，静态对比约束隐含地假设跨领域差异在训练过程中保持稳定，并以固定权重应用类别级和领域级约束。在多源多目标场景中，这一假设很少成立：随着模型不断优化，跨领域差异在训练过程中会持续变化。因此，固定的约束权重无法适应不同阶段的迁移需求，往往会导致过度对齐或对齐不足。为应对这种随时间变化的领域异质性，我们提出了动态双对比约束（DDCC），如图1(b)所示。具体而言，在多层特征融合空间中，我们同时施加动态类别级对比约束（D-CCC）和动态领域级对比约束（D-DCC）。这种设计能够动态加强当前阶段至关重要的差异项所施加的约束，同时相应减弱非关键项的影响，从而实现语义与分布的协同对齐，提升整体迁移性能。此外，我们还引入了一种稀疏对齐（SA）训练范式，该范式在对齐过程中加入随机路径失活机制，实现稀疏对齐，降低模型对特定对齐路径的过度记忆，减少过拟合风险，并提升多源多目标场景下的迁移能力。另外，我们还设计了一种基于多源集成平均的多阶段伪标签过滤方案，在多种约束的共同作用下，逐步过滤掉低质量的伪标签，为D-CCC和D-DCC提供可靠的监督信号。总体而言，DDCC通过动态权重（DW）自适应调节D-CCC和D-DCC的相对强度。与此同时，SA策略通过随机失活对齐路径实现稀疏对齐，从而降低模型对特定路径的过度记忆，增强模型的鲁棒性和迁移能力。结合基于集成平均的多阶段过滤机制，DDCC能够保持高质量的监督信号，进而提升迁移性能，并有效缓解在高异质性多源多目标条件下的负面迁移现象。本研究的主要贡献如下：•在有限核假设下，我们首次证明目标领域风险的上限由D-CCC和D-DCC共同决定，从而提供了可解释的理论依据。•在多层特征融合空间中，我们首次共同构建了带有动态权重的D-CCC和D-DCC，形成了局部语义与全局分布之间的动态对齐机制，能够系统地缓解类别偏移和领域偏移问题。•我们将SA策略引入对齐过程，将全路径对齐转变为稀疏对齐，降低过拟合风险，从而提升模型的鲁棒性和迁移能力。•我们提出了一种构建高质量伪标签的方法，该方法结合集成平均与多阶段过滤机制，逐步过滤掉低质量伪标签，为D-CCC和D-DCC提供可靠的监督信号。

相关工作领域自适应（DA）作为迁移学习[17][18]的重要分支，已经发展出多种典型场景，包括SSDA、MSDA以及最近研究的MMDA。本节将梳理SSDA、MSDA和MMDA的发展历程，并总结这三种研究方向的技术特点。

理论部分在本节中，我们在表示空间中推导了D-CCC和D-DCC的期望风险上界。为量化跨领域差异，我们在有限核假设下定义了D-CCC和D-DCC指标，并证明D-CCC和D-DCC分别能够约束表示空间中的语义差异和分布差异。这些结果从理论上表明，同时优化这两个指标可以降低目标领域风险的上限，从而降低……

方法论部分在本节中，我们将前述理论分析转化为可实现的算法。首先，我们将SA训练范式融入对齐过程。其次，我们利用D-CCC通过促进跨领域的类内紧凑性和类间可分性来捕捉局部语义关系。接着，我们构建伪领域，并运用D-DCC通过促进跨伪领域的类内紧凑性和类间可分性来捕捉全局分布关系。

实验部分在本节中，我们在Office-Home、ImageCLEF-DA和DomainNet数据集上，采用相同的实验方案，系统评估DDCC的性能，并与一系列最先进方法进行比较。我们分析了所提方法的有效性和优势，并报告了完整的实验结果。每个实验任务均使用不同的随机种子重复五次，最终报告平均准确率和标准差。

结论在本项工作中，我们提出了DDCC，用于解决MMDA中同时存在的类别级语义偏移和领域级分布偏移问题。该方法在多层特征融合空间中并行应用D-CCC和D-DCC。通过引入动态权重分配机制，模型能够在训练过程中动态加强当前关键差异项所施加的约束，同时相应减弱非关键项的影响，从而实现跨领域的协同……

致谢作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。

acknowledgments本项工作得到了中国国家自然科学基金（项目编号62073296）、浙江科技学院数字时尚与数据治理浙江省重点实验室（项目编号2024E10049）以及湖州科技计划项目（项目编号2025GY017）的支持。王晓顺目前在中国杭州浙江科技学院人工智能学院计算机科学与技术系攻读博士学位，他的研究兴趣包括迁移学习和计算机视觉，尤其专注于多源多目标领域自适应。

王晓顺|高金锋中国杭州浙江科技学院计算机科学与技术系