基于语言引导的跨模态协作学习在无监督领域适应中的应用

《Neurocomputing》:Language-guided cross-modal collaborative learning for unsupervised domain adaptation

【字体: 大 中 小 】 时间:2026年04月12日 来源:Neurocomputing 6.5

编辑推荐:

  本文提出一种基于语言引导的跨模态协作学习框架,通过利用大预训练视觉语言模型(VLMs)的文本模态增强语义一致性,结合双向Cross-modal Gating Learning Module(CGLM)和Cross-attention Multi-modal Fusion Module(CMFM)实现跨模态特征交互与领域不变语义学习,在Office-Home、VisDA17和DomainNet三个基准数据集上验证了方法的有效性和泛化能力。

  
刘丹|彭艾|沈周莉|王坤|叶茂|张建伟
上海科技大学机器智能研究所(IMI),中国上海,200093

摘要

传统的无监督领域适应(UDA)方法主要关注最小化领域分布差异,但往往忽略了数据中嵌入的语义级知识,这限制了它们处理复杂领域变化的能力。尽管最近的进展探索了从大型预训练视觉语言模型(VLM)中转移知识以用于UDA,但大多数方法倾向于过度拟合于特定领域的知识,从而影响了它们的跨领域泛化能力。为了解决这些挑战,我们提出了一个语言引导的跨模态协作学习框架,该框架利用了语义丰富的文本模态的优越可迁移性。具体来说,我们首先使用语言监督从目标文本描述中生成预测,从而促进跨领域知识转移。然后,我们分别使用CLIP的视觉编码器和微调过的BERT提取视觉和文本特征。接下来,我们引入了双向跨模态门控学习模块(CGLM)——包括文本门控视觉特征学习和视觉门控文本特征学习——以增强模态间的互信息并实现自适应特征过滤。最后,采用跨注意力多模态融合模块(CMFM)来加深视觉和文本表示之间的语义对齐,使模型能够学习出领域不变的语义,以实现有效的适应。在三个基准UDA数据集(Office-Home、VisDA17、DomainNet)上的综合评估表明,我们提出的方法在各种迁移场景中均取得了先进的平均性能,显著验证了其强大的泛化能力。

引言

视觉领域适应解决了一个关键问题:领域差异,这一直阻碍着监督学习模型的泛化能力。当在一个标记的源图像上训练的模型被应用于具有不同数据分布的未标记目标图像时,其性能通常会显著下降。视觉无监督领域适应(UDA)旨在通过从源领域向目标领域转移知识来解决这个问题。然而,大多数现有的视觉领域适应方法仅依赖视觉模态和分类标签来指导适应[1]、[2]、[3],这存在两个核心限制。一方面,仅通过视觉方法提取的视觉特征常常与风格、背景或纹理等特定于领域的变化纠缠在一起,这使得跨领域保持语义一致性变得复杂,尤其是在涉及细粒度类别或较大领域差距的情景中。另一方面,使用数值类别标签忽略了类别概念中固有的丰富语义信息,可能导致跨领域任务上的适应效果不佳。
最近在大型视觉语言模型(VLM)方面的进展为利用多模态知识来处理领域差距开辟了新的途径[4]、[5]、[6]、[7]。尽管如此,现有的利用VLM进行UDA的尝试仍然有限,并面临显著挑战。例如,一些方法设计了特定于领域的文本提示[8]或采用相互提示策略[9],但它们往往难以有效地将知识转移到目标领域,或者对跨模态噪声和冗余信息敏感。
重要的是,与图像或视频相比,文本描述通常包含更丰富的属性和标识符,这些已被证明可以提高标准分类任务中的识别准确性[10]。此外,由于文本在较低维度的语义空间中操作,语言模态本质上表现出比视觉模态更小的领域差距(如图1所示)。在各种文本来源中,由BLIP-2[11]等模型生成的图像标题提供了更具区分性和可迁移性的语义信号。例如,“一把带有金属腿的塑料椅子”或“一张带有花卉图案的复古沙发”。这一观察激励我们使用描述性标题作为语义桥梁来指导跨领域适应,将学习重点从视觉对齐转移到高级语义转移。虽然整合丰富的文本描述可以提高语义基础,但它也为多模态特征学习带来了重大挑战。
受此启发,我们提出了一个语言引导的跨模态协作学习框架用于UDA,如图2所示。具体来说,我们首先在源领域标题和类别标签上微调BERT分类器,为目标领域标题生成伪标签,从而建立语言引导的监督。然后,我们分别使用CLIP的视觉编码器和微调过的BERT提取视觉和文本特征。为了增强跨模态交互,我们引入了双向跨模态门控学习模块(CGLM),该模块执行文本门控视觉细化和视觉门控文本细化,从而加强互信息并过滤掉特定于领域的噪声。随后,采用跨注意力多模态融合模块(CMFM)进一步对齐和融合两种模态,形成领域不变的表现。
总之,本工作做出了以下关键贡献:
  • •
    我们提出了一种新的语言引导的适应范式,系统地利用描述性标题而不仅仅是类别名称作为语义监督,以减少跨领域差异。
  • •
    我们设计了一个双向门控模块(CGLM),以实现视觉和语言之间的自适应和交互式特征增强,提高领域不变性。
  • •
    我们实现了一个具有明确领域不变性目标的双向跨注意力多模态融合模块(CMFM),以学习出具有区分性且与领域无关的联合表示。
  • •
    在三个UDA基准数据集(Office-Home、VisDA17、DomainNet)上的广泛实验表明,所提出的方法在各种迁移场景中的平均性能优于其他模型,验证了其鲁棒性和泛化能力。
  • 章节片段

    无监督领域适应

    UDA方法旨在将知识从标记的源领域转移到未标记的目标领域。为了弥合这一普遍存在的领域差距,已经研究了多种UDA技术来减少不同计算机视觉任务(如图像分类、视频理解和语义分割)中的领域差异。这些方法主要可以分为五种不同的技术方法。第一类专注于最小化

    方法

    在典型的UDA场景中,我们通常有一个源领域

    方法

    在传统的UDA场景中,我们通常有一个源领域

    实验设置

    数据集。为了评估所提出方法在各种领域变化场景下的有效性和泛化能力,我们在三个广泛使用的UDA数据集上进行了全面实验。Office-Home是一个中等规模的领域适应基准,包括四个不同的领域:艺术(Ar)、剪贴画(Cl)、产品(Pr)和现实世界(Rw)。共有65个日常物品类别,涵盖了从家用电器到办公用品,总计约15,500张图像。该数据集展示了

    结论

    本文提出了一种新的语言引导的跨模态协作学习框架用于UDA。通过利用语言作为更具语义丰富性的传递媒介,我们的框架有效地缓解了领域差异。为了充分利用视觉和文本表示之间的相互依赖性,我们引入了CGLM,它对齐并放大了模态之间的互信息。

    CRediT作者贡献声明

    刘丹:撰写 – 审稿与编辑、监督、方法论、概念化。彭艾:撰写 – 原始草稿、软件、数据整理。沈周莉:可视化、验证、数据整理。王坤:撰写 – 审稿与编辑、可视化、软件。叶茂:撰写 – 审稿与编辑、监督、资金获取。张建伟:监督、资金获取。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文所报告工作的财务利益或个人关系。

    致谢

    我们衷心感谢审稿人的相关评论。本工作部分得到了德国科学基金会(DFG)和中国国家自然科学基金(NSFC)在项目Cross-modal Learning下的支持(合同号Sonderforschungsbereich Transregio 169)、中国国家自然科学基金(62106026)、中国重庆市自然科学基金(cstc2021jcyj-msxmX0273)、CPSF博士后奖学金计划(GZC20233323)以及四川省科技计划的支持
    刘丹是中国上海科技大学机器智能研究所的助理教授。她于2013年在河南信阳师范学院获得计算机科学学士学位,2016年和2020年分别在中国电子科技大学获得计算机科学硕士和博士学位。她还是德国汉堡大学信息学系的访问学者,
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号