基于文本引导的域知识泛化框架
《Electronics》:TDKG: Text-Guided Domain Knowledge Generalization with Cross-Modal Feature Alignment
【字体:
大
中
小
】
时间:2026年09月22日
来源:Electronics 2.9
编辑推荐:
域泛化(DG)旨在将仅在单一或多个源域上训练的模型泛化到未见过的目标域。受视觉-语言预训练模型可迁移性的启发,我们认为文本能够为域泛化提供互补的语义线索。在本文中,我们提出了一个文本引导的域知识泛化(TDKG)框架,该框架包含三个组件。首先,我们设计了一种自动词语生成方法,通
域泛化(DG)旨在将仅在单一或多个源域上训练的模型泛化到未见过的目标域。受视觉-语言预训练模型可迁移性的启发,我们认为文本能够为域泛化提供互补的语义线索。在本文中,我们提出了一个文本引导的域知识泛化(TDKG)框架,该框架包含三个组件。首先,我们设计了一种自动词语生成方法,通过词汇替换来生成与域相关的描述词。其次,我们通过提示学习将这些描述词嵌入到文本特征空间中,同时保留类别语义并鼓励不同域词汇之间的多样性。最后,我们利用图像特征和生成的文本特征来训练归一化分类器并更新图像编码器。文本分支仅在训练阶段需要;推理时仅使用测试图像即可。在五个域泛化基准上的实验表明,该方法取得了具有竞争力的性能,并且相比匹配的实证风险最小化(ERM)基线有一致的提升,尽管增益幅度在不同数据集和目标域上有所差异。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号