DPStyler：一种用于无源域泛化的动态提示风格器

《IEEE Transactions on Multimedia》：DPStyler: Dynamic PromptStyler for Source-Free Domain Generalization

动态提示风格器通过风格生成模块刷新所有风格并利用模型集成降低对文本提示的敏感度，风格移除模块消除编码器输出中的风格差异，有效提取跨域不变特征，在基准数据集上显著优于现有方法。

　　

摘要：

无源域泛化（SFDG）旨在开发一种无需依赖任何源域即可处理未见目标域的模型。SFDG的研究主要基于大规模视觉语言模型的现有知识，并利用预训练模型的联合视觉-语言空间来模拟跨域的风格转换，从而消除了对源域图像的依赖。然而，如何利用文本提示高效地模拟丰富多样的风格，以及如何在编码器之后的特征中提取对分类有用的、具有语义和风格信息的域不变信息，这些方面仍有改进的空间。在本文中，我们提出了Dynamic PromptStyler（DPStyler），它包含风格生成（Style Generation）和风格去除（Style Removal）两个模块来解决这些问题。风格生成模块在每个训练周期都会更新所有风格，而风格去除模块则消除编码器输出特征中由输入风格引起的变化。此外，由于风格生成模块负责通过随机采样或风格混合生成风格词向量，这会使模型对输入文本提示敏感，因此我们引入了一种模型集成方法来减轻这种敏感性。广泛的实验表明，我们的框架在基准数据集上的性能优于现有的最先进方法。

引言

深度神经网络在训练数据和测试数据独立同分布的基本假设下能够取得最佳性能。然而，当目标域的分布与源域不同时[1]、[2]、[3]、[4]、[5]、[6]，这些模型的有效性会显著下降。为了解决这个问题，人们广泛研究了领域适应（DA）方法[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]。这些方法假设可以访问目标域，并旨在将模型适配到该特定领域。然而，在许多现实世界场景中，目标域是无法访问的，这就导致了领域泛化（DG）范式的出现[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]。领域泛化假设可以访问一个或多个源域，但排除了对目标域的访问。领域泛化的主要目标是提高模型对任何未见领域的泛化能力。然而，在不同源域上训练的模型通常表现出不同程度的泛化能力，这使得确定哪些源域对提升模型的泛化能力有益变得具有挑战性。此外，收集和标注大量多源域数据以用于训练目的在成本上可能非常昂贵，有时也不切实际。