用于无源无监督域适应的轻量级Transformer层与预测一致性损失

《Pattern Recognition》：Light-weight Transformer Layers and prediction consistency loss for Source-Free unsupervised Domain Adaptation

　　

• •
  我们提出了一种基于视觉Transformer的无源域自适应方法。
• •
  我们提出将轻量级Transformer层插入冻结的主干网络中。
• •
  我们仅更新少量参数以防止源域遗忘。
• •
  我们还引入了一种一致性损失以学习更具鲁棒性的特征表示。
• •
  我们的方法在四个基准数据集上优于现有的无源域自适应方法。

引言

深度神经网络在各种计算机视觉任务中取得了显著成功。然而，在现实场景中，源域与目标域之间的域差距往往导致模型性能下降。域自适应通过利用有标签的源域数据将知识从源域迁移到目标域来解决这一挑战。然而，由于隐私问题、保密要求和大规模数据集的存储限制，获取源域数据通常受到阻碍。因此，在更具实用价值的无源无监督域自适应（SFDA）中，自适应过程仅限于使用预训练的源模型和无标签的目标域数据。

在本文中，我们提出了一种用于图像分类的SFDA方法。由于源域数据不可用，我们利用预训练源模型中嵌入的丰富信息。由于源域的特征分布编码在头部分类器中，我们冻结头部分类器以保留源域知识。然后，我们仅将特征生成器自适应于无标签的目标数据，鼓励网络提取与固定的源域决策边界良好对齐的目标特征。

然而，目标域中缺乏标签往往损害跨类别的特征判别性。因此，模型即使在输入发生轻微扰动时也可能产生不稳定的预测，而这种不稳定性对于位于决策边界附近的样本尤为明显。为了解决这一缺陷，我们提出了一种一致性损失，强制目标图像及其变换视图之间的预测不变性。这种正则化有效地引导决策边界位于特征空间的低密度区域。

最近，视觉Transformer（ViT）模型在各种计算机视觉基准测试中展现了出色的性能。在本文中，我们探索ViT在SFDA任务中的应用。虽然选择强预训练的主干网络也会影响性能，但我们发现域自适应进一步提升了性能。然而，我们注意到ViT在将模型自适应到目标域后往往会遗忘从源域学到的知识，且大规模ViT容易过拟合。为克服这些过拟合和源域遗忘问题，我们提出了一种减少可学习参数数量的自适应策略。具体来说，我们设计了轻量级Transformer层（LTLs）并将其整合到基于ViT的主干网络中。通过仅训练总模型参数的1.0%–2.5%，所提出的方法可以将模型自适应到目标域而不会面临源域遗忘的风险。

在四个基准数据集——VisDA、Office-Home、Office-31和DomainNet-126上的实验表明，我们的方法始终优于现有的SFDA方法。具体而言，我们的方法在VisDA上相较于仅源域模型实现了22.8%的显著准确率提升，并在Office-Home、Office-31和DomainNet-126上也取得了卓越性能。除了在目标域上的性能提升之外，我们的方法更好地保留了源域知识，与现有方法相比，自适应后保留了更高的源数据准确率。我们还表明，所提出的一致性损失提高了对输入扰动的鲁棒性。广泛的分析，包括特征可视化和注意力图，证实了所提出的方法有效地生成了良好对齐的语义特征。

本工作的初步版本已发表于[1]。与[1]相比，本工作包含了大幅扩展的实验和广泛的分析。

章节摘要

无源无监督域自适应

许多域自适应方法[2]、[3]、[4]依赖源域和目标域数据来弥合域间差距。相比之下，SFDA在无法访问源域数据的现实应用中更具实用性。SFDA的一种常见策略是固定头部分类器，仅将特征生成器自适应到无标签的目标数据[5]、[6]。SHOT[5]冻结源分类器，并通过信息最大化和自监督学习目标特有的特征提取器

符号表示

设$X$表示输入图像，$Y\in \{1,\dots ,K\}$表示其类别标签，其中$K$为类别数量。我们将模型$f:X\to Y$描述为特征提取器$g:X\to Z$与头部分类器$h:Z\to Y$的复合。因此，$f=h°g$。在SFDA设置中，源模型$f_s$首先在标记的源域数据上进行训练。源域训练完成后，源样本$\{(X_s,Y_s)\}$不再可访问。仅可使用源模型$f_s$和无标签目标样本$\{X_t\}$。因此，SFDA的目标是

数据集

我们在SFDA研究中广泛使用的四个基准数据集上评估了所提出的方法：VisDA、Office-Home、Office-31和DomainNet-126。图3展示了这些数据集中各个域的样本图像。

VisDA[33]是一个12类的合成到真实数据集，专为大规模域自适应任务而设计。源域由从3D模型渲染的152,397张合成图像组成，目标域包含55,388张真实世界图像。

Office-Home[34]是一个包含15,587张图像的数据集，

结论

在本文中，我们通过将轻量级Transformer插入ViT主干网络，提出了一种参数高效的SFDA方法。我们的方法通过冻结预训练主干网络而仅更新LTL参数，有效地缓解了源域遗忘问题。我们还引入了一致性损失以确保输入扰动下的预测一致性，从而将决策边界保持在特征空间的低密度区域，并增强目标域的鲁棒性

CRediT作者贡献声明

Yeeun Kim：撰写——初稿，可视化，软件，方法学，调查研究，概念化。Gyemin Lee：撰写——审阅与编辑，监督指导，方法学，概念化。

生成式AI及AI辅助技术在写作过程中的声明

在本工作的准备过程中，作者使用了ChatGPT和Gemini以提高语法、格式和语言清晰度。在使用这些工具后，作者根据需要审阅和编辑了内容，并对出版物的内容承担全部责任。

利益冲突声明

作者声明不存在可能影响本文报告工作的已知竞争性经济利益或个人关系。

致谢

本工作部分得到韩国科学技术院研究项目的支持。

Yeeun Kim|Gyemin Lee