面向无监督域自适应的多阶相似性灵活最优图

《Neurocomputing》：Flexible optimal graph with multi-order similarity for unsupervised domain adaptation

　　

• •
  提出了一种基于多阶相似度的无监督域自适应方法。
• •
  所用的多阶相似度有助于刻画内在流形结构。
• •
  所采用的灵活最优图增强了对非线性分布的适应性。
• •
  大量实验证明了所提方法的有效性。

引言

在机器学习和计算机视觉领域，传统的监督学习方法严重依赖带标签的训练数据。然而，人工获取准确的标注非常耗时且费力 [1]。因此，标注样本的稀缺通常阻碍了监督学习模型的发展。为了缓解这一局限性，一种常见的策略是利用现有的标注完善的数据集来训练新任务的模型，而在这些新任务中仅有未标注数据可用。然而，这种策略引入了另一个难题：来自不同来源的数据很少具有相同的分布。这种分布差异通常由实际因素的变异引起，例如光照条件、相机视角和图像分辨率。由于这种差异，即众所周知的域偏移 [2]、[3]，在一个域上训练的模型通常无法直接应用于另一个域的数据。

解决这一问题的著名技术是无监督域自适应，它放宽了相同分布的限制，使得某些域的知识可以转移到其他相关域 [4]。目前，无监督域自适应已被广泛应用于各种任务，包括图像分割 [5]、[6]、对象检测 [7]、[8] 和情绪分析 [9]、[10]。大多数现有的无监督域自适应方法旨在学习一个共享的特征子空间，在该子空间中，域间的边缘分布和条件分布差异均得以减少，从而实现有效的知识转移 [11]、[12]。然而，纯粹的统计分布对齐往往忽略了数据的内在几何结构，可能导致投影过程中局部邻域信息的丢失。为了更好地在子空间学习过程中对齐数据分布，图嵌入技术已被广泛引入无监督域自适应 [13]、[14]、[15]。通过基于流形假设构建拉普拉斯图，这些方法鼓励邻域样本在投影后保持其相对位置，有效地捕捉了几何结构。

现有的基于图学习的无监督域自适应方法取得了很大进展，但它们仍受到两个主要局限的制约。首先，这些方法基于一阶邻域关系构建图，其中直接的成对相似度仅刻画了样本间的即时亲和性，而未能明确建模由中间样本介导的间接关联。因此，高阶邻域依赖性被忽略，这限制了对更全面结构信息的利用。在无监督域自适应中，忽略此类关联可能导致共享子空间中的结构约束不足，使得在域偏移下难以保持内在流形关系。其次，尽管大多数现有方法已采用动态图学习来缓解静态图对噪声和冗余的敏感性 [16]、[17]，但图更新本身未能放松对构建图的低维表示所施加的约束。在这种框架下，学习到的表示仍严格由原始特征的线性投影决定。这种严格耦合限制了对具有复杂非线性几何的数据进行结构优化时的灵活性 [18]。

为解决上述问题，本文提出了一种基于图嵌入的新型无监督域自适应方法，称为带多阶相似度的灵活最优图 (FOG-MOS)。具体而言，我们最小化源域和目标域之间的边缘分布和条件分布差异，以获得域不变的 特征表示。此外，我们充分探索几何结构，使得内在流形关系能够在共享子空间中得到保持。与仅使用一阶相似度信息构建图的先前域自适应方法不同，我们引入多阶相似度学习 [19] 来刻画直接邻域关系和间接关联。通过多阶相似度，FOG-MOS 不仅捕获直接的成对亲和性，还捕获由中间样本介导的高阶关联，从而保留更全面的水构信息，并促进跨域对齐同时保持内在流形结构。此外，我们开发了一种灵活的最优图学习策略，该策略在低维表示和线性投影之间施加软一致性约束。该策略放松了传统线性子空间学习固有的严格耦合，使具有复杂非线性几何的数据能够采用灵活的图结构。得益于这种结构灵活性，源域和目标域都能自适应地捕获其特定的域流形特征。同时，共享投影保持了跨域语义相关性，从而促进稳定有效的跨域分布对齐。在包括 Office-Caltech-10、Office-31、Office-Home 和 COIL-20 在内的基准跨域识别数据集上的大量实验证明了 FOG-MOS 的有效性。

本文的主要贡献可总结如下：

• (1)
  我们开发了一种基于多阶相似度的图嵌入范式用于域自适应，该范式有助于捕获直接成对连接和由中间样本介导的间接关联，从而获得更全面的跨域流形结构。
• (2)
  我们设计了一种灵活的最优图学习策略，以放松动态图构建中固有的刚性线性投影约束，使模型能够自适应地学习高质量相似度矩阵并准确刻画数据的潜在非线性流形几何。
• (3)
  在四个基准跨域识别数据集上的大量实验证明了所提方法相对于最先进的域自适应方法（包括基于深度学习的替代方案）的优越性。

本文其余部分组织如下。第 2 节回顾了相关的域自适应方法。第 3 节详细介绍了所提出的模型及其优化算法。第 4 节通过大量实验验证了所提方法的有效性。最后，第 5 节得出结论。

章节片段

相关工作

无监督域自适应方法可大致分为两类。一类是实例重加权，它通过根据源样本与目标域的相关性自适应地为其分配权重来缓解跨域分布差异 [20]。另一类指的是特征变换，它推导出域不变的特征表示以消除域偏移，从而使分类和回归能够在结果中良好地进行

符号和问题定义

在本文中，矩阵用粗体大写字母表示，向量用粗体小写字母表示，标量用小写字母表示。设 $$ 和 $$ 分别为有标注的源域和无标注的目标域。设 $$ 和 $$ 分别代表源域和目标域的特征矩阵，其中 $$ 和 $$ 分别表示两个域中的样本数，$$ 是特征维度。源域的标签 矩阵表示为 $$，其中 $$ 是 one-hot 标签

实验

在本节中，我们在总共 38 个跨域任务上进行了广泛的对比实验，以验证 FOG-MOS 的有效性。还提供了对实验结果的详细分析。所提出的 FOG-MOS 方法的实现公开可用，链接为 https://github.com/yagami126/FOG-MOS。

结论

在本文中，我们提出了一种名为带多阶相似度的灵活最优图 (FOG-MOS) 的新型无监督域自适应方法，以改进结构表示并增强对复杂非线性分布的适应性。具体而言，FOG-MOS 整合多阶邻域关系来构建更丰富的结构表示，从而捕获更全面的上下文信息，缓解了传统一阶图的敏感性和局部性限制

CRediT 作者贡献声明

杨丽然：写作 – 审阅与编辑，写作 – 原始草稿，方法论，资金获取，概念化。王若羽：写作 – 原始草稿，验证，软件，方法论，调查。苏潘：写作 – 审阅与编辑，监督。

利益冲突声明

作者声明他们没有已知的可能影响本文所报道工作的竞争性经济利益或个人关系。

致谢

本工作部分得到河北省自然科学基金 (批准号 F2024502002) 和中央高校基本科研业务费 (批准号 2026MS186) 的支持。作者非常感谢编辑和匿名审稿人提出的宝贵建议。

杨丽然于 2021 年在中国农业大学获得计算机科学与技术博士学位。她目前是华北电力大学保定分校计算机系的讲师。她目前的研究兴趣包括计算机视觉和机器学习，特别是域自适应和多模态学习。

Liran Yang|Ruoyu Wang|Pan Su