基于对比学习的协变量分布偏移下的图数据增强

《Neural Networks》：Graph Data Augmentation with Contrastive Learning on Covariate Distribution Shift

　　曾凡龙|甘文生

摘要：当测试集中存在的某些结构特征在训练集中不存在时，就会发生协变量分布偏移。这是一种常见的分布外（OOD）问题，在具有复杂结构的现实世界图数据中经常出现。现有研究表明，大多数现成的图神经网络（GNN）无法处理协变量偏移问题。此外，我们发现那些旨在解决协变量偏移问题的现有方法往往未能充分利用潜在空间中的丰富信息。鉴于潜在空间的潜力，我们提出了一种名为MPAIACL的新方法，即利用对比学习实现更强大的对抗性不变增强。MPAIACL通过利用对比学习来释放向量表示的潜在能力，从而充分利用其内在信息。通过大量实验，MPAIACL展现了出色的泛化能力和有效性，其在各种公共OOD数据集上的表现均优于其他基准方法。相关代码可在https://github.com/flzeng1/MPAIACL获取。

引言：图分类是现实世界图分析中的基本任务，与其它分类任务的不同之处在于它依赖于节点和边表示来捕捉整个图的复杂结构与语义。近年来，图神经网络（GNN）逐渐成为建模图结构数据的关键框架。目前，GNN的设计通常基于这样一个假设：训练集和测试集来自独立同分布的数据。然而，在现实场景中这一假设往往不成立，因为在测试阶段可能会存在分布外问题。此外，分布外问题还会导致训练集和测试集之间的分布偏移，进而使模型性能大幅下降。当应用于存在分布偏移的数据集时，GNN的图分类整体性能通常不佳。为此，人们提出了多种解决方案，如不变学习、架构设计以及数据增强等。

分布偏移还可以进一步分类。为更好地理解这些分布偏移问题，我们引入了两个重要概念：稳定特征和环境特征。根据以往研究，稳定特征能够捕捉整个图的底层模式，为图的内在结构提供稳健的表示，因此稳定特征与标签之间的关系可视为不变的；而环境特征则可能因标签的不同而发生变化。以分子为例，稳定特征是决定分子性质的成分，如官能团，而环境特征则多种多样且与分子性质无关。分子中的官能团足够稳定，能够决定分子的性质，而骨架等环境特征则无关紧要。由于环境特征的不稳定性与可变性，图中的分布偏移还可进一步分为相关性偏移和协变量偏移：(1)相关性偏移：环境特征与标签之间形成了虚假关联，这意味着GNN模型学到了环境特征与标签之间的错误关联。传统GNN假设训练集包含了测试集中出现的所有环境特征，但实际上这一假设往往会导致训练集和测试集之间存在不一致的统计关系；(2)协变量偏移：训练集和测试集中的环境特征存在很大差异。当测试集包含训练集中没有的新环境特征时，就会出现协变量偏移。这种情况常见于训练数据量不足或种类较少的场景。

目前，解决OOD问题主要有两种方法：(因果)不变学习与数据增强。不变学习试图找出最具信息量和预测性的图特征子集，即为理性特征（稳定特征），从而为模型的预测提供稳健的解释。但不变学习依赖于训练时遇到的环境特征与测试时相同这一假设，因此忽略了这两个阶段之间环境特征可能存在的差异，也就是说，它没有考虑协变量偏移的情况。数据增强方法则通过在不同层面进行扰动，如节点特征、节点数量、边或子图等，来解决OOD问题。然而，图数据增强往往无法区分稳定特征，反而会引入噪声，破坏整个图的结构，最终影响那些对稳健预测至关重要的特征。传统的图数据增强方法在处理相关性偏移分布下的图OOD问题时存在缺陷。如图3所示，这些方法虽然有无限的数据增强策略，但可能会破坏稳定特征的结构，从而导致在协变量分布偏移情况下性能不佳。

当前的主要挑战在于，大多数现有方法都忽视了协变量偏移问题，未能认识到它对模型性能的严重影响。为此，有人提出了对抗性不变增强方法，该方法不仅能有效区分稳定特征与环境特征，还能针对环境特征进行扰动。但在重新审视该方法后，我们发现它在潜在信息利用方面存在不足，即潜在空间中不同类型特征之间的边界界定不够清晰。为进一步利用潜在空间中的信息并解决上述问题，我们借助了范恩格伦和胡斯提出的流形假设，该假设认为网络给出的相似预测意味着它们在流形上彼此接近，以此来提升AIA的性能。因此，我们在本文中提出了一种名为MPAIACL的新方法，即利用对比学习实现更强大的对抗性不变增强。我们通过对比学习来强化稳定特征生成器与对抗性增强器的作用，使稳定特征的嵌入在潜在空间中更加接近，同时使其与环境特征保持距离，从而提升原始模型的性能。我们在多个数据集上验证了MPAIACL的有效性，包括OGB数据库中的Molbbbp、Molbace以及GOOD数据库中的MolHiv等分子数据集。此外，我们还使用与Sui等人相同的参数设置，在不同领域、规模和骨架结构各异的多种数据集上验证了该方法的有效性。实验结果证明了我们方法的出色泛化能力和有效性。综上，本文的主要贡献如下：•我们发现了AIA中未被充分利用的表示信息，可借此进一步提升原始模型的性能；•我们采用对比学习来强化原有的AIA模型，同时提升稳定特征生成器与对抗性增强器的性能；•我们对所提方法进行了理论分析，阐明了其背后的机制与有效性；•通过大量实验与分析，我们证明了MPAIACL的通用性与有效性。

在引言之后，第2节我们回顾了相关研究，包括图对比学习与图不变学习。第3节阐述了提出MPAIACL的动机。第4节介绍了相关预备知识与符号说明，简要介绍了用于图分类的GNN以及OOD问题的相关定义，随后明确了本文要解决的问题。第5节阐述了MPAIACL的方法论并进行理论分析。第6节给出了实验分析及方法的局限性。最后，第7节对全文工作进行了总结。

相关工作：本节我们回顾了图对比学习与图不变学习的相关文献，介绍了相关的经典方法，并分析了各种方法的优缺点。

潜在信息利用不足问题：本节介绍了潜在信息利用不足的问题，并提出了我们充分利用潜在空间潜力的方法。

预备知识：本节介绍了本文中使用的初步概念与定义，还说明了全文中使用的符号。此外，我们简要介绍了用于图分类的图神经网络架构，并定义了分布偏移的概念。最后，我们详细阐述了本文要解决的问题，指出了所提方法旨在解决的 Key挑战与目标。

本文聚焦：方法论：本节首先回顾了Sui等人提出的原始对抗性不变增强模型，然后介绍了我们的对比方法，即强化稳定特征生成器与对抗性增强器。我们方法的整体架构如图5所示。最初，输入数据由共享的GNN编码，随后分别由对抗性增强器与稳定特征生成器进行处理，之后我们提取稳定特征。

实验结果：本节展示了我们所提方法的实验结果，介绍了实验中使用的数据集与基准方法，并对实验结果进行了详细分析，从而了解所提方法的性能与效果。为更深入地了解各组件的作用，我们进行了消融实验，同时还通过可视化分析对MPAIACL与AIA进行了对比评估。

结论：本文研究了存在协变量分布偏移情况下的图分类问题。我们发现潜在空间中的表示信息尚未得到充分利用，因此我们利用潜在空间中的代表性信息，释放其潜力以提升图分类的性能。我们提出了MPAIACL方法，该方法利用对比学习来优化现有模型，充分挖掘潜在空间中的信息价值。

CRediT作者贡献声明：曾凡龙：撰写——初稿、方法论部分；甘文生：撰写——审阅与编辑、指导工作。

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。