GNN-LS：一种解决图上标签稀缺问题的信息增强方法

《ACM Transactions on Knowledge Discovery from Data》：GNN-LS: An Information-Enhanced Method for Label Scarcity on Graphs

　　

# 摘要

标签稀缺严重阻碍了图上进行节点分类任务的性能。为了克服标签提供的监督信息不足的问题，一些工作试图通过附加基于自监督学习的预训练任务，旨在从图数据本身挖掘内在信息作为补充。然而，现有方法的表征学习能力受到两个主要因素的削弱：（1）由于有限标签的利用不足导致的监督信息不足，以及（2）单个模型对内在信息的多视角表达能力有限。因此，我们提出了一种针对图上标签稀缺的信息增强方法（GNN-LS）。对于监督信息，我们开发了一种双重引导策略，在考虑预测可靠性的前提下有效利用无标签节点，为模型提供更强有力的额外监督指导。同时，考虑到模型在获取两类信息时可能存在的冗余性，我们构建了一种正则化方法来减少冗余。最后，为了有效扩展从内在信息中挖掘的视角范围，我们设计了一种多视角融合机制，该机制根据不同视角内在信息对当前数据集和标签率的适配程度来确定各视角之间的系数。大量实验表明，与同类方法相比，我们的方法在七个基准数据集上均取得了显著的性能提升。

## 1 引言

近年来，图数据的日益普及使得图神经网络（GNN）受到了越来越多的关注，它被广泛应用于欺诈检测、交通预测和社会推荐等领域。然而，由于获取标签的成本越来越高，标签稀缺问题已成为一个巨大的挑战。具体而言，标签负责提供监督信息，当标签稀缺时，GNN模型的分类性能相较于标签充足时的表现会显著下降。为了缓解这一问题，一些研究试图为模型附加一个预训练任务，旨在从图数据本身挖掘内在信息作为补充。

显然，在这个场景中，监督信息和内在信息都起着至关重要的作用，它们共同决定了标签稀缺问题的解决程度。遗憾的是，尽管现有方法可以部分改善模型的节点分类性能，但其表征学习能力仍然被削弱。这主要是由监督信息不足和内在信息的多视角表达能力受限造成的。如图1所示，我们旨在通过解决这些局限性来增强这两类信息。

具体而言，大多数现有方法仅依赖传统的交叉熵损失方式来获取监督信息，但在与默认标签率不同的情况下，在标签稀缺条件下通过这种方式获取的监督信息显然是不足的。这一局限性阻碍了模型学习判别性特征表示和区分不同类别的能力。与此同时，一些工作通过基于类别信息构建正负样本对来额外获取监督信息。然而，这些方法在该过程中高度依赖少量的有标签节点，因此这类样本对的数量必然有限。即使涉及无标签节点，它们也忽略了由于这些节点的类别信息是通过预测推断而来的（即可靠性相对较弱）而可能存在的噪声问题。因此，通过这种方式获取的监督信息仍然不足。我们认为，如果能够在现有基础上进一步扩展相应正负样本对的数量，同时考虑无标签节点的预测可靠性，那么有限的有标签节点就能提供更强的额外监督指导，这将进一步有助于缓解标签稀缺对模型的不利影响。

此外，对于采用不同自监督学习方法作为预训练任务的现有工作，它们挖掘的内在信息的视角通常各不相同。以图对比学习为例，当它作为图的自监督学习方法时，内在信息视角的差异体现在图增强阶段（例如掩蔽边或掩蔽节点）。因此，这样的单个模型往往倾向于探索更具新颖性的内在信息视角。即使一些研究尝试探索多视角内在信息，如文献[16, 54]所证明的，仅仅增加单个模型中挖掘内在信息的视角数量并不能可持续地提高相应的多视角表达能力，这是由于固有的架构瓶颈所致。我们认为，从更具新颖性的视角挖掘内在信息确实有益，但如果能够有效地将这些不同视角融合起来以扩展内在信息的视角范围，这也能够有助于缓解标签稀缺问题。

在本文中，我们提出了一种针对图上标签稀缺的信息增强方法（GNN-LS），该方法由三个组成部分构成。首先，我们开发了一种双重引导策略来获取更充分的监督信息。与现有的通过基于类别信息构建正负样本对来获取额外监督指导的方法相比，该策略能够在考虑预测可靠性的前提下，在更多无标签节点的有效辅助下进一步扩展这些样本对的数量。之后，考虑到在同时获取两类信息的过程中可能会产生冲突，我们提出了一种正则化方法来减少从模型中学习的冗余性。最后，我们设计了一种机制来提高内在信息的多视角表达能力。与求和、均值等常见的融合方式不同，该机制能够更有效地融合具有不同内在信息视角的多个模型的特征表示，它根据每个模型在当前数据集和标签率下对有限有标签节点的预测置信度来确定不同视角的系数。大量实验表明，我们的方法具有优越的表征学习能力，并且在标签稀缺条件下显著优于同类方法的GNN节点分类性能。

总体而言，我们的主要贡献可以总结如下：

（1）我们提出了一种新颖的GNN来缓解标签稀缺问题，该方法能够同时增强监督信息和内在信息。

（2）通过三个组成部分的协同作用，我们的方法使得输出包含更充分的监督信息和适应当前数据集和标签率的更广泛视角的内在信息。

（3）我们进行了大量实验来证明，与同类方法相比，我们的方法在标签稀缺条件下取得了更优越的性能。

## 2 相关工作

### 2.1 节点分类

节点分类是图学习领域的一项经典任务，已有大量相关工作被提出。Kipf和Welling将卷积运算扩展到具有图结构的数据上，并使其能够学习图的特征表示。受此启发，一种能够扩展图卷积感知域的方法被提出。与前述方法相比，该方法不仅能够捕获超越1跳邻居的信息，还能够区分具有不同关系的节点邻居。在此基础上，一种渐进式监督方法被提出，旨在解决现有GNN模型在训练过程中节点感受野固定的问题。类似地，Duan等人提出了一种路径感知的多跳图框架，该框架通过逐跳注意力机制进一步扩大GNN模型的感受野，从而实现更好的节点分类性能。一种利用节点标签之间依赖关系进行增强的GNN被提出，该方法通过集体推理提高了模型的表征学习能力。Sarkar等人提出了VecGNN，该方法关注向量空间中节点之间的相对位置和权重，并根据一组相似性度量对学习的特征表示赋予权重。

尽管所提出的方法使得节点分类的准确率不断提高，但其前提是每个数据集中有标签节点的数量相对充足，这限制了它们的实际适用性。

### 2.2 图上的标签稀缺

由于标签的生成需要领域专家的参与且成本高昂，实际场景中往往面临标签稀缺的问题。在这种情况下，标签无法提供足够的监督信息，导致GNN模型的节点分类性能显著下降。为了缓解这一问题，少样本学习、主动学习和半监督子空间-结构特征选择等方法已被探索。与此同时，一些近期的研究尝试通过在线消息传递过程中考虑图的内在属性来增强在标签稀缺条件下的鲁棒性和泛化能力，包括极化消息传递、基于聚类的图注意力和池化增强传播。尽管这些学习范式和基于消息传递的设计取得了显著进展，但从信息导向的角度缓解标签稀缺问题仍值得进一步研究。

得益于图自监督学习强大的表征能力，附加预训练任务的方式受到了研究人员的广泛关注，其作用是从图数据本身挖掘内在信息作为补充。在此类工作中，一种生成式的图自监督学习方法被提出，它包含两个模块，分别从属性级和边级视角捕获特征与结构之间的关联。随后，Zhang等人提出了一种仅基于注意力机制的图自监督学习方法，通过子图中的节点级视角挖掘内在信息。一种基于图对比学习的方法被提出，用于从子图视角捕获内在信息，该方法能够学习可迁移的特征表示以缓解下游任务中的标签稀缺问题。受此启发，一种用于欺诈检测的图对比学习方法被提出，该方法通过不同的子图结构构建正负样本对在预训练任务中挖掘内在信息。对于上述提到的这些模型，它们都集中在如何从更具新颖性的视角挖掘内在信息上，而在多视角表达能力的提升方面相对较弱。同时，这些模型也没有对监督信息进行额外处理。近期，一些关注监督信息的工作被提出，并已被证实对缓解标签稀缺问题同样有所帮助。例如，Wan等人提出了一种名为CG3的半监督对比学习方法，该方法不仅包含传统的图对比学习模式，还通过最大化不同类别之间的互信息来学习更具判别性的特征表示。类似地，一种联合自监督和有监督的图对比学习方法JGCL被提出，与CG3相比，该方法在获取监督信息和内在信息的过程中分别赋予相应的权重。Ghayekhloo和Nickabadi提出了另一种有监督的图对比学习方法SGCL，该方法通过利用具有基于中心性增强策略的有标签节点来构建正样本对。尽管这些模型尝试在交叉熵损失之外的部分利用标签，但它们仍然在标签稀缺条件下表现不佳，这是因为基于类别信息的正负样本对数量有限以及未考虑无标签节点的预测可靠性。

总之，GNN-LS与前述基于信息导向的方法之间的区别在于信息的获取方式。

首先，关于监督信息，现有工作通常依赖传统的交叉熵损失[19, 56]，或者通过额外路径构建有限数量的正负样本对[1, 12, 46]，而未考虑无标签节点的可靠性，这限制了在标签稀缺条件下能提取多少监督信息。GNN-LS的不同之处在于，它通过显式地加强训练过程中的监督，旨在从相同的有限标签中提取更有效的监督信息。其次，对于内在信息，尽管先前的研究[22, 32, 47, 59]尝试探索新颖的视图，但它们通常受到单个模型固有架构的限制，使得仅通过增加视图数量就难以大幅扩展内在视图。GNN-LS则通过利用多个模型来扩展内在视图的范围，从而增强在标签稀缺条件下内在信息的多视图表达力。

## 3 预备知识

在本节中，我们首先介绍与GNN相关的概念和公式。随后，考虑到与我们方法中组件的相关性，我们简要介绍图对比学习，并解释当它被预训练任务采用时如何在没有标签的情况下挖掘内在信息。最后，我们提供与训练方案相关的专业知识。

### 3.1 GNN

GNN对非欧几里得数据具有出色的表示学习能力，我们在此简要介绍与之相关的常见定义。我们通常用$G=(V,E)$表示一个图，其中$V=\{v_1,\dots,v_N\}$是$N$个节点的集合，$e_{ij}\in E$表示节点$v_i$和$v_j$之间存在链接。$X$是图的原始特征表示，是一个大小为$N \times d$的矩阵（其中$N$是节点数量，$d$是维度）。$A \in \{0,1\}^{N \times N}$是图的邻接矩阵，如果节点$v_i$和$v_j$之间存在边，则$A_{ij}=1$，否则$A_{ij}=0$。因此，我们可以获得从模型学习到的特征表示$Z = f(X, A)$（为了区分，我们将模型学习的特征表示和节点分别记为$Z$和$z$），其中$f$表示基于GNN的编码器（例如GCN [25]、GAT [45]、GraphSAGE [14]）。此外，节点分类任务需要一个由带标签节点组成的训练集$V_{train}$。

### 3.2 图对比学习

凭借强大的表示学习能力，图对比学习根据其设计的正负样本对形式被广泛应用于各种场景。例如，它可以作为图的自监督学习方法用于预训练任务中来挖掘内在信息。对比损失函数$\mathcal{L}_{CONT}$的目的是使正样本对（即从不同视图学习的同一节点）$z_i$和$z_j$的特征表示更靠近，而负样本对（即从不同视图学习的不同节点）的特征表示应尽可能区分开。同时，不同图对比学习方法之间的差异通常由其视图构建过程决定。

$\mathcal{L}_{CONT}$的一种常见公式可以表示为[32]：

$$\mathcal{L}_{CONT} = -\sum_{i=1}^{N} \log \frac{\exp(z_i^\top z_j / \tau)}{\sum_{o=1}^{N} \exp(z_i^\top z_o / \tau)}, \quad (1)$$

其中$N$是节点数量，$\tau$是温度系数。

### 3.3 训练方案

对于试图通过自监督预训练任务缓解标签稀缺问题的模型，我们必须考虑应采用何种方案来训练模型。一般来说，训练方案根据预训练任务与最终任务之间的关系分为预训练和联合训练两种。

对于预训练方案[22, 32]，两个任务的训练过程是分开的。具体来说，预训练任务负责在预训练阶段挖掘内在信息，然后在此基础上引入标签以在微调阶段获得监督信息。相比之下，联合训练[8, 61]以端到端的方式同时训练两个任务。

考虑到我们的方法需要将两个任务学习到的监督信息和内在信息作为整体处理，我们采用联合训练方案。因此，在模型训练过程中，我们除了上述自监督损失$\mathcal{L}_{SELF}$（如$\mathcal{L}_{CONT}$）之外，还增加了交叉熵损失[1]来提供来自标签的监督指导，该过程可以形式化地表示如下：

$$\mathcal{L}_{CE} = -\sum_{v_i \in V_{train}} \sum_{l=1}^{c} y_{il} \ln \hat{y}_{il} \quad (2)$$

$$\mathcal{L}_1 = \beta \mathcal{L}_{SELF} + \mathcal{L}_{CE}, \quad (3)$$

其中$\beta$是取值范围为0到1的超参数，用于控制预训练任务对最终任务的影响程度。$y$和$c$分别表示标签和类别数量。$\hat{y}$是模型获得的预测结果。

对于以个体形式存在的现有模型，当它们试图缓解标签稀缺问题时，每个模型的整体目标函数如公式(3)所示。通常，这些模型通过公式(2)获得的监督信息是一致的，它们之间的差异由$\mathcal{L}_{SELF}$的实现差异决定。

## 4 方法论

本节将详细描述GNN-LS的组件，GNN-LS的整体架构如图2所示。

**图2.** GNN-LS整体架构示意图。我们以其中一个模型为例展示相关组件的作用。基于传统的$\mathcal{L}_{SELF}$和$\mathcal{L}_{CE}$来访问监督信息和内在信息，我们依靠三个组件来进一步增强这两类信息。

### 4.1 标签的双重指导策略

通过公式(3)，模型学习到的特征表示$Z$已经包含了一定的由标签提供的监督信息。然而，为了进一步丰富获得的监督信息，我们希望有限的标签能在现有工作的基础上继续发挥指导作用。

受CG3[46]等监督对比损失启发，我们打算进一步利用无标签节点的价值，借助它们提供更强的额外监督指导。为了实现这一点，我们需要提高它们对$Z$的标签识别能力，使得具有相同标签的节点在向量空间中更靠近，具有不同标签的节点更远离，这可以被视为对仅依赖交叉熵损失引入监督指导的一种修正。具体来说，具有相同标签（不同标签）的节点被视为正样本对（负样本对），该过程如图3左半部分所示。但显然，这样的样本对数量受到有限带标签节点的限制，从而阻碍了该过程的有效性。因此，我们将关注点转向大量无标签节点，并利用为它们预测的类别信息来进一步扩展该对比学习过程中正负样本对的数量。为便于区分，我们将预测的无标签节点称为软标签节点。显然，这些节点不具备足够的可靠性（因为到目前为止我们不确定它们的预测是否正确），给它们赋予与带标签节点相同的权重是不合理的。因此，我们打算通过引入基于同类中带标签节点预测置信度的系数来控制软标签节点的指导强度（考虑到如果同一类中连带标签的节点都无法正确预测，或者即使预测正确但置信度很低，那么其余的软标签节点应该更加谨慎对待）。同时，属于某一类的软标签节点数量越多，引入潜在噪声的风险越高，这也应该相应反映。

**图3.** 双重指导策略中采样过程的示意图，其中不同颜色表示属于不同类别的节点。与CG3等现有的额外监督信息访问方式相比，该策略不仅通过大量无标签节点基于类别信息进一步扩展了正负样本对的数量，而且在过程中考虑了预测的可靠性（如右半部分所示）。

具体来说，这里我们借助从模型学习到的同类中带标签节点的特征表示（每个的大小为$1 \times M$，其中$M$表示类别数量。经过softmax操作[64]处理后，这$M$个值对应于该节点属于每个类别的概率），我们首先检查这些特征表示中最大值对应的维度是否与标签一致，即模型对带标签节点的预测结果是否正确，如果一致则提取最大值（即对应的置信度），否则取值为0。在此基础上，对于该类别，我们还需要计算能被正确预测的带标签节点集合对应的最大概率值之和，将该总和除以带标签节点的数量以避免因节点数量差异导致的类别间误差问题，并将所得值$\alpha$视为软标签节点可靠性的度量。

为了区分，我们将带标签节点上的正样本对定义为$z_i, z_j^*$，将软标签节点上的正样本对定义为$z_i, \hat{z}_j$。形式上，模型上标签双重指导策略的相关公式$\mathcal{L}_D$如下：

$$\mathcal{L}_{CONT1} = -\sum_{i=1}^{q^*} \log \frac{\sum_{j=1, j \neq i}^{q^*} \exp(z_i^\top z_j^* / \tau)}{\sum_{o=1, o \neq i}^{u^*} \exp(z_i^\top z_o^* / \tau)}, \quad (4)$$

$$\mathcal{L}_{CONT2} = -\sum_{i=1}^{q^*} \log \frac{\sum_{j=1}^{q^{\wedge}} \exp(z_i^\top \hat{z}_j / \tau)}{\sum_{o=1}^{u^{\wedge}} \exp(z_i^\top \hat{z}_o / \tau)}, \quad (5)$$

$$\alpha = \sum_{i=1}^{p} \max(z_{t,i}) / q^*, \quad (6)$$

$$\mathcal{L}_D = \sum_{i=1}^{c} (\mathcal{L}_{CONT1} + \alpha q^{\wedge} \mathcal{L}_{CONT2})_i, \quad (7)$$

其中$q^*$和$q^{\wedge}$分别表示$z_i$所属类别中带标签节点和软标签节点的数量。$u^*$和$u^{\wedge}$分别表示带标签节点和软标签节点的总数。$\max(\cdot)$是从特征表示中提取最大值的操作。$z_t$表示能被正确预测的带标签节点的特征表示，$p$表示这些节点的数量，$c$是类别总数。如前所述，图对比学习可以根据设计的正负样本对形式应用于各种场景。显然，此处采用的形式不是为了挖掘内在信息，而是为了获得更丰富的监督信息。

可以看出，公式(4)-(6)是针对单个类别定制的，而公式(7)是针对所有类别的。因此，$\mathcal{L}_D$不仅能够为模型提供来自标签的额外监督指导，而且在这个过程中能够在每个类别中带标签节点和软标签节点之间进行充分的权衡。同时，由于该策略利用了大量无标签节点，这在一定程度上也降低了标签稀缺条件下的过拟合风险。

### 4.2 减少冗余信息的正则化

考虑到模型的输出不仅包含监督信息还包含内在信息，训练过程中这两类信息之间可能会出现冲突。因此，我们设计了一种正则化来解决这个问题。

为了实现这一目标，我们首先让模型仅在各自视图下自监督损失函数$\mathcal{L}_{SELF}$的指导下进行训练。显然，由于这个过程不涉及任何标签，模型学习到的特征表示$Z^{\dagger}$仅包含内在信息。在此基础上，$Z^{\dagger}$可以作为基准来评估模型在添加标签后学习到的特征表示$Z$中包含的冗余信息。直观地说，如果这两个特征表示之间的差异较小，意味着模型在添加标签后没有学到太多有价值的信息，即$Z$中包含更多的冗余信息。反之，则表示模型在添加标签后学到的冗余信息较少。在某种意义上，这种正则化还间接丰富了监督信息。

考虑到Kullback-Leibler (KL)散度可用于描述信息损失，这里我们采用其变体来构建这样的正则化。然而需要注意的是，通常KL散度用于在训练过程中逐渐收敛两个特征表示的分布[3]，但这种正则化的目标恰恰相反，即希望$Z^{\dagger}$和$Z$的分布差异尽可能大。为此，我们采用反向KL散度的思想，通过引入负号来构建所需的正则化器，从而将目标从分布对齐切换为分布分离，当节点数量为$N$时，形式化表示如下：

$$\mathcal{R} = -\text{KL}(Z^{\dagger} \| Z) = -\sum_{i=1}^{N} z_i^{\dagger} \log \frac{z_i^{\dagger}}{z_i}. \quad (8)$$

至此，指导模型训练的最终目标函数表示如下：

$$\mathcal{L} = \mathcal{L}_1 + \mathcal{L}_D + \lambda \mathcal{R}, \quad (9)$$

其中$\lambda$是取值范围为0到1的超参数，可以在一定程度上调节模型获取的监督信息和内在信息之间的平衡。

可以看出，正则化项R作为目标函数L的一部分，在训练过程中一同被优化。由于R=?KL(Z?‖Z)，当L通过反向梯度传播收敛至最优解时，R的最小化等价于KL(Z?‖Z)的最大化。根据信息论的定义[26]，KL(Z?‖Z)=∑i=1Nzi?log?zi?/zi=∑i=1Nzi?log?zi??∑i=1Nzi?log?zi，KL散度具有非负性（即KL(Z?‖Z)≥0，当且仅当Z?=Z时等号为0）。理论上，KL(Z?‖Z)越小，表明添加标签前后学习到的Z?和Z之间的分布差异越小，意味着添加标签使模型学到的有效信息更少（冗余信息更多）。KL散度越大，表明分布差异越显著，意味着添加标签使模型学到了更多有效信息（冗余信息更少）。

4.3 多视角集成机制

除了监督信息外，内在信息对于提升GNN模型的表示学习能力同样至关重要。遗憾的是，对于单个模型而言，内在信息的多视角表达能力仍然有限，这阻碍了进一步缓解图上的标签稀缺问题。因此，我们设计了一种多视角集成机制，其作用是有效地融合从多个具有不同内在信息视角的模型中学到的特征表示。具体而言，不同于通过简单的读出函数（如求和和求均值）进行集成，我们的目标不仅是从更广的视角挖掘内在信息，还要确保这些信息真正适合当前的数据集和标签率。

由于模型挖掘的内在信息的收益可以反映在标注节点的预测置信度中，我们将不同模型对训练集的类别成员概率视为确定权重分配的重要指标。需要指出的是，与4.1节的区别在于，此处对标注节点进行统一处理，不区分其类别。随后，我们还需要验证这些节点的预测结果是否正确，这可以通过检查softmax操作后其特征表示中最大值对应维度是否与其标签匹配来实现。只有当预测正确时，我们保留该最大值，否则视为0。

对于第k个模型，其对应的权重系数wk的计算过程以及在此基础上获得的最终输出Z~可形式化地表示如下：

wk?=∑i=1pmax(zt,i)，(10)

wk=wk?/∑i=1nwi?，(11)

Z~=∑k=1nwkZk，(12)

其中zt和p的含义与公式(6)中相同，分别表示能够正确预测的标注节点的特征表示及其数量。n表示模型数量。

为了更直观地理解该机制，此处我们举例说明。假设有两个模型分别采用不同的图自监督学习方法在其各自的预任务中挖掘内在信息（例如一个关注边视角，另一个关注节点视角），并且正在处理一个标注节点数和类别数均为二的数据集（例如标注节点的类别信息分别为y1=(0,1)和y2=(1,0)）。同时，对于当前数据集，哪个视角提供了更有价值的内在信息，反映在两个模型对标注节点的预测置信度中（例如z1=[(0.2,0.8),(0.6,0.4)]和z2=[(0.1,0.9),(0.4,0.6)]）。显然，第一个模型预测正确，而第二个模型对第二个节点的预测错误（我们将其视为0）。因此，根据公式(10)和(11)，w1?和w2?分别为1.4和0.9，两个模型的特征表示在最终输出中的对应系数分别为w1=1.4/2.3和w2=0.9/2.3，分别对应Z1和Z2。需要指出的是，设计该机制的目的是在扩展内在信息挖掘视角范围的过程中，最大化不同视角的优势。具体而言，尽管在此例中节点视角的表现不如边视角，但它对于提升内在信息的多视角表达能力仍然至关重要。

其理由可与4.1节中提到的原因类比：如果这些节点的整体错误分类率很高，或者预测正确但置信度很低，则表明该模型挖掘的内在信息视角不适合当前的数据集和标签率，因此从该模型学到的特征表示所对应的权重应相对较小。由此可知，模型在预任务中采用的图自监督方法对数据集和标签率的适配度需要通过其有限的标注节点上的预测置信度来评估。在此基础上，我们通过最大化各模型之间的协同增益来集成从这些模型学到的特征表示，使最终输出包含具有更广泛视角且适合当前数据集和标签率的内在信息。该机制具有出色的可扩展性。理论上，纳入的用于从不同视角挖掘内在信息的预任务越多，挖掘的内在信息的多视角表达能力越强，图上标签稀缺问题也能得到相应更好的缓解。此外，由于这些模型的监督信息是一致的，上一节中设计的正则化项在减少单个模型中两类信息冲突的同时，还能进一步减少模型之间挖掘的内在信息中的冗余。

4.4 模型分析与算法

考虑到GNN-LS基于信息论构建且涉及三个组成部分，包括评估不同模型所提供视角适配度的过程，我们方法的理论保证可以从信息瓶颈（IB）原理[20, 40, 43]中推导得出。具体而言，GNN-LS可以被解释为通过最小化IB拉格朗日量LIB=I(Z~;X)?γI(Z~;Y)来优化特征表示Z~，其中γ是拉格朗日乘子，I(Z~;Y)量化了Z~中保留的监督信息，I(Z~;X)衡量了输入X中有多少信息被保留在Z~中。在我们的框架内，LCE结合双重引导策略LD促进Z~中监督信息的保留，这与在标签稀缺下鼓励更大的I(Z~;Y)是一致的。同时，多视角集成机制评估不同视角的适配度并相应地对其进行集成，这扩展了内在信息的视角范围，为Z~中的监督信息提供了更合适的补充。此外，正则化项R=?KL(Z?‖Z)被施加于每个单个模型以减少冗余信息，这可以关联到控制从输入中不必要的保留，与压缩项I(Z~;X)一致。因此，最小化GNN-LS的总损失可以被理解为在IB框架内寻求最优权衡，而不是遭受不受控制的瓶颈效应，因为它明确地平衡了监督信息保留和冗余减少。

接下来，我们讨论GNN-LS的计算复杂度。设N、|E|和d分别表示节点数、边数和特征维度。单个GNN骨干（如GCN）的计算复杂度为O(L(|E|d+Nd2))，其中L表示层数。由于GNN-LS集成n个模型来挖掘多视角内在信息，且这n个模型的计算相互独立，因此其成本相加，主导复杂度随n线性增长，结果为O(nL(|E|d+Nd2))。值得注意的是，双重引导策略、多视角集成和正则化引入的额外计算主要涉及特征表示上的逐元素或成对操作，额外贡献O(nNd)的复杂度，与图卷积操作相比通常可以忽略不计。因此，GNN-LS在骨干计算之外引入的开销极小，在特征维度d固定的情况下，其总体复杂度相对于集成模型数量和图规模呈渐近线性。GNN-LS的整体流程总结于算法1中。

5 实验

在本节中，我们将我们的方法与相关模型在几个常用图数据集上进行比较，以验证我们方法的优越性，特别是在标签稀缺情况下。此外，我们还提供了额外的分析来进一步展示GNN-LS的优势。

5.1 实验设置

(1) 数据集：我们在七个流行的公开图数据集上开展实验，涵盖了引用网络和社会网络等多个领域。为了举例说明GNN-LS在缓解标签稀缺问题方面的有效性，我们不仅在每个数据集的默认训练集划分设置下（下文称为默认标签率）进行实验，还在0.5%的极端标签稀缺情况下进行实验。需要指出的是，后者的划分方式为随机划分，并不像前者那样刻意包含所有类别，即可能出现类别覆盖不均的情况。我们在表1中展示了这些数据集的介绍和划分细节。

表1. 数据集

| 数据集 | 节点数 | 边数 | 维度 | 类别数 |
|--------|--------|------|------|--------|
| Cora [25] | 2,708 (14) | 10,556 | 1,433 | 7 (6) |
| Citeseer [25] | 3,327 (17) | 9,228 | 3,703 | 6 (4) |
| PubMed [25] | 19,717 (99) | 88,651 | 500 | 3 (3) |
| CoraFull [4] | 19,793 (99) | 65,311 | 8,710 | 70 (53) |
| Computer [11] | 13,752 (69) | 245,778 | 767 | 10 (9) |
| Photo [11] | 7,650 (39) | 119,043 | 745 | 8 (8) |
| OGB-Arxiv [21] | 169,343 (847) | 1,166,243 | 128 | 40 (38) |

数据集统计信息：节点数和类别数中的括号内数字分别为在0.5%标签率下训练集的规模和所覆盖的类别数。

(2) 比较方法：由于不同图对比学习方法挖掘的内在信息视角之间的区别是直观的，这有助于证明我们方法的有效性。因此，我们在GNN-LS所涉及的每个模型的预任务中分别采用这类方法，当这些模型以单独形式呈现时也是如此。此外，如3.3节所述，当模型包含预任务时，通常有两种训练方案来处理这种情况：预训练和联合训练。类似地，我们在实验中展示了所有采用预任务的比较方法在这两种训练方案下的性能。此外，我们还将传统的监督学习方法和扩展方法进行比较。

因此，我们将比较方法分为四类。

传统方法。我们选取此类方法中最具代表性的进行对比，包括GCN [25]、GAT [45]和Graphsage [14]，它们的区别体现在消息聚合机制上。对于这些模型，其训练过程中没有涉及预任务，仅依赖交叉熵损失来获取监督信息。

预训练。如3.3节所述，预训练作为训练方案之一遵循两步范式：预训练和微调。简而言之，预训练阶段的模型在预任务（如对比学习任务）上进行训练，该预训练模型的参数随后被视为下一阶段模型的初始化参数，并在后续针对特定下游任务（即节点分类任务）的训练中进行微调。这里，我们首先选取三种经典的图对比学习方法[56]作为单个模型进行对比，它们在对比学习过程中分别采用了子图采样、属性掩码和边扰动的增强图构建方法（依次记为Pre_subgraph、Pre_mask和Pre_edge）。此外，为了进一步体现我们方法的优越性，同时验证GNN-LS中多视角集成机制的优秀可扩展性，我们还比较了近年来提出的三种图对比学习工作MVGRL [49]、SMGCL [62]和AAGCN [31]（分别记为Pre_MVGRL、Pre_SMGCL和Pre_AAGCN）。

联合训练。作为3.3节中提到的另一种训练方案，也是我们方法所采用的方案，联合训练的总目标函数通过直接将预任务和最终任务的目标函数线性相加得到（如公式(3)所示）。同时，为了保证公平性，我们确保这些用于比较的单个模型除了采用的训练方案不同外，其他设置均保持一致。为区分另一种训练方案，我们以Joint为前缀进行标记。

扩展方法。考虑到有一些其他方法不适合简单地归入上述三类，但同样有助于缓解图上的标签稀缺问题。

为了进一步证明GNN-LS的优越性，我们选取近年来提出的两种方法InfoGNN [28]和GraphPrompt [58]进行比较，这两种方法分别基于伪标签和生成式图预训练。(3)实验设置：我们在配备NVIDIA Tesla V100 GPU（32 GB显存）、20核Intel Xeon CPU（2.20 GHz）和192 GB RAM的机器上进行了实验。此外，表2展示了所有对比基线和GNN-LS的关键设置。需要注意的是，对于每个基线，我们参考其原始主要超参数候选值，但对于可能显著影响公平性的设置（即优化器和最大训练轮数），我们统一了所有方法的设置。考虑到训练方案的选择（即预训练与联合训练）不影响关键设置，我们未在表2中单独列出。此外，为避免将GNN-LS的性能提升归因于额外的超参数调优而非模型本身，我们对GNN-LS采用固定设置。表2.方法优化器最大训练轮数学习率权重衰减丢弃率GCNAdam200{5×10?3, 1×10?2}{5×10?4}{0.5}GATAdam200{1×10?3, 5×10?3}{5×10?4}{0.5, 0.6}GraphSAGEAdam200{1×10?3, 5×10?3, 1×10?2}{1×10?4, 5×10?4}{0.5}SubgraphAdam200{1×10?4, 5×10?4, 1×10?3}{1×10?5, 1×10?4}{0.0, 0.5}MaskAdam200{1×10?4, 5×10?4, 1×10?3}{1×10?5, 1×10?4}{0.0, 0.2, 0.5}EdgeAdam200{1×10?4, 5×10?4, 1×10?3}{1×10?5, 1×10?4}{0.0, 0.5}MVGRLAdam200{5×10?4, 1×10?3}{0, 1×10?5}{0.0, 0.2}SMGCLAdam200{1×10?4, 5×10?4, 1×10?3}{1×10?5, 1×10?4}{0.3, 0.5}AAGCNAdam200{1×10?4, 5×10?4, 1×10?3}{1×10?4, 5×10?4}{0.1, 0.3, 0.5}InfoGNNAdam200{5×10?4, 1×10?3}{5×10?4}{0.5}GraphPromptAdam200{1×10?4, 5×10?4}{1×10?5, 1×10?4}{0.1, 0.5}GNN-LSAdam200{1×10?4}{1×10?4}{0.5}所有对比基线和GNN-LS的关键设置5.2 结果分析再次强调，预训练和联合训练类别中的对比方法以原始单个模型的形式呈现。对于GNN-LS，我们将其分为三个版本。其中，GNN-LS(sme)代表多视图整合机制中包含子图采样、属性掩码和边扰动方法的版本。GNN-LS(MSA)表示整合MVGRL、SMGCL和AAGCN的版本。GNN-LS代表整合全部五种图对比学习方法的版本。根据表3和表4，我们有以下观察：表3.类别方法数据集CoraCiteseerPubMedCoraFullComputerPhotoOGB-Arxiv传统GraphSAGE80.08±1.3667.04±0.4177.08±0.8965.28±1.2086.28±0.6790.94±1.0871.49±0.27GCN77.31±0.9565.51±1.2576.02±1.0763.41±1.8885.84±1.0190.36±0.5971.74±0.29GAT78.66±2.0165.62±0.9376.94±1.0364.62±1.5685.13±0.5688.95±1.2773.62±0.35预训练Pre_subgraph81.39±1.4571.54±1.5377.00±0.6167.27±0.5187.86±1.0291.30±0.8671.95±0.42Pre_mask82.16±1.3271.53±1.2877.58±1.3866.25±1.0987.04±1.4290.91±1.1171.88±0.55Pre_edge82.33±0.9071.63±1.0977.01±1.0167.46±1.5787.84±0.6291.06±0.9572.05±0.38Pre_MVGRL85.24±1.4873.14±1.5279.15±0.8669.49±1.3089.64±1.3792.91±1.1173.15±0.60Pre_SMGCL84.15±1.8673.69±2.2979.02±1.6569.08±1.9989.92±2.1892.98±2.4573.30±0.72Pre_AAGCN84.98±1.7774.81±0.9380.23±1.3469.25±2.1789.95±1.2693.24±1.5673.55±0.50联合_subgraph82.89±0.7272.34±0.8478.24±1.4067.89±1.2388.04±0.8791.47±1.1972.41±0.33联合训练Joint_mask81.56±1.0372.19±1.2177.37±1.4468.03±1.6187.92±0.5391.28±2.1772.15±0.45Joint_edge82.47±1.3771.95±1.3077.81±0.9867.15±1.3987.58±1.3391.36±0.2672.38±0.36Joint_MVGRL86.79±0.9373.32±1.2880.07±1.5570.34±1.1689.92±0.7093.56±1.4273.84±0.41Joint_SMGCL85.64±2.2673.80±2.0680.63±1.9671.01±2.6589.76±1.8493.52±2.3973.95±0.65Joint_AAGCN87.03±1.7272.96±1.1481.42±1.5271.27±0.9889.84±1.4594.29±1.6174.12±0.55扩展InfoGNN87.56±2.2174.21±2.5482.03±2.0571.82±1.9490.13±2.3894.38±2.3774.45±0.48GraphPrompt86.73±1.5073.62±1.3781.13±1.6470.85±1.1289.49±1.1893.31±1.0274.82±0.39本文方法GNN-LS(sme)85.24±1.8473.79±1.6280.37±0.9169.40±1.7189.52±1.8792.43±1.6674.63±0.52GNN-LS(MSA)89.16±1.4276.43±1.3983.39±1.8473.61±2.3591.64±1.2995.28±2.0676.08±0.45GNN-LS91.62±1.6779.80±1.5985.73±1.9575.18±2.2692.93±1.8595.99±1.9778.05±0.40默认标签率下的节点分类准确率粗体值表示每个数据集上的最佳性能。表4.类别方法数据集CoraCiteseerPubMedCoraFullComputerPhotoOGB-Arxiv传统GraphSAGE41.06±1.2639.12±2.2676.22±0.7722.38±1.6571.89±0.5678.10±1.7646.15±0.52GCN43.06±1.7540.75±0.5275.52±2.0721.63±2.4070.75±0.9377.03±1.8847.88±0.45GAT44.53±0.9840.97±1.6376.53±1.3122.29±1.5670.63±1.3975.96±0.8248.24±0.61预训练Pre_subgraph46.49±0.6841.73±0.5475.71±0.6125.46±0.4372.22±1.2078.94±1.5149.35±0.48Pre_mask47.21±0.8142.08±1.9476.49±1.3825.28±1.0172.22±0.8878.82±1.3549.12±0.55Pre_edge47.08±1.3342.11±1.7576.41±1.0125.44±0.6272.54±1.1278.82±1.0949.56±0.50Pre_MVGRL52.16±1.4545.58±1.0777.62±1.1929.94±0.7375.03±1.4480.12±0.9153.42±0.65Pre_SMGCL50.86±2.0446.03±2.2777.84±1.6929.98±2.2175.62±1.7080.05±2.1952.88±0.72Pre_AAGCN53.55±1.8247.88±2.0577.64±2.1331.05±1.5475.73±1.9781.62±1.6553.95±0.58联合_subgraph50.31±1.5744.62±1.4276.41±0.7528.19±1.1974.30±0.8580.87±0.9251.05±0.44联合训练Joint_mask51.08±0.5544.55±1.2377.06±1.0927.99±1.7474.29±0.7181.42±0.9750.98±0.56Joint_edge50.79±1.0344.39±0.8876.87±0.5927.98±1.3874.27±0.7681.25±2.2451.24±0.49Joint_MVGRL53.33±0.5248.26±1.3578.58±1.6831.46±0.7976.04±1.1783.35±2.0754.68±0.53Joint_SMGCL53.19±1.8649.02±1.6379.33±2.2133.13±1.9575.84±2.0484.13±1.8754.35±0.65Joint_AAGCN55.73±1.6948.85±2.0780.14±1.5833.96±1.3377.42±1.6185.44±2.2855.82±0.60扩展InfoGNN45.27±2.5641.86±2.6479.72±2.2823.84±2.6773.81±2.3982.21±2.5352.45±0.58GraphPrompt54.98±1.0348.66±1.1579.04±1.1933.51±1.2077.28±1.0684.04±1.3257.15±0.45本文方法GNN-LS(sme)58.93±1.7648.22±0.5980.05±1.8834.17±0.9480.72±1.4086.19±0.9555.40±0.52GNN-LS(MSA)60.71±1.8452.63±1.9481.37±2.0239.64±1.5883.04±0.9787.15±1.3958.20±0.55GNN-LS65.02±1.9356.46±2.2483.07±1.4542.59±2.0385.08±1.6688.70±1.8260.12±0.48标签稀缺情况（0.5%标签率）下的节点分类准确率粗体值表示每个数据集上的最佳性能。(1) GNN-LS在默认标签率和标签稀缺两种情况下，在所有七个基准数据集的节点分类任务上均优于对比方法。特别是在标签稀缺情况下，GNN-LS的性能提升更为显著，这证实了我们的方法在缓解标签稀缺问题方面的优越性。(2) 与传统方法相比，采用预训练任务挖掘内在信息的方法性能有所提升，这表明通过内在信息补充是有效的。此外，由于我们的方法能够学习更好的监督信息和内在信息，因此具有优越的表示学习能力。(3) 对于同一数据集，预训练任务中采用的不同图对比学习方法对性能有影响，且没有对比方法在所有数据集上都优于其他方法，这表明视图适应性确实存在差异。此外，采用联合训练方案的单个模型通常优于采用预训练方案的模型，这在标签稀缺情况下更为明显。(4) 尽管两种扩展方法相比某些单个模型取得了优越性能，但当这些单个模型被整合到我们的方法中时，结果会发生变化（例如，GraphPrompt优于Joint_subgraph、Joint_mask和Joint_edge，但劣于GNN-LS(sme)）。同时，与通过挖掘内在信息来弥补标记节点不足的优良泛化方式不同，通过构建伪标签来扩展训练集的方式（如InfoGNN所示）在标签稀缺情况下的表现与默认标签率下的表现截然不同。我们推测这是由构建伪标签过程中形成的误差累积所导致的，当标记所涵盖的类别存在不足时，这一问题尤为突出。(5) GNN-LS三个不同版本的结果证明了我们设计的整合机制的优势。得益于其有效整合预训练任务中来自不同视图的单个模型的能力，当整合的来自不同视图的单个模型数量增加时，性能提升可以更大。同时，通过比较GNN-LS(sme)和GNN-LS(MSA)的结果，可以确认最终性能不仅与来自不同视图的单个模型数量有关，还与这些视图的质量有关。5.3 消融实验为了探索GNN-LS中三个组件各自发挥的作用，我们还进行了一系列消融实验。在此，我们将不含标签双重引导策略和不含最终目标函数中正则化的变体分别表示为GNN-LS without dual guidance (LS-ND)和GNN-LS without regularization (LS-NR)。同时，对于多视图整合机制，我们通过将其性能与仅应用求和读出函数时的性能进行比较（即公式(12)中的wk全为1）来反映其重要性。考虑到实验的复杂性，此处的GNN-LS指仅整合子图采样、属性掩码和边扰动方法的版本（除第5.6节外，以下GNN-LS统一指此版本）。图4中的结果显示了当缺失三个设计组件中的每一个时，GNN-LS在不同标签率下的性能。总体而言，在每个组件缺失的情况下，模型性能退化的幅度在0.5%标签率时更为明显，这表明标签越稀缺，这三个组件就越有价值且有用。具体而言，LS-ND的结果表明，特别是在标签稀缺情况下，仅依赖交叉熵损失来获取监督信息是不够的。接下来，通过观察LS-NR的结果，可以确认正则化是合理且必要的，但当标记节点数量相对较大且涵盖所有类别时，它们与内在信息之间的差异变得更加明显，由此产生的冗余信息相应减少，即该组件的作用被削弱。LS-NA的结果，用简单求和替换多视图整合机制，表明所提出的机制取得了优越性能。这归因于该机制能够根据当前数据集和标签率充分利用来自不同视图的内在信息的优势，而固定的等权求和方式缺乏灵活性，难以反映拓扑信息视图差异的价值。图4. GNN-LS在不同设置下在Cora（左）和Citeseer（右）上的节点分类准确率。此外，GNN-LS中的标签双重引导策略不仅利用了标记节点，而且在考虑预测可靠性的同时充分利用了未标记节点的价值。如2.2节所述，CG3 [46]也是获取监督信息时交叉熵损失的替代方案。为进一步证明我们在此组件上设计的优越性，我们与CG3进行了比较。两者的比较结果如图5所示，其中GNN-LS代表采用双重引导策略，CG3代表将我们方法中的标签双重引导策略替换为CG3。图5. GNN-LS中采用CG3和双重引导策略在不同标签率下的节点分类准确率。基于图5，我们可以得出一些有趣的结论。首先，结果表明，尽管两者都是作为提供监督信息的替代方式来缓解图上的标签稀缺，但我们的双重引导策略在所有情况下都取得了优越性能，因为它在考虑预测可靠性的同时更好地利用了未标记节点。其次，随着标签率的降低，采用双重引导策略的模型性能与采用CG3的模型性能之间的差距变得更加明显，反映了前者在利用大量未标记数据应对标签稀缺问题方面的优势。与CG3相比，这种策略不仅为模型提供了更强的额外监督引导，还减少了潜在噪声，并更有效地避免了过拟合风险。此外，将此结果与表3和表4中仅依赖交叉熵损失获取监督信息的单个模型对应的性能结果进行比较，这再次证明了对缓解标签稀缺问题丰富监督信息的重要性。为了构建正则化以减少冗余信息，我们采用了公式(8)中反向KL散度的思想，从而实现了从分布对齐到分布分离的目标。然而，除了这种形式的正则化外，还有其他形式的正则化，包括反向余弦距离 [42]（即Rcos=1?H??H‖H?‖2‖H‖2）和反向欧几里得距离 [35]（即Reuc=?‖H??H‖2），它们可以服务于类似的目的。因此，这里进一步探讨了使用不同正则化方法对模型性能的影响。为了便于区分，表5中的RKL代表采用反向KL散度作为减少冗余信息方式的版本。通过观察表5中的结果，不难发现，尽管RKL在GNN-LS(sme)中表现不如Reuc，但在整合了最多模型的GNN-LS中，它仍然优于其他两种形式。这可能是由于与其他两种正则化相比，基于信息论的反向KL散度能够从信息熵的角度准确量化两个概率分布之间的相对差异，并区分不同分布之间的方向性差异，因此在复杂整合情况下更具优势。此外，反向KL散度还能有效捕捉从标签相关特征分布到冗余特征分布的信息损失程度，并在训练过程中为模型提供具有更好数值特性的更稳定梯度信号，从而确保该正则化具有出色的鲁棒性。表5.正则化方法GNN-LS(sme)GNN-LS(MSA)GNN-LS Rcos 58.69±1.38 60.04±1.73 64.94±2.07 Reuc 59.14±1.29 60.32±2.15 64.87±1.86 RKL 58.93±1.76 60.71±1.84 65.02±1.93标签稀缺情况（0.5%标签率）下GNN-LS在Cora上采用不同正则化形式的节点分类准确率粗体值表示每个GNN-LS变体的最佳性能。5.4 超参数分析由于GNN-LS的最终目标函数中有两个超参数λ和β，这里我们以Cora数据集为例，通过展示GNN-LS在不同λ和β下的节点分类准确率来呈现我们的超参数选择过程。特别是，当λ和β的值为0时，分别对应不包含正则化的GNN-LS版本和无从访问内在信息的GNN-LS版本。如表6所报告，我们可以观察到，对于GNN-LS，不同的λ和β值会导致GNN-LS的节点分类性能不同，这表明这两个值的取值会影响从GNN-LS获取的监督信息和内在信息的摄入量。此外，我们发现我们的方法对超参数不敏感。但当β为0时，GNN-LS的性能显著下降，这表明内在信息补充对于缓解标签稀缺问题的重要性。因此，我们设计的多视图整合机制用于挖掘高质量内在信息是相当有意义的。表6. λ β 0.0 0.2 0.4 0.6 0.8 1.0 0.0 46.49±1.42 56.54±1.74 56.43±1.35 56.19±0.83 56.12±1.33 56.52±1.39 0.2 47.10±1.16 56.62±2.08 56.17±1.83 58.02±1.67 56.40±0.99 56.27±1.04 0.4 47.04±0.95 58.93±1.76 56.71±2.01 58.34±0.91 56.45±1.73 56.03±1.78 0.6 46.82±1.79 57.86±2.14 56.71±1.58 56.91±1.07 58.16±1.98 56.82±1.51 0.8 46.67±1.50 58.26±0.79 57.07±1.61 57.25±1.28 56.88±1.24 56.51±1.33 1.0 46.33±1.49 56.50±1.09 56.03±1.30 56.48±0.82 56.41±1.54 56.17±1.21标签稀缺情况（0.5%标签率）下GNN-LS在Cora上采用不同λ和β的节点分类准确率粗体值表示所有超参数设置中的最佳性能。5.5 正则化分析尽管我们已在消融实验中证明了正则化的有效性，并探讨了不同形式的正则化对模型性能的影响，在此基础上，我们意图进一步定量分析添加该正则化前后所采用的单个模型的特征表示的相似性，以更具直观地展示其减少冗余信息的能力。这里，我们选择常见的余弦相似度 [52] 度量来测量，其中较大的值表示两个特征更相似（即包含更多冗余信息），反之亦然。需要注意的是，考虑到实验的公平性，我们只关注正则化的有无，而不涉及其他两个组件。通过观察表7中的结果，不难发现，在未添加正则化的情况下，标记参与训练前后学习到的两个特征表示之间的余弦相似度更高，这表明在这种情况下输出包含更多冗余信息。

然而，在加入正则化项后，两种特征表示之间的相似度显著降低，这进一步证实了正则化的有效性，即它能够实现模型所学到的监督信息与内在信息之间冗余度的降低。在此基础上，我们还发现，相对先进的图自监督学习方法在未进行正则化处理时，两类信息之间会产生更多的冗余。这可归因于它们能够更好地挖掘信息丰富且具有判别性的内在结构，因此，内在信息与监督信息之间的重叠自然更大。此外，即使在正则化之后，冗余信息仍保持在一定水平，这可能与数据集的构建以及训练集的划分有关。

表 7. 模型在引入标签参与训练过程前后所学到的特征表示之间的余弦相似度，括号内数值为添加正则化后的结果。

| 数据集 | Joint_subgraph | Joint_mask | Joint_edge | Joint_MVGRL | Joint_SMGCL | Joint_AAGCN |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| Cora | 0.61 (0.49) | 0.63 (0.50) | 0.61 (0.55) | 0.69 (0.49) | 0.72 (0.49) | 0.77 (0.51) |
| Citeseer | 0.66 (0.52) | 0.64 (0.51) | 0.64 (0.53) | 0.71 (0.46) | 0.76 (0.42) | 0.73 (0.45) |
| PubMed | 0.70 (0.53) | 0.75 (0.56) | 0.71 (0.52) | 0.83 (0.46) | 0.84 (0.43) | 0.86 (0.48) |

5.6 时间成本分析
考虑到我们的方法融入了多视图集成机制，随着集成单个模型数量的增加，运行开销不可避免地会增加。为此，我们在此探究了在 100 个训练轮次中，各个单独模型以及不同版本 GNN-LS 的时间成本（类似于表 3 和表 4，包括采用联合训练方案的六个单独模型以及 GNN-LS 的三个版本）。

根据图 6 所示的结果，我们可以发现不同图对比学习方法的时间成本存在差异，由于模型架构更为复杂，后三种方法的时间成本显著高于前三种相对较旧的方法。此外，尽管 GNN-LS 的时间成本有所增加，但增加幅度并非严格成正比（此处指的是实际耗时，这与第 4.4 节中渐近线性的计算复杂度并不矛盾，因为实际运行时间还取决于实现层面和硬件层面的因素）。具体而言，由于 GNN-LS(sme) 中集成方法所需的时间成本小于 GNN-LS(MSA)，这两者的时间成本也满足这一大小关系；尽管集成更多模型会导致时间成本进一步增加，但 GNN-LS 的时间成本增长率远低于模型数量的增长率。时间成本的这种非线性增长可能源于特征提取和表示学习过程中多个模型之间计算资源的共享与重用，从而避免了完全独立计算所产生的重复开销；其底层的图卷积和矩阵操作可通过并行化及向量化技术进行计算优化。

图 6. 标签稀缺（0.5% 标签率）下，不同方法在 100 个训练轮次中的时间成本与节点分类准确率。

在此基础上，我们进一步探究了不同数据集在集成模型数量带来的计算效率差异上的变化情况。对比分析显示，由集成模型数量带来的性能提升幅度在不同数据集之间存在显著差异。例如，在 Cora 数据集上 GNN-LS(sme) 与 GNN-LS 的计算效率比较结果，与它们在 Citeseer 数据集上的表现存在较大差距。这一现象表明，数据集的差异是影响额外时间成本所获收益的关键因素。同时，由于实验中有限的已标记节点是随机划分的，此处额外时间成本带来的收益也可能受到数据集之间标签分布差异的影响。最后，我们认为盲目追求集成尽可能多的模型是不可取的；为了最大化计算效率与性能收益之间的效益平衡，我们建议优先集成简单模型，同时确保其内在信息视图尽可能具有差异性。

5.7 可视化
为进一步证明 GNN-LS 的优势，我们以 Cora 数据集为例，在图 7 中展示了原始特征表示以及不同方法所学到的特征表示的可视化结果。此处，我们在预训练和联合训练方案下，均选择属性掩码作为预任务中的图对比学习方法。

图 7. Cora 数据集在标签稀缺（0.5% 标签率）下的可视化结果。(a)、(b)、(c) 和 (d) 分别代表原始特征表示、预训练方案所学到的特征表示、联合训练方案所学到的特征表示以及 GNN-LS 所学到的特征表示。

从图 7 中我们可以观察到，无论单个模型采用预训练方案还是联合训练方案，分类结果可视化的判别性仍然较为模糊。然而，由于我们的方法允许模型学习更充分的监督信息与内在信息，且具有较好的多视图表达能力，因此分类结果可视化的判别性显著优于前两者。因此，我们再次证明了 GNN-LS 在处理标签稀缺问题上的优越性。

6 结论
本文提出了一种图上的信息增强方法（GNN-LS），旨在获取更高质量的监督信息与内在信息，以提升模型的表示学习能力，从而更好地缓解标签稀缺问题。GNN-LS 的第一个组成部分是标签双重引导策略，用于提供更强的额外监督引导。在此基础上，设置正则化项以缓解这两类信息之间可能存在的冲突。最后，我们设计了一种多视图机制，根据当前数据集和标签率有效地集成来自不同视图的内在信息。实验表明，与同类方法相比，GNN-LS 的节点分类性能显著提升，尤其是在标签稀缺的情况下。在未来的工作中，我们将进一步探索更好的多视图集成方式，以进一步消除可能的偏差，并尝试在现有基础上进一步提升本方法的运行效率。