GNN-LS：一种针对图上标签稀缺的信息增强方法

《ACM Transactions on Knowledge Discovery from Data》：GNN-LS: An Information-Enhanced Method for Label Scarcity on Graphs

　　

**摘要**

标签稀缺严重阻碍了图上的节点分类任务的性能。为了克服标签所提供的监督信息不足的问题，一些研究工作尝试结合基于自监督学习的预训练任务，旨在从图数据本身挖掘内在信息作为补充。然而，现有方法的表示学习能力受到两个主要因素的削弱：(1) 由于有限标签的利用不足导致的监督信息不充分；(2) 单一模型对内在信息的多视角表达能力有限。因此，我们提出了一种针对图上标签稀缺的信息增强方法（GNN-LS）。对于监督信息，我们开发了一种双重引导策略，有效地利用未标记节点，同时考虑预测可靠性，为模型提供更强的额外监督引导。与此同时，考虑到模型在获取两类信息时可能存在的冗余，我们构建了一种正则化方法来减少这种冗余。最后，为了有效扩展所挖掘内在信息的视角范围，我们设计了一种多视角融合机制，根据不同视角的内在信息对当前数据集和标签率的适配程度来确定它们之间的系数。大量实验表明，与同类方法相比，我们的方法在七个基准数据集上实现了显著的性能提升。

---

**AI生成摘要（实验性）**

本摘要由自动化工具生成，未经文章作者撰写或审阅。其旨在支持文献发现，帮助读者评估相关性，并协助相关研究领域的读者理解该工作。本摘要旨在补充作者提供的摘要，后者仍是论文的主要摘要。全文仍然是权威版本记录。

本摘要版本创建于2026年8月22日。

本研究针对在标注数据严重有限的情况下进行图上的节点分类这一挑战。核心问题在于，现有的图神经网络方法在很大程度上依赖标注数据进行监督学习，当标签稀缺时，其性能会显著下降。虽然一些方法试图通过从图结构本身提取内在信息的自监督学习预训练任务来补充标注数据，但这些方法仍然不足，因为它们对可用标签的利用不够充分，且未能有效利用内在信息的多样化视角。

所提出的方法GNN-LS通过三个集成组件增强了监督信息和内在信息。第一个组件实施了一种双重引导策略，通过构建正负样本对来提取更丰富的监督信息，这些对不仅来自有标签节点，还来自未标记节点——其预测类别作为伪标签。关键在于，该策略根据预测置信度和类别代表性对伪标签节点的贡献进行加权，从而减少不可靠预测的影响。与仅使用有标签节点的方法相比，这种方法显著扩大了可用于监督的训练对数量。

第二个组件引入了基于反向KL散度的正则化机制，以解决监督学习和内在信息学习之间可能存在的冲突。通过衡量纯粹通过自监督学习得到的特征表示与纳入标签后得到的特征表示之间的分布差异，该方法量化并最小化冗余信息，确保两种信息类型都能对最终表示做出有意义的贡献。

第三个组件提出了一种多视角融合机制，结合多个模型的特征表示，每个模型使用不同的增强策略（如节点掩蔽、边扰动或子图采样）从不同的图视角挖掘内在信息。与简单平均不同，该机制根据每个模型在有标签节点上的预测置信度为其分配权重，自适应地强调最适合当前数据集和标签稀缺水平的视角。

在七个基准数据集上的大量实验表明，GNN-LS显著优于现有方法，特别是在仅有0.5%标注数据的极端标签稀缺场景下。该方法相较于传统监督方法、单一自监督模型和近期扩展方法展现出持续的提升。消融研究证实了每个组件的必要性，尽管整合了多个模型，该方法仍表现出合理的计算效率。理论基础将该方法与信息瓶颈原理联系起来，展示了如何在保持监督信息与减少冗余之间取得平衡。可视化结果清楚地表明，与基线方法相比，学习到的表示中类别分离性得到了改善，证实GNN-LS通过更有效的信息利用成功地缓解了标签稀缺问题。

---

**1 引言**

近年来，图数据的日益普遍使得图神经网络（GNN）受到越来越多的关注，它被广泛应用于欺诈检测[34, 55]、交通预测[7, 27]和社会推荐[30, 60]等领域。然而，由于获取标签的成本不断攀升，标签稀缺问题已成为一大挑战。具体而言，标签负责提供监督信息，当标签稀缺时，GNN模型的性能相较于标签充足的情况会显著下降。为缓解这一问题，一些研究尝试为模型附加预训练任务[23, 29]，旨在从图数据本身挖掘内在信息作为补充。

显然，监督信息和内在信息在此情况下都起着至关重要的作用，它们共同决定了标签稀缺问题的解决程度。遗憾的是，尽管现有方法[29, 39]能够在一定程度上改善模型的节点分类性能，但其表示学习能力仍然较弱。这主要是由监督信息不足和内在信息的多视角表达能力受限造成的。如图1所示，我们旨在通过解决这些局限性来增强两类信息。

**图1.** 通过增强监督信息和内在信息，标签稀缺问题的不利影响可进一步得到缓解。

具体而言，大多数现有方法[19, 32, 56]仅依赖传统的交叉熵损失方式来获取监督信息，但与默认标签率的情况不同，在标签稀缺条件下，以此方式获取的监督信息显然不够充分。这一局限性阻碍了模型学习判别性特征表示和区分类别的能力。与此同时，一些努力[1, 12, 46]通过基于类别信息构建正负样本对来寻求额外的监督信息。然而，这些方法在这一过程中严重依赖少量的有标签节点，因此这类样本对的数量不可避免地受限。即使涉及未标记节点，它们也忽视了由于这些节点的类别信息是通过预测推断（即可靠性相对较弱）而可能存在的潜在噪声。因此，以此方式获取的监督信息仍然不够充分。我们认为，如果能在现有基础上进一步扩展相应的正负样本对数量，同时考虑未标记节点的预测可靠性，则有限的有标签节点可以提供更强的额外监督引导，这将进一步有助于缓解标签稀缺对模型的不利影响。

此外，对于采用不同自监督学习方法[5, 41, 48]作为预训练任务的现有工作，它们所挖掘的内在信息视角通常各不相同。以图对比学习[6, 13, 56]为例，当它作为图的自监督学习方法时，内在信息视角的差异体现在图增强阶段（例如，掩蔽边或掩蔽节点）。因此，此类单一模型倾向于优先探索内在信息的新视角。即使一些研究[49, 62]尝试探索多视角内在信息，但正如[16, 54]所证明的，由于固有的架构瓶颈，简单地增加单一模型中挖掘内在信息的视角数量并不能持续改善相应的多视角表达能力。我们认为，从更新的视角挖掘内在信息确实有益，但如果能有效整合这些不同视角以扩展内在信息的视角范围，也可以帮助缓解标签稀缺问题。

在本文中，我们提出了一种针对图上标签稀缺的信息增强方法（GNN-LS），该方法由三个组件组成。首先，我们开发了一种双重引导策略来获取更充分的监督信息。与现有通过基于类别信息构建正负样本对来获取额外监督引导的方法相比，该策略能在考虑预测可靠性的同时，通过未标记节点更有效协助来进一步扩展这类样本对的数量。其次，考虑到同时获取两类信息的过程中可能出现的冲突，我们提出了一种正则化方法来减少模型学习到的冗余。最后，我们设计了一种机制来改善内在信息的多视角表达能力。与求和和求平均等常见融合方式不同，该机制能够更有效地融合来自具有不同内在信息视角的多个模型的特征表示，它根据各模型在当前数据集和标签率下对有限有标签节点的预测置信度来确定不同视角的系数。大量实验表明，我们的方法具有优越的表示学习能力，在标签稀缺条件下GNN节点分类性能上显著优于同类方法。

总体而言，我们的主要贡献可总结如下：

(1) 我们提出了一种新颖的GNN来缓解标签稀缺问题，该方法能够同时增强监督信息和内在信息。

(2) 通过三个组件的协同作用，我们的方法使输出包含更充分的监督信息和具有更广视角的、适合当前数据集和标签率的内在信息。

(3) 我们进行了大量实验，证明与同类方法相比，我们的方法在标签稀缺条件下取得了卓越的性能。

---

**2 相关工作**

**2.1 节点分类**

节点分类是图学习领域的一项经典任务，已有大量相关工作[33, 51]提出。Kipf和Welling将卷积操作扩展到具有图结构的数据上，并使其能够学习图的特征表示[25]。受[25]启发，[44]中提出了一种可以扩展图卷积感知域的方法。与[25, 44]相比，[50]不仅捕获了一跳之外的节点信息，还区分了具有不同关系的节点邻居。在此基础上，[50]中提出了一种渐进监督方法，旨在解决现有GNN模型训练过程中节点感受野固定的问题。同样，Duan等人在[10]中提出了一种路径感知的多跳图框架，通过跳级注意力进一步扩大GNN模型的感受野，以实现更好的节点分类性能。[15]中提出了一种增强GNN，利用节点标签之间的依赖关系，通过集体推理来改善模型的表示学习能力。Sarkar等人在[36]中提出了VecGNN，关注节点在向量空间中的相对位置和权重，并基于一组相似度度量对学习到的特征表示进行加权。

尽管上述方法使节点分类的准确率得以持续提升，但其前提是每个数据集中的有标签节点数量相对充足，这限制了它们的实际应用性。

**2.2 图上的标签稀缺**

由于标签生成需要领域专家的参与且成本高昂，实际场景通常面临标签稀缺。在这种情况下，标签无法提供充分的监督信息，导致GNN模型的节点分类性能显著下降。为缓解这一问题，人们探索了少样本学习[9, 57]、主动学习[24, 53]以及半监督子空间-结构特征选择[37, 38]等方法。与此同时，一些近期研究尝试在消息传递过程中考虑图的内在属性来增强标签稀缺下的鲁棒性和泛化性，包括极化消息传递[17]、基于聚类的图注意力[18, 63]和池化增强传播[2]。尽管这些学习范式和基于消息传递的设计取得了显著进展，但从信息导向的角度缓解标签稀缺问题同样值得研究。

得益于图自监督学习强大的表示能力，附加预训练任务的方式受到了研究人员的广泛关注，其作用是从图数据本身挖掘内在信息作为补充。

基于该工作，文献[22]提出了一种基于生成的图自监督学习方法，该方法包含两个模块，分别从属性和边级别的视角捕获特征与结构之间的关联。接着，Zhang等人提出了一种仅基于注意力机制的图自监督学习方法[59]，通过子图中的节点级别视角挖掘内在信息。文献[32]提出了一种基于图对比学习的方法来捕获子图视角下的内在信息，该方法能够学习可迁移的特征表示，从而缓解下游任务中的标签稀缺问题。受[32]启发，文献[47]提出了一种用于欺诈检测的图对比学习方法，通过不同的子图结构构造正负样本对，在预任务中挖掘内在信息。对于上述模型，它们都聚焦于如何利用更新的视角来挖掘内在信息，但在多视角表达能力方面的提升相对较弱。同时，这些模型也没有对监督信息进行额外的处理。近年来，一些关注监督信息的工作被提出，并已被证实对于缓解标签稀缺问题同样有帮助。例如，Wan等人在文献[46]中提出了一种半监督对比学习方法CG3，该方法不仅包含传统的图对比学习模式，还通过最大化不同类别之间的互信息来学习更具判别性的特征表示。类似地，文献[1]提出了一种联合自监督与监督的图对比学习方法JGCL，与CG3相比，该方法在获取监督信息和内在信息的过程中分别赋予相应的权重。Ghayekhloo和Nickabadi[12]提出了另一种监督图对比学习方法SGCL，通过利用带有标签的节点并采用基于中心度的增强策略来构造正样本对。尽管这些模型尝试在交叉熵损失之外的部分利用标签，但它们在标签稀缺条件下仍然表现不佳，原因在于基于类别信息的正负样本对数量有限，且未考虑未标注节点的预测可靠性。综上所述，GNN-LS与上述基于信息的方法之间的区别在于信息获取的方式。首先，关于监督信息，现有工作通常依赖传统的交叉熵损失[19, 56]或通过额外路径构造有限数量的正负样本对[1, 12, 46]，而未考虑未标注节点的可靠性，这限制了在标签稀缺情况下能提取多少监督信息。GNN-LS的不同之处在于，它通过显式地加强训练过程中的监督，旨在从相同的有限标签中提取更有效的监督信息。其次，对于内在信息，尽管先前的研究[22, 32, 47, 59]尝试探索新颖的视角，但它们往往受限于单个模型的固有架构，这使得仅通过增加视角数量难以实质性地拓宽内在视角。GNN-LS则通过利用多个模型来扩展内在视角的范围，从而在标签稀缺情况下增强了内在信息的多视角表达能力。

**3 预备知识**

本节首先介绍与GNN相关的概念和公式。随后，考虑到与本文方法组件的相关性，我们简要介绍图对比学习，并解释当它作为预任务采用时，如何在无标签的情况下挖掘内在信息。最后，我们提供与训练方案相关的专业知识。

**3.1 GNN**

GNN对非欧几里得数据具有出色的表示学习能力，这里我们简要介绍与之相关的常见定义。我们通常用$G=(V,E)$表示一个图，其中$V=\{v_1,\ldots,v_N\}$是$N$个节点的集合，$e_{ij}\in E$表示节点$v_i$和$v_j$之间存在连接。$X$是图的原始特征表示，是一个$N \times d$大小的矩阵（其中$N$是节点数量，$d$是维度）。$A \in \{0,1\}^{N \times N}$是图的邻接矩阵，如果节点$v_i$和$v_j$之间存在边，则$A_{ij}=1$，否则$A_{ij}=0$。因此，我们可以从模型中获得特征表示$Z=f(X,A)$（为了区分，我们用$Z$表示从模型学到的特征表示，用$z$表示从节点学到的特征表示），其中$f$表示基于GNN的编码器（例如GCN [25]、GAT [45]、GraphSAGE [14]）。此外，节点分类任务需要一个由已标注节点组成的训练集$V_{train}$。

**3.2 图对比学习**

凭借强大的表示学习能力，图对比学习根据设计的正负样本对的形式被广泛应用于各种场景。例如，它可以作为图自监督学习方法在预任务中被采用，以挖掘内在信息。对比损失函数$L_{CONT}$的目的是使正样本对（即同一节点从不同视角学到的特征表示）$z_i$和$z_j$之间的特征表示更靠近，而负样本对（即不同节点从不同视角学到的特征表示）的特征表示应尽可能被区分开来。同时，各种图对比学习方法之间的差异通常由其视角构造过程决定。

$L_{CONT}$的一种常见公式表达如下[32]：

$$L_{CONT} = -\sum_{i=1}^{N} \log \frac{\exp(z_i^\top z_j / \tau)}{\sum_{o=1}^{N} \exp(z_i^\top z_o / \tau)}, \quad (1)$$

其中$N$是节点数量，$\tau$是温度系数。

**3.3 训练方案**

对于试图通过自监督预任务来缓解标签稀缺问题的模型，我们必须考虑模型应以何种方案进行训练。通常，根据预任务与最终任务之间的关系，训练方案分为预训练和联合训练。

对于预训练方案[22, 32]，两个任务的训练过程是分开的。具体而言，预任务负责在预训练阶段挖掘内在信息，然后在此基础上引入标签，在微调阶段获取监督信息。相比之下，联合训练[8, 61]以端到端的方式同时训练两个任务。

考虑到我们的方法需要将两个任务中学习的监督信息和内在信息作为一个整体来处理，我们采用联合训练方案。因此，除了上述提到的自监督损失$L_{SELF}$（例如$L_{CONT}$）之外，我们在模型训练过程中还增加了一个交叉熵损失[1]来提供来自标签的监督引导，该过程可以正式表示如下：

$$L_{CE} = -\sum_{v_i \in V_{train}} \sum_{l=1}^{c} y_{il} \ln \hat{y}_{il} \quad (2)$$

$$L_1 = \beta L_{SELF} + L_{CE}, \quad (3)$$

其中$\beta$是取值范围在0到1之间的超参数，用于控制预任务对最终任务的影响程度。$y$和$c$分别表示标签和类别数。$\hat{y}$是模型得到的预测结果。

对于现有的模型，当它们以单独形式来缓解标签稀缺问题时，其各自的总目标函数如公式(3)所示。通常，这些模型通过公式(2)获取的监督信息是一致的，它们之间的区别由$L_{SELF}$的实现方式差异决定。

**4 方法论**

本节将详细描述GNN-LS的组成部分，GNN-LS的整体架构如图2所示。

**图2.** GNN-LS整体架构的示意图。我们以其中一个模型为例展示了相关组件的作用。在传统的$L_{SELF}$和$L_{CE}$获取监督信息和内在信息的基础上，我们依靠三个组件进一步增强这两类信息。

**4.1 标签的双重引导策略**

通过公式(3)，模型学到的特征表示$Z$已包含某些由标签提供的监督信息。然而，为了进一步丰富获取的监督信息，我们期望有限的标签能够在现有工作的基础上继续发挥引导作用。

受CG3[46]所代表的监督对比损失启发，我们意图进一步利用未标注节点的价值，借助它们提供更强的额外监督引导。为实现这一目标，我们需要提高$Z$的标签识别能力，使得具有相同标签的节点在向量空间中变得更接近，而具有不同标签的节点变得更加远离，这可以被视为对仅依赖交叉熵损失引入监督引导的一种修正。具体来说，具有相同标签（不同标签）的节点被视为正样本对（负样本对），该过程如图3左半部分所示。但显然，这类样本对的数量受到有限已标注节点的限制，从而阻碍了该过程的有效性。因此，我们将关注点转向丰富的未标注节点，并利用为它们预测的类别信息来进一步扩大该对比学习过程中正负样本对的数量。为了方便区分，我们将预测的未标注节点称为软标签节点。显然，这些节点不具有足够的可靠性（因为到目前为止我们尚不确定其预测是否正确），给它们与已标注节点赋予相同的权重是不合理的。因此，我们意图通过引入一个基于同类别中已标注节点预测置信度的系数来控制软标签节点的引导强度（考虑到如果一个类别中的已标注节点都不能被正确预测，或者即使预测正确但置信度较低，那么其余的软标签节点应该被更加怀疑）。同时，属于某个类别的软标签节点数量越大，引入潜在噪声的风险就越高，这也应该得到相应的反映。

**图3.** 双重引导策略中采样过程的示意图，不同颜色表示属于不同类别的节点。与CG3所代表的现有额外获取监督信息的方式相比，该策略不仅通过丰富的未标注节点基于类别信息进一步扩大了正负样本对的数量，而且在该过程中考虑了预测的可靠性（如右半部分所示）。

具体来说，这里我们借助模型学到的同类别中已标注节点的特征表示（每个大小为$1 \times M$，其中$M$表示类别数。经过softmax操作[64]处理后，这些$M$个值对应于该节点属于每个类别的概率），我们首先检查这些特征表示中对应最大值所在的维度是否与标签一致，即模型对已标注节点的预测结果是否正确，如果一致则取出该最大值（即对应的置信度），否则取值为0。在此基础上，对于该类别，我们还需要计算所有能被正确预测的已标注节点集合对应的最大概率值之和，将该总和除以已标注节点的数量以避免由于节点数量差异导致的类别间误差，并将所得到的值$\alpha$作为软标签节点可靠性的度量。

为了区分，我们分别将在已标注节点和软标签节点上定义的正样本对记为$(z_i, z_j^*)$和$(z_i, \hat{z}_j)$。形式上，标签双重引导策略中模型$D$的相关公式如下：

$$L_{CONT1} = -\sum_{i=1}^{q^*} \log \frac{\sum_{j=1, j\neq i}^{q^*} \exp(z_i^\top z_j^* / \tau)}{\sum_{o=1, o\neq i}^{u^*} \exp(z_i^\top z_o^* / \tau)}, \quad (4)$$

$$L_{CONT2} = -\sum_{i=1}^{q^*} \log \frac{\sum_{j=1}^{q^{\hat{}}} \exp(z_i^\top \hat{z}_j / \tau)}{\sum_{o=1}^{u^{\hat{}}} \exp(z_i^\top \hat{z}_o / \tau)}, \quad (5)$$

$$\alpha = \frac{\sum_{i=1}^{p} \max(z_{t,i})}{q^*}, \quad (6)$$

$$L_D = \sum_{i=1}^{c} (L_{CONT1} + \alpha q^{\hat{}} L_{CONT2})_i, \quad (7)$$

其中$q^*$和$q^{\hat{}}$分别表示$z_i$所属类别中已标注节点和软标签节点的数量。$u^*$和$u^{\hat{}}$分别表示已标注节点和软标签节点的总数。$\max(\cdot)$是从特征表示中提取最大值的操作。$z_t$表示能被正确预测的已标注节点的特征表示，$p$表示这些节点的数量，$c$是类别总数。如前所述，图对比学习可以根据设计的正负样本对的形式应用于各种场景。显然，此处采用的形式不是为了挖掘内在信息，而是为了获取更丰富的监督信息。

可以看出，公式(4)至(6)是针对单个类别的，而公式(7)是针对所有类别的。因此，$L_D$不仅能够提供来自标签的额外监督引导能力，而且在该过程中能够在每个类别中充分权衡已标注节点和软标签节点。

同时，由于该策略利用了数量庞大的无标签节点，这在一定程度上降低了标签稀缺条件下的过拟合风险。4.2 用于减少冗余信息的正则化考虑到模型输出不仅包含监督信息，还包含内在信息，因此在训练过程中这两种信息之间可能会产生冲突。因此，我们设计了一种正则化方法来处理这一问题。为了实现这一目标，我们首先让模型仅在各视图下的自监督损失函数 LSELF 指导下进行训练。显然，由于该过程不涉及任何标签，从模型中学到的特征表示 Z? 仅包含内在信息。在此基础上，Z? 可以用作基准，以评估添加标签后模型学到的特征表示 Z 中包含的冗余信息。直观来看，如果这两个特征表示之间的差异较小，说明模型在添加标签后没有学到多少有价值的信息，即 Z 中包含的冗余信息更多。反之，则表明模型在添加标签后学到的冗余信息较少。在某种意义上，这种正则化也间接丰富了监督信息。考虑到库尔贝克-莱布勒（KL）散度可用于描述信息损失，这里我们采用其变体来构建这种正则化。然而，需要注意的是，通常 KL 散度用于在训练过程中使两个特征表示的分布逐渐收敛 [3]，但这种正则化的目标恰恰相反，即希望 Z? 和 Z 的分布差异尽可能显著。为此，我们采用反向 KL 散度的思想，通过引入负号构建所需的正则化器，从而将目标从分布对齐转变为分布分离。当节点数为 N 时，其正式表达如下：
R=?KL(Z?‖Z)=?∑i=1Nzi?log?zi?zi. (8)
至此，引导模型训练的最终目标函数表达如下：
L=L1+LD+λR, (9)
其中 λ 是 0 至 1 范围内的超参数，可以在一定程度上调节模型获取的监督信息和内在信息之间的平衡。可以看出，作为目标函数 L 一部分的正则化 R 在训练过程中被一同优化。由于 R=?KL(Z?‖Z)，当 L 随反向梯度传播收敛到最优解时，最小化 R 等同于最大化 KL(Z?‖Z)。根据信息论的定义 [26]，
KL(Z?‖Z)=∑i=1Nzi?log?zi?zi=∑i=1Nzi?log?zi??∑i=1Nzi?log?zi,
KL 散度具有非负性质（即 KL(Z?‖Z)≥0，当且仅当 Z?=Z 时取值为 0）。理论上，KL(Z?‖Z) 越小，表明添加标签前后学到的 Z? 和 Z 之间的分布差异越小，说明添加标签使模型学到的有价值的信息较少（冗余信息较多）。较大的 KL 散度表明分布差异显著，意味着添加标签使模型学到了更多有价值的信息（冗余信息较少）。4.3 多视图集成机制除了监督信息，内在信息对于提高 GNN 模型的表示学习能力也至关重要。不幸的是，对于单个模型而言，内在信息的多视图表达能力仍然有限，这阻碍了对图上标签稀缺问题的进一步缓解。因此，我们设计了一种多视图集成机制，其作用是有效集成从多个具有不同内在信息视图的模型中学到的特征表示。特别是，与通过简单的读出函数（如求和和均值）进行集成不同，我们的目标不仅是以更广泛的视角挖掘内在信息，还要确保其真正适合当前数据集和标签率。由于模型挖掘的内在信息的好处可以反映在有标签节点的预测置信度中，我们将不同模型对训练集的分类概率作为确定权重分配的重要指标。需要注意的是，与第 4.1 节相比，这里的区别在于对有标签节点进行了统一处理，而不区分它们的类别。随后，我们还需要验证这些节点的预测结果是否正确，这可以通过检查经 softmax 操作后其特征表示中最大值对应维度是否与它们的标签匹配来实现。只有在预测正确时，我们才保留该最大值，否则将其视为 0。对于第 k 个模型，其对应的权重系数 wk 的计算过程以及在此基础上获得的最终输出 Z~ 可以正式表达如下：
wk?=∑i=1pmax(zt,i), (10)
wk=wk?∑i=1nwi?, (11)
Z~=∑k=1nwkZk, (12)
其中，zt 和 p 的含义与公式 (6) 相同，分别代表能够被正确预测的有标签节点的特征表示及其数量。n 表示模型的数量。为了更直观地理解该机制，这里我们提供一个示例来说明。假设有两个模型，它们分别在各自的预任务中采用不同的图自监督学习方法来挖掘内在信息（例如，一个聚焦于边视图，另一个聚焦于节点视图），并且正在处理一个有标签节点数量和类别数均为两个的数据集（例如，有标签节点的类别信息分别为 y1=(0,1) 和 y2=(1,0)）。同时，对于当前数据集，哪个视图提供了更有价值的内在信息反映在两个模型对有标签节点的预测置信度上（例如，z1=[(0.2,0.8),(0.6,0.4)] 和 z2=[(0.1,0.9),(0.4,0.6)]）。显然，第一个模型预测正确，而第二个模型预测第二个节点错误（我们将其视为 0）。因此，根据公式 (10) 和 (11)，w1? 和 w2? 分别为 1.4 和 0.9，最终输出中对应于两个模型各自特征表示的系数对于 Z1 和 Z2 分别为 w1=1.4/2.3 和 w2=0.9/2.3。需要注意的是，设计该机制的目的是在扩展所挖掘内在信息的视图范围过程中最大化不同视图的优势。具体而言，尽管在此示例中节点视图的表现不如边视图，但它对于提高内在信息的多视图表达能力仍然至关重要。原因可以与第 4.1 节提到的类似：如果这些节点的整体误分类率很高，或者预测正确但置信度低，则表明模型挖掘的内在信息视图不太适合当前数据集和标签率，因此，从该模型学到的特征表示对应的权重应该相对较小。由此可知，对于模型在预任务中采用的图自监督方法在数据集和标签率方面的适配性，需要借助它们在有限有标签节点上的预测置信度来进行评估。在此基础上，我们通过最大化这些模型之间的协同增益来集成从它们学到的特征表示，从而使最终输出包含具有更广泛视图范围且适合当前数据集和标签率的内在信息。该机制具有出色的可扩展性。理论上，包含的用于从不同视图挖掘内在信息的预任务越多，挖掘的内在信息的多视图表达能力就越强，图上标签稀缺问题就可以得到相应更好的缓解。顺便说一下，由于这些模型之间的监督信息是一致的，上一节设计的正则化除了减少单个模型中两类信息之间的冲突外，还有助于进一步减少它们之间所挖掘内在信息的冗余。4.4 模型分析与算法考虑到 GNN-LS 基于信息论构建，并涉及三个组成部分，包括评估不同模型所提供视图适配性的过程，我们方法的理论保证可以从信息瓶颈（IB）原理 [20, 40, 43] 推导出来。具体而言，GNN-LS 可以解释为通过最小化 IB 拉格朗日函数
LIB=I(Z~;X)?γI(Z~;Y),
来优化特征表示 Z~，其中 γ 是拉格朗日乘子，I(Z~;Y) 量化了 Z~ 中保留的监督信息，I(Z~;X) 衡量了 Z~ 中保留了多少关于输入 X 的信息。在我们的框架中，LCE 与双重引导策略 LD 共同促进 Z~ 中监督信息的保留，这与在标签稀缺情况下鼓励较大的 I(Z~;Y) 是一致的。同时，多视图集成机制评估不同视图的适配性并据此进行集成，这扩展了内在信息的视图范围，并为 Z~ 中的监督信息提供了更合适的补充。此外，正则化 R=?KL(Z?‖Z) 被施加于每个单个模型以减少冗余信息，这可以与控制来自输入的不必要保留相关联，并与压缩项 I(Z~;X) 一致。因此，最小化 GNN-LS 的总损失可以理解为在 IB 框架内寻求最佳权衡，而不是遭受不受控的瓶颈影响，因为它明确平衡了监督信息保留和冗余减少。接下来，我们讨论 GNN-LS 的计算复杂度。设 N、|E| 和 d 分别表示节点数、边数和特征维度。单个 GNN 骨干网络（例如 GCN）的计算复杂度为 O(L(|E|d+Nd2))，其中 L 表示层数。由于 GNN-LS 集成了 n 个模型来挖掘多视图内在信息，且这 n 个模型的计算是独立的，因此它们的成本相加，主导复杂度与 n 成线性增长，结果为 O(nL(|E|d+Nd2))。值得注意的是，双重引导策略、多视图集成和正则化引入的额外计算主要涉及对特征表示的逐元素或成对操作，贡献的额外复杂度为 O(nNd)，与图卷积操作相比通常可以忽略不计。因此，GNN-LS 除了骨干网络计算外引入最小开销，其整体复杂度在固定特征维度 d 的情况下与集成模型数量和图规模呈渐近线性关系。GNN-LS 的整体流程总结在算法 1 中。5 实验在本节中，我们在几个常见的图数据集上将我们的方法与相关模型进行比较，以验证我们方法的优越性，特别是在标签稀缺情况下。此外，我们还提供额外分析以进一步展示 GNN-LS 的优势。5.1 实验设置（1）数据集：我们在七个流行的公开图数据集上进行实验，这些数据集涵盖了引用网络和社交网络等多个领域。为了示例 GNN-LS 在缓解标签稀缺问题方面的有效性，我们不仅在每个数据集的默认训练集划分设置（后文称为默认标签率）下进行实验，还在 0.5% 的极端标签稀缺情况下进行实验。需要注意的是，后一种划分方式是随机的，并不像前者那样刻意包含所有类别，即可能出现类别覆盖不均匀的情况。我们在表 1 中介绍了这些数据集并给出了划分细节。表 1. 数据集
Statistics for the Datasets
The numbers in parentheses for nodes and classes are the size of the training set and the number of classes it covers at 0.5% label rate.
（括号中节点和类别的数字分别是 0.5% 标签率下训练集的大小及其覆盖的类别数。）
Cora [25] 2,708 (14) 10,556 1,433 7 (6)
Citeseer [25] 3,327 (17) 9,228 3,703 6 (4)
PubMed [25] 19,717 (99) 88,651 500 3 (3)
CoraFull [4] 19,793 (99) 65,311 8,710 70 (53)
Computer [11] 13,752 (69) 245,778 767 10 (9)
Photo [11] 7,650 (39) 119,043 745 8 (8)
OGB-Arxiv [21] 169,343 (847) 1,166,243 1,284 0 (38)
（2）比较方法：由于不同图对比学习方法挖掘的内在信息视图之间的区别是直观的，这便于证明我们方法的有效性。因此，我们在 GNN-LS 中涉及的每个模型的预任务中分别采用此类方法，当这些模型以独立形式呈现时也是如此。此外，如第 3.3 节所述，当模型包含预任务时，通常有两种类型的训练方案来处理这种情况：预训练和联合训练。类似地，我们在实验中也展示了所有采用预任务的比较方法在这两种训练方案下的性能。此外，我们还比较了传统监督学习方法和扩展方法。因此，我们将比较方法分为四类。传统方法。

我们选取了最具代表性的方法进行对比，包括GCN [25]、GAT [45]和GraphSAGE [14]，它们的差异体现在消息聚合机制上。对于这些模型，其训练过程中没有涉及预任务，完全依赖交叉熵损失来获取监督信息。

**预训练。** 如第3.3节所述，预训练作为一种训练方案，遵循两步范式：预训练和微调。简而言之，预训练阶段的模型在预任务上（如对比学习任务）进行训练，该预训练模型的参数随后被作为下一阶段模型的初始化参数，并在后续针对特定下游任务（即节点分类任务）的训练过程中进行微调。这里，我们首先选择三种经典的图对比学习方法[56]作为独立模型进行对比，它们分别在对比学习过程中采用子图采样、属性掩码和边扰动的增强图构建方法（依次记为Pre_subgraph、Pre_mask和Pre_edge）。此外，为了进一步体现我们方法的优势，同时验证GNN-LS中多视图融合机制的卓越可扩展性，我们还对比了近年来提出的三种图对比学习方法MVGRL [49]、SMGCL [62]和AAGCN [31]（分别记为Pre_MVGRL、Pre_SMGCL和Pre_AAGCN）。

**联合训练。** 作为第3.3节提到的另一种训练方案，也是我们的方法中所采用的方案，联合训练的总目标函数通过对预任务和最终任务的目标函数进行直接线性相加而获得（如公式(3)所示）。同时，为了公平起见，我们确保这些用于对比的独立模型在采用不同训练方案之外，其他设置保持一致。为将它们与另一种训练方案区分开，我们以前缀Joint进行标记。

**扩展方法。** 考虑到还存在一些不适合简单地归入上述三类的其他方法，但它们同样有助于缓解图上的标签稀缺问题。为进一步证明GNN-LS的优势，这里我们选取了近年来提出的两种方法InfoGNN [28]和GraphPrompt [58]进行对比，它们分别基于伪标签和生成式图预训练。

**(3) 实验设置：** 我们的实验在一台配备NVIDIA Tesla V100 GPU（32 GB内存）、20核Intel Xeon CPU（2.20 GHz）和192 GB RAM的机器上进行。此外，所有对比基线和GNN-LS的关键设置如表2所示。需要注意的是，对于每个基线，我们参考了其原始主要超参数候选值，但对于可能显著影响公平性的设置（即优化器和最大迭代次数），我们在所有方法中统一了这些设置。考虑到训练方案的选择（即预训练与联合训练）不会影响关键设置，我们未在表2中单独列出。此外，为避免将GNN-LS的性能提升归因于额外的超参数调优而非模型本身，我们对GNN-LS采用了固定设置。

**表2. 所有对比基线和GNN-LS的关键设置**

| 方法 | 优化器 | 最大迭代次数 | 学习率 | 权重衰减 | Dropout |
|------|--------|-------------|--------|---------|---------|
| GCN | Adam | 200 | {5×10?3, 1×10?2} | {5×10??} | {0.5} |
| GAT | Adam | 200 | {1×10?3, 5×10?3} | {5×10??} | {0.5, 0.6} |
| GraphSAGE | Adam | 200 | {1×10?3, 5×10?3, 1×10?2} | {1×10??, 5×10??} | {0.5} |
| Subgraph | Adam | 200 | {1×10??, 5×10??, 1×10?3} | {1×10??, 1×10??} | {0.0, 0.5} |
| Mask | Adam | 200 | {1×10??, 5×10??, 1×10?3} | {1×10??, 1×10??} | {0.0, 0.2, 0.5} |
| Edge | Adam | 200 | {1×10??, 5×10??, 1×10?3} | {1×10??, 1×10??} | {0.0, 0.5} |
| MVGRL | Adam | 200 | {5×10??, 1×10?3} | {0, 1×10??} | {0.0, 0.2} |
| SMGCL | Adam | 200 | {1×10??, 5×10??, 1×10?3} | {1×10??, 1×10??} | {0.3, 0.5} |
| AAGCN | Adam | 200 | {1×10??, 5×10??, 1×10?3} | {1×10??, 5×10??} | {0.1, 0.3, 0.5} |
| InfoGNN | Adam | 200 | {5×10??, 1×10?3} | {5×10??} | {0.5} |
| GraphPrompt | Adam | 200 | {1×10??, 5×10??} | {1×10??, 1×10??} | {0.1, 0.5} |
| GNN-LS | Adam | 200 | {1×10??} | {1×10??} | {0.5} |

### 5.2 结果分析

再次强调，预训练和联合训练类别中的对比方法均以原始独立模型的形式呈现。对于GNN-LS，这里我们将其分为三个版本。其中，GNN-LS(sme)表示在多视图融合机制中包含子图采样、属性掩码和边扰动方法的版本。GNN-LS(MSA)表示集成MVGRL、SMGCL和AAGCN的版本。GNN-LS表示集成所有五种图对比学习方法的版本。

根据表3和表4，我们有以下观察：

**表3. 默认标签率下的节点分类准确率**（粗体表示每个数据集上的最佳性能）

| 类别 | 方法 | Cora | Citeseer | PubMed | CoraFull | Computer | Photo | OGB-Arxiv |
|------|------|------|----------|--------|----------|----------|-------|-----------|
| 传统 | GraphSAGE | 80.08±1.36 | 67.04±0.41 | 77.08±0.89 | 65.28±1.20 | 86.28±0.67 | 90.94±1.08 | 71.49±0.27 |
| | GCN | 77.31±0.95 | 65.51±1.25 | 76.02±1.07 | 63.41±1.88 | 85.84±1.01 | 90.36±0.59 | 71.74±0.29 |
| | GAT | 78.66±2.01 | 65.62±0.93 | 76.94±1.03 | 64.62±1.56 | 85.13±0.56 | 88.95±1.27 | 73.62±0.35 |
| 预训练 | Pre_subgraph | 81.39±1.45 | 71.54±1.53 | 77.00±0.61 | 67.27±0.51 | 87.86±1.02 | 91.30±0.86 | 71.95±0.42 |
| | Pre_mask | 82.16±1.32 | 71.53±1.28 | 77.58±1.38 | 66.25±1.09 | 87.04±1.42 | 90.91±1.11 | 71.88±0.55 |
| | Pre_edge | 82.33±0.90 | 71.63±1.09 | 77.01±1.01 | 67.46±1.57 | 87.84±0.62 | 91.06±0.95 | 72.05±0.38 |
| | Pre_MVGRL | 85.24±1.48 | 73.14±1.52 | 79.15±0.86 | 69.49±1.30 | 89.64±1.37 | 92.91±1.11 | 73.15±0.60 |
| | Pre_SMGCL | 84.15±1.86 | 73.69±2.29 | 79.02±1.65 | 69.08±1.99 | 89.92±2.18 | 92.98±2.45 | 73.30±0.72 |
| | Pre_AAGCN | 84.98±1.77 | 74.81±0.93 | 80.23±1.34 | 69.25±2.17 | 89.95±1.26 | 93.24±1.56 | 73.55±0.50 |
| 联合训练 | Joint_subgraph | 82.89±0.72 | 72.34±0.84 | 78.24±1.40 | 67.89±1.23 | 88.04±0.87 | 91.47±1.19 | 72.41±0.33 |
| | Joint_mask | 81.56±1.03 | 72.19±1.21 | 77.37±1.44 | 68.03±1.61 | 87.92±0.53 | 91.28±2.17 | 72.15±0.45 |
| | Joint_edge | 82.47±1.37 | 71.95±1.30 | 77.81±0.98 | 67.15±1.39 | 87.58±1.33 | 91.36±0.26 | 72.38±0.36 |
| | Joint_MVGRL | 86.79±0.93 | 73.32±1.28 | 80.07±1.55 | 70.34±1.16 | 89.92±0.70 | 93.56±1.42 | 73.84±0.41 |
| | Joint_SMGCL | 85.64±2.26 | 73.80±2.06 | 80.63±1.96 | 71.01±2.65 | 89.76±1.84 | 93.52±2.39 | 73.95±0.65 |
| | Joint_AAGCN | 87.03±1.72 | 72.96±1.14 | 81.42±1.52 | 71.27±0.98 | 89.84±1.45 | 94.29±1.61 | 74.12±0.55 |
| 扩展 | InfoGNN | 87.56±2.21 | 74.21±2.54 | 82.03±2.05 | 71.82±1.94 | 90.13±2.38 | 94.38±2.37 | 74.45±0.48 |
| | GraphPrompt | 86.73±1.50 | 73.62±1.37 | 81.13±1.64 | 70.85±1.12 | 89.49±1.18 | 93.31±1.02 | 74.82±0.39 |
| 本文方法 | GNN-LS(sme) | 85.24±1.84 | 73.79±1.62 | 80.37±0.91 | 69.40±1.71 | 89.52±1.87 | 92.43±1.66 | 74.63±0.52 |
| | GNN-LS(MSA) | 89.16±1.42 | 76.43±1.39 | 83.39±1.84 | 73.61±2.35 | 91.64±1.29 | 95.28±2.06 | 76.08±0.45 |
| | GNN-LS | 91.62±1.67 | 79.80±1.59 | 85.73±1.95 | 75.18±2.26 | 92.93±1.85 | 95.99±1.97 | 78.05±0.40 |

**表4. 标签稀缺条件下（0.5%标签率）的节点分类准确率**（粗体表示每个数据集上的最佳性能）

| 类别 | 方法 | Cora | Citeseer | PubMed | CoraFull | Computer | Photo | OGB-Arxiv |
|------|------|------|----------|--------|----------|----------|-------|-----------|
| 传统 | GraphSAGE | 41.06±1.26 | 39.12±2.26 | 76.22±0.77 | 22.38±1.65 | 71.89±0.56 | 78.10±1.76 | 46.15±0.52 |
| | GCN | 43.06±1.75 | 40.75±0.52 | 75.52±2.07 | 21.63±2.40 | 70.75±0.93 | 77.03±1.88 | 47.88±0.45 |
| | GAT | 44.53±0.98 | 40.97±1.63 | 76.53±1.31 | 22.29±1.56 | 70.63±1.39 | 75.96±0.82 | 48.24±0.61 |
| 预训练 | Pre_subgraph | 46.49±0.68 | 41.73±0.54 | 75.71±0.61 | 25.46±0.43 | 72.22±1.20 | 78.94±1.51 | 49.35±0.48 |
| | Pre_mask | 47.21±0.81 | 42.08±1.94 | 76.49±1.38 | 25.28±1.01 | 72.22±0.88 | 78.82±1.35 | 49.12±0.55 |
| | Pre_edge | 47.08±1.33 | 42.11±1.75 | 76.41±1.01 | 25.44±0.62 | 72.54±1.12 | 78.82±1.09 | 49.56±0.50 |
| | Pre_MVGRL | 52.16±1.45 | 45.58±1.07 | 77.62±1.19 | 29.94±0.73 | 75.03±1.44 | 80.12±0.91 | 53.42±0.65 |
| | Pre_SMGCL | 50.86±2.04 | 46.03±2.27 | 77.84±1.69 | 29.98±2.21 | 75.62±1.70 | 80.05±2.19 | 52.88±0.72 |
| | Pre_AAGCN | 53.55±1.82 | 47.88±2.05 | 77.64±2.13 | 31.05±1.54 | 75.73±1.97 | 81.62±1.65 | 53.95±0.58 |
| 联合训练 | Joint_subgraph | 50.31±1.57 | 44.62±1.42 | 76.41±0.75 | 28.19±1.19 | 74.30±0.85 | 80.87±0.92 | 51.05±0.44 |
| | Joint_mask | 51.08±0.55 | 44.55±1.23 | 77.06±1.09 | 27.99±1.74 | 74.29±0.71 | 81.42±0.97 | 50.98±0.56 |
| | Joint_edge | 50.79±1.03 | 44.39±0.88 | 76.87±0.59 | 27.98±1.38 | 74.27±0.76 | 81.25±2.24 | 51.24±0.49 |
| | Joint_MVGRL | 53.33±0.52 | 48.26±1.35 | 78.58±1.68 | 31.46±0.79 | 76.04±1.17 | 83.35±2.07 | 54.68±0.53 |
| | Joint_SMGCL | 53.19±1.86 | 49.02±1.63 | 79.33±2.21 | 33.13±1.95 | 75.84±2.04 | 84.13±1.87 | 54.35±0.68 |
| | Joint_AAGCN | 55.73±1.69 | 48.85±2.07 | 80.14±1.58 | 33.96±1.33 | 77.42±1.61 | 85.44±2.28 | 55.82±0.60 |
| 扩展 | InfoGNN | 45.27±2.56 | 41.86±2.64 | 79.72±2.28 | 23.84±2.67 | 73.81±2.39 | 82.21±2.53 | 52.45±0.58 |
| | GraphPrompt | 54.98±1.03 | 48.66±1.15 | 79.04±1.19 | 33.51±1.20 | 77.28±1.06 | 84.04±1.32 | 57.15±0.45 |
| 本文方法 | GNN-LS(sme) | 58.93±1.76 | 48.22±0.59 | 80.05±1.88 | 34.17±0.94 | 80.72±1.40 | 86.19±0.95 | 55.40±0.52 |
| | GNN-LS(MSA) | 60.71±1.84 | 52.63±1.94 | 81.37±2.02 | 39.64±1.58 | 83.04±0.97 | 87.15±1.39 | 58.20±0.55 |
| | GNN-LS | 65.02±1.93 | 56.46±2.24 | 83.07±1.45 | 42.59±2.03 | 85.08±1.66 | 88.70±1.82 | 60.12±0.48 |

**(1)** GNN-LS在默认标签率和标签稀缺两种情况下，于全部七个基准数据集上的节点分类任务中均优于对比方法。特别是在标签稀缺情况下，GNN-LS的性能提升更为显著，这证实了我们方法在缓解标签稀缺问题上的优越性。

**(2)** 与传统方法相比，利用预任务挖掘内在信息的方法性能有所提升，这表明补充内在信息的有效性。此外，由于我们的方法能够学习到更好的监督信息和内在信息，因此具有卓越的表示学习能力。

**(3)** 对于同一数据集，预任务中采用的不同图对比学习方法对性能有影响，且没有哪种对比方法在所有数据集上都优于其他方法，这表明不同视图的适配性确实存在差异。此外，采用联合训练方案的独立模型通常优于采用预训练方案的模型，这在标签稀缺情况下更为明显。

**(4)** 尽管两种扩展方法相比某些独立模型取得了更好的性能，但当这些独立模型被集成到我们的方法中时，结果发生了变化（例如，GraphPrompt优于Joint_subgraph、Joint_mask和Joint_edge，但劣于GNN-LS(sme)）。同时，与通过挖掘内在信息来弥补标注节点不足的方法具有良好泛化能力不同，通过构建伪标签来扩展训练集的方法（如InfoGNN）在标签稀缺条件下的表现与默认标签率下存在显著差异。我们推测这是由于当标签覆盖的类别存在不足时，伪标签构建过程中形成的误差累积所导致的。

**(5)** GNN-LS三个不同版本的结果展示了我们所设计的融合机制的优势。得益于其有效融合预任务中来自不同视图的独立模型的能力，当预任务中集成的不同视图独立模型数量增加时，性能提升可以更大。同时，通过比较GNN-LS(sme)和GNN-LS(MSA)的结果，可以确认最终性能不仅与不同视图独立模型的数量有关，还与这些视图的质量有关。

### 5.3 消融实验

为了探究GNN-LS中三个组件各自所发挥的作用，我们还进行了一系列消融实验。这里，我们将最终目标函数中不包含标签双重引导策略的变体和不包含正则化的变体分别记为无双重引导的GNN-LS（LS-ND）和无正则化的GNN-LS（LS-NR）。同时，对于多视图融合机制，我们通过将其性能与仅应用求和读出函数（即公式(12)中的w_k全部为1）时的性能进行比较，来反映其重要性。考虑到实验的复杂性，此处的GNN-LS仅指集成子图采样、属性掩码和边扰动方法的版本（除第5.6节外，以下GNN-LS统一指该版本）。

图4展示了当三个设计组件中每一个缺失时，GNN-LS在不同标签率下的性能。总体而言，每个组件缺失导致的模型性能下降幅度在0.5%标签率下更为明显，表明标签越稀缺，这三个组件就越有价值且有用。具体而言，LS-ND的结果表明，特别是在标签稀缺情况下，仅依赖交叉熵损失来获取监督信息是不够的。接下来，通过观察LS-NR的结果，可以确认正则化是合理且必要的，但当标注节点数量相对较大且覆盖所有类别时，随着标注信息与内在信息之间的差异变得更加明显，所产生的冗余信息相应减少，即该组件的作用被削弱。LS-NA的结果（用简单求和替代多视图融合机制）表明所提出的机制取得了优越的性能。这归功于该机制能够根据当前数据集和标签率充分利用不同视图中内在信息的优势，而固定的等权重求和方式缺乏灵活性，难以体现拓扑信息视图差异的价值。

**图4. 不同设置下GNN-LS在Cora（左）和Citeseer（右）上的节点分类准确率。**

此外，GNN-LS中标签的双重引导策略不仅利用了标注节点，还充分考虑了预测可靠性，充分利用了未标注节点的价值。如第2.2节所述，CG3 [46] 也是获取监督信息的另一种交叉熵损失替代方案。为进一步证明我们对该组件设计方案的优越性，我们将它与CG3进行了对比。两者的对比结果如图5所示，其中GNN-LS表示采用双重引导策略，CG3表示将我们的方法中标签的双重引导策略替换为CG3。

**图5. GNN-LS中采用CG3和双重引导策略在不同标签率下的节点分类准确率。**

基于图5，我们可以得出一些有趣的结论。首先，结果表明，尽管两者作为提供监督信息的替代方式，对于缓解图上的标签稀缺问题均有益处，但我们的双重引导策略在所有情况下均取得了优越的性能，这得益于其在考虑预测可靠性的同时更好地利用了未标注节点。其次，随着标签率的降低，采用双重引导策略的模型与采用CG3的模型之间的性能差距变得更加明显，反映了前者在利用大量未标注数据来应对标签稀缺问题方面的优势。与CG3相比，该策略不仅为模型提供了更强的额外监督引导，还能更有效地减少潜在噪声并避免过拟合的风险。此外，将此结果与表3和表4中仅依赖交叉熵损失获取监督信息的独立模型的相应性能结果相结合，再次证明了丰富监督信息对于缓解标签稀缺问题的重要性。

为了构建减少冗余信息的正则化，我们采用了公式(8)中逆向KL散度的思想，从而实现了从分布对齐到分布分离的目标。然而，除了这种正则化形式外，还有其他正则化形式，包括逆向余弦距离 [42]（即R_cos = 1 ? H??H / ‖H?‖?‖H‖?）和逆向欧几里得距离 [35]（即R_euc = ?‖H? ? H‖?），它们可以实现类似的目的。因此，这里进一步探讨了使用不同正则化方法对模型性能的影响。

为方便区分，表5中的R_KL表示采用逆向KL散度作为减少冗余信息方式的版本。通过观察表5的结果，不难发现，尽管R_KL在GNN-LS(sme)中的表现不如R_euc，但在集成模型最多的GNN-LS中，它仍然优于其他两种形式。这可能是由于与其他两种正则化相比，基于信息论的逆向KL散度可以从信息熵的角度准确量化两个概率分布之间的相对差异，并区分不同分布之间的方向性差异，因此在复杂集成情况下更具优势。此外，逆向KL散度还可以有效地捕捉从标签相关特征分布到冗余特征分布的信息损失程度，并在训练过程中为模型提供具有更好数值特性的更稳定梯度信号，从而确保该正则化具有出色的鲁棒性。

**表5. 在Cora数据集上，采用不同正则化形式的GNN-LS在标签稀缺条件（0.5%标签率）下的节点分类准确率**（粗体表示每个GNN-LS变体的最佳性能）

| 正则化 | 方法 | GNN-LS(sme) | GNN-LS(MSA) | GNN-LS |
|--------|------|-------------|-------------|--------|
| R_cos | | 58.69±1.38 | 60.04±1.73 | 64.94±2.07 |
| R_euc | | 59.14±1.29 | 60.32±2.15 | 64.87±1.86 |
| R_KL | | 58.93±1.76 | 60.71±1.84 | 65.02±1.93 |

### 5.4 超参数分析

由于GNN-LS的最终目标函数中有两个超参数λ和β，这里我们以Cora数据集为例，展示GNN-LS在不同λ和β下的节点分类准确率，来呈现我们的超参数选择过程。

特别是在λ和β的值为0时，这分别对应于GNN-LS的一个不含正则化的版本和一个无法访问内在信息的版本。如表6所示，我们可以观察到，对于GNN-LS，λ和β的不同取值会导致GNN-LS的节点分类性能有所变化，这表明两者的取值均会影响GNN-LS从监督信息和内在信息中获取的程度。此外，我们发现我们的方法对超参数并不敏感。但是当β为0时，GNN-LS的性能显著下降，这表明内在信息补充对于缓解标签稀缺问题具有重要意义。因此，我们设计的用于挖掘高质量内在信息的多视图集成机制是十分有意义的。

表6. Cora数据集上标签稀缺（0.5%标签率）条件下GNN-LS中不同λ和β下的节点分类准确率

粗体值表示所有超参数设置中的最佳性能。

5.5 正则化分析

尽管我们已经在消融实验中证明了正则化的有效性，并探索了不同形式的正则化对模型性能的影响，在此基础上，我们进一步定量分析了向单个模型中添加正则化前后特征表示之间的相似度，以更直观地展示其减少冗余信息的能力。这里，我们选择常用的余弦相似度[52]来衡量，其中较大的值表示两个特征更为相似（即包含更多冗余信息），反之亦然。需要注意的是，考虑到实验的公平性，我们仅关注正则化的有无，而不涉及其他两个组件。

通过观察表7中的结果，不难发现，在未添加正则化的情况下，标签参与训练过程之前和之后学习到的两个特征表示之间的余弦相似度更高，这表明在这种情况下输出包含更多的冗余信息。然而，添加正则化后，两个特征表示之间的相似度显著降低，这进一步证实了正则化的有效性，即它可以减少从模型中学到的监督信息和内在信息之间的冗余。在此基础上，我们还发现，相对先进的图自监督学习方法在未正则化时会产生更多的信息冗余。这可以归因于它们能够更好地挖掘信息和判别性的内在结构，因此内在信息与监督信息之间的重叠自然更大。此外，即使经过正则化，冗余信息仍维持在一定的水平，这可能数据集的构建和训练集的划分有关。

表7. 标签参与训练过程之前和之后从模型中学到的特征表示之间的余弦相似度，括号中的值为添加正则化后的结果

5.6 时间开销分析

考虑到我们的方法引入了多视图集成机制，随着集成的单个模型数量增加，运行成本不可避免地会上升。为此，我们在这里探讨了每个单个模型以及GNN-LS的不同版本在100个训练轮次中的时间开销（类似于表3和表4，包含六个采用联合训练方案的单个模型和GNN-LS的三种版本）。

根据图6所示的结果，我们可以发现不同图对比学习方法的时间开销各不相同，后三种方法由于模型架构更为复杂，相比前三种相对过时的方法，时间开销显著更高。此外，尽管GNN-LS的时间开销有所增加，但增加并非严格成比例（这里指的是实际耗时，与4.4节中渐近线性计算复杂度的说法并不矛盾，因为实际运行时间还取决于实现层面和硬件层面的因素）。具体而言，由于GNN-LS(sme)中集成的方法所需的时间开销相较于GNN-LS(MSA)中的更小，两者的时间开销也满足这一大小关系，虽然集成更多模型会导致时间开销进一步增加，但GNN-LS的时间开销增长远低于模型数量的增长。这种时间开销的非线性增长可能源于在特征提取和表示学习过程中多个模型之间存在计算资源的共享和复用，避免了完全独立计算所产生的重复开销，其底层的图卷积和矩阵运算可以通过并行化和向量化技术进行计算优化。

图6. 标签稀缺（0.5%标签率）条件下不同方法在100个训练轮次中的时间开销和节点分类准确率。

在此基础上，我们进一步探讨了不同数据集间集成模型数量对计算效率影响的差异。对比分析表明，由集成模型数量带来的性能提升幅度在不同数据集上存在显著差异。例如，在Cora数据集上GNN-LS(sme)与GNN-LS之间计算效率对比的结果与它们在Citeseer数据集上的表现之间存在较大差距。这一现象表明数据集的差异是影响额外时间开销收益的关键因素。同时，由于实验中有限的标注节点是随机划分的，额外时间开销所带来的收益也可能受到不同数据集标签分布差异的影响。最后，我们认为盲目追求尽可能多地集成模型是不可取的，为了在计算效率和性能收益之间实现最大化平衡，我们建议优先集成简单模型，同时确保其内在信息视图尽可能不同。

5.7 可视化

为了进一步展示GNN-LS的优越性，我们以Cora数据集为例，在图7中展示了原始特征表示以及不同方法学习到的特征表示的可视化结果，这里我们分别选择属性掩码作为预训练和联合训练方案下预训练任务中的图对比学习方法。

图7. Cora数据集上标签稀缺（0.5%标签率）条件下的可视化结果。(a)、(b)、(c)和(d)分别代表原始特征表示、预训练方案学习到的特征表示、联合训练方案学习到的特征表示以及GNN-LS学习到的特征表示。

从图7中，我们可以观察到，无论单个模型采用预训练方案还是联合训练方案，分类结果可视化的可区分性仍然模糊。然而，由于我们的方法使模型能够学习到更为充分的监督信息和具有良好多视图表达能力内在信息，因此分类结果可视化的可区分性明显优于前两者。从而，我们再次证明了GNN-LS在处理标签稀缺问题方面的优越性。

6 结论

本文提出了一种图上的信息增强方法（GNN-LS），旨在获取更高质量的监督信息和内在信息，以提升模型的表示学习能力，从而更好地缓解标签稀缺问题。GNN-LS的第一个组件是标签的双重引导策略，用于提供更强的额外监督指导。在此基础上，设置了一种正则化来缓解两类信息之间可能存在的冲突。最后，我们设计了一种多视图机制，以根据当前数据集和标签率有效地集成来自不同视图的内在信息。实验表明，与同类方法相比，GNN-LS的节点分类性能得到了显著提升，尤其是在标签稀缺的情况下。在未来的工作中，我们将进一步探索更好的多视图集成方式以进一步消除可能的偏差，并尝试进一步提高我们方法的运行效率。