用于半监督分类的自适应融合多视图对比图卷积网络

《Pattern Recognition》：Multi-View Contrastive Graph Convolutional Networks with Adaptive Fusion for semi-supervised classification

　　

• 提出MVC-GAF用于多视图对比图表示学习。
• 结合K近邻图和半监督图以捕获多样化的结构。
• 引入基于拉普拉斯矩阵和特征平滑性的自适应图融合方法。
• 在交叉熵损失和对比损失中利用动态伪标签。
• 在半监督图分类任务中超越基线方法。

引言

多视图数据指的是从多个视角或特征空间捕获的信息，为同一实体提供了更加全面和丰富的表示。尽管数据来源于不同的观点，但在保留语义一致性的同时，各视图之间仍保持着互补性。这使得能够从单一视图中难以直接获取的独特且相关的特征得以提取[1]。因此，多视图数据已被广泛应用于多种现实领域，包括数据挖掘[2]、[3]、机器学习[4]、[5]以及计算机视觉[6]、[7]。其整合多源信息的能力和潜在提升模型性能的潜力，使其成为这些领域当代研究的基石。

然而，为多视图数据集收集标注数据的过程往往耗费大量资源和时间。尽管这些数据集中包含大量信息，但许多数据集缺乏足够的标注数据。标注数据的短缺对在训练能够有效利用多视图数据丰富信息的模型时构成了重大挑战。因此，利用未标注数据来提升学习性能已成为研究重点。研究表明，结合未标注的多视图数据可以取得令人瞩目的结果，因为它使模型能够更好地泛化并发现隐藏的模式[8]。这推动了多视图半监督学习成为关键研究领域。

过去十年间，多视图学习在多种学习范式中都引起了广泛关注，包括监督学习、半监督学习和无监督学习[9]。多视图学习中的突出技术包括协同训练[10]、[11]、多核学习[12]、子空间学习[13]、[14]以及基于深度学习的方法[15]、[16]。尽管这些方法推动了该领域的进步，但作为独立的表示学习框架，浅层模型在捕获跨多个视图的数据点之间的层次化和高度非线性关系方面能力有限。基于图的深度学习技术可以通过多次非线性变换学习复杂表示来补充这些方法。因此，在我们的框架中，采用浅层图构建技术从原始多视图数据中提取信息性的结构先验，同时使用深度图卷积网络进行后续的表示学习和预测。

基于图的方法对实例间的两两相似度进行建模。图卷积网络（GCN）[17]最初是为单视图数据设计的，能够有效地在各种图相关任务中捕获结构依赖性。将GCN扩展到多视图学习能够整合互补信息并建模更复杂的关系，从而提升性能。

近期的图学习研究也探索了用于增强结构表示的互补机制。AEGK[18]结合连续时间量子行走与对齐图核以捕获图的局部和全局特征。GL-BKGNN[19]将图基双核纳入图神经网络中以提升结构可解释性，而QSGCNN[20]利用对齐顶点网格和量子信息传播来学习多尺度图表示。

近期将GCN应用于多视图图以进行半监督学习的进展表明，这有望显著提升学习成果[21]、[22]、[23]、[24]。然而，尽管取得了这些进展，该领域仍存在若干关键研究空白：

1. 在多视图半监督分类任务中，类别数通常较大，而标注样本数相对较少。在这种情况下，基于深度学习的图分类方法往往表现出一些局限性，例如缺乏类内约束和分类器优化困难。
2. 尽管图对比学习已被广泛研究，但多视图图对比学习这一特定领域，尤其是关于图构建方法的方面，受到的关注相对较少。这一差距突显了需要更有针对性的研究，以更好地理解不同的图构建策略如何有效地整合到多视图框架中。
3. 当前多视图半监督学习方法缺乏有效机制来自适应地加权并整合多种图视图，导致互补信息的融合次优。此外，现有方法难以抑制多视图图中的噪声和冗余，限制了其在标注数据稀缺场景中的鲁棒性和表示质量。

为解决多视图学习中的固有挑战并提升图卷积网络的有效性，本文提出了一种新颖的框架，称为具有自适应融合的多视图对比图卷积网络（MVC-GAF）。

主要贡献如下：

1. 该方法的一个关键方面在于联合损失函数，它同时融合了由伪标签引导的交叉熵损失和对比损失，伪标签作为未标注数据的替代监督，实现了对类内紧凑性和类间可分性的有效优化。
2. 采用两种不同的图构建技术——K近邻（KNN）和半监督图方法——应用于同一数据视图以捕获互补的结构信息。通过利用这些多样化方法，模型实现了对数据关系的更全面的表示。这种多图输入增强了表示空间并增加了分类器多样性，从而促进更稳定的假设空间。
3. 提出了一种新颖的端到端基于对比学习的多视图GCN分类框架，通过比较不同视图来利用标注和未标注样本进行半监督图表示学习。该框架采用自适应加权多视图融合策略，利用图拉普拉斯矩阵和特征平滑性对每个视图进行加权，增强多视图邻接矩阵的互补性。通过连接融合嵌入并整合拓扑结构与特征，该框架丰富了节点表示并减少了过拟合，实现了稳健的半监督学习。

多视图GCN学习

随着深度学习的进步，多视图图卷积网络已成为多视图学习中的主要研究方向。这些模型通过图卷积操作在每个视图中提取局部结构信息，同时通过视图间的交互捕获全局结构模式。

例如，WFGSC[22]在各视图中构建并融合半监督图，对难以分类的样本赋予更高权重，并引入结合多种损失的损失函数。

符号说明

考虑单视图场景，数据由矩阵??=[??1;??2;…;????]∈???×??表示，其中??行中的每一行对应一个具有??个属性的样本。邻接矩阵??∈???×??捕获这些样本间的两两相似度。度矩阵??为对角矩阵，其元素等于??中每行之和。令??表示单位矩阵。归一化拉普拉斯矩阵定义为??=??????1/2???????1/2。

在多视图数据集中，存在??个不同的视图，每个...

所提方法

有效地将GCN应用于处理多视图数据仍是该领域的一个显著开放问题。在本节中，我们提出一种新颖方法来解决这一局限性。所提模型MVC-GAF的概览如图1所示。

数据集

我们使用六个公开基准数据集对所提模型MVC-GAF进行了全面评估。具体而言，数据集包括3Sources、GRAZ02[32]、NG、MNIST、Out-Scene[33]和Citeseer[34]。表1详细总结了这些数据集的特征。3Sources是一个多源新闻数据集，包含169篇...

性能比较

表3总结了十一种方法在六个数据集上（由5%的标注样本提供监督）的准确率。对于每个数据集，最高准确率以粗体表示，第二高准确率以下划线表示。此外，报告了每种方法在十次独立数据划分上计算的准确率和标准差均值。

表3中呈现的分类结果表明，所提MVC-GAF方法一致优于广泛的...

结论

所提MVC-GAF框架通过统一的学习范式有效利用标注和未标注数据，显著提升了模型性能。该框架的核心采用联合损失函数，集成了伪标签引导的交叉熵损失和对比损失，促进了对类内凝聚力和类间可分性的精确建模。这一设计增强了所学特征表示的判别能力。此外，MVC-GAFCRediT

作者贡献声明

Xiao Huaiyuan：写作——审阅与编辑、写作——原稿撰写、验证、方法论、调查研究、形式化分析、概念化。Fadi Dornaika：写作——审阅与编辑、写作——原稿撰写、监督、方法论、调查研究、形式化分析、概念化。Bi Jingjun：写作——审阅与编辑、写作——原稿撰写、验证、调查研究、形式化分析。Denis Hamad：写作——审阅与编辑、写作——原稿撰写、验证、形式化分析。

利益冲突声明

作者声明没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

Huaiyuan Xiao | Fadi Dornaika | Jingjun Bi | Denis Hamad | Vinh T. Hoang