面向多视角图像数据的基于图的自教半监督学习

《Pattern Recognition》：Self-taught graph-based semi-supervised learning for multi-view image data

　　

• 将伪标签技术与基于图的技巧相结合，应用于多视图图像数据。• 消除关于阈值设置问题的担忧。• 确保不会遗漏潜在的有价值的伪标签信息。• 缓解早期训练阶段不准确预测的影响。• 在六个公开的多视图图像数据集上进行了实验。引言在半监督学习（SSL）中，基于图的方法和伪标签都受到了广泛关注。基于图的SSL利用图结构来捕获数据关系，并使用标注数据和未标注数据训练模型。相比之下，伪标签利用未标注样本的预测标签作为实际标签，增加了监督信号。这种方法利用模型的预测来增强训练集，明确类别边界并紧凑学习到的类别。选择高置信度的伪标签[1]和减轻噪声[2]对于维持训练数据的完整性和提高模型性能至关重要，使这些主题成为研究热点。从更广泛的角度来看，现有的SSL方法通常可以归纳为三大范式：基于自训练的方法、一致性正则化方法和基于对比学习的方法。自训练方法通过迭代为未标注数据生成伪标签，近期的工作如SoftMatch[3]和自训练综合调查[4]致力于解决数量与可靠性之间的权衡问题，以提高伪标签质量。基于一致性的方法强制模型在不同扰动下保持预测不变性，而基于对比学习的SSL方法通过学习判别性表示，将相似样本拉近并将不相似样本推远。在基于图的设置中，近期方法如SGCL[5]进一步引入了置信度感知的伪标签传播以改进表示学习。更近期地，可扩展的半监督学习方法如DLPC[6]通过联合建模标签传播和修正机制来进一步提高伪标签质量，证明了在基于图的SSL框架中可靠标签精细化的重要性。除伪标签外，图学习和深度图神经网络已成为关键研究领域。由于数据标注成本高且耗时，许多研究者专注于基于图的半监督学习，旨在从少量标注样本推断大量未标注样本的标签，以应用于实际场景。尽管取得了这些进展，大多数现有的SSL方法是为单视图数据或标准图设置设计的，近期的研究也探索了更复杂的场景。例如，基于Transformer架构的多视图半监督学习方法及增强的伪标签策略[7]，如对视图特定的Transformer建模和伪标签细化的研究，证明了学习视图依赖表示的有效性。此外，多视图时序对齐方法如MTGA[8]进一步强调了在复杂结构化数据中跨视图一致性建模的重要性。此外，近期关于GCN的分析，如"GCN在哪些节点上失败？"[9]，揭示了图卷积网络可能在结构模糊的节点上出现性能退化，突出了鲁棒的节点级表示学习的重要性。然而，如何有效地将伪标签可靠性与多视图结构一致性相结合仍是一个有待探索的问题。实际应用中的一个重大挑战在于处理多视图数据，这些数据包含各种数据来源或表示方法。例如，面部识别可能利用2D图像、3D模型和热图，每一种都提供了独特的见解。不同的图像特征，如局部二进制模式和方向梯度直方图，也增加了这种多样性。多视图数据的优势在于其能够从不同角度组合信息，增强数据分析和建模。然而，挑战包括有效地融合不同的视图、管理它们之间的相关性和一致性，以及选择合适的特征表示。每个视图可能具有不同的特征，需要进行彻底调查以实现有效集成。近期的研究进一步从不同角度探索了多视图学习，包括特征选择和因果建模。例如，MVCFS[10]研究了如何识别多个视图中的因果和信息性特征，突出了选择判别性强且鲁棒的跨视图表示的重要性。这进一步强调了在多视图学习中有效利用互补信息同时抑制冗余或不相关特征的挑战性。总体而言，虽然多视图数据可以缓解单一视图的局限性，但由于高维图像数据和固有多样性，从这样的数据中学习是复杂的。尽管GCN在基于图的SSL中因能够提供判别性节点表示而被广泛使用，但适应它们处理没有预定义图的多视图数据仍然是一个重大挑战。受这些局限性的启发，我们提出了一个用于多视图数据的自学图半监督学习框架（SGSLM），该框架在统一的模型中联合利用了伪标签传播和多视图特征融合。在本文中，我们通过提出的方法自学图半监督学习多视图数据（SGSLM）引入高效技术来解决图构建和融合的难题，如图1所示。这种方法提供了几个关键优势：(i) 它采用了一个通用的半监督模型，同时估计图并对每个视图执行可适应的线性投影。(ii) 它构建了一个整合所有视图的凝聚力图，通过线性变换显著降低特征维度，从而降低计算成本。(iii) 它利用单个GCN并结合一个全面的训练损失函数，该损失函数利用了融合特征和图。该损失函数包含交叉熵损失、Dice损失、伪标签损失和标签平滑损失。伪标签损失允许动态利用伪标签的优势，自适应伪标签损失元素提供了几个显著优势：(i) 它消除了额外学习阶段和模型的需求，解决了许多伪标签方法中常见的局限性。(ii) 所有预测结果都被视为伪标签，其权重根据置信度进行调整。这种方法消除了关于设置阈值问题的担忧，并确保不会遗漏潜在的有价值的伪标签信息。(iii) 它缓解了早期训练阶段不准确预测的影响，从而降低了模型对误导性伪标签的敏感性。本研究的主要贡献如下：• 我们将伪标签方法和基于图的技术整合到一个统一框架中，有效地解决了多视图图像数据的分类问题。• 通过采用单个GCN框架，我们显著降低了特征维度，并消除了许多伪标签方法通常所需的额外学习阶段和模型，从而最小化了时间和空间消耗。• 我们在GCN训练系统中引入了一种新颖且灵活的伪标签方法作为损失函数。这种方法消除了关于阈值设置的担忧，并确保不会遗漏潜在的有价值的伪标签信息。此外，它还缓解了早期训练阶段不准确预测的影响。• 我们在六个基准多视图图像数据集上对十一种方法进行了广泛实验，证明了我们方法的优越性能。本文的结构如下：第2节综述相关文献。第3节详细阐述我们的SGSLM。第4节概述我们的实验，分析结果，并通过全面的消融实验验证伪标签损失函数的有效性。最后，第5节总结我们的结论和未来展望。章节摘要相关工作深度学习是一种强大的机器学习方法，利用多层神经网络识别数据中的复杂模式。它在图像处理和自然语言理解等领域表现出色，相比传统方法具有显著优势[11]、[12]。在许多实际场景中，数据也可以表示为图，这些图捕获了实体之间的复杂关系，如社交网络、生物网络和交通系统[13]。一个图通常符号表示在单视图数据的情况下，我们将其表示为X=[x?; x?; …; x?] ∈ ????，其中n表示样本数量，d表示特征数量，每行对应一个样本。对于多视图数据，我们有V个不同的视图，每个视图包含n个样本和d?个特征。第v个视图的矩阵表示为X?=[x??; x??; …; x??] ∈ ?????。此外，对于每个视图，我们可以构建相应的相似图，记为S?。关键符号汇总于表1。图学习竞争性模型在我们的实验中，我们将SGSLM的性能与十种多视图半监督模型进行比较。其中两个模型（GCN-X*和GCN-multi）是基线方法，另外八个方法（MVCGL、AMSSL、LACK、JCD[2]、DSRL[3]、LGCN-FF[4]、IMvGCN[5]和TUNED[6]结论在本文中，我们提出了SGSLM，一种利用线性投影技术创建低维特征并构建融合图的方法，随后将其输入到一个紧凑的图卷积网络（GCN）中。为了增强GCN的性能，我们将伪标签整合到其损失函数中，使模型能够在不需要额外迭代或参数的情况下利用这些标签。所有预测结果都被视为伪标签，其权重根据置信度进行调整CRediT作者贡献声明J. Bi：撰写——审阅与编辑、撰写——初稿、验证、软件、方法论、调查、形式分析、数据管理。F. Dornaika：撰写——审阅与编辑、撰写——初稿、监督、项目管理、方法论、调查、形式分析、概念化。H. Xiao：验证、数据管理。G. Peng：验证、数据管理。C. Pei：验证、数据管理。利益冲突声明作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。J. Bi | F. Dornaika | H. Xiao | G. Peng | C. Pei