针对异构图上稳健学习的主动结构稳定化方法

《Neural Networks》：Proactive structural stabilization for robust learning on heterogeneous graphs

　　摘要：异构图神经网络通过元路径建模来捕捉丰富的异构语义，但这种语义传播在结构扰动下也可能加剧预测的不稳定性。现有的鲁棒性方法通常基于对扰动模式的特定假设，比如识别并移除不可靠的边，这限制了它们在结构扰动偏离这些假设时的泛化能力。为了解决这一限制，我们提出了一种用于异构图上鲁棒学习的主动结构稳定框架，称为Proactive STructural stAbilization for roBust LEarning（PSTABLE）。在脆弱性评估阶段，PSTABLE从结构影响力、预测不稳定性和语义参与度等多个互补角度共同识别脆弱节点。基于此分析，PSTABLE在关键元路径上引入可学习的辅助节点，以增强脆弱区域周围的结构性支撑。在模型参数固定的情况下，PSTABLE利用脆弱节点的预测置信度作为反馈来优化辅助节点的表示，从而在保持语义完整性的同时增强局部语义支撑。在投毒攻击和逃避攻击场景下的大量实验表明，PSTABLE在多种结构扰动下都能持续提升鲁棒性，同时在干净图上的性能也保持竞争力。

引言：异构图由多种类型的实体和关系组成，已被广泛用于建模现实世界中的应用，如引文网络、电子商务平台以及知识图谱等。此外，异构图神经网络通过语义聚合机制来捕捉节点和边之间的复杂关系，已成为在异构图中进行表示学习的一种流行方法。然而，异构图神经网络对不同节点类型和关系模式下的语义聚合的过度依赖，也可能在结构扰动下加剧预测的不稳定性，即使是对图拓扑的微小修改都可能导致性能显著下降。因此，提高异构图在结构扰动下的表示学习的鲁棒性和可靠性已成为一个重要且具有挑战性的研究问题。

关于鲁棒异构图神经网络的前人工作主要从三个方法论方向来解决结构扰动问题：结构净化、邻域一致性建模以及鲁棒表示学习。结构净化方法通过在消息聚合过程中降低或过滤不可靠邻居的权重来减轻对抗效应。邻域一致性建模则旨在保持不同异构邻域之间的一致关系模式。此外，近期还有研究从表示学习的角度探讨鲁棒性，通过学习在结构扰动下仍保持稳定的异构表示来提升鲁棒性。尽管这些方法能够在特定的扰动场景下有效提升鲁棒性，但它们的性能在不同结构扰动下往往存在显著差异，这说明它们的鲁棒性泛化能力有限。如图1(a)所示，FastRo-HGCN在FGSM场景下能保持相对较高的准确率，但在HetePRBCD场景下则急剧下降，而HSeCo在不同扰动类型下的性能下降趋势则有所不同。这表明，在不同的扰动场景下，不同的鲁棒异构图神经网络模型可能会表现出截然不同的性能趋势。这一观察进一步表明，实际应用中的鲁棒性并非模型本身的固有属性，而是与特定鲁棒性机制中所包含的假设紧密相关，比如哪些邻居被视为不可靠，或者哪些关系被认为仍然是可信的。大多数现有方法都是在扰动已经影响语义传播之后再调整模型行为，从而采用被动式的鲁棒性策略。如图1(b)的上半部分所示，这些方法通常根据可靠性标准处理不可靠的邻域信息，例如通过净化、重新加权或平滑处理来移除特征相似度低的节点之间的边，因此它们严重依赖于对扰动模式和图结构的假设。受这些局限性的启发，近期有一些研究探索了主动式鲁棒性策略，其目标是在扰动传播之前就加强结构上脆弱的区域。例如，在动态同构图场景中，就有研究通过引入辅助结构来保护关键节点。如图1(b)的下半部分所示，主动式鲁棒性策略将重点从修复受损的传播结果转向在表示学习过程中加强结构支撑，从而推动了能够在不同异构图结构下依然有效的鲁棒性策略的发展。然而，将主动式鲁棒性策略引入异构图神经网络要比在同构图场景中困难得多。由于异构语义的复杂性，即使是小的结构干预也可能会沿着元路径、跨类型连接以及多跳语义关系传播，从而对表示学习产生放大且难以控制的影响。此外，多种节点和关系类型的共存使得确定在何处以及如何进行主动式结构调控以在不同的图拓扑和数据集下保持鲁棒性变得十分困难。如果不经过精心设计，随意的主动干预可能会引入噪声连接或干扰原有的异构信息传播，最终降低预测性能。为了解决这些挑战，我们提出了Proactive STructural stAbilization for roBust LEarning（PSTABLE），这是一种用于异构图的鲁棒学习框架，它通过主动调控结构脆弱区域周围的信息传播来提升结构扰动下的表示稳定性。与依赖对扰动模式的假设不同，PSTABLE通过明确识别那些表示对结构变化最为敏感的脆弱区域，并主动稳定这些区域周围的信息传播来提升鲁棒性。具体而言，PSTABLE从结构、预测和语义敏感性等多个互补角度共同识别脆弱节点，然后在关键元路径上引入可学习的辅助节点，以增强这些脆弱区域周围的结构性支撑。此外，在模型参数固定的情况下，PSTABLE还会优化辅助节点的表示，以在保持异构语义完整性的同时增强脆弱区域周围的局部语义支撑。PSTABLE具有模型无关性，可以无缝集成到现有的异构图神经网络中，能够在不牺牲干净图上性能的情况下，在多种结构扰动下持续提升鲁棒性。本工作的贡献可总结如下：•我们发现，现有的异构图学习方法在不同结构扰动场景下可能表现出不一致的鲁棒性，这说明它们在扰动模式发生变化时的鲁棒性泛化能力有限。•我们提出了Proactive STructural stABiLizAtion for roBust LEarning（PSTABLE），这是一种用于异构图鲁棒学习的主动式框架。PSTABLE能够识别脆弱区域，并引入辅助结构来在保持异构语义的同时稳定信息传播。•在真实的异构图基准数据集上的大量实验表明，PSTABLE能够提升模型对多种扰动的抵抗能力，同时保持较高的干净图准确率，而且还可以与不同的异构图神经网络架构相结合。相关代码可在https://github.com/velkorin/PSTABLE上获取。

章节摘录：异构图神经网络：图表示学习领域的一支研究方向是将图神经网络扩展到异构图，通过显式地建模多种节点和关系类型。早期的方法通常依靠元路径来捕捉更高阶的语义关系。代表性的模型包括在节点和语义层面都应用层次化注意力的HAN，以及通过引入中间节点的MAGNN。

初步概念：在本节中，我们将介绍与异构图学习相关的一些基本概念和定义，包括异构图、元路径以及鲁棒性设置。本文中常用的关键符号可见表1。

方法：所提出的框架旨在通过分阶段的防御流程来提升在异构图上学习的鲁棒性。它由三个核心组成部分构成：脆弱性评估、辅助结构注入以及局部特征适配。整个框架如图2所示。

数据集：我们在三个广泛使用的异构图数据集上进行实验，其中包括两个学术基准数据集ACM和DBLP，以及一个商业基准数据集YELP。遵循以往的研究做法，我们对ACM和YELP采用20%/10%/70%的训练/验证/测试数据划分比例，而对DBLP则采用10%/10%/80%的比例。这些数据集的详细统计信息见表2。

对比方法：我们将所提出的方法与总共十一种代表性的基线方法进行了比较。

结论与未来工作：在本文中，我们从主动式鲁棒性视角研究了异构图学习中的鲁棒性泛化问题，并提出了PSTABLE这一框架，它通过在训练过程中主动稳定信息传播来提升鲁棒性。PSTABLE通过综合评估结构、预测和语义敏感性来识别容易受到影响的区域，然后在主要的元路径上引入辅助节点，接着通过局部特征适配来增强这些区域的预测稳定性。