ASTRA：具有全局感知的自适应语义拓扑重建方法，用于增强型图对比学习

《Knowledge-Based Systems》：ASTRA: Adaptive-semantic topological reconstruction for augmented graph contrastive learning with global awareness

　　

• •
  提出了一种名为ASTRA的语义拓扑增强图对比学习框架，旨在解决视图构建、特征编码和目标优化方面的关键瓶颈。
• •
  该框架采用统一的增强图构建机制，将局部拓扑结构与全局语义检索候选项结合，再通过可微结构学习筛选出有用的稀疏边。
• •
  基于改进的GATv2动量编码器，整合了残差连接、层归一化和前馈变换，以此提升深度特征传播能力并避免过度平滑问题。
• •
  引入了考虑拓扑语义不确定性的温度机制，有助于实现自我对齐、结构对齐以及小批量数据的一致性，从而减少过度惩罚现象并避免表示崩溃。
• •
  在八个基准数据集上的实验表明，该模型在节点分类和链接预测任务中取得了具有竞争力的最佳性能，且消融实验结果也充分证明了其有效性。

引言

在社交网络分析[1]、生物医学研究[2]以及推荐系统[3]、[4]等众多复杂的现实世界系统中，图结构数据随处可见。图表示学习，尤其是无监督图对比学习（GCL），作为一种突破传统图神经网络（GNN）的拓扑限制以及解决监督学习中标注难题的核心方法，已占据重要地位。早期的架构，如DGI[5]和GraphCL[6]，显著提升了图表示的泛化能力。但随着GCL的发展，其在视图构建阶段出现了重大瓶颈。现实世界的图数据往往存在语义边界模糊和连接噪声的问题。大多数现有方法依赖与数据无关的盲目扰动，比如随机删除边或屏蔽特征，这类方法不仅会破坏图的拓扑结构，还会导致严重的语义断裂，无法生成高质量、与任务相关的自监督信号。

除了视图构建之外，现有的特征编码架构还面临着理论上的困境。传统的GNN严重依赖基于拓扑的消息传递机制，在处理长距离依赖关系时容易陷入两种主要的理论陷阱：过度平滑和过度压缩。在深层网络中，节点特征的狄利克雷能量会呈指数级衰减[7]，而感受场的指数级扩展又会引发严重的信息瓶颈[8]，使得来自远端节点的弱信号被局部噪声淹没。为彻底克服这一限制，研究人员试图引入图Transformer架构以实现直接的长距离交互。然而，直接将标准的全球自注意力机制应用到图中会导致计算复杂度呈二次方增长。尽管近期有一些研究试图通过设计具有稀疏或近似线性复杂度的Transformer来缓解这一问题[9]、[10]，但另一个更为关键的挑战依然存在：这种无约束的交互极易出现过度全球化现象[11]。在没有结构先验的情况下，全球注意力机制往往会给那些远离其他节点的孤立节点赋予过高的权重，从而削弱关键的局部拓扑语义，使注意力机制退化为无差别的全球平均池化操作。

最后，在目标优化阶段，传统的对比学习不可避免地会面临表示空间崩溃以及忽视节点固有不确定性等问题。现实世界中的网络往往存在局部密度变化大和语义模糊的情况。常规的确定性优化方法在特征对齐过程中容易不断积累误差。现有理论研究也表明，当编码器试图在严格的对比约束下优化那些不确定性极高的节点时，必然会出现严重的梯度冲突[12]。这种机制上的矛盾会破坏紧凑的簇特征流形，使得节点嵌入矩阵退化为无效的低维子空间。虽然近期有一些去偏模型试图通过阈值过滤来解决这一问题[13]，但这些方法仍仅停留在固定数据过滤的层面，无法从几何约束的本质出发来动态评估节点的不确定性。

为了解决这些挑战，ASTRA被设计为一个语义拓扑增强图对比学习框架，它包含了三项重点技术贡献。首先，ASTRA通过结合局部拓扑邻居和全局语义检索候选项来构建语义拓扑增强图，然后通过可微结构学习器从这些统一的候选项中筛选出有用的增强边。其次，ASTRA采用了基于改进的GATv2的动量编码器，该编码器将残差连接、层归一化和前馈变换整合到师生架构中，以此提升深度特征传播能力并避免过度平滑问题。第三，ASTRA引入了一种基于拓扑证据与语义邻居证据差异的不确定性感知温度机制，使得那些语义模糊的节点能够以适当的容忍度进行优化。这三部分都围绕相同的语义拓扑重建原则展开，彼此之间相互补充，共同提升模型性能。

本文的主要贡献如下。

(1) 提出了一种语义拓扑增强图构建机制，可将局部拓扑结构与全局语义检索候选项整合到一起，再通过可微结构学习器筛选出可靠的增强边。

(2) 设计了一种基于改进的GATv2的动量编码器，该编码器通过整合残差连接、层归一化和前馈变换，既能够避免过度平滑问题，又能保留局部拓扑的归纳偏差。

(3) 开发了一种考虑拓扑语义不确定性的温度机制，可用于实现自我对齐和一致性优化，该机制会根据拓扑证据与语义邻居证据之间的差异来计算节点级的温度值。

(4) 在八个公开的基准数据集上进行的广泛实验表明，所提出的ASTRA模型在节点分类和链接预测任务中均取得了具有竞争力的最佳性能，充分证明了该框架的有效性。

章节节选

相关工作

本节将回顾与所提框架密切相关的理论基础及最新进展。首先探讨经典图神经网络的演变过程及其内在的理论瓶颈。接着分析图Transformer的出现情况，重点关注其计算复杂度以及过度全球化问题。最后从多个角度研究当前的图对比学习方法。

符号与预备知识

本节正式定义了本文中使用的数学符号，并简要介绍了图注意力网络、语义检索机制以及自我对齐与一致性对比损失框架等核心概念。

所提方法

本节详细介绍所提出的自监督图表示学习框架。该框架旨在解决现实世界图数据中存在的拓扑噪声干扰问题，以及对比学习中常见的特征崩溃问题。如图2所示，整个模型由三个核心功能模块组成，分别是语义拓扑增强图构建、动量编码器架构以及多目标联合损失优化。

实验分析

本节对所提出的图表示学习框架进行了全面评估，以验证其有效性和稳定性。实验设计包括在多个公开基准数据集上与现有的最佳方法进行详细比较。首先会对所使用的实验数据集进行详细介绍，随后再开展全面的性能分析和消融实验。

结论

本文提出了ASTRA这一具备全局感知能力的语义拓扑增强图对比学习框架，旨在解决随机视图构建过程中的语义损伤问题、深度图神经网络的过度平滑问题，以及由确定性优化引发的表示崩溃问题。ASTRA通过整合局部拓扑候选项和全局语义检索候选项来构建单一的语义拓扑增强图，随后通过可微结构学习器从中筛选出有用的边。

CRediT作者贡献说明

朱吉涛：论文撰写——初稿编写、可视化处理、结果验证、方法设计、问题研究、形式化分析、概念构思。邱丽清：论文撰写——审阅与编辑、项目指导、资源协调、项目管理、资金申请。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

本研究部分得到了中国自然科学基金（编号：72572095）以及山东省自然科学基金（编号：ZR2023MF070）的资金支持。

Jitao Zhu|Liqing Qiu