基于多尺度注意力的动态图表示学习

《Neural Networks》：Dynamic Graph Representation Learning Based on Multi-scale Attention

　　

- 提出MADGN模型，用于建模动态图的多尺度结构时序信息
- 开发带有时间衰减函数的动态超图构建方法
- 设计多个注意力模块以挖掘动态图的多尺度信息
- 构建注意力融合模块以实现多尺度信息聚合
- 在多项任务上显著优于16个基线方法，同时保证较低的训练时间

## 引言

随着现实世界系统复杂度的不断增加，如图网络、生物过程和交通网络等，图已成为有效表示复杂结构信息的基本数据结构（Newman, 2003; Xu, Ruan, K?rpeoglu, Kumar, Achan, 2020; Zheng, Yi, Wei, 2025）。图表示学习是从图结构数据中提取潜在模式的关键技术，旨在将节点映射到低维嵌入空间中，同时保留结构拓扑和节点属性（Kazemi等人, 2020）。由于这些学习到的表示构成了广泛下游推断任务的基础，图表示学习因此成为复杂系统建模和数据挖掘领域的一个突出研究焦点（Newman, 2003; Zheng, Yi, Wei, 2025）。

图表示学习的早期研究主要依赖于图数据中的拓扑结构和交互关系在建模过程中保持不变的假设（Zheng等人, 2025）。研究人员提出了各种表示学习方法，从静态图中提取结构信息。早期的基于随机游走的方法通过生成节点序列并利用上下文建模的概念来学习节点表示（Grover和Leskovec, 2016; Perozzi, Al-Rfou, Skiena, 2014）；随后，矩阵分解方法通过分解邻接矩阵或转移矩阵，将节点之间的结构相似性映射到低维空间（Cao等人, 2015）。随着深度学习的兴起，图卷积神经网络通过邻域特征传播和聚合实现了图结构和节点属性的联合建模（Kipf和Welling, 2017）。然而，此类方法通常依赖于节点之间的成对连接，难以直接表征涉及多个节点的高阶关联。为解决这一问题，超图神经网络引入了能够同时连接多个节点的超边，从而增强了建模群体关系和非成对交互的能力（Feng等人, 2019）。在此基础上，注意力机制进一步提升了模型自适应衡量不同结构关系重要性的能力。例如，GAT（Veli?kovi?等人, 2018）通过为不同邻居分配可学习的注意力权重来自适应聚合局部邻域信息；而HGAT（Bai等人, 2021）则将注意力机制扩展到超图，建立节点与超边之间的自适应信息交互，以捕获更复杂的高阶结构关系。尽管这些模型在挖掘静态图信息方面取得了显著成果，但它们难以适应复杂系统中节点、边和交互关系的演化，也无法充分捕获结构变化及其时序依赖性，从而限制了其在实际场景中的适用性（Zheng等人, 2025）。

针对静态图的固有局限性，能够同时建模时序依赖性和结构演化特征的动态图表示学习已成为图学习领域的一个活跃研究方向。基于循环神经网络的方法（Gao等人, 2023; Goyal等人, 2020; Pareja等人, 2020）通过时序建模与基于图卷积聚合的结合，生成跨图快照的节点表示，从而捕获结构信息随时间的演化。尽管这些方法在建模序列演化方面有效，但它们可能带来序列计算开销，并且主要依赖局部成对聚合，未能显式建模关于非邻居节点或长程时序依赖的高阶信息。与此同时，采用注意力机制来捕获结构演化的模型可以自适应地关注显著变化，但仍然无法显式建模动态变化的节点属性与高阶结构特征之间的交互作用（Sankar等人, 2020; Xu等人, 2020）。为进一步探索高阶结构信息，一些方法引入了高阶拓扑单元，如k-core结构（Liu等人, 2022）、基序（Liu等人, 2021）或基于角色的超图（Du等人, 2024），以突破局部邻域约束，有效保留图数据的全局结构和高阶特征。然而，此类方法难以在统一的表示空间中平衡局部拓扑特征与高阶结构相似性，也无法有效解决建模动态节点属性演化和图数据长期时序变化的挑战。综上所述，虽然现有的动态图表示学习方法从各种建模维度捕获了演化特征，但单独方法通常只能捕获部分信息，导致节点嵌入可能无法保留互补的结构和时序信息（Khoshraftar和An, 2024）。理想的动态图节点表示必须同时保留局部连接邻近性、非相邻节点之间潜在的高阶结构相似性、节点属性与图拓扑的共演化模式，以及短程和长程多尺度上的时序依赖性（Ndunguru等人, 2025）。

为了直观地说明协同建模多尺度时空信息的必要性，本文以一个动态社交网络为例进行分析，如图1所示。该示意图将网络实体表示为节点，将不同时间步的用户交互表示为动态边，并使用组1和组2来展示网络结构和节点状态随时间的演化。动态特征主要体现在三个方面。首先，节点ID1和ID2的颜色随时间变化，反映了节点属性的动态演化。在现实世界系统中，用户偏好、行为状态和实体功能通常会随时间变化。同时，属性日益相似的节点之间的交互增强，表明属性变化与拓扑演化之间存在密切关联：节点状态的变化往往与边的形成和交互强度相关，而结构变化反过来又影响节点表示。其次，社区内部的边数量、密度和权重随时间波动。这些结构变化，包括短期关系的强度和长期交互趋势，是表征网络时序动态的核心依据。最后，在两个社区中占据相似拓扑位置或结构角色的灰色节点逐渐形成跨社区连接，揭示了动态图中的多尺度结构依赖性。这一现象表明，节点演化不仅受到局部邻域交互的影响，还受到跨社区结构相似性和全局拓扑关系的影响。研究此类高阶结构关联有助于解释现实世界网络中的复杂演化行为，如跨社区信息传播、用户迁移和系统结构重组（Ndunguru等人, 2025）。总之，动态图的演化由节点属性变化、短期交互波动、长期关系趋势以及局部和全局结构依赖性的组合所驱动。因此，仅从单一结构或时序尺度进行建模可能导致动态信息丢失和表示偏差，从而损害预测、推断和决策等下游任务的可靠性。

针对上述研究目标，本文提出了一种多尺度注意力动态图网络（MADGN），用于系统而高效地捕获动态图中的多维时空信息，该网络构建了由四个协同模块支持的跨尺度表示学习框架。短期全局结构注意力模块基于结构相似性和时间衰减构建时间感知超图，从而显式建模高阶交互及其时空演化。通过利用超图的表达能力结合自适应注意力机制，该模块编码全局结构相关性并识别信息性结构模式。互补地，局部结构注意力模块聚焦于局部邻域内的细粒度拓扑变化，通过自适应聚合邻域信息捕获微观结构演化。同时，时序特征注意力模块显式建模节点属性的时序变化，增强模型对演化特征模式的敏感性。综合而言，这三个模块从全局结构、局部拓扑和时序节点属性的角度为动态图演化提供了互补视角。所得的多维表示随后由长期注意力融合模块进行整合，该模块对融合表示序列应用注意力机制，显式建模长程依赖性并捕获跨扩展时间范围的持久结构和语义模式。此外，MADGN通过连接邻近性和结构相似性目标进行优化，使潜在空间能够同时保留观测到的交互和结构等价性。通过这些组件的协同运作，MADGN学习统一的动态节点表示，共同表征跨多个时序尺度和结构层级的拓扑演化和时序依赖性，同时保留局部连接邻近性、高阶结构相似性、动态节点属性和多尺度时序依赖性。

总之，本文的主要贡献如下：

- 我们提出MADGN，在统一表示框架中联合建模局部连接性、高阶结构关系、节点属性演化和多尺度时序依赖性。这种 formulation 使互补的结构和时序信息能够协调建模，而非通过孤立的建模过程分别学习。
- MADGN引入了时间感知超图编码与多尺度注意力机制的创新融合。该机制促进了高阶节点相关性和细粒度成对交互的互补建模与整合，从而实现了对局部和全局结构变化以及短期和长期时序依赖性的全面表征。
- 在真实动态图数据集上的大量实验表明，在动态链接预测、动态新链接预测和节点分类方面一致优于代表性基线方法。此外，消融实验、表示质量分析、参数敏感性分析、可视化和效率分析进一步验证了所提组件的贡献。

## 各节摘要

### 图表示学习

图表示学习的主要目标是将图结构数据编码为低维表示，同时保留必要的拓扑和语义信息。早期的图表示学习方法主要依赖随机游走和矩阵分解。DeepWalk（Perozzi等人, 2014）和node2vec（Grover和Leskovec, 2016）使用Skip-gram目标从随机游走生成的上下文中学习节点表示，而GraRep（Cao等人, 2015）则通过分解邻接矩阵将结构相似性映射到低维空间。

### 问题定义

我们正式将动态图表示学习任务定义如下。动态图被建模为按时间排序的静态图快照序列，记为 $\mathcal{G} = \{G_1, G_2, \ldots, G_T\}$，其中 $T$ 表示观测到的总时间步数。时间 $t$ 处的每个快照定义为 $G_t = (V_t, E_t, X_t)$，其中 $V_t$ 是节点集合，$E_t$ 是边集合，$X_t \in \mathbb{R}^{|V_t| \times D}$ 是节点属性矩阵，每个节点具有 $D$ 个特征。$G_t$ 的结构拓扑封装在邻接矩阵中。

### 方法论

如图2所示，我们提出了MADGN框架，这是一个层次协调系统，用于处理动态图序列 $\mathcal{G} = \{G_1, G_2, \ldots, G_T\}$ 和节点属性 $\mathcal{X}$。MADGN旨在通过多尺度注意力机制系统封装节点的时序演化和多层次结构依赖性，最终生成针对多样化下游任务优化的动态节点嵌入 $\mathcal{O} = \{O_1, O_2, \ldots, O_T\}$。MADGN采用短期全局结构注意力（STGSA）模块。

### 数据集

DBLP-3/DBLP-5 是从DBLP计算机科学参考文献数据库衍生的大规模学术合作网络。具体而言，DBLP-3聚焦于合著交互的纵向子集，而DBLP-5涵盖更广泛的研究领域，具有不同的拓扑演化模式。这些数据集用于评估模型捕获学术生态系统中复杂关系动态的能力。

Alibaba是一个来自阿里巴巴的真实世界用户行为数据集。

### 结论

动态图表示学习对于复杂系统分析和智能决策至关重要，但现有方法往往难以同时捕获高阶结构信息、细粒度节点特征和多尺度时序依赖性。为解决这些局限性，本文提出了一种多尺度注意力动态图网络（MADGN），将结构感知机制与层次化注意力建模相结合，实现统一的联合学习。

## CRediT作者贡献声明

Pengtao Duan：撰写——初稿，项目管理，方法论，调查，资金获取，概念化。Yanqun Wu：撰写——初稿，可视化，方法论，调查，形式分析，数据整理，概念化。Jiayi Wei：可视化，形式分析，数据整理。Jing Tian：撰写——初稿，指导，形式分析。Jiang Wu：可视化，验证，方法论。Lin Lin：指导，资源。Huilai Miao：指导。

## 利益冲突声明

作者声明没有已知的竞争性经济利益或个人关系可能影响本文所述工作。

## 致谢

本工作得到了国家重点研发计划（2025YFC2511800）、广东基础与应用基础研究基金（2026A1515011736, 2025A1515110182, 2024A1515110191）、广东医科大学临床与基础科技创新专项（GDMULCJC2025095, GDMULCJC2025111）、国家自然科学基金面上项目（82370617）以及广东省医学科学研究基金（A2024169）的支持。

Pengtao Duan | Yanqun Wu | Jiayi Wei | Jing Tian | Jiang Wu | Lin Lin | Huilai Miao | Jinchao Cui | Hui Wang | Dong Ouyang | Bo Jin