PDCE:一种即插即用的双通道增强框架,用于动态图神经网络
《Knowledge-Based Systems》:PDCE: A Plug-and-Play Dual-Channel Enhancement framework for Dynamic Graph Neural Networks
【字体:
大
中
小
】
时间:2026年05月01日
来源:Knowledge-Based Systems 7.6
编辑推荐:
刘海山|王颖|马富源|欧阳金辉|张楠
吉林大学计算机科学与技术学院,长春,130012,中国
**摘要**
动态图神经网络(DGNNs)在动态图建模方面展现了显著的预测能力。然而,大多数现有模型在输入阶段均匀处理历史信息,这使得它们的内部架构负担加重,难以识别相关性
刘海山|王颖|马富源|欧阳金辉|张楠
吉林大学计算机科学与技术学院,长春,130012,中国
**摘要**
动态图神经网络(DGNNs)在动态图建模方面展现了显著的预测能力。然而,大多数现有模型在输入阶段均匀处理历史信息,这使得它们的内部架构负担加重,难以识别相关性。这阻碍了它们对关键近期模式的关注,并增加了对无关噪声或过时趋势的敏感性。此外,由于仅依赖最后一层的输出,这些模型未能充分利用中间层捕获的多尺度结构语义,从而限制了其性能。为了解决这些问题,我们提出了一种新颖的即插即用双通道增强(PDCE)框架,以提高现有动态图模型的性能。具体来说,我们首先从最近的节点交互中构建一个子图,并使用辅助编码通道从该子图中提取节点特征,从而捕捉有用和近期的模式。然后,我们设计了一个跨通道多层融合模块,将捕获的信息注入原始模型的每一层,从而增强其表示能力。最后,我们提出了一个多尺度融合模块,以聚合不同层的多尺度特征用于预测。作为一种即插即用框架,PDCE可以通过引入几个额外的全连接(FC)层,集成到各种离散时间动态图(DTDGs)和连续时间动态图(CTDGs)模型中。在六个公共数据集和十四个基线模型上的广泛实验表明,PDCE的性能优于原始模型,证明了其有效性和优越性。
**引言**
许多现实世界的图随着时间的推移而演变,这体现在各种领域,如社交网络[1]、[2]、[3]、交通流系统[4]、[5]和金融交易网络[6]、[7]中。为了有效捕捉这些图中的动态变化,动态图神经网络(DGNNs)已成为一个关键范式,并在过去几年中受到了广泛关注。现有的动态图表示学习方法主要分为两类:离散时间动态图(DTDG)方法和连续时间动态图(CTDG)方法。在DTDG领域,图数据被正式建模为一系列离散的静态图快照。每个快照代表一个定义良好的时间间隔(如几小时或几天)内的图结构。在这种情况下,模型通常应用静态图表示学习方法(例如GCN [8])对每个快照进行编码,并利用序列建模技术(例如RNNs)来捕捉复杂的时间演变。相比之下,CTDG将交互(例如用户-物品购买)表示为带时间戳的事件流,从而能够比DTDG更精细地建模动态图的演变。尽管动态图神经网络在学术和工业领域取得了显著成就,但现有模型仍面临以下两个限制:
**限制1:** 输入阶段对历史信息的均匀处理。动态图模型通常在输入阶段均匀处理所有历史信息,将相关模式的区分任务留给内部模块(如RNNs [9]、[10]、[11]、[12]或Transformers [13]、[14])。然而,不加区分地将所有历史信息(例如无关或过时的交互)输入模型可能会引入噪声。这可能会干扰模型关注当前重要模式的能力,甚至使其遵循过时的历史趋势。最近的数据不仅包含演变趋势,还包括其图结构中的有用信息。然而,当内部时间模块淹没在大量的长期历史数据中时,它们往往难以完全隔离和利用这些基于最近性的结构语义。例如,在社交网络中,用户最近的互动往往比他们的远期历史更能预测未来的兴趣。因此,与其仅依赖内部模块的事后调整,不如通过输入级别的分离建立一个基于最近性的增强机制。通过将最近的数据预先隔离到一个专用的辅助通道中,该框架提供了一个纯净的结构参考,减轻了内部架构在相关性识别方面的负担,从而提高了表示的鲁棒性。
**限制2:** 对不同层多尺度语义信息的利用不足。大多数现有方法未能充分利用模型不同层编码的语义信息。尽管图神经网络(GNNs)通过其分层架构天生设计为在多个尺度上捕获结构信息,但在DTDG和CTDG模型中,常见的做法是仅依赖最后一层的输出嵌入进行预测。这种设计阻止了模型形成对节点和边的全面多尺度理解,从而限制了其整体表示能力。
为了解决这些问题,我们提出了一种新颖的即插即用双通道增强(PDCE)框架,以提高现有动态图模型的性能。具体来说,我们首先从最近的数据中构建一个数据子图,其时间范围由一个固定长度的滑动窗口限定。然后,我们设计了一个新的通道,以该子图作为输入来提取最近数据背后的有价值模式,同时保留原始输入到模型中。随后,我们开发了一个跨通道多层融合模块,将提取的模式主动注入原始模型的各层,从而实现对最近数据的有效增强。最后,我们使用一个多尺度融合模块来整合不同层的增强后的层次节点嵌入,捕捉跨不同尺度的信息。此外,作为一种即插即用框架,PDCE可以通过在原始模型中引入几个额外的全连接(FC)层,无缝集成到DTDG和CTDG模型中。
**我们的贡献可以总结如下:**
• 我们提出了PDCE,这是一种新颖的即插即用框架,为动态图模型提供了利用最近信息和多尺度信息的能力。
• 我们提出了轻量级的融合模块,通过全连接层实现,有效地整合了从新设计的通道中提取的模式,从而提高了基线模型的性能。
• 我们在六个公共数据集上进行了广泛实验,并将我们的方法与十四个基线模型进行了比较。实验结果表明,PDCE在链接预测任务的分类和排名设置中均优于所有基线模型。
**部分摘录**
**动态图表示学习**
动态图因其强大的建模能力而被广泛使用。然而,它们的时间变异性使得它们比静态图更难以处理。近年来,提出了许多用于动态图时间建模的方法。循环神经网络(RNNs)是最早应用于动态图时间建模的技术之一,并且仍然是一种广泛采用的方法。一些研究[9]、[10]、[11]整合了GRU来融合动态图中的隐藏状态。
动态图可以分为两大类:离散时间动态图(DTDGs)和连续时间动态图(CTDGs)。
**定义1 离散时间动态图(DTDGs)**
一个DTDG G={Gt}t=1T可以表示为一系列图快照。每个快照是一个静态图Gt=(Vt,Et),其中Vt和Et分别是时间t的节点集和边集。每个节点u∈Vt与节点特征xut∈Rdv相关联,每条边(u,v)∈Et也可以具有边特征eu,vt∈Rde,其中dv和de分别表示节点特征和边特征的维度。
**定义2 连续时间动态图(CTDGs)**
**方法论**
现有的动态图模型主要受到两个限制的约束。首先,在输入阶段,它们通常均匀处理历史信息,将区分相关模式的任务留给后续的内部模块。此外,它们的预测通常仅依赖于最终编码层的输出嵌入,未能利用不同层学习到的多尺度表示,这最终限制了它们的表达能力。
**实验**
在本节中,我们评估了PDCE在链接预测任务上的性能,并进行了广泛的实验来回答以下研究问题(RQs):
• RQ1:PDCE框架能否提高DTDG和CTDG场景中现有模型的性能?
• RQ2:多层融合模块和多尺度融合模块的有效性如何?
• RQ3:在孪生架构中,权重共享机制是否比使用独立权重更有效?
• RQ4:
**结论**
在本文中,我们提出了PDCE,一种通用的动态图神经网络双通道增强框架。该框架解决了现有模型中的两个主要限制。首先,它通过从最近的数据中提取有价值模式,克服了输入阶段对历史信息的均匀处理。其次,它通过引入多尺度融合模块,减轻了对多尺度语义信息的利用不足。实验结果表明,PDCE显著提高了性能。
**作者贡献声明**
刘海山:撰写 – 审稿与编辑、撰写 – 原始草稿、验证、项目管理、概念化。
王颖:撰写 – 审稿与编辑、监督、调查。
马富源:撰写 – 原始草稿、调查、概念化。
欧阳金辉:撰写 – 原始草稿、可视化、验证。
张楠:撰写 – 原始草稿、验证、调查。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号