HGT-Slot：融合类型感知Slot注意力与Transformer架构的异构图节点分类方法

《Scientific Reports》：Heterogeneous graph transformer with slot-based message passing for node classification

　　

摘要

作为一种被广泛使用的数据结构，异构图能够准确地建模复杂结构和多类型关系，在社会网络分析、推荐系统、知识图谱和生物医学分析等领域有着广泛的应用。节点分类通过识别实体类别或功能角色来支持这些应用。然而，在消息传递过程中，将不同类型的节点映射到统一的表示空间往往会导致跨类型特征混淆，从而导致特定类型的语义信息丢失。为了解决这个问题，本文提出了HGT-Slot模型。首先，该模型采用类型感知的Slot初始化，为不同类型的节点构建特定的表示空间，保留其独特的语义属性。随后，在消息传递阶段采用Slot注意力机制，通过不同的Slot通道保留异构语义信息。同时，利用Transformer架构来增强节点表示之间的交互，从而提高模型的表示能力。最后，通过Slot聚合机制整合Slot表示进行局部预测，并将其与Transformer分支的全局预测融合以进行分类。在三个数据集上的实验表明，在节点分类任务中，与所比较的方法相比，HGT-Slot取得了最好的平均Macro-F1和Micro-F1分数。