MHNR: 面向异构网络表示学习的多视图聚合

《Big Data Research》：MHNR: Multi-view aggregation for heterogeneous network representation learning

　　

摘要 与同质网络相比，异质网络更适合描绘现实中的大多数复杂系统，如社交网络、交通网络和生物网络。异质网络通常包含丰富的语义信息和全面的结构特征，这使得对其进行有效表征尤为具有挑战性。异质网络表征的核心问题是在保留原始非平凡信息的同时获得低维节点向量。迄今为止，尽管在该问题上已投入大量努力，但仍面临诸多挑战。本文提出了一种多视角异质网络表征（MHNR）方法，从节点视角、语义视角和高阶视角捕获有价值的信息。具体而言，我们采用基于注意力的跨模态融合策略来有效学习节点的多模态属性。随后，将深度语义特征提取技术与双层注意力语义聚合模块相结合，以实现细粒度语义融合。最后，设计了一种高阶关系感知结构子图构建方法，用于捕获异质网络中的长程依赖和复杂交互模式。实验结果表明，MHNR模型在分类任务中Macro-F1/Micro-F1平均提升4.55%，在聚类任务中NMI/ARI平均提升4.95%，优于所选基线方法。

引言 作为描述现实世界复杂系统的有效工具，网络具有捕获全面信息的卓越能力，其中实体被映射为节点，实体间的各种关系被抽象为边。由于网络关系的复杂性和多样性，传统的同质网络[1]无法使用单一的边连接方法来准确描绘现实世界的连接关系。在现实中，大多数网络是异质的，包含多种类型节点和关系同时共存的特征，例如社交网络[2]、[3]、学术网络[4]、交通网络[5]和生物网络[6]、[7]等。异质网络[8]包含丰富的语义信息和全面的结构特征，能够整合各种实体及其之间的复杂交互。同时，通过从异质网络中提取这些丰富的信息和复杂关联，可以实现更准确的数据建模和分析。例如，图1(a)所示的电影网络[9]由三种节点类型和两种边类型组成，节点和关系的固有异质性大幅增加了在异质网络中学习有效表征的复杂性。

网络表征[10]、[11]可以将网络的结构和行为抽象为数学模型，并从网络数据中提取有价值的信息。网络表征将网络数据映射到向量化空间，通过提取语义和结构信息来获取节点嵌入，从而为下游任务提供结构化的基础数据。节点表征可应用于链接预测[12]、节点分类与聚类[13]、[14]、推荐[15]、[16]等任务。合适的节点表征不仅能捕获复杂的网络交互，还能提高下游任务的准确性。因此，相应地提出了许多网络表征[17]模型，其中基于图神经网络的模型在处理不规则图结构数据方面表现出卓越的性能。先前的研究，包括GCN[18]、GraphSAGE[19]、DeepWalk[20]、LINE[21]和GAT[22]，主要关注同质网络建模，而忽略了异质网络中节点和边类型的固有多样性。这些方法无法在建模异质图时有效区分不同的节点和关系类型，从而限制了模型的表征能力。

为解决这一局限性，研究人员从多个角度提出了各种创新方案。在节点属性建模方面，先驱性工作HRFE[23]、HANE-DS[24]和HetGNN[25]开发了专门的属性编码器，以实现异质节点特征的深度挖掘与表征。此外，mg2vec[26]、MSHNR[27]、SAHE[28]、HAN[29]和MAGNN[30]等模型创新性地采用了结构化语义单元（如元路径和元图），以深入分析网络中丰富的语义信息，从而实现基于语义相似性的表征优化。特别值得注意的是HINormer[31]、HGSAGE[32]、HAE[33]和HOAE[34]，它们引入了高阶聚合机制，建立了多跳信息传播范式。这些方法不仅克服了传统单跳聚合的感知局限性，还实现了对全局拓扑特性的精确建模。然而，上述所有工作都仅关注异质网络中的语义或结构信息聚合，或研究不同的节点属性以识别节点间相似性。本质上，这些方法构成了单模块融合机制，在表征学习过程中不可避免地遭受信息损失。相比之下，多视角聚合框架能够有效地整合互补信息源，实现全面的信息融合，从而增强异质网络的表征能力。

在现实世界的异质网络中——如电子商务推荐系统、在线电影平台和学术合作图——节点的固有属性很少由单一因素决定。考虑图1所示的电影推荐场景：用户观看电影的决策不仅取决于其视觉吸引力（海报图像）和叙事内容（文本摘要），还取决于塑造电影风格的演员-导演合作模式，以及用户社交社区和观看历史的广泛影响。每个信息来源都反映了网络的独特但互补的方面，依赖任何单一视角不可避免地导致不完整且往往有偏的表征。

具体而言，如图1(b)所示，多模态节点属性（如图像和文本）提供了实体的基本内容感知，捕获单个节点的内在特征。然而，这种感知本质上是局部的——它无法捕获实体间复杂的语义关系，而这些关系对于理解上下文相似性至关重要。为了解决这一局限性，元路径（图1(c)）通过建模不同类型节点之间的连接模式来编码丰富的语义关系，从而实现更高层次概念关系的发现。然而，即使内容和语义视角的结合仍然不足，因为它缺乏对全局结构背景的了解——即那些决定整体网络组织的长程依赖和拓扑交互。大多数现有方法将聚合限制在直接邻居范围内，从而忽略了这一关键的结构维度。

这一观察激发了我们的核心假设：有效的异质网络表征取决于对多种互补信息源的刻意整合，每个视角弥补其他视角固有的盲点。为使这一原则付诸实践，我们提出了一个多视角框架，通过三个协同设计的模块实现整合性创新：节点视角采用跨模态注意力机制融合多模态属性，捕获单模态方法无法企及的实体级内容感知；语义视角利用双层注意力的Bi-LSTM进行细粒度元路径聚合，保留粗粒度池化会丢弃的微妙语义关系；高阶视角通过双层注意力机制构建自适应结构子图，超越1跳邻居的感知局限，捕获长程拓扑依赖。关键的是，这三个视角不是独立的附加组件，而是统一架构中相互强化的组成部分：节点视角提供原始实体特征以丰富元路径实例；语义视角通过关系推理桥接局部属性和全局结构；高阶视角通过将两者置于更广泛的网络拓扑中来提供上下文。通过协同建模多模态属性、细粒度语义和高阶拓扑，MHNR实现了更准确、全面和鲁棒的节点表征。

我们的贡献如下：
• 本文提出了一种多视角异质网络表征框架，联合整合了异质节点属性、多粒度语义特征和高阶邻域拓扑。三个视角的协同建模不仅促进了多源异质数据的深度整合，还生成了更准确和全面的节点表征。
• 所提出的方法包含三个组成部分：(1) 跨模态注意力机制，深度探索嵌入在节点中的多模态特征；(2) 双层注意力语义聚合模块，用于细粒度语义提取与聚合；(3) 专门设计的高阶聚合机制，有效捕获节点间的复杂依赖关系。
• 实验结果表明，多视角聚合机制通过利用多源数据的互补特性，增强了模型的表征能力和跨视角信息融合的准确性。此外，我们的分析揭示二阶邻域建模在计算效率和表征质量之间实现了最佳平衡。

章节片段

异质图神经网络：异质图神经网络结合类型特定的消息传递机制来处理复杂网络中固有的丰富结构和属性异质性。网络表征学习旨在从复杂网络中提取内在的潜在语义关系和结构特征。基于随机游走的模型是一种典型的网络表征方法。在同质网络中，节点类型是单一的，可以沿任意路径随机游走。然而，在

预备知识：本节介绍本文使用的定义并提供相应的符号描述。定义1 节点视角聚合：节点视角旨在整合节点级特征并精确表征局部结构，从而学习更详细和准确的节点表征。设v为目标节点，其节点视角聚合可形式化表示为：X(v)node = AGGnode(Z(u) | u ∈ v ∪ N(v))，其中Z(u)表示节点u的原始特征或初始表征，N(v)

模型：本节提供了MHNR的详细内容，如图2所示。首先，提取多模态数据描述，并使用跨注意力融合异质信息。接下来，使用深度语义特征提取技术编码元路径实例，随后通过双层注意力机制捕获元路径及其对应实例所表达的丰富语义信息。随后，为了获取整体结构和复杂交互…

实验：本节对异质网络表征模型进行了全面的实验评估。我们首先详细介绍数据集特征、基线模型和实验设置。随后，比较MHNR模型与基线方法在节点分类和聚类任务中的性能。为进一步验证各组件的贡献，我们进行消融实验以评估其各自的重要性。同时，通过大量实验…

结论：异质网络表征能够对复杂网络数据进行更全面地理解和描述。本文介绍了一种多视角异质网络表征模型，该模型整合了节点特征、语义关系和高阶邻域信息。MHNR不仅聚合了节点固有特征，还结合了上下文关系，从而更全面地表征节点属性和语义关联。该方法

CRediT作者贡献声明 李芳芳：写作——审阅与编辑，写作——初稿，数据整理。李刚：写作——审阅与编辑。

利益冲突声明 作者声明在本论文的发表过程中不存在利益冲突。

李芳芳 | 李刚
湖州学院信息工程学院，中国湖州，313000