基于掩码自监督框架SERM的复杂网络结构嵌入表示方法：拓扑感知图传播与掩码重建的联合学习

《Mathematics》：Structural Embedding Representation Method (SERM): A Masked Self-Supervised Framework for Structural Embedding Learning in Complex Networks

　　

复杂网络（Complex Networks）被广泛用于表示通信系统、生物系统和大规模基础设施中的交互关系。学习具有信息量的网络级表示（Network-Level Representations）对于网络分析、结构相似性检索（Structural Similarity Retrieval）以及网络属性表征至关重要。然而，现有表示学习方法在联合捕获多跳拓扑依赖（Multi-Hop Topological Dependencies）和节点属性信息方面可能存在局限性，尤其是在网络观测不完整的情况下。本研究提出了SERM（Structural Embedding Representation Method），一种用于网络级结构表示学习（Network-Level Structural Representation Learning）的掩码自监督框架（Masked Self-Supervised Framework）。SERM将拓扑感知图传播（Topology-Aware Graph Propagation）与掩码自监督重建（Masked Self-Supervised Reconstruction）相整合。节点级结构属性（Node-Level Structural Attributes）根据归一化网络拓扑进行传播，使得属性信息和多跳邻域上下文（Multi-Hop Neighborhood Context）能够在编码器内部直接交互。随后，掩码重建通过要求模型从可用属性和图上下文（Graph Context）中恢复被隐藏的节点属性，提供自监督学习目标（Self-Supervised Learning Objective）。在训练过程中，一部分节点属性被掩码，并从可用属性和图上下文中重建，促使编码器在无需外部标签的情况下利用来自两个来源的信息。生成的节点表示（Node Representations）被聚合为固定维度的网络级嵌入（Network-Level Embeddings），用于下游分析。在复杂网络数据集上的实验通过网络检索（Network Retrieval）、结构属性预测（Structural Property Prediction）、跨数据集评估（Cross-Dataset Evaluation）、鲁棒性分析（Robustness Analysis）和消融研究（Ablation Studies）评估了所学习的表示。结果提供了实证证据，表明所提出的框架能够捕获有用的结构信息，并在多种网络级评估设置中保持适用性。

**复杂网络结构嵌入表示方法SERM：掩码自监督框架下的拓扑感知学习**

**一、研究背景与问题提出**

复杂网络（Complex Networks）是描述通信系统、生物系统和大规模基础设施中实体交互关系的核心数学工具。随着网络规模持续扩大和应用场景日益多样化，如何从复杂网络数据中学习具有信息量的结构表示已成为网络科学、人工智能和数据挖掘领域的重要研究问题。网络表示学习（Network Representation Learning）旨在将高维、非欧几里得的网络结构映射到低维连续向量空间，使计算模型能够有效理解拓扑关系、节点属性和潜在语义信息，进而支持网络检索、结构分析、属性预测和异常检测等下游任务。

早期方法如DeepWalk、LINE和node2vec借鉴自然语言处理中的分布式表示思想，通过随机游走（Random Walk）生成节点序列来学习低维嵌入。然而，这些方法主要依赖人工设计的游走策略，捕获高阶结构关系的能力有限，且通常聚焦于节点级表示（Node-Level Representations），难以直接学习整个网络实例的结构语义。近年来，图神经网络（Graph Neural Networks, GNNs）的发展为复杂网络表示学习提供了新方案。图卷积网络（Graph Convolutional Networks, GCNs）通过邻域信息聚合机制实现节点特征与拓扑结构的联合建模；GraphSAGE提出基于采样和聚合的归纳式学习框架；图注意力网络（Graph Attention Networks, GATs）利用注意力机制动态学习邻居节点的重要性。尽管如此，多层消息传播在增加网络深度时容易产生过平滑（Over-Smoothing）现象，导致不同节点的表示逐渐趋同；且大多数GNN方法主要针对节点分类和链路预测等节点级任务设计，对网络级嵌入学习（Network-Level Embedding Learning）和整体结构语义表示的研究相对不足。

为降低对人工标注的依赖，自监督图表示学习（Self-Supervised Graph Representation Learning）近年来受到广泛关注。Deep Graph Infomax（DGI）通过最大化局部节点表示与全局图表示之间的互信息实现无监督学习；GraphCL构建不同图增强视图并利用对比学习目标优化表示空间。然而，对比学习方法通常依赖人工设计的数据增强策略，在复杂网络环境中，随机节点删除、边扰动和属性修改可能破坏关键的拓扑结构。受掩码语言模型（Masked Language Models）在自然语言处理中成功的启发，掩码图建模（Masked Graph Modeling）逐渐成为重要方向。GraphMAE首次将掩码自编码器（Masked Autoencoder）思想引入图表示学习，GraphMAE2进一步优化了编解码器设计，MaskGAE将掩码思想扩展到图结构恢复任务。但现有掩码图学习方法仍主要关注节点级表示，对整体网络级嵌入、多跳结构上下文以及跨不同网络数据集的表示行为关注较少。此外，真实复杂网络通常存在数据缺失、结构变化和噪声扰动，网络级嵌入在跨数据集环境和结构扰动环境中的稳定性研究尚不充分。上述局限性构成了本研究的核心动机。

**二、研究内容与重要意义**

针对上述问题，研究人员提出了SERM（Structural Embedding Representation Method），一种用于复杂网络级结构表示学习的掩码自监督框架。SERM将拓扑感知的图传播与掩码自监督重建统一整合。具体而言，图传播算子（Graph Propagation Operator）根据归一化网络拓扑聚合节点级结构属性，使多跳邻域上下文融入所学习的表示；掩码重建优化（Masked Reconstruction Optimization）随机隐藏一部分节点属性并要求模型从剩余属性和拓扑感知的邻域信息中恢复，从而在无需外部标签的条件下提供自监督学习信号。预训练完成后，通过置换不变（Permutation-Invariant）的均值池化（Mean Pooling）将节点表示聚合为固定维度的网络级嵌入。

SERM的核心设计思想在于：拓扑结构与属性信息的交互并非通过两个独立分支及其后的融合网络实现，而是直接在拓扑感知图传播过程中完成——节点属性提供被传播的信号，图连接性决定信号聚合的路径。该框架在Topology Zoo数据集上进行自监督预训练和域内评估，在Rocketfuel数据集上进行零样本跨数据集评估，通过网络检索、结构属性预测、参数敏感性分析、鲁棒性实验和消融研究等多个角度系统考察了所学表示的结构信息保留能力和行为特征。该研究为在没有外部标签的条件下学习复杂网络整体结构表示提供了新的方法论框架，对于通信网络分析、复杂系统建模和网络结构相似性检索等应用场景具有重要的参考价值。

**三、关键技术方法**

SERM的整体流程包含四个阶段：网络构建、自监督预训练、嵌入生成和下游应用。给定一个复杂网络G=(V,E,X)，其中V为节点集，E为边集，X∈R^N×F为节点属性矩阵。编码器采用拓扑感知的图传播机制，通过堆叠L层归一化邻域聚合逐步扩展结构感受野。每层传播定义为H^(l+1)=σ(?H^(l)W^(l))，其中?为带自环的归一化邻接矩阵，W^(l)为可学习参数矩阵，σ为非线性激活函数。自监督预训练阶段，随机选取比例为r的节点将其完整属性向量替换为零向量，构建掩码输入X?；编码器处理掩码属性和拓扑结构后得到节点表示Z，解码器据此重建被掩码节点的原始属性，重建损失仅在被掩码节点集上计算均方误差（MSE）。预训练完成后丢弃解码器，对最终节点表示施加均值池化获得图级嵌入h_G。实验数据集方面：Topology Zoo包含261个网络实例，经过精确拓扑去重后保留243个唯一图用于表示学习池；Rocketfuel选取9个ISP/AS家族共27个拓扑视图用于外部跨数据集评估。输入节点特征为7维结构描述符（度、聚类系数、PageRank、介数中心性、特征向量中心性、接近中心性和归一化k-core）。模型采用64维隐藏层、256维嵌入、2层图传播和0.10掩码比，使用Adam优化器训练50个epoch。

**四、主要研究结果**

**（1）网络嵌入检索性能（Network Embedding Retrieval Performance）**

研究人员构建了一个基于保持连通性边重连（Connectivity-Preserving Edge Rewiring）的、独立于表示本身的检索基准：对于242个源查询图，每个生成3个受控重连视图，构成726个候选库图。在242查询/726候选的全库检索协议下，SERM取得了Recall@5=0.763、Recall@10=0.879、MRR=0.878的性能，优于Random、Topology Only、WL Subtree Kernel、Node Feature Only、Structural Descriptor和GraphMAE等所有对比方法。然而，图尺寸诊断实验表明，节点数和边数在受控重连中被保留，仅使用(V,E)信息的对照方法即达到Recall@5=0.928和Recall@10=1.000，说明全库检索存在强烈的图尺寸捷径。为此，研究人员进一步在严格的精确(V,E)匹配诊断子集（64个查询）上评估：此时节点数、边数和密度在每个候选集内均不具判别力，SERM取得Recall@5=0.938、MRR=0.917和Top-1正类准确率0.859，而尺寸对照方法仅分别为0.844、0.691和0.469，表明所学表示确实保留了超越粗粒度图尺寸统计的判别性结构信息。

**（2）嵌入可视化分析（Embedding Visualization Analysis）**

通过t-SNE将256维SERM嵌入投影到二维空间，原始拓扑（橙色菱形）与其受控重连视图（蓝色圆形）呈现出局部聚集的组织模式。在原始256维嵌入空间中的定量分析显示：最近邻（1-NN）源族命中率达到0.773，族内平均余弦相似度为0.999，族间平均余弦相似度为0.960，差值为0.040。这表明源自同一拓扑的受控变体在所学表示空间中展现出更强的局部邻域一致性。

**（3）结构属性预测（Structural Property Prediction）**

将冻结的SERM编码器产生的256维图级嵌入作为输入，使用随机森林回归器（500棵树）预测6种图级结构属性。在243个精确唯一图的0.800/0.200划分下，密度、平均最短路径长度（ASPL）和直径的R²分别达到0.968、0.962和0.923，平均度R²为0.791，而节点数和边数的R²较低（分别为0.162和0.185）。这表明所学嵌入对连接强度和路径相关结构组织具有较强预测信息，但对绝对图尺寸的信息量有限。

**（4）参数敏感性分析（Parameter Sensitivity Analysis）**

嵌入维度的敏感性实验显示，d_emb=256时三项检索指标均最优（Recall@5=0.763, Recall@10=0.879, MRR=0.878），增加嵌入维度总体上提升表示容量，但并非严格单调。掩码比的敏感性实验显示，r=0.100取得最佳性能，随着掩码比增加至0.500，三项指标分别降至0.517、0.654和0.674，表明过高的掩码比使可观测信息不足，损害表示质量。传播深度实验显示L=2取得最佳性能，L=1和L≥3均导致性能下降，其中L=4时Recall@5降至0.540，表明过深的传播可能损害图级表示的判别力。

**（5）跨数据集评估（Cross-Dataset Evaluation on Rocketfuel）**

在Rocketfuel外部数据集上，研究人员选取9个ISP/AS家族各3个拓扑视图（raw、r0、r1），构建三个跨视图检索方向。所有编码器仅在Topology Zoo上训练且在Rocketfuel上保持冻结，不进行任何微调。在宏观平均结果中，SERM取得Hit@1=0.741、Recall@3=0.856、MRR=0.882，均高于Structural Descriptor、GraphMAE和WL Subtree Kernel等对比方法。该实验为零样本跨数据集迁移提供了实证证据。

**（6）鲁棒性分析（Robustness Analysis）**

在推理阶段对输入施加受控扰动：边删除（目标比例0.100~0.300，保持连通性约束下实际平均删除比例为0.084~0.170）和节点特征掩码（目标比例0.100~0.500）。结果表明检索性能对两类扰动均高度敏感。名义0.100 EdgeDrop条件下Recall@5即降至0.199；0.500 FeatureMask条件下Recall@5仅剩0.015。这说明当前SERM表示强烈依赖于输入图中的结构信息，提高对拓扑和特征损坏的鲁棒性是未来工作的重要方向。

**（7）消融研究（Ablation Study）**

输入信息源的消融显示：完整的SERM（节点结构描述符+拓扑传播）的Recall@5为0.763，而Node Feature Only（仅描述符、无拓扑传播）为0.536，Topology Only（仅拓扑传播、无结构描述符）为0.168，表明两者结合比单独使用任一信息源更为有效。掩码重建的消融显示：在相同架构、数据、优化设置和初始化种子的条件下，掩码重建（Recall@5=0.763）优于无掩码重建（Recall@5=0.726），绝对提升0.037，为掩码策略在自监督训练目标中的使用提供了实证支持。

**（8）多运行稳定性与配对比较（Multi-Run Stability and Paired Comparison）**

SERM和GraphMAE在5个匹配训练种子上分别独立训练。SERM在5次运行中的平均性能为Recall@5=0.749、Recall@10=0.855、MRR=0.860，GraphMAE对应为0.596、0.717、0.719。基于源族级别的配对bootstrap分析（10,000次重采样）显示，SERM相对于GraphMAE的三项指标平均差异分别为0.154、0.138和0.141，95%置信区间均高于零，表明在所评估的受控重连设置下SERM的性能优势具有一致性。

**五、总结与结论**

综合上述实验发现，SERM在Topology Zoo受控重连基准上的全库检索性能优于所评估的对比方法，但图尺寸诊断揭示了(V,E)信息在全库设置中提供了显著的源判别信息；在严格的尺寸匹配诊断中，SERM保留了超越粗粒度统计的判别性结构信息。结构属性预测实验表明所学嵌入对密度、直径和平均最短路径长度等属性具有较强的预测信息。Rocketfuel外部评估为跨数据集零样本检索行为提供了实证证据。鲁棒性实验则揭示了当前表示对输入扰动的敏感性。消融研究验证了节点结构描述符与拓扑传播相结合的有效性以及掩码重建策略的贡献。

研究结论如下：本研究提出了SERM，一种用于从复杂网络拓扑中学习网络级结构表示的自监督框架。SERM将拓扑感知传播与节点级结构描述符相整合，并采用掩码特征重建在无需任务特定监督的条件下学习结构表示。该框架结合了两个主要机制：第一，拓扑感知图传播利用归一化邻接结构在连接邻域间聚合节点级结构描述符，使节点表示能够融合局部描述符信息与多跳拓扑上下文；第二，掩码重建提供自监督学习目标，选定节点的完整属性向量在编码器端被隐藏，并从生成的拓扑感知表示中重建。预训练后，通过置换不变的均值池化获得固定维度的网络级嵌入。在所考虑的实验设置下获得的结果支持将拓扑感知传播和掩码自监督重建用于网络级结构表示学习。理论分析在显式Lipschitz连续性和有界权重假设下给出了局部表示差异的上界，而鲁棒性和跨数据集迁移性等更广泛的属性则通过实验进行了实证评估。因此，本研究的结论限于实验所考察的数据集、扰动设置、检索协议和对比方法范围之内。