深度自适应专家混合模型DA-MoE：解决图数据深度敏感性问题的创新方法

本文提出深度自适应专家混合模型（DA-MoE），通过多专家（MoE）框架动态适配不同规模图数据的图神经网络（GNN）层数，解决图数据深度敏感性（depth-sensitivity）问题。创新性引入结构门控网络，显著提升GNN在图/节点/链接任务中的性能，实验证明其在TU和OGB数据集上全面超越基线模型。

　　

Highlight

我们通过实验验证关键发现：深度敏感性现象——浅层GNN在小规模图数据表现优异，而深层GNN更适合大规模图。这种现象源于不同规模图数据对信息传递范围的需求差异：小规模图使用深层GNN会导致过拟合和参数冗余（Keriven 2022; Topping et al. 2022），而大规模图若使用浅层GNN则会出现"欠到达"（under-reaching）问题（Sun et al. 2022）。

Proposed Method: DA-MoE

4.1 MoE on GNN Layer

DA-MoE将不同深度的GNN作为独立专家（expert），每个专家专注学习特定规模图的特征模式。门控网络通过加权评分动态选择专家，可视化实验证实不同规模图会激活特定专家。

4.2 Structure-Based Gating Network

突破性地用GNN替代传统线性投影门控，通过聚合邻居结构信息精准分配专家权重。这种设计使模型能捕捉数据中复杂的依赖关系，例如在分子结构（molecular structures）和社交网络（social networks）中表现突出。

Experiment

在17个真实图数据集（包括TU和OGB）的测试中，DA-MoE在图分类、节点分析、链接预测任务均显著优于基线模型。消融实验验证了结构门控和平衡损失（balanced loss）的有效性，超参数分析显示模型对专家数量k和平衡系数λ具有鲁棒性。

Conclusion

DA-MoE成功解决图数据深度敏感性问题，其结构门控网络和MoE框架为GNN在推荐系统（recommendation systems）、药物发现等领域的应用提供了新范式。扩展实验表明该模型在跨层级任务中均具有普适优势。