模态作为异质性：用于多模态图学习的节点分裂与图重连

《Neural Networks》：Modality as Heterogeneity: Node Splitting and Graph Rewiring for Multimodal Graph Learning

　　

**摘要** 多模态图因其丰富的表征能力和广泛的应用场景而受到越来越多的关注，但同时也带来了由严重模态混淆引起的巨大挑战。为解决这一问题，我们提出了NSG（节点分裂图）-MoE，一种多模态图学习框架，将节点分裂与图重连机制与结构化的混合专家（MoE）架构相结合，显式地将专家专业化与图的连接模式耦合起来。该方法将每个节点分解为模态特定的组件，并分配关系感知的专家来处理异构消息流，从而在保留结构信息和多模态语义的同时，缓解了通用GNN中常见的不良混合效应。在三个多模态基准上的大量实验表明，NSG-MoE始终优于强基线方法。尽管引入了计算量通常较大的MoE，我们的方法仍实现了具有竞争力的训练效率。除实证结果外，我们还提供了谱分析，揭示了NSG在模态特定子空间上执行自适应滤波，从而解释了其解耦行为。此外，信息论分析表明，NSG施加的架构约束降低了数据与参数之间的互信息，提高了泛化能力。

**引言** 图为众多现实世界应用中的关系数据建模提供了一种强大且灵活的抽象，包括知识管理、电子商务、生物医学和社交网络（Wu, Pan, Chen, Long, Zhang, Yu, 2020, Xu, Zhang, 2023, Ying, He, Chen, Eksombatchai, Hamilton, Leskovec, 2018, Zitnik, Agrawal, Leskovec, 2018）。近期文本属性图学习的研究进展（Yan et al., 2023）展示了用描述或文档等语义信息丰富图节点的重要性，使模型能够利用文本上下文与结构模式。然而，许多真实系统包含更为丰富的多模态信号：网页包含视觉、文本，有时还有音频内容（Burns et al., 2023）；临床记录则结合了影像、实验室测量值和报告（Zheng et al., 2022）。这推动了多模态图学习（Ektefaie et al., 2023）的发展，该方法旨在联合建模图结构和多模态内容，以学习更具表现力的节点表征和更准确的预测。然而，多模态数据带来了根本性的挑战。不同模态在结构、嵌入空间、语义粒度和噪声特征上存在显著差异。主流的多模态Transformer（Lu, Batra, Parikh, Lee, 2019, Tan, Bansal, 2019）和对比编码器如CLIP（Radford et al., 2021）和ImageBind（Girdhar et al., 2023）提供了强大的跨模态对齐能力，但将这些特征整合到图神经网络（GNN）中仍然并非易事。多模态图学习不仅要求融合异构特征空间，还要求在关系邻域中传播这些特征——而朴素的融合往往导致模态混淆，即图传播过程中不受控的跨模态信息混合，这可能导致表征纠缠和模态特定判别能力的下降。

对多模态图的当前解释各不相同。一些研究关注图中节点仅包含单一模态信息的情况（Chen, Zhang, Li, Deng, Tan, Xu, Huang, Si, Chen, 2022, Yoon, Koh, Hooi, Salakhutdinov, 2023），而另一些则将有节点视为固有的多模态，并依赖上游编码器来融合模态（He, Sui, He, Liu, Sun, Hooi, 2025, Zhu, Zhou, Qian, He, Zhao, Shah, Koutra, 2025）。事实上，第一种情况包含在第二种情况中，可以看作某些模态被遮蔽。因此，在本文中，我们仅讨论更具普适性的第二种情况。主流方法将模态特定的嵌入拼接为一个节点特征向量后再应用GNN。虽然简单，但这种做法忽视了文本、视觉及其他模态处于有意义地不同的嵌入空间这一事实——即使经过预训练模型的对齐——而GNN并非天然设计用于解耦这样的空间。因此，标准消息传递往往模糊了依赖模态的语义，降低了表现力并限制了泛化。

在本工作中，我们认为多模态节点不应被视为同质的实体。相反，我们提出显式地将模态建模为图中的异构组件。为实现这一点，我们引入了一种节点分裂机制（图1），将每个多模态节点分解为多个单模态节点，每个模态对应一个。然后我们重建图，在保留其原始拓扑的同时，在分裂后的节点之间启用结构化交互。这种处理将多模态图转化为一种异构图的形式，但其异构性根植于模态语义而非手动指定的节点类型。早期的多模态推荐模型（Wei, Wang, Nie, He, Hong, Chua, 2019, Zhang, Zhu, Liu, Wu, Wang, Wang, 2021）暗示了传播过程中分离模态的做法，但后续工作大多回归了先融合的策略。模态分离的设计松散地类似于认知理论，该理论认为多模态信息最初通过专门的神经通路进行处理，然后再进行整合。MMGAT（Zhang et al., 2025）重新引入了模态分离，但仍然对每个模态独立应用同质消息传递，限制了跨模态关系推理。相比之下，我们的方法利用异构图分析来指导模态内和跨模态传播，同时避免了朴素融合带来的问题。本质上，与之前的工作相比，我们的方法在图传播层面进行结构解耦，而非在特征生成层面进行潜在解耦。此外，随着模态数量的增加，多模态图的规模可能迅速增长。为了在不降低表征能力的前提下保持效率，我们提出了一种基于最大生成树算法的模态感知稀疏化方法，选择性地保留高价值的连接。

为了更好地理解所提出框架的行为，我们通过将有向GNN运算转化为更一般的线性形式并进行谱研究来提供理论分析。这揭示了节点分裂架构在模态特定子空间上诱导出解耦的低通滤波器，使得每个模态具有不同的自适应平滑行为。我们还通过证明我们的模型构成了GNN的一个结构化实例，推导出了泛化界。

除结构重新设计外，我们还利用图混合专家（GraphMoE）（Wang et al., 2023）模块增强了模型的表现力。每个专家实现为一个异构图神经网络（HGNN），每个专家组专精于一种不同的关系模式。门控机制自适应地将结构信息路由到不同的专家，确保每个节点接收对其贡献最大的邻居的消息。这一视角也与解耦多模态学习相关，其中模态特定组件和共享组件被分别建模。与之前的工作不同——之前的工作采用MLP专家，仅关注节点级变换（He et al., 2025），或采用执行同质消息传递的GNN专家（Zhang et al., 2025）——我们的设计使用能够学习专门异构子图行为的HGNN专家。这促进了跨模态的多视角推理，并允许专家捕捉由节点分裂和图重连产生的不同结构和语义模式。

我们的主要贡献如下：

- 我们提出了一种新颖的多模态图学习方法，通过将多模态节点分裂为多个单模态节点并重连图来处理模态的异构性。它实现了结构化的模态内和跨模态消息传递，并且在模态数量较大时能有效扩展。
- 我们通过分析谱域中的异构GNN算子提供了理论分析，表明我们的模型在分解后的子空间上执行自适应低通滤波。我们还通过信息论分析推导了模型的泛化下界。
- 我们通过直观地利用GraphMoE框架扩展了基本的学习方法。设计的两类专家共同捕捉跨模态相关性和模态内变异，每类多个专家提高了表征多样化多模态分布的能力。
- 在两个多模态图基准和一个独立数据集上的大量实验，涵盖节点分类和链接预测任务，均表明相比当前最先进的基线方法取得了持续改进，进一步的消融实验验证了每个模块的作用，效率研究也确认了可扩展性。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍预备知识。第4节提出节点分裂框架。第5节提供理论分析。第6节介绍GraphMoE扩展。第7节报告实验结果，第8节总结研究。

**相关工作片段** 多模态表征学习旨在将来自不同模态的数据——如文本、图像、音频和传感器信号——嵌入到共享的语义空间中（Girdhar, El-Nouby, Liu, Singh, Alwala, Joulin, Misra, 2023, Radford, Kim, Hallacy, Ramesh, Goh, Agarwal, Sastry, Askell, Mishkin, Clark, et al., 2021）。多模态图学习将此目标扩展到图结构数据（Ektefaie, Dasoulas, Noori, Farhat, Zitnik, 2023, Yan, Li, Yin, Yu, Han, Li, Zeng, Sun, Wang, 2025, Zhu, Zhou, Qian, 预……

**预备知识** 我们首先定义与本文相关的两种图。多模态图定义为??=(??,?,?)，其邻接矩阵为A，度矩阵为??=deg(??)，其中??????=∑????????。这里，??是节点集合，????×??是边集合，?表示与节点关联的模态集合。我们关注无向情况，即??=???。多模态图中的每个节点都与来自多个模态的特征相关联，如文本、图像、音频或其他传感器数据。在……

**节点分裂与图重连** 我们引入了将同质的多模态图转化为异构的节点分裂图（NSG）??*的方法，其中所有节点变为单模态。这种转化在保留原图结构依赖性的同时，实现了模态特定的消息传递。NSG的构建包括两个主要阶段：节点分裂和图重连。首先，给定多模态图??，我们将每个节点??∈??分裂为??=|?|个子节点，记为Ω??={???,1?,?,???,???}，每个……

**理论分析** 本节的详细推导步骤见附录。

**低成本的HGNN专家混合** 如第4节所讨论，NSG中的节点间边集可以通过多种方式构建。每种构建方式捕捉了不同的关系结构，因此根据底层数据特征表现出不同的优势。一个自然的问题是：我们是否可以在统一的框架中整合多个NSG变体的优势以进一步提升性能？为此，我们提出了NSG-MoE，一种低成本的HGNN专家混合模型。该设计借鉴了……

**数据集** 为了评估所提出的NSG-MoE模型的有效性和泛化能力，我们在两个多模态图学习基准上进行了大量实验：MM-Graph（Zhu et al., 2025）、MAGB（Yan et al., 2025），以及两个医学数据集ABIDE和TADPOLE（Zheng et al., 2022）。对于节点分类任务，我们选择了MM-Graph中的一个数据集（Ele-Fashion）、MAGB中的五个数据集（Movies、Toys、Grocery、Reddit-M和Reddit-S）、ABIDE和TADPOLE。对于链接预测任务，我们……

**结论与局限性** 在本工作中，我们提出了NSG-MoE，一种针对多模态图学习的原则性方法，将模态感知的节点分裂机制与混合专家架构相结合。通过将节点表征分离为结构化子组件并将异构关系路由到专门的专家，所提出的框架有效解决了跨模态纠缠问题，并防止了不兼容邻居之间的噪声过度混合。我们的实证研究证明了其实用……

**CRediT作者贡献声明** Yihan Zhang：撰写—审阅与编辑、撰写—原稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、形式分析、数据整理、概念化。Ercan E. Kuruoglu：撰写—审阅与编辑、监督、资金获取。

**利益冲突声明** 作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

Yihan Zhang | Ercan E. Kuruoglu