面向时间知识图谱预测的异构混合专家框架:基于查询感知的自适应专家路由
《Technologies》:Adaptive Modality Routing for Temporal Knowledge Graph Forecasting with Heterogeneous Mixture-of-Experts
【字体:
大
中
小
】
时间:2026年10月03日
来源:Technologies 5.2
摘要
时间知识图谱预测旨在从动态信息系统中持续演变的关联数据里预测未来的缺失事实。此类预测任务对于涉及实体、事件以及演变环境之间复杂交互的智能应用而言日益重要。现有方法通常采用统一架构,通过相同的表示流水线处理所有查询,尽管不同查询在结构连通性、历史可用性以及语义信息方面存在显著差异。这种同质化建模策略可能限制了对多样化预测场景的有效处理能力,包括高连通实体、周期性时间模式以及历史证据不足的冷启动案例。为应对这一挑战,我们提出了一种异构模态混合专家(H-MoE)框架,该框架根据查询特征自适应地选择专业化推理路径。与具有同质子网络的常规混合专家架构不同,我们的框架融合了三个具有不同归纳偏置的互补专家:一个用于结构关系推理的时序感知图神经网络,一个用于历史序列建模的时间Transformer,以及一个基于预训练语言模型用于稀疏场景知识迁移的语义表示适配器。我们引入了一个查询感知门控网络,根据可用的结构、时间和语义证据在不同专家之间动态分配计算资源。此外,我们采用基于熵的路由正则化来鼓励自信的专家选择,同时保持专家利用的平衡性,并结合表示多样性约束以促进异构推理路径之间的互补特征学习。在三个基准时间知识图谱数据集上的实验表明,所提出的框架在本研究使用的评估设置下可以提升预测性能。观察到的最大提升出现在历史证据有限的查询上。这些发现支持异构专家专业化作为一种有用的设计方向,但结论的适用范围仍局限于所测试的ICEWS基准和具体实现。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号