混合超图网络：基于保序对齐与熵引导机制的多模态时间序列跨模态建模与分类方法

《Scientific Reports》：Hybrid hypergraph networks for multimodal sequence data classification

　　

摘要

对时间多模态数据进行建模需要表示长程时间依赖和跨模态交互。现有方法通常分别对每个模态进行建模，然后应用浅层融合，这可能限制了高阶时间结构的表示。我们提出一种混合超图网络（HHN），该网络结合了用于候选跨模态链接的既定保序对齐方法与用于构建模态内超边的熵引导机制。带时间戳的片段被表示为节点；在每个模态内部，通过自适应时间窗口和最大熵差规则形成高阶超边，并经由超图卷积进行聚合。在模态之间，通过时间加权的成对链接和图注意力机制实现跨模态融合。在四个处理后的多模态数据集上，HHN 的平均精度均值和受试者工作特征曲线下面积均高于所评估的基线模型。消融实验结果进一步表明，混合图模块和多模态输入均对分类性能有所贡献。