基于图信息引导和FiLM增强的多模态融合心肌梗死预测

《IEEE Transactions on Big Data》：Graph-Informed and FiLM-Enhanced Multimodal Fusion for Myocardial Infarction Prediction

　　心血管疾病，尤其是心肌梗死的准确及时诊断，仍是临床上面临的关键挑战。现有的心电图分析方法通常仅依赖单一数据模态，例如原始信号或波形图像，这限制了其捕捉更广泛生理背景信息的能力。为解决这一局限性，我们提出了GFM-MIP，一种图信息与FiLM增强的多模态融合框架，用于心肌梗死预测。GFM-MIP通过统一架构整合了12导联心电图时序信号、心电图图像和实验室检验结果。具体而言，该框架采用Graphormer编码器来建模心电图信号中导联间的依赖性，并利用视觉Transformer从心电图图像中提取形态模式，两者均通过患者特定的实验室特征，借助按特征线性调制进行调节。基于Transformer的融合模块捕捉跨模态交互，而对齐学习目标则鼓励信号与图像模态之间的对齐。在真实临床数据集及三个公开基准上的实验结果表明，GFM-MIP在多项评估指标上均持续优于当前最先进的基线方法。消融研究进一步验证了各模态及架构组件的贡献。所提出的框架为稳健的多模态心血管诊断提供了一种具有临床意义且可扩展的解决方案。一、引言心肌梗死是心血管疾病的一种严重表现形式，仍是全球重大的健康威胁，在全球范围内造成显著的发病率、死亡率和医疗支出。对心肌梗死进行快速准确的识别，对于及时启动临床干预至关重要，这可以显著降低不良心脏事件的风险，改善患者预后，并指导有效的个性化治疗策略。心电图，尤其是12导联心电图，因其性价比高、无创以及在紧急情况下易于获取等优势，已成为临床实践中广泛采用的一线诊断工具。然而，尽管应用广泛，准确解读心电图数据仍面临相当大的诊断挑战。心电图信号表现出复杂的形态模式和时间变化，细微的病理表现往往被生理噪声和个体患者差异所掩盖。准确检测心肌梗死需要对心电图波形进行仔细分析，尤其是ST段偏移、T波倒置和Q波异常，这需要大量专业知识，即使是经过培训的临床医生也容易产生主观解读误差。