一种结合图注意力机制和SAINT技术的变压器模型，用于预测术后心房颤动：一项双向外部验证研究

《Computer Methods and Programs in Biomedicine》：A graph attention and SAINT-inspired transformer model for predicting postoperative atrial fibrillation: A bidirectional external validation study

　　

摘要

背景与目标：

术后心房颤动（POAF）是一种常见的外科并发症。我们探讨了一种两阶段的患者内架构——图注意力网络（Graph Attention）结合受SAINT启发的特征变换器（Feature Transformer）——是否能比传统的表格模型提供更多信息，并在不同医疗系统中实现信息传输。

方法：

我们使用了独立的MIMIC-IV和INSPIRE数据库。六十个经过控制的标量特征被编码成令牌，用于分段线性编码、图注意力处理、特征级的变换器模块以及学习性池化操作。在两个方向上进行了互惠外部验证。比较方法包括逻辑回归（logistic regression）、随机森林（random forest）、XGBoost、LightGBM以及仅使用基线模型的组合（baseline-only stack）。我们还评估了组件消融（component ablations）、密集图与训练衍生稀疏图（dense versus training-derived sparse graphs）、配对自举差异（paired bootstrap differences）以及模型的效率（efficiency）。

结果：

在实验1中（MIMIC-IV作为开发数据集，INSPIRE作为外部验证数据集），GAT-SAINT的外部AUC为0.844（95%置信区间：0.829–0.858），而逻辑回归的AUC为0.839；两者之间的配对差异为0.005（95%置信区间：-0.001至0.011）。在实验2中（INSPIRE作为开发数据集，MIMIC-IV作为外部验证数据集），GAT-SAINT的AUC为0.791（95%置信区间：0.768–0.813），随机森林的AUC为0.788（配对差异为0.003；95%置信区间：-0.008至0.014），仅使用基线模型的组合AUC为0.797。外部Brier分数分别为0.096和0.162。实验2中的验证锁定阈值表现较差（敏感性为0.025，特异性为0.999）。组件效果和图敏感性效应具有方向依赖性，移除某些模块对外部AUC的影响很小或没有影响。

结论：

互惠外部验证显示了该架构具有良好的信息传输能力，但没有显示出比简单表格模型更显著的优势，也没有证明其能够提供一个通用的操作阈值。该架构需要进一步的方法学研究，但在实际部署前还需要进行前瞻性验证、重新校准和临床效果评估。

引言

术后心房颤动（POAF）是重大外科手术后最常见的心律失常并发症，尤其是在心胸外科手术后，其发生率根据手术类型和患者群体的不同而变化，范围从10%到40%以上[1],[2]。POAF的发生与血流动力学不稳定、中风、重症监护病房（ICU）停留时间延长以及短期和长期死亡率相关[3],[4]。胸部外科手术的研究已经确定了几个术后POAF的风险因素[5],[6]。可靠的术前或术后早期风险估计有助于评估预防策略和ICU资源计划，但任何基于预测的干预措施都需要前瞻性的证据[3],[7]。

传统的临床风险评估使用了诸如CHA₂DS₂-VASc之类的评分系统，该系统是为心房颤动（AF）中的中风和血栓栓塞风险分层而开发的[8]，或者采用多变量逻辑回归等传统统计方法。然而，这些方法通常假设预测因子与结果之间存在线性关系，这限制了它们捕捉现代电子健康记录（EHR）中复杂、高维和非线性交互的能力。近年来，机器学习（ML）算法在POAF和新发AF的预测方面表现出了强大的性能[9],[10],[11],[12]。决策树集成模型可以有效地学习非线性交互，但它们是通过固定特征向量的划分来实现这一点的，而不是通过明确、可检查的特征间关系结构[13],[14],[15]。

深度学习（DL）在处理心电图（ECG）等生理信号方面取得了显著成功[16]，并且在从结构化EHR数据预测新发AF方面也显示出潜力[17]。最近的应用导向型回顾和成像研究进一步说明了ML/DL在疾病诊断和预测中的广泛应用[18],[19]。然而，这些以图像为中心的进展并没有直接解决异构的、静态的表格化EHR变量问题。标准的多层感知器在处理中等规模的表格数据集时通常不如基于梯度提升的树模型表现良好，因为它们的归纳偏见与异构列的数据不匹配[20]。因此，基于注意力的神经网络被探索用于结构化EHR的预测[21]；表格化变换器（如SAINT）将列表示为令牌，并学习特征级的上下文化处理，而原始的SAINT公式还可以使用样本间注意力[22]。图注意力网络（GAT）通过学习图节点间的加权信息传递提供了不同的归纳偏见[23]；相关的图注意力机制也被用来用临床本体表示医学概念[24]。

尽管这些架构为特征交互提供了相关的归纳偏见，但它们在POAF预测中的应用仍然有限。许多ML/DL临床预测研究的另一个限制是缺乏外部验证[9]。在单一数据集内训练和评估的模型可能会过度拟合局部测量值、编码方式、疾病发病率和病例组合模式，因此可能无法很好地迁移到另一个医疗系统中。在声称模型具有普遍性或临床实用性之前，需要进行跨不同队列的外部评估[7]。

为了解决这些问题，我们评估了一种结合图注意力网络和受SAINT启发的特征变换器的架构，用于从表格化的围手术期EHR数据中预测POAF。该架构的核心方法论思想是在每个患者内部进行顺序交互优化：首先，GAT在特征令牌之间执行学习到的信息传递，然后特征级的自注意力对高阶组合进行上下文化处理；随后的学习性池化结合了全局（CLS）、平均和显著（最大值）摘要。这种做法不同于简单的模块堆叠方式，因为图信息传递的输出随后通过变换器进行上下文化处理，形成了一个明确的信息传递到上下文化处理的路径。该实现不使用样本间注意力，因此其预测结果不受推断批次中其他患者身份的影响。我们假设这种路径将为基于固定特征向量运行的模型提供补充信息。评估的主要优势在于采用了MIMIC-IV[25]和INSPIRE[26]的双向外部验证设计：每个数据库既作为开发数据集，也作为未受修改的外部验证队列。通过组件消融和图构建敏感性分析来检验架构假设，而配对估计则量化了与强大基线模型之间的数值差异的不确定性。

章节片段

研究设计与数据来源

这项回顾性队列研究使用了两个独立的、公开可用的重症监护和围手术期数据库：医疗信息市场重症监护版（MIMIC-IV，版本2.2）[25]和外科患者信息与研究重症监护数据库（INSPIRE）[26]。MIMIC-4包含了2008年至2019年间来自美国马萨诸塞州波士顿贝斯以色列女执事医疗中心的医院和ICU数据。INSPIRE包含了首尔国立大学的围手术期数据

基线特征

分析对象包括2396例来自MIMIC-IV的手术患者（共2141人）和7586例来自INSPIRE的患者记录。MIMIC-IV中编码的心房颤动（AF）患病率为440例（18.4%），而INSPIRE中为624例（8.2%），这突显了不同队列之间的病例组合和结果率的差异，这也是进行双向外部验证的原因。队列特征在表1中进行了总结，包括训练数据、校准/验证数据、内部测试数据和外部验证数据

主要发现

本研究评估了一种分阶段的图注意力网络和特征变换器架构，用于从表格化的围手术期EHR数据中预测编码的心房颤动。主要的科学贡献并不在于这两个模块本身的新颖性，而在于对外部验证假设的有效验证：特定记录的信息传递先于特征令牌间的上下文化处理，随后进行多尺度聚合。双向外部验证是本研究最强的方面，因为MIMIC-IV和INSPIRE数据集的结合

结论

我们评估了一种结合图注意力网络和受SAINT启发的特征变换器的模型，用于从表格化的围手术期/院内EHR数据中预测编码的心房颤动。MIMIC-IV和INSPIRE之间的双向验证，以及组件敏感性、配对不确定性分析和效率分析，提供了比单纯模型排名更全面的评估结果。与最强大的简单模型相比，性能差异较小，且多次组件消融实验均未显示出性能下降；因此该架构具有研究价值

CRediT作者贡献声明

陶志勇：撰写 – 审稿与编辑，撰写 – 原始草稿，方法论设计，数据调查，形式分析，数据Curation，概念构建。潘世泽：项目管理，方法论设计，数据调查。张帅帅：监督工作，软件开发，形式分析，数据Curation。高志凯：可视化处理，监督工作，资金获取，数据Curation。张一伟：项目管理，数据调查。范国华：可视化处理，验证工作，监督工作，数据调查。

伦理声明

本研究使用了去标识化的公共数据集。MIMIC-IV数据库的使用得到了贝斯以色列女执事医疗中心机构审查委员会的批准，无需患者签署知情同意书。INSPIRE数据库得到了首尔国立大学医院机构审查委员会的批准（编号H-2210-078-1368），该机构也豁免了患者的知情同意要求；其公开发布在经过去标识化处理后获得了首尔国立大学医院数据审查委员会的批准。

生成式AI和AI辅助技术的声明

在准备这篇修订版时，作者使用了OpenAI Codex来辅助修订组织、语言编辑、分析代码开发和可编辑示意图的绘制。所有分析均在作者的计算机基础设施上完成。作者审查并编辑了生成的材料，验证了分析代码并报告了结果，对出版物的内容负全责。

资金支持

本研究得到了中国国家自然科学基金（项目编号：81770095、81700093、8210082163）的支持。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

作者感谢武汉大学人民医院提供MIMIC-IV数据库的访问权限，同时也感谢首尔国立大学医院的研究人员使得INSPIRE数据库能够公开使用。

陶志勇|潘世泽|张帅帅|高志凯|张一伟|范国华

武汉大学人民医院，中国武汉