《Nature Cardiovascular Research》：A multiview video–text model detects obstructive coronary stenosis and predicts 1-year cardiovascular events from angiography
编辑推荐：
中文摘要翻译
侵入性冠状动脉造影（invasive coronary angiography，ICA）是诊断冠状动脉疾病（coronary artery disease，CAD）的参考标准，但评估具有主观性，且现有的人工智能工具通常评估单个帧或视频中的狭窄，未
中文摘要翻译
侵入性冠状动脉造影（invasive coronary angiography，ICA）是诊断冠状动脉疾病（coronary artery disease，CAD）的参考标准，但评估具有主观性，且现有的人工智能工具通常评估单个帧或视频中的狭窄，未能整合完整的多视图血管造影检查。研究人员展示了DeepCORO-CLIP，该模型在来自28，117例患者的203，808个血管造影视频和报告中训练，可同时解读完整的多个视频血管造影。该模型检测阻塞性狭窄（≥70%），内部和外部受试者工作特征曲线下面积（area under the receiver operating characteristic curve，AUROC）均为0.89，并识别慢性完全闭塞（chronic total occlusion，CTO）（AUROC = 0.90至0.95）、冠状动脉内血栓和钙化（AUROC = 0.90至0.91）。该模型还预测1年心血管事件（AUROC = 0.79，95% CI为0.74至0.84，而使用临床变量推导的模型为0.65）和左心室射血分数（平均绝对误差7.3%，而先前模型为8.8%），这两项均仅使用冠状动脉造影即可实现。在一项涵盖288例血管造影的365次评估的盲法审查中，该模型的报告在76%的评估中具有临床可用性，而心脏病专家为88%，假阳性率相当（17%对14%，P = 0.38）；残余的漏诊狭窄反映了可调整的阈值而非信号缺失。
论文解读
一、研究背景与目的
冠状动脉疾病（coronary artery disease，CAD）仍是全球发病率和死亡率的主要原因，侵入性冠状动脉造影（invasive coronary angiography，ICA）是诊断评估和治疗决策的参考标准。然而，冠状动脉造影的视觉解读存在显著局限性：视觉狭窄评估的观察者内和观察者间变异性高达7.6%至22.5%，在单人操作环境中变异性更大，超过四分之一的病例存在狭窄严重程度高估，并可能导致17%的搭桥手术和10%的支架手术出现不适当的冠状动脉介入。这些局限性凸显了对客观、可重复方法以增强冠状动脉造影解读和改善患者护理的迫切需求。
人工智能（artificial intelligence，AI）已成为解决视觉冠状动脉造影评估固有局限性的有前景方案。早期单视图方法如CathAI通过顺序神经网络实现心外膜狭窄检测的AUROC为0.86。后续进展转向基于视频的分析，如DeepCORO，一种基于视频的深度学习模型，在狭窄百分比预测中实现了20.2%的平均绝对误差（mean absolute error，MAE），变异性低于临床报告（19.1%对21.0%）。然而，现有AI方法面临关键局限：现有模型在单个视频或帧上运行，通过多步骤流程处理单个狭窄病变而非端到端训练的单一模型，且以纯监督目标为单一任务训练，通常为狭窄估计。这种任务特定、单视图的范式限制了泛化能力和学习表征的质量，无法在多个解读终点上实现全面冠状动脉评估，如慢性完全闭塞（chronic total occlusion，CTO）检测、血栓识别、钙化评估和预后评价。
视觉语言模型正在重塑医学影像AI，通过对比目标学习像素与临床语言之间的共享表征。在超声心动图中，EchoCLIP展示了大规模视频-文本对齐的稳健外部验证解读能力，EchoPrime扩展了该方法，通过显式多视频、多视图融合更好地反映研究级别的临床推理。为应对上述局限，研究人员提出了DeepCORO-CLIP，一种基于视频-文本对比学习的多视图模型，用于全面的冠状动脉造影解读。
二、主要技术方法
研究人员开展了一项多中心回顾性观察队列研究，数据来自蒙特利尔心脏研究所（Montreal Heart Institute，MHI）2017至2024年间28，117例患者的203，808个血管造影视频及56，299份报告，按患者级别分层分为训练（70%）、验证（15%）和测试（15%）集。模型训练分两阶段：第一阶段采用视频-文本对比学习，将多尺度视觉Transformer版本2（Multiscale Vision Transformer version 2，MViT-v2）编码器的视频嵌入与导管室报告中的对应文本描述对齐；第二阶段使用基于门控注意力的多实例学习框架微调预训练编码器，跨多个视频聚合帧级特征，生成18个冠状动脉节段、4项任务的节段级预测。外部验证数据集来自加州大学旧金山分校（University of California，San Francisco，UCSF）2013至2019年间的冠状动脉造影，使用DeepSeek-V2.3大语言模型从自由文本导管室报告中自动提取狭窄标签，并由两名介入心脏病专家独立重新提取236份报告（4，248个节段标签）验证提取准确性。核心实验室裁定由两名盲法介入心脏病专家对662项研究（965个病变）进行定量冠状动脉造影（quantitative coronary angiography，QCA），差异≥20%的病变由第三名专家裁定。前瞻性盲法单报告读者研究中，两名独立读者对288项独特血管造影完成365次评估（174份AI报告，191份操作者生成报告），其中77项研究由两名读者共同阅读。
三、研究结果
模型训练性能
对比预训练运行30个轮次（单GPU耗时28.8小时，峰值内存90.7GB）。交叉模态检索作为无提示零样本探针：在24，708个保留视频和4，851份独特报告上，视频到文本的Recall@1/5/10为0.07/0.13/0.17（中位秩156），文本到视频的Recall@1/5/10为0.01/0.04/0.07，均高出随机水平两个数量级以上。研究级别余弦相似度区分同一患者视频与不同患者血管造影检查对的AUROC为0.76（中位余弦0.52对0.13），尽管未接受患者身份训练。学习到的512维嵌入空间显示临床可解释的无监督组织：左右冠状动脉近乎完全分离（93%至99%簇纯度），以及从正常（峰值狭窄12%至18%）到严重疾病（72%至82%）的清晰严重程度梯度。
主要结局结果
DeepCORO-CLIP量化连续狭窄的MAE为9.0%（左冠状动脉，LCA）和9.9%（右冠状动脉，RCA），Pearson相关系数r为0.49和0.59。准确度具有节段依赖性，近端节段相关性更强（近端RCA r = 0.73，左前降支（left anterior descending artery，LAD）r = 0.64，左回旋支（left circumflex artery，LCX）r = 0.56），而远端或低患病率节段较弱（远端LAD r = 0.01，远端LCX r = 0.12）。对于阻塞性狭窄（≥70%），微AUROC为0.89（95% CI 0.88至0.89），约登指数处灵敏度0.85、特异度0.70。该模型还检测中重度钙化（AUROC 0.90 LCA，0.91 RCA）、血栓（AUROC 0.90，95% CI 0.87至0.92）和CTO（AUROC 0.90 LCA，0.95 RCA）。
领域特定对比预训练在所有任务上优于Kinetics-400 MViT线性探针，对罕见表型增益最大（狭窄≥70%，AUROC 0.77至0.89；钙化AUROC 0.77至0.90；CTO 0.80至0.92；血栓AUPRC 0.01至0.23；MAE 10.4%至9.2%）。多视频注意力聚合优于单视频推理和研究级别平均。性能在年龄和性别亚组中均有评估：女性狭窄≥70%的AUROC高于男性（0.91对0.87），狭窄AUROC随年龄从0.92（≤50岁）降至0.86（≥80岁）。
迁移学习
对于主要不良心血管事件（major adverse cardiovascular events，MACE）预测，DeepCORO-CLIP在1，047例患者上微调，然后在350例疑似或确诊CAD患者上评估，随访至1年（中位3.5个月）；111例患者（31.7%）发生MACE。模型对复合MACE实现AUROC 0.79（95% CI 0.74至0.84）。风险分层分离三组（对数秩P < 0.001），中危组风险比5.6，高危组18.6。DeepCORO-CLIP在每个事件充分的终点上均优于临床基线逻辑回归模型：紧急血运重建AUROC 0.82对0.64，非致命性心肌梗死（myocardial infarction，MI）0.71对0.70，复合核心事件终点0.79对0.65。将临床变量加入DeepCORO-CLIP风险评分未改善区分度。
对于左心室射血分数（left ventricular ejection fraction，LVEF）估计，在MHI内部测试集（n = 2，530项研究）上，DeepCORO-CLIP在所有回归和分类指标上均优于先前CathEF基线：连续LVEF的MAE 7.3%（95% CI 7.0至7.5）对8.8%（8.6至9.0），Pearson r 0.65（0.62至0.68）对0.50（0.47至0.52）。
嵌入分析
为评估DeepCORO-CLIP嵌入是否编码临床有意义的表征，研究人员比较了测试集中352例患者的401对连续导管术的嵌入距离。疾病轨迹分类为稳定（n = 56，14.0%）、改善（n = 82，20.4%）或进展（n = 263，65.6%）。稳定对的嵌入距离最低（0.26；95% CI 0.20至0.32），而改善对（0.35；P = 0.02）和进展对（0.35；P = 0.008）均显示显著更大的距离。
核心实验室裁定
对662项研究（965个病变）进行核心实验室裁定。两名主要读者之间的读者间一致性为实质性（κ = 0.76）。在研究级别，DeepCORO-CLIP对裁定值的误差显著低于临床报告（MAE 13.6%，95% CI 12.5至15.2，对19.0%，95% CI 17.6至20.5），与裁定的相关性更强（Pearson r 0.64对0.56）。报告衍生标签特异（0.92）但不敏感（0.47），遗漏了相当比例的QCA阳性病变。
错误分析
在4，828次诊断性导管术测试集中，DeepCORO-CLIP在85.8%的接受经皮冠状动脉介入治疗（percutaneous coronary intervention，PCI）的1，736例患者中正确识别至少一个治疗血管为异常；漏诊病例主要为单血管疾病（70.9%），SYNTAX评分较低（平均6.4对11.1）。在2，755例血管级别PCI中，424例（15.4%）在血管狭窄<70%的情况下进行；DeepCORO-CLIP将其中124例（29.2%）分类为正常。阴性预测值（negative predictive value，NPV）在所有节段类别中超过98%。
部署阈值精度-灵敏度权衡
部署的报告生成器在固定概率0.50处调用节段异常。在构成读者研究漏诊的六个节段中，该阈值偏向精度：灵敏度0.39至0.62，阳性预测值（positive predictive value，PPV）0.58至0.74，特异度0.94至0.98。在平衡（约登）点（阈值0.06至0.18），灵敏度升至0.83至0.90，而PPV降至0.30至0.51。近端漏诊反映部署阈值而非模型区分能力。
跨机构验证
在UCSF外部验证数据集中，狭窄≥70%检测的全局AUROC为0.89（95% CI 0.88至0.89），灵敏度0.84，特异度0.77。节段级别AUROC范围为0.80（远端LAD）至0.95（左主干），近端节段表现最强。回归性能显示全局MAE 12.1%（95% CI 11.9至12.3），Pearson r 0.45（95% CI 0.44至0.46）。心脏病专家与LLM提取之间对阻塞性判定的一致性近乎完美（Cohen's κ = 0.91至0.93）。
前瞻性单报告读者验证
AI报告在76%的评估中被评为临床可用（理想或可接受），操作者报告为88%（Fisher比值比0.41，P = 0.002）。AI报告在所有三个质量域得分均低于操作者报告（临床正确性2.97对3.37，完整性3.04对3.48，清晰度3.03对3.36）。质量差距由遗漏而非捏造驱动：幻觉发现标记率无显著差异（17%对14%，P = 0.38）。在77项双读研究中，读者在84%的情况下同意可用与不可用分类（Cohen's κ = 0.17）。
部署
DeepCORO-CLIP通过定制软件PACS-AI成功部署在导管室工作流程中，实现从导管室到影像归档和通信系统（picture archiving and communication system，PACS）的冠状动脉造影研究流式传输，自动近实时推理。端到端延迟为4.2 ± 2.4秒（n = 24）。
四、讨论与结论
DeepCORO-CLIP是一种用于全面冠状动脉造影解读的多视图视频-文本模型。该模型在7年数据上训练，通过基于注意力的池化整合多个血管造影投影，实现跨广泛临床任务的研究级别评估。对比预训练优于Kinetics-400初始化的标准视频编码器，多视图聚合较单视频推理和朴素平均有一致增益。外部验证跨机构保持区分度，对QCA裁定的误差低于单读者报告。在前瞻性盲法读者研究中，自动生成报告在约四分之三的研究中临床可用，差距由保守遗漏而非捏造发现驱动，支持人机协同报告角色。
多视图方法解决了现有冠状动脉造影AI系统的根本局限。与先前系统相比，DeepCORO-CLIP狭窄回归误差低于CathAI和DeepCORO（MAE 9.0%至9.9%对17.9%至19.1%），对核心实验室QCA参考的增益更大（MAE 13.6%对19.0%）。视频-文本对比学习标志着从任务特定模型向全面冠状动脉评估的转变。DeepCORO-CLIP在MACE预测上实现AUROC 0.79，优于需要大量临床输入的既定风险评分（GRACE AUROC 0.70，TIMI 0.68，PAMI 0.69，CADILLAC 0.69），且仅从诊断性血管造影视频中获取预后信息，无需患者人口统计学、合并症、生物标志物或手术变量。
研究局限包括：回顾性设计需前瞻性验证；节段分析显示近端到远端梯度，远端和分支节段估计应谨慎解读；既往CABG患者被排除；外部验证仅覆盖一个中心；未与血流储备分数或血管内影像比较；视频-文本对齐依赖报告衍生标签；MACE预测中缺乏随访的患者被排除而非删失，可能引入选择偏倚；随访时间短；读者研究仅两名读者、单中心，可接受性估计具有读者依赖性。
DeepCORO-CLIP表明冠状动脉造影上的视频-文本对比预训练产生通用表征，可有效迁移至诊断、预后和纵向监测任务。通过将多个血管造影视图整合到统一嵌入空间，该模型捕获冠状动脉解剖和病理的水平超过单读者解读。随着代码、权重和部署基础设施的公开发布，以及前瞻性读者研究显示报告在76%的评估中临床可用且通过保守遗漏而非捏造出错，DeepCORO-CLIP为人机协同血管造影解读提供基础，并为多模态心血管AI系统提供构建模块。
