利用多模态融合技术学习视网膜血管生物标志物概念，以用于心血管疾病的检测

《Engineering Applications of Artificial Intelligence》：Retinal vascular biomarker concept learning with multimodal fusion for cardiovascular disease detection

　　摘要
心血管疾病（CVD）仍然是全球范围内导致死亡和残疾的主要原因之一。尽管冠状动脉造影被视为CVD诊断的临床金标准，但其侵入性、高成本以及患者接受度有限，阻碍了及时筛查和早期发现。视网膜眼底成像提供了一种非侵入性、低成本且可重复的方法来评估全身微血管健康状况。然而，现有方法未能充分捕捉视网膜血管形态与CVD之间的内在关联。为了解决这一问题，我们提出了一个深度学习框架，通过概念学习和多模态融合整合视网膜血管生物标志物和临床指标，用于无创CVD检测。该模型包括三个模块：（1）生物标志物概念感知模块（BCPM），用于构建可学习的概念标记以量化血管形态变异；（2）临床特征表示模块（CFRM），采用双路径编码策略分别对分类和连续临床变量进行建模；（3）跨模态注意力聚合模块（CAAM），利用疾病标记作为查询来融合视网膜和临床特征以进行CVD诊断。在英国生物银行（UK Biobank）和私有数据集上的测试中，该模型的接收者操作特征曲线下面积（AUC）值分别为0.8524 ± 0.0164和0.7930 ± 0.0147，精确度-召回率曲线下面积（AUPR）值分别为0.6576 ± 0.0393和0.6171 ± 0.0326，F1分数分别为0.6190 ± 0.0207和0.5887 ± 0.0124，性能优于现有方法。进一步分析表明，血管密度和静脉密度的降低与较高的CVD风险显著相关，且在特定亚组中这种关联更为强烈。

引言
心血管疾病（CVD）是全球范围内导致死亡和残疾的主要原因之一。根据世界心脏联合会的数据，每年约有1980万人死于CVD。其发病率不断上升，给全球医疗系统带来了巨大负担（世界心脏联合会，2023年）。虽然冠状动脉造影被认为是CVD诊断的金标准，但它是一种侵入性程序，伴随高昂的成本和较高的术后并发症风险（Force，2021年；Hasan等人，2025年；Saryazdi和Mostafaeipour，2025年；Bukhari等人，2025年；Herdian等人，2024年）。视网膜微血管的结构改变反映了全身血管病变的情况，为CVD检测提供了一种非侵入性和成本效益高的方法（Lee等人，2023年；Cheung等人，2021年；Zhu等人，2022年）。如图1所示，CVD患者的血管密度降低（0.06067 vs. 0.06984），血管迂曲度增加（Grisan等人，2008年，0.8136 vs. 0.659），动脉口径变窄（CRAE（Knudtson等人，2003年）：16131.76 vs. 19790.99），以及动静脉比率降低（AVR（Knudtson等人，2003年）：0.6001 vs. 0.6706）。这些形态学差异凸显了视网膜血管生物标志物在CVD风险分层中的潜力。

大多数基于深度学习的CVD检测模型采用端到端范式，直接将视网膜图像与临床特征融合（Lee等人，2023年），如图2(a)所示。然而，这些方法往往缺乏对疾病相关病理区域的有效引导，导致其类别激活图过于模糊或无法捕捉局部血管异常（图2(c)）。一个关键挑战在于将模型的关注点引导到病理血管模式上，并捕捉它们与临床指标的相互作用。我们提出了BioFusion-Transformer，这是一种结合视网膜血管生物标志物概念学习和多模态特征融合的心血管疾病检测模型，如图2(b)所示。BioFusion-Transformer包含一个生物标志物概念感知模块（BCPM），用于生成可学习的生物标志物概念标记以量化视网膜血管的形态变异；临床特征表示模块（CFRM）提取临床特征；跨模态注意力聚合模块（CAAM）融合视网膜血管和临床特征，以实现准确的CVD诊断。如图2(d)所示，BioFusion-Transformer比传统方法更关注视网膜微血管区域，从而提高了病理区域的定位精度。

本文的主要贡献如下：
1. 我们提出了BioFusion-Transformer，一种非侵入性CVD检测框架，将视网膜血管生物标志物驱动的概念学习与多模态融合相结合。在此框架中，视网膜血管形态（如动静脉密度和动脉迂曲度）被编码为高级概念标记，并与年龄、性别和血压等临床指标联合融合，用于CVD预测。通过将视网膜血管形态明确建模为结构化生物标志物概念，该方法解决了现有模型中血管形态先验使用不足的问题，并为将视网膜血管生物标志物纳入CVD风险评估提供了新策略。
2. 该方法在英国生物银行和私有数据集上进行了广泛验证，显示出优于现有方法的性能。该模型能够准确回归关键血管生物标志物（如血管密度、交叉点数量），并捕捉到迂曲度的变化。此外，该模型具有很强的可解释性：即使存在多个高风险的临床因素，也能依靠视网膜形态线索保持高诊断置信度。这些结果强调了视网膜血管生物标志物在现实世界诊断场景中的临床相关性。
3. 我们在英国生物银行进行了大规模人群级别的分析，探讨了视网膜生物标志物与CVD风险之间的关联。四分位数分析显示，血管密度和静脉密度的降低与较高的CVD风险显著相关——这一关联独立于年龄、性别、体重指数（BMI）、吸烟和收缩压（SBP）。分层分析显示，在女性、年轻个体（年龄<65岁）、非吸烟者以及BMI≥25且血压正常（SBP<140 mmHg）的人群中，这种关联更为强烈。显著的性别-生物标志物交互作用表明女性具有更高的预测效用。这些发现为亚组意识建模提供了实证支持，并有助于开发精确的心血管风险分层。

方法概述
图3展示了BioFusion-Transformer的架构，包括三个模块：生物标志物概念感知模块、临床特征表示模块和跨模态注意力聚合模块。BCPM将视网膜血管形态编码为一组可学习的概念标记，包括动脉密度、静脉密度、交叉点数量和动脉迂曲度，捕捉与CVD病理相关的结构特征。CFRM采用双路径编码方案。

数据集
英国生物银行队列是模型开发和内部评估的主要数据集，包含21,171张2006年至2010年间收集的视网膜眼底图像，以及五个非侵入性临床指标（年龄、性别、BMI、SBP和吸烟状况）。CVD标签来自与英国生物银行关联的国家医疗服务注册处的住院和死亡记录。

讨论
本节定量分析了整个研究人群中的视网膜血管生物标志物。首先，表2中显示统计显著差异的生物标志物被分为四分位数。然后使用单变量逻辑回归估计未调整的比值比（OR）和95%置信区间，初步评估每个生物标志物与CVD风险之间的关联。进一步进行多变量逻辑回归以调整潜在的混杂因素。

结论
随着对无创和低成本早期疾病筛查方法的迫切需求，识别可靠的CVD生物标志物具有重要的临床和公共卫生意义。在本研究中，BioFusion-Transformer被提出作为一种新的非侵入性CVD检测框架。通过引入可学习的概念标记来表示视网膜血管形态，该模型实现了血管变异的结构化量化和对相关信息的明确建模。

作者贡献声明
Jun Long：撰写——审稿与编辑、原始稿件撰写、方法学研究。
Yining Xie：撰写——审稿与编辑、监督、项目管理、概念化。
Kaiwen Zhang：验证、方法学研究。
Haochen Qi：撰写——审稿与编辑、验证、方法学研究。
Ming Hao：资源准备、数据管理。
Jiayi Ma：撰写——审稿与编辑、验证、监督。

生成式AI在科学写作中的声明
在准备本文期间，作者使用了ChatGPT来提高文本的英语语言表达和可读性。使用该工具后，作者对内容进行了必要的审阅和编辑，并对已发表文章的内容负全责。

资金支持
本项工作得到了中国黑龙江省重点计划（2022ZX06C09）、黑龙江省科技厅重点研发项目指导计划（GZ20220088）、黑龙江省科技厅重点研发项目（GY2024ZB0030）、国家自然科学基金联合资助项目（U24B20188）和中国博士后科学基金（2025M771359）的支持。

财务利益声明
作者声明没有财务利益。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢
本项工作得到了中国黑龙江省重点计划（2022ZX06C09）、黑龙江省科技厅重点研发项目指导计划（GZ20220088）、黑龙江省科技厅重点研发项目（GY2024ZB0030）、国家自然科学基金联合资助项目（U24B20188）和中国博士后科学基金（2025M771359）的支持。

作者信息
Jun Long | Yining Xie | Kaiwen Zhang | Haochen Qi | Ming Hao | Jiayi Ma
东北农业大学智能科学与工程学院，哈尔滨 150030，中国